1 Hadoop的三种创建模式

  单机模式操作是Hadoop的默认操作模式,当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,会保守地选择最小配置,即单机模式。该模式主要用于开发调试MapReduce程序的应用逻辑,而不会和守护进程交互,避免增加额外的复杂性。

  伪分布模式操作是指在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式操作之上多了代码调试功能,可以查阅内存的使用情况、HDFS的输入输出以及守护进程之间的交互。

  全分布模式操作是指一种实际意义上的Hadoop集群,其规模可从几个节点的小集群到成百上千个节点的大集群,甚至是成千上万的超大集群。

  本文只限于介绍单机模式,伪分布模式需要在自己的Ubuntu系统下额外建立虚拟的系统,而全分布模式需要搭建集群的硬件设施。

2 创建Hadoop用户组和Hadoop用户

  Step1:创建Hadoop用户组:

    ~$ sudo addgroup hadoop

  Step2:创建Hadoop用户:

    ~$ sudo adduser -ingroup hadoop hadoop

  回车后会提示输入密码,这是新建Hadoop的密码,输入两次密码敲回车即可。如下图所示: 

 

  Step3:为Hadoop用户添加权限:

  ~$ sudo gedit /etc/sudoers

  点击回车后,打开sudoers文件,在

  root    ALL=(ALL:ALL) ALL

  后添加:

  hadoop   ALL=(ALL:ALL) ALL

  注意:“hadoop” 后为"\t",而不是一个空格,一旦sudoers修改错误会引起很严重的后果(比如导致sudo命令无法正常使用,这时候只能通过root权限进行复原)。修改后的sudoers文件如下图所示:

  

3 用新增hadoop用户名登陆Ubuntu系统

  ~$ su - hadoop

  输入密码即可。

4 安装SSH

  Step4:安装Hadoop通信需要的SSH:

    ~$ sudo apt-get install openssh-server

  安装完以后,启动服务:

    ~$ sudo /etc/init.d/ssh start

  启动后,可以通过如下命令来确认服务是否正确启动:

    ~$ ps -e | grep ss

  如下图所示:

  作为一个安全通信协议,使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥:

    ~$ ssh-keygen -t rsa -P ""

  如下图所示:

  此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容):

    ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  现在可以登入ssh确认以后登录时不用输入密码:

    ~$ ssh localhost

  退出:

    ~$ exit

5 安装Java

  Step5:安装Java:

    ~$ sudo apt-get install openjdk-6-jdk

  安装完后,可以输入如下指令查看Java的版本:  

    ~$ java -version

6 安装和配置Hadoop

  Step6:安装Hadoop:

  1)下载:

    目前最新版本为2.7.0,可以根据自己的需要,安装不同版本的Hadoop,下载地址:请点击这里

  2)解压:

    ~$ sudo tar xzf hadoop-2.7.0.tar.gz

  3)将hadoop移动到 /usr/local/hadoop目录下:

    ~$ sudo mv hadoop-1.0.2 /usr/local/hadoop

  4)要确保所有的操作都是在用户hadoop下完成的:

    ~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

  Step7:配置Hadoop:

  1)配置.bashrc:

配置该文件,需要知道Java的安装路径,可以通过下面的代码查看:

    ~$ update-alternatives - -config java

执行结果如下:

    

  完整的路径为:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java,我们只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64。

 修改.bashrc文件:

   ~$ sudo gedit ~/.bashrc

  该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

  使添加的环境变量生效:

  ~$ source ~/.bashrc

  2)配置hadoop-env.sh

  打开hadoop-env.sh文件:

  ~$ sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

  找到JAVA_HOME变量,按如下进行修改:

  ~$ export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改后的hadoop-env.sh文件如下所示:

  使配置生效:

    ~$ source /usr/local/hadoop/conf/hadoop-env.sh

  到这里,单机模式的hadoop就全部安装完毕了。

7 Hadoop测试

  为了测试Hadoop安装在正确性,我们可以用在带的例子(比如WordCount)进行测试。

  1) 在/usr/local/hadoop路径下创建input文件夹

    ~$ mkdir input

  2)拷贝 README.txt 到 input 文件夹

    ~$ cp README.txt input

  3)执行WordCount程序实例

   ~$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.0-sources.jar org.apache.hadoop.examples.WordCount input output

  如果看到这些内容,那么恭喜你,这说明你的Hadoop已经安装成功了。

8 结语

  从Ubuntu上安装Hadoop的过程上可以看出,以前你觉得很困难,一直不敢尝试的东西,其实可能它很简单。只要你自己想学,就一步步地来,问题总能找到办法来解决,在此与大家共勉。

9 参考内容

  [1] Ubuntu 14.04下安装Hadoop2.4.0(单机模式)

  [2] Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

最新文章

  1. LruCache算法原理及实现
  2. 【转】Linq Group by
  3. vi命令的基础知识
  4. CenterOS中安装Redis及开机启动设置
  5. BWT(Burrows-Wheeler Transformation)的讲解及java实现
  6. 使用F#开发量化模型都缺什么?
  7. Eclipse上改动Jython代码的Comment颜色
  8. Oracle Dataguard 介绍
  9. 假如时光倒流,我会这么学习Java
  10. Memory Analyzer Tool 使用手记
  11. Fatal error: cannot initialize AIO sub-system
  12. 从创业者角度看《印度合伙人 Padman》后的一点感受
  13. Python 列表(list)的使用
  14. C 线程学习记录
  15. 反汇编Dis解析
  16. JDK自带工具keytool生成ssl证书
  17. Cobalt Strike DNS通讯实例
  18. jsp中的request.getContextPath()
  19. FreeModbus LINUXTCP Compile ERROR
  20. 入手IntelliJ IDEA 常用配置

热门文章

  1. [转]一种简单的js时间控件
  2. matlab里的svmtrain的输出model里,各参数的含义
  3. 《The Elder Scrolls V: Skyrim》百般冷门却强力职业
  4. ThreadLocal
  5. 如何重复使用IEnumerable对象来枚举?
  6. 非对称加密算法RSA
  7. SetEnvlfNoCase 记录从自己网站之外传来的请求
  8. Ajax表单序列化后的数据格式转成Json发送给后台
  9. 20.Python笔记之SqlAlchemy使用
  10. 使用gulp-connect实现web服务器