Ubuntu中搭建Hadoop集群（简记）

stp1：在Vmware虚拟机上创建Ubantu.2环境

步骤：文件—>新建虚拟机—>典型（下一步）—>下一步——>位置（不建议放c盘，文件地址一定要全英文）—>下一步—>磁盘大小（20G搭建环境够用）—>自定义硬件（内存最好设置2G，不然慢得受不了）—>完成！（漫长得等待。。。）

step2：修改主机名

临时修改主机名：

步骤：打开终端（右键，CTRL+ALT+T）—>输入 hostname （返回主机名，即@符号后得）—>输入 su 获得root权限—>密码—>hostname newname(根据需要自己定)（临时修改主机名）；

永久修改主机名：

方法1：步骤：打开终端（右键，CTRL+ALT+T）—>输入 su —>密码—>apt install vim（下载安装文件编辑工具，很快）—>sudo vim /etc/hosts —> 点击键盘 i （插入符）—>修改主机名—>点击ESC退出编辑，输入 :wq 保存—>重启即可；

方法2：步骤：打开终端（右键，CTRL+ALT+T）—>输入 su —>密码—>apt install vim（下载安装文件编辑工具，很快）—>sudo vim /etc/hostname —> 修改主机名—>重启即可；

详细步骤及常见错误可见：https://www.cnblogs.com/zhibei/p/9930744.html

https://www.cnblogs.com/zhibei/p/9930839.html

step3:查看ip地址：Ubuntu使用得是：ifconfig -a

步骤：打开终端（右键，CTRL+ALT+T）—>输入 su —>密码—>apt install net-tools—>输入 ifconfig -a (注意返回2段结果，IP在第一段类似于192.163.。。)

step4:下载安装ssh

这个主要是为了远程连接和免密登录

步骤：打开终端—>输入 su —>密码—>apt install openssh—>输入sshd(不报错即成功)；

远程连接：

在windows端下载Putty端口连接工具

步骤：打开putty—>Hostname(填写IP)，Port（默认22）—>Connection type:(SSH)—>Saved Sessions(任然填入IP)—>点击 Save—>选择保存得IP，点击Load—>open(得到连接控制台)—>login as:（输入用户名）—>密码验证—>接下来就可以进行自己想要得操作啦！

免密登录：（未完。。。）

这一步很重要（只要在hadoop部署之前完成就可以啦）

这里得权限问题我还没搞清楚，不太清楚什么时候要在用户，什么时候要在root下：

步骤：输入：ssh-keygen -t rsa -P (获得公私匙对，一直回车即可)

—>输入：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys（将密匙写入ssh中）

—>输入：/etc/init.d/ssh reload；

step5：安装JDK

步骤：打开终端—>输入 su —>密码—>输入javac,回车—>根据提示选择想要得版本号直接安装（遇到询问写y）—>输入javac，返回相关信息表示安装成功—>vim /etc/profile (配置环境变量 ,如下)保存，退出编辑—>输入：source /etc/profile使配置生效（这样可以在任何目录下找到java）。

配置java环境变量：export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64（这个地址要根据你的安装路径进行更改）

　　　　　　　　 export JRE_HOME= $JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

step6:安装Hadoop

尝试了直接使用连接安装，结果都失败，在这里建议大家按如下步骤，少走弯路

下载hadoop安装包：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/（有各种版本可以自己选）

下载完成后，将安装包移动到 /home 路径下

在终端输入：tar -xvf hadoop-2.9.1.tar.gz 解压

文件配置：

cd /etc/hadoop

vim hadoop-env.sh 配置 export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64 保存并退出。

vim core-site.xml ，请自行建立/tmp/name,/tmp/data子文件，当然你可以自行指定存放目录

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/home/apache/hadoop-2.9.1/tmp/name</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/apache/hadoop-2.9.1/tmp/data</value>

</property>

接着，vim hafs_site.xml，请建立data文件夹

<property>

<name>dfs.data.dir</name>

<value>/home/apache/hadoop-2.9.1/data</value>

</property>

然后vim yarn-site.xml，

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

最后：cp mapred-site.xml.plate mapred-site.xml,

vim mapred-site.xml,

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

配置Hadoop得环境变量

vim /etc/profile

#hadoop

HADOOP_HOME=/home/apache/hadoop-2.9.1

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

export HADOOP_HOME PATH

配置生效

source /etc/profile

查看hadoop版本输入hadoop version；

节点初始化：

hadoop namenode -format

启动hadoop

cd /hadoop-2.9.1/sbin/

./start-dfs.sh

./start-yarn.sh

./mr-jobhistory-daemon.sh start historyserver

查看服务启动情况输入jps命令出现下面内容启动成功

2499 NameNode

3460 NodeManager

2694 DataNode

2934 SecondaryNameNode

3705 Jps

3626 JobHistoryServer

3103 ResourceManager

可以浏览器输入http://localhost:50070 查看hadoop详情。

巴特西

Ubuntu中搭建Hadoop集群（简记）

最新文章

热门文章