作者 | tianyouououou

责编 | Carol

来源 | CSDN 博客

封图 | CSDN付费下载于视觉中国

最近，作者整理了一套Hadoop搭建方案。最后的镜像大小1.4G多，使用docker子网，容器重新启动不需要重新配置/etc/hosts文件。

配置过程中参考了如下博客，有些细节问题这些博客里面解释的更加详细。

ssh配置部分：

https://blog.csdn.net/weixin_42051109/article/details/82744993

wordcount部分：

https://blog.csdn.net/alexwym/article/details/82497582

虽然配置完了，但是有些地方并不完全懂，后续有机会还会做一些补充解释。

* 环境：Ubuntu16.04虚拟机

准备工作

1. 下载解压jdk1.8文件夹

2. 下载解压Hadoop2.8.5文件夹

3. docker pull centos7基础镜像

4. 建mydocker文件夹

5. 将jdk1.8文件夹和Hadoop文件夹移动到mydocker文件夹（这里为了简洁将Hadoop2.8.5文件夹重命名为Hadoop）

6. 编辑Hadoop文件夹内的文件（避免创建镜像后要修改三遍）

首先进入Hadoop/etc/Hadoop文件夹后修改hadoop.env.sh

tianyou@ubuntu:~/mydocker/Hadoop/etc/Hadoop$ vim hadoop-env.sh

将JAVA_HOME修改为如下路径

export JAVA_HOME= /usr/local/jdk1.8

修改core-site.xml如下

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim core-site.xml

<!-- Put site-specific property overrides in this file. -->
<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop0:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/tmp</value>
     </property>
</configuration>

修改yarn-site.xml

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>hadoop0:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>hadoop0:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>hadoop0:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>hadoop0:8033</value>
     </property>
   <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoop0:8088</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
</configuration>          

修改mapred-site.xml，我这里是mapred-site.xml.template

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim mapred-site.xml.template

<!-- Put site-specific property overrides in this file. -->
<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

修改hdfs-site.xml（按照datanode配置）

tianyou@ubuntu:~/mydocker/hadoop/etc/hadoop$ vim hdfs-site.xml

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

这里修改hadoop配置文件是为了构建镜像时直接将hadoop文件夹COPY到镜像中，再用镜像创建三个容器后不需要在三个容器中分别进行重复的配置工作。

使用Dockerfile构建镜像

1、编辑Dockefile，基于准备好的centos：7基础镜像构建

FROM centos:7
# 选择一个已有的os镜像作为基a础  
# 镜像的作者  
MAINTAINER tianyou
# 安装openssh-server和sudo软件包，并且将sshd的UsePAM参数设置成no  
RUN yum install -y openssh-server sudo \
        && sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config \
#安装openssh-clients
        && yum  install -y openssh-clients \
        && yum install -y vim \
        && yum install -y which \


# 添加测试用户root，密码root，并且将此用户添加到sudoers里  
        && echo "root:root" | chpasswd \
        && echo "root   ALL=(ALL)       ALL" >> /etc/sudoers \
# 下面这两句比较特殊，在centos6上必须要有，否则创建出来的容器sshd不能登录  
        && ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key \
        && ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key \


        && mkdir /var/run/sshd


COPY jdk1.8  /usr/local/jdk1.8/
COPY hadoop /usr/local/hadoop/
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

2、在mydocker文件夹下执行构建命令（因为需要文件访问权限要加sudo，命令最后的，不要丢）

tianyou@ubuntu:~/mydocker$ sudo docker build -t tianyou/centos-java-hadoop .

创建容器

1、创建子网 Hadoopnetwork

tianyou@ubuntu:~/mydocker$ docker network create --subnet=172.19.0.0/16 hadoopnetwork

2、创建容器并指定子网和ip

创建Hadoop0容器

tianyou@ubuntu:~/mydocker$ docker run -it -d --net hadoopnetwork --ip 172.19.0.2 --name hadoop0 -h hadoop0 tianyou/centos-java-hadoop

创建hadoop1容器

tianyou@ubuntu:~/mydocker$ docker run -it -d --net hadoopnetwork --ip 172.19.0.3 --name hadoop1 -h hadoop1 tianyou/centos-java-hadoop

创建Hadoop2容器

tianyou@ubuntu:~/mydocker$ docker run -it -d --net hadoopnetwork --ip 172.19.0.4 --name hadoop2 -h hadoop2 tianyou/centos-java-hadoop

配置ssh

1.进入Hadoop0

tianyou@ubuntu:~/mydocker$ docker exec -it hadoop0 /bin/bash

2.配置ssh密钥

[root@hadoop0 /]# /usr/sbin/sshd && /usr/sbin/sshd-keygen -A && /usr/sbin/sshd

制作密钥，输入ssh-keygen -t rsa，然后敲三次Enter键

[root@hadoop0 /]# ssh-keygen -t rsa

生成的密钥存在 /root/.ssh/id_rsa.pub 文件中，执行指令把密钥存储在 /root/.ssh/authorized_keys 文件中

修改sshd_config配置使提示更简洁，合并指令如下：

[root@hadoop0 /]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys && vim /etc/ssh/sshd_config

将配置文件中对应行 修改为如下所示：

Port 22
PermitRootLogin yes
PubkeyAuthentication yes
PasswordAuthentication yes
ChallengeResponseAuthentication no
UsePAM yes
PrintLastLog no

Esc进入命令模式，:wq保存
修改ssh_config文件中 StrictHostKeyChecking ask改成no

[root@Master local]# vim /etc/ssh/ssh_config

StrictHostKeyChecking no

Ctrl+P+Q退出Hadoop0容器

进入Hadoop1和Hadoop2容器，进行同样的操作生成ssh密钥和配置

3、将容器的秘钥互相添加

每个容器的 /root/.ssh/authorized_keys 文件都需要填入所有容器的密钥

以上操作结束后在Hadoop2容器中，查看文件，复制出haoop2密钥

[root@hadoop2 /]#  vim  /root/.ssh/authorized_keys

ctrl+P+Q退出，同样复制出Hadoop1和Hadoop0秘钥，将三个秘钥全部复制到三个容器的/root/.ssh/authorized_keys文件中。

复制完成后在每个容器中都执行一次 /usr/sbin/sshd命令。

[root@Master local]# /usr/sbin/sshd

至此，通过ssh可以互相访问，测试一下

[root@hadoop0 /]# ssh hadoop1

ctrl+D返回

完善Hadoop配置

进入Hadoop0，修改hdfs-site.xml 文件如下：

[root@hadoop0 /]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

因为在COPY进容器时按照datanode配置，所以要修改为namenode配置，只需要将三处data修改为name。

<!-- Put site-specific property overrides in this file. --><configuration>    <property>      <name>dfs.replication</name>      <value>2</value>    </property>    <property>      <name>dfs.namenode.name.dir</name>      <value>file:/usr/local/hadoop/hdfs/name</value>    </property></configuration>

通过ssh进入Hadoop1，删除重建hdfs文件

[root@hadoop0 /]# ssh hadoop1[root@hadoop1 ~]# rm -rf /usr/local/hadoop/hdfs && mkdir -p /usr/local/hadoop/hdfs/data

ctrl+D退出，同样进入Hadoop2，删除重建hdfs文件
ctrl+D退出，回到Hadoop0，删除重建hdfs文件，注意这里是name。

[root@hadoop0 /]# rm -rf /usr/local/hadoop/hdfs && mkdir -p /usr/local/hadoop/hdfs/name

修改slaves文件

[root@hadoop0 local]# vim /usr/local/hadoop/etc/hadoop/slaves

填入Hadoop1,Hadoop2

localhosthadoop1hadoop2

格式化hdfs（这里当时报了一个错，找不到JAVA_HOME，因为Hadoop-env.sh中JAVA_HOME=后面多敲了一个空格，删掉后成功运行）

[root@hadoop0 /]# hdfs namenode -format

修改/etc/profile文件 ，修改后可以使用jps 或 Hadoop fs xx 指令

[root@hadoop0 local]# vim /etc/profile

将下面的代码添加到文件末尾，保存退出

export JAVA_HOME=/usr/local/jdk1.8export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source使配置生效

[root@hadoop1 ~]# source /etc/profile

ssh进入Hadoop1和hadoop2做同样修改。
回到Hadoop0进入Hadoop/sbin，执行start-all命令启动

[root@hadoop0 local]# cd /usr/local/hadoop/sbin/[root@hadoop0 sbin]# ./start-all.sh

可以运行如下命令查看节点情况

[root@hadoop0 sbin]# hadoop dfsadmin -report

测试wordcount程序

启动Hadoop之后（一定要先启动），可以运行自带的wordcount程序来测试一下

进入Hadoop文件夹 在hdfs建立input文件夹

[root@hadoop0 hadoop]# bin/hdfs dfs -mkdir -p /data/input

在容器中创建my_wordcount.txt文件，编辑一些单词 ，Esc :wq保存

[root@hadoop0 hadoop]# vim my_wordcount.txt

将本地的文件上传到hdfs

[root@hadoop0 hadoop]# bin/hdfs dfs -put my_wordcount.txt /data/input

启动wordcount程序，指定输入文件和输出文件（版本号需要改）

[root@hadoop0 hadoop]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /data/input/my_wordcount.txt /data/out/my_wordcount

查看运行结果

[root@hadoop0 hadoop]# bin/hdfs dfs -cat /data/out/my_wordcount/part-r-00000

你学会了吗？如果你对本文有什么想法或意见，欢迎评论区告诉我们！

在全民抗疫的特殊时期下，在人员复杂、流动量大地方的出入口处都设置了无接触式无感红外人体测温系统。

在这次疫情防控中，无感人体测温系统发挥了怎样的作用？高精准的无感人体测温系统的核心技术武器是什么？对于开发者们来说，大家应该了解哪些技术？

今晚 8点《多场景疫情防控：解读云边端联动下的全栈 AI 技术应用》

推荐阅读：必看！Spark 进阶之路之「SparkSQL」入门概述 | 博文精选
如果你觉得 Git 很迷惑人，那么这份小抄正是为你准备的！
开辟 Dart 到 Native 的超级通道，饿了么跨平台的最佳实践
比特币归谁所有？有人通过分析区块链数据集找到答案
为什么说Transformer就是图神经网络？
脱单？撒狗粮？加班？女神节这么过 | 程序员有话说
真香，朕在看了！