前言：

    最近工作做开始使用到hadoop相关的东西，文件存储原来我们使用NFS方式存储，现在换成产品需要逐步换成hadoop来存储数据文件，所以想搭建一个hadoop来测试学习，以前也会搭建hadoop但是还是太麻烦了，但是，有了docker搭建起来就方便很多了，直接下载镜像然后启动docker就可以直接使用，是不是很方便呀。

注意：文中多次提到容器终端是hadoop-master这个容器的终端。

基础配置，centos7最小化版本，内存我配置了8G，cpu4核，磁盘空间为30G，已经搭建好docker。

一、修改镜像源为国内的镜像源。

    对于docker来说镜像是很重要的东西，所以我们第一步需要修改镜像源为国内镜像源这样在拉取镜像的时候可以快一点。下面是已经修改好的，我使用的是163的镜像，当然你们也可以使用其他的镜像源地址。

url	说明
https://registry.docker-cn.com	Docker 官方中国区
http://hub-mirror.c.163.com	网易
https://docker.mirrors.ustc.edu.cn	ustc
https://pee6w651.mirror.aliyuncs.com	阿里云

[[email protected] ~]# cat /etc/docker/daemon.json
{
    "registry-mirrors": ["http://hub-mirror.c.163.com"]
}

二、拉取镜像

接下来我们就要拉取镜像了，这个过程可能会有些久，只要连上网应该都能下载下来。

为了不让你下载错误，你可以使用docker search hadoop命令查询一下有哪些hadoop镜像可以下载

[[email protected] ~]#docker pull docker.io/kiwenlau/hadoop:1.0

 三、克隆配置脚本

克隆前由于我是最小化版本所以没有安装git，因此需要先安装git，安装指令如下。

 [[email protected] ~]#yum install git

    这一步是从github上克隆配置脚本，脚本的内容是使用kiwenlau/hadoop:1.0配置mater、slave1、slave2三个容器，其中slave数量可以修改：

[[email protected] ~]# git clone https://github.com/kiwenlau/hadoop-cluster-docker
Cloning into 'hadoop-cluster-docker'...
remote: Enumerating objects: 392, done.
remote: Total 392 (delta 0), reused 0 (delta 0), pack-reused 392
Receiving objects: 100% (392/392), 191.83 KiB | 2.00 KiB/s, done.
Resolving deltas: 100% (211/211), done.

四、创建网桥

由于Hadoop的master节点需要与slave节点通信，需要在各个主机节点配置节点IP，为了不用每次启动都因为IP改变了而重新配置，在此配置一个Hadoop专用的网桥，配置之后各个容器的IP地址就能固定下来。 

[[email protected] ~]# sudo docker network create --driver=bridge hadoop
04443af07c3d4e5c87db1dd48f0acf87cce59e55944737b68ceab983bfff094a

 五、执行脚本

  改脚本模式是创建3个节点。

[[email protected] hadoop-cluster-docker]# ./start-container.sh 
start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
[email protected]:~#

执行成功以后，就自动进入容器里面了。

六、更换容器的镜像源

       操作之前给大家补充一个命令，就是我们可以通过docker ps获取容器ID，然后可以通过docker exec -it [容器id] /bin/bash进入到容器中操作。为啥需要说这个呢，因为对于新手来说经常搞不明白是本地终端执行命令，还是在容器终端执行命令。

6.1 在容器终端备份sources.list文件

sudo cp /etc/apt/sources.list /etc/apt/sources.list.copy

6.2 在本地终端编写sorces.list文件并且拷贝到容器中。

[[email protected] ~]#vi sources.list

 文件内容如下：

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

拷贝文件到容器中

[r[email protected] ~]#sudo docker cp sources.list  hadoop-master:/etc/apt

最后在容器终端更新一下软件源

sudo apt-get update

七、启动Hadoop

在前面一个步骤的最后进入了Hadoop容器的终端(master节点)，因为是已经配置好Hadoop的容器，所以可以直接使用Hadoop，在容器根目录下有一个启动Hadoop的脚本，启动了dfs和yarn：

[email protected]:~# ./start-hadoop.sh 


Starting namenodes on [hadoop-master]
hadoop-master: Warning: Permanently added 'hadoop-master,172.18.0.2' (ECDSA) to the list of known hosts.
hadoop-master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-hadoop-master.out
hadoop-slave1: Warning: Permanently added 'hadoop-slave1,172.18.0.3' (ECDSA) to the list of known hosts.
hadoop-slave2: Warning: Permanently added 'hadoop-slave2,172.18.0.4' (ECDSA) to the list of known hosts.
hadoop-slave2: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-hadoop-slave2.out
hadoop-slave1: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-hadoop-slave1.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-hadoop-master.out


starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn--resourcemanager-hadoop-master.out
hadoop-slave2: Warning: Permanently added 'hadoop-slave2,172.18.0.4' (ECDSA) to the list of known hosts.
hadoop-slave1: Warning: Permanently added 'hadoop-slave1,172.18.0.3' (ECDSA) to the list of known hosts.
hadoop-slave1: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-hadoop-slave1.out
hadoop-slave2: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-hadoop-slave2.out

八、登录查看。

• Name Node：[Your IP Address]:50070/
  • 进入页面可以看到各节点的情况，注意如果Summary下的节点信息异常(容量为0、Live Nodes为0等)可能是配置过程出现了问题。
  • 在导航栏的Utilities中有两个选项Browse the file system和Logs，前者是查看hdfs文件系统的，后者是查看Hadoop运行日志的，出现任何异常时可以在日志中查看，看能否找出异常原因

• Resource Manager: [Your IP Address]:8088/

使用docker搭建hadoop是不是很简单呀，只要有能下载镜像好像就没有那么难了吧。