截止到19年，Hadoop 最新的版本已经出到 3.1.1 版本了，下面就以 该版本为例，详细分析分布式安装的步骤。Hadoop 有三种安装方式，包括：

1. 单机模式

2. 伪分布式模式

3. 分布式模式

零、准备工作

准备好需要安装 Hadoop 的机器，本文使用的是 4 台 centos 机器，分别是 node1, node2, node3 和 node4，需要预先准备好 Hadoop 的安装环境。

1. jdk安装配置

下载jdk文件至每台机器：

wget http://10.18.218.14/download/jdk-8u131-linux-x64.rpm

rpm -Uvh jdk-8u131-linux-x64.rpm

配置java的环境变量：

vim /etc/profile

增加：

export JAVA_HOME=/usr/java/jdk1.8.0_131

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

保存后执行source /etc/profile

2. 配置ssh

ssh-keygen，一路回车就行。

3. 准备好 hadoop

在 hadoop 官网，下载 hadoop 3.1.1，并解压

一、单机模式

单机模式就是用单个进程运行一个 java 进程，配置简单，主要用作调试程序使用。参考官网配置即可：

二、伪分布式模式

Hadoop 可以在一个节点上模拟分布式的运行方式，通过 java 多进程的方式进行模拟。首先需要配置本机免密码登录，否则安装 hadoop 时会出现权限错误。

   $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

本次在 node1 上进行安装，配置步骤如下：

1. 配置 hadoop-env.sh

cd hodoop-3.1.1/etc/hadoop

vim hadoop-env.sh

在末尾添加：

export JAVA_HOME=/usr/java/jdk1.8.0_131
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

2. 配置 core-site.xml

默认配置项：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/core-default.xml

vim vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9820</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/peseudo</value>
    </property>
</configuration>

3. 配置 hdfs-site.xml

默认配置项：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node1:9868</value>
    </property>
</configuration>

4. 配置 workers

vim workers

修改为：

node1

5.启动 hadoop

按照官网步骤启动即可。

1) Format the filesystem:

  $ bin/hdfs namenode -format

2) Start NameNode daemon and DataNode daemon:

  $ sbin/start-dfs.sh

The hadoop daemon log output is written to the $HADOOP_LOG_DIR directory (defaults to $HADOOP_HOME/logs).

3) Browse the web interface for the NameNode; by default it is available at:

 NameNode - http://localhost:9870/

通过浏览器可以成功访问 hadoop，表示伪分布式集群搭建成功。

4) Make the HDFS directories required to execute MapReduce jobs:

  $ bin/hdfs dfs -mkdir /user
  $ bin/hdfs dfs -mkdir /user/<username>

5) Copy the input files into the distributed filesystem:

  $ bin/hdfs dfs -mkdir input
  $ bin/hdfs dfs -put etc/hadoop/*.xml input

6) Run some of the examples provided:

  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output 'dfs[a-z.]+'

7) Examine the output files: Copy the output files from the distributed filesystem to the local filesystem and examine them:

  $ bin/hdfs dfs -get output output
  $ cat output/*

or

View the output files on the distributed filesystem:

  $ bin/hdfs dfs -cat output/*

8) When you’re done, stop the daemons with:

  $ sbin/stop-dfs.sh