Hadoop环境搭建_xftp连接master服务器,打开usr/local/java这个目录,jdk-8u162-lin-程序员宅基地

技术标签: Hadoop  hadoop  big data  

目录

零、码仙励志

一、百度云下载需要的软件

 二、安装VM

三、VM网络设置

四、安装CentOS7

五、master网络配置

六、从master克隆slave0和slave1

七、slave0和slave1网络配置

八、同步时间

九、Xshell5的安装与使用

1.Xshell5的作用

2.Xshell5的安装

3.Xshell5的使用​

十、Xftp5的安装与使用

1.Xftp5的作用

2.Xftp5的安装

3.Xftp5的使用

十一、关闭防火墙

十二、设置主机名

十三、hosts设置

十四、免密钥登陆配置

十五、安装JDK

十六、Hadoop安装与环境配置

1.配置hadoop-env.sh

2.配置core-site.xml

3.配置hdfs-site.xml

4.配置yarn-site.xml

5.配置mapred-site.xml

6.配置slaves

7.配置Hadoop环境变量

8.新建Hadoop运行时产生文件的储存目录

9.给slave0和slave1复制Hadoop

10.格式化文件系统

11.启动Hadoop

12.关闭Hadoop


零、码仙励志

如果决意去做一件事,就不要问自己和别人值不值得,心甘情愿才能理所当然,理所当然才能义无反顾

一、百度云下载需要的软件

微信搜索公众号码海无际或扫描左侧二维码回复c001获取,

如果不会请给我留言或者加QQ194760901找我索要

下载好以后里面有如下软件

 二、安装VM

直接双击就可以

安装位置你开心就好,我这里是默认的

 

 

到这里VM就安装完成了

三、VM网络设置

首先打开控制面板

双击下面我选中的内容

给我选中的内容打勾并且双击

然后按照我下面的配置来操作

接下来打开VM虚拟机

按照我标的序号来

到这里VM网络就设置好了

四、安装CentOS7

把虚拟机名称改为master,安装位置你开心就好

按照我的配置来,把多余的移除了,这样可以保证虚拟机运行的速度

然后等待就好了,时间有点长

不要动,继续等待

设置为中文,你要是会其他语言当我没说

你可以从这里选择安装图形用户界面,我没选

这俩个都需要设置,设置完一定要记住

设置好就等待吧,时间有点长,不对,是超级长

然后重启

输入用户名和密码登陆

出来这个就成功了

五、master网络配置

登陆成功直接输入下面命令然后回车会出现下面内容

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后把里面的内容修改成下面的内容

按键盘i可以修改,修改好以后先按键盘Esc键,然后使用组合键Shift+:  最后输入wq然后回车就修改好了

如果看不清上面的看下面的

然后输入下面的内容重启网路

service network restart

出现上面的内容说明重启成功

然后ping一下自己的ip

ping 192.168.56.110

出现下面内容就说明成功了

这时你会发现虚拟机就跟喝了脉动似的,根本停不下来,其实按Ctrl+c就可以停下来了

然后输入shutdown  now关机为下一步做准备

六、从master克隆slave0和slave1

把虚拟机名称修改为slave0,位置你开心就好

这样slave0就复制好了,接下来用同样的方法复制slave1,这里我就不在演示了

七、slave0和slave1网络配置

首先打开slave0,然后登陆,密码和master一样

登陆成功直接输入下面命令然后回车会出现下面内容

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后把红色标记的地方修改成192.168.56.111,其余地方不修改

这样slave0就配置好了,用同样的方法配置slave1,把红色标记的地方修改成192.168.56.112

八、同步时间

首先先把三台虚拟机关机

这样一台的就设置好了,另外俩台类似,我这里就不再演示

九、Xshell5的安装与使用

1.Xshell5的作用

可以同时连接多台服务器,将多台服务器连接在一台机器上操作,这样就不用在每台服务器上进行操作,方便远程操作服务器;主要是对服务器进行命令操作

2.Xshell5的安装

直接双击

安装位置你开心就好

到这里就安装成功了

3.Xshell5的使用

名称随意,不过最好有意义;主机输入端口号

注意:链接之前记得把虚拟机开机

链接时需要输入用户名和密码,出现下面的内容就成功了

另外俩台操作一样,我这里不在演示

十、Xftp5的安装与使用

1.Xftp5的作用

可以同时连接多台服务器,将多台服务器连接在一台机器上操作,这样就不用在每台服务器上进行操作,方便远程操作服务器;主要是对服务器进行文件传输操作

2.Xftp5的安装

直接双击

安装位置你开心就好

到这里就安装成功了

3.Xftp5的使用

配置完下面的不要点确定,点选项

出现下面内容就说明成功了

另外俩台操作类似,我这里就不演示了

十一、关闭防火墙

首先打开并登陆master服务器

先查看防火墙状态

systemctl status firewalld.service

 我标记的内容说明防火墙此时是开启状态

关闭防火墙

systemctl stop firewalld.service

该命令输入和执行后,终端不会有输出,要检查是否执行成功,可以再查看一次防火墙状态

出现我标记的内容说明关闭防火墙成功了

但是重启服务器时防火墙还会启动,所以还需要输入下面命令,防止重启服务器防火墙启动

systemctl disable firewalld.service

这样master的防火墙就关闭成功了,另外俩台也一样,我这里不做演示

十二、设置主机名

先在master服务器上操作’,输入下面命令

vi /etc/sysconfig/network

修改成下面的内容

如果看不清上面请看下面

记得要把原来的内容删除掉 

 

然后重新启动该主机,就会发现主机名被修改了

十三、hosts设置

 

十四、免密钥登陆配置

首先在master服务器输入下面命令

ssh-keygen -t rsa

然后按四次回车,出现下面内容

然后输入下面命令进入ssh文件夹

cd ~/.ssh

输入下面命令可以看文件夹里面的内容

ls -l

然后输入下面命令把公钥文件发送到自己和其它服务器

发送给自己

ssh-copy-id -i id_rsa.pub root@master

输入yes 

输入密码

成功后出现下面内容

然后再分别发送给slave0和slave1

验证是否成功

在master服务器输入下面的命令,都不需要输入密码,就说明成功了,注意每执行完一条命令都用exit退出一下再执行下一条

ssh master
ssh slave0
ssh slave1

十五、安装JDK

首先在master服务器的usr/local目录下新建一个java文件夹,用下面命令就可以完成

mkdir /usr/local/java

然后用Xftp连接master服务器,打开usr/local/java这个目录,把jdk-8u162-linux-x64.tar复制进去

接着用下面的命令进入到该目录

cd /usr/local/java

接着用下面的命令进行解压

tar -zxvf jdk-8u162-linux-x64.tar.gz

然后就解压好了

接下来开始配置环境变量,先用cd命令回到总目录

输入下面命令开始配置

vi /root/.bash_profile

按照我的配置来

看不清上面看下面

然后保存退出输入下面内容使环境变量生效

source /root/.bash_profile

然后输入java、javac和java -version验证,如果都出现一大堆代码说明配置成功了,如果其中有一个或多个出现不是内部或外部命令,也不是可运行的程序或批处理文件等类似语句,就说明配置失败了,需要重新配置jdk环境

这样就安装好master服务器的jdk了,但是还没有安装好slave0和slave1的jdk,我们可以用下面命令把master中的jdk复制到slave0上面

scp -r /usr/local/java root@slave0:/usr/local

这时已经把jdk复制到slave0了,但是slave0的环境变量还没有配置,我们同样可以使用下面命令来复制环境变量

scp -r /root/.bash_profile root@slave0:/root

然后在slave0中输入下面内容使环境变量生效

source /root/.bash_profile

这样 slave0中的jdk就安装成功了,slave1,与slave0类似,这里不做演示

十六、Hadoop安装与环境配置

先用下面的命令给opt文件夹中新建一个hapoop文件夹

mkdir /opt/hadoop

然后把hadoop-2.7.5复制到hadoop文件夹中

使用下面命令进入到hadoop文件夹

cd /opt/hadoop

使用下面命令把hadoop-2.7.5进行解压

tar -zxvf hadoop-2.7.5.tar.gz

使用下面命令把hadoop-2.7.5文件夹重命名成hadoop

mv hadoop-2.7.5 hadoop

1.配置hadoop-env.sh

该文件设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的,即使我们当前的系统设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前执行的环境当成远程服务器。所以这里设置的目的是确保Hadoop能正确的找到jdk。

先用cd回到主目录

然后输入下面命令进入该文件所在的文件夹

cd /opt/hadoop/hadoop/etc/hadoop

用ls就可以看到该文件

然后输入下面命令打开该文件

vi hadoop-env.sh

然后修改成下面的内容

export JAVA_HOME=/usr/local/java/jdk1.8.0_162/

2.配置core-site.xml

core-site.xm所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可

vi core-site.xml

接着把下面命令写入<configuration></configuration>中,注释不用写

<!-- 指定Hadoop所使用的文件系统schema(URL),HDFS的老大(NameNode)的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的储存目录,默认是/tmp/hadoop-${user.name} -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/hadoop/hadoopdata</value>
</property>

3.配置hdfs-site.xml

hdfs-site.xml所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可

vi hdfs-site.xml

接着把下面命令写入<configuration></configuration>中,注释不用写

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

4.配置yarn-site.xml

yarn-site.xml所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可

vi yarn-site.xml

接着把下面命令写入<configuration></configuration>中,里面自带的注释不用删除

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:18040</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:18030</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:18025</value>
</property>
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:18141</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>master:18088</value>
</property>

5.配置mapred-site.xml

还是在/opt/hadoop/hadoop/etc/hadoop目录下(也就是上个文件所在的目录),有一个叫 mapred-site.xml.template的文件,把它复制到/opt/hadoop/hadoop/etc/hadoop目录下(也就是mapred-queues.xml.template文件所在的目录)重命名为mapred-site.xml,命令如下

mv mapred-site.xml.template mapred-site.xml

然后用下面命令打开该文件

vi mapred-site.xml

接着把下面命令写入<configuration></configuration>中,注释不用写

<!-- 指定mr运行时框架,这里指定在yarn上,默认是local -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

6.配置slaves

slaves所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可

vi slaves

先把localhost这行删除,然后把下面代码写进去

master
slave0
slave1

7.配置Hadoop环境变量

先用cd命令回到总目录

输入下面命令开始配置

vi /root/.bash_profile

把下面命令输入进去

export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后保存退出输入下面内容使环境变量生效

source /root/.bash_profile

8.新建Hadoop运行时产生文件的储存目录

先用cd命令回到总目录

接着用下面命令新建目录

mkdir /opt/hadoop/hadoopdata

9.给slave0和slave1复制Hadoop

用下面命令就可以把master的Hadoop复制到slave0上

scp -r /opt/hadoop root@slave0:/opt

用下面命令把master的Hadoop复制到slave1上

scp -r /opt/hadoop root@slave1:/opt

接着用下面命令把master的环境变量复制到slave0上

scp -r /root/.bash_profile root@slave0:/root

然后在slave0中输入下面内容使环境变量生效

source /root/.bash_profile

slave1与slave0类似,这里不做演示

10.格式化文件系统

在master中输入下面命令格式化文件系统,其余俩台服务器不用,注意该命令只能使用一次

hadoop namenode -format

11.启动Hadoop

在master服务器上,先用下面命令进入Hadoop的sbin目录

cd /opt/hadoop/hadoop/sbin

然后输入下面命令启动

start-all.sh

在三台服务器分别输入jps可以判断是否启动成功,出现下面内容说明成功

12.关闭Hadoop

只需要在master服务器输入下面命令即可

stop-all.sh

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tswc_byy/article/details/83890297

智能推荐

【4】机器人手眼标定:J4关节移动相机标定算法_可动眼标定-程序员宅基地

文章浏览阅读904次。分享一个可任意移动,任意旋转的J4关节移动相机标定算法。只需标定一次,相机就可以在任意位置且相机可以带旋转的进行拍照。简单方便。—Edited By Hugo部分代码如下截图:..._可动眼标定

HDU 1114_while(t--) { for(i = 0; i < 10001; i++); }-程序员宅基地

文章浏览阅读332次。背包问题_while(t--) { for(i = 0; i < 10001; i++); }

CentOS MySQL5.5编译安装_centos mysql5.5 编译安装-程序员宅基地

文章浏览阅读543次。准备工作:CentOS系统,MySQL安装包(也可在系统在线下载)实验环境:腾讯云centos7.2 X64 , mysql-5.5.54描述:源码下载目录/src/;安装目录/usr/local/mysql/;目录可根据自己及的需求自定义一、远程连接到Linux服务器,二、创建mysql用户及所属mysql组不允许登录,在线下载mysql源码包,并解压,创建mysql用户及组不允许登录,可以使用..._centos mysql5.5 编译安装

很多人觉得FPGA难学,因为他们没总结出数电的尽头是模电!-程序员宅基地

文章浏览阅读6.1k次,点赞33次,收藏152次。问:本人零基础,想学FPGA,求有经验的人说说,我应该从哪入手,应该看什么教程,应该用什么学习板和开发板,看什么书等,希望有经验的好心人能够给我一些引导。如果想速成,那就..._密码学和图像处理哪个难

HDU 5046 Airport (DLX可重复覆盖+二分)_给定n个城市,选择k个城市-程序员宅基地

文章浏览阅读338次。题意:在N个城市选出K个城市,建飞机场(1 ≤ N ≤ 60,1 ≤ K ≤ N),N个城市给出坐标,选择这K个机场,使得从城市到距离自己最近的机场的 最大的距离 最小。输出这个最小值。思路:我居然想歪,歪到想到了模式识别的K均值算法,简直瞎搞2333333.(虽说和DLX一样都是暴力)DLX可重复覆盖+二分距离制关系表即可代码:kuangbin模板,注意爆_给定n个城市,选择k个城市

亚马逊海外购德国馆上线了,这次什么值得买?-程序员宅基地

文章浏览阅读1.2w次。昨天下午“亚马逊海外购德国商店正式上线”的消息一出,网友不淡定了,在亚马逊微博话题#真德来了#底下,刷出了三千多条评论,九千多万阅读量(截至发稿)。有网友问,德系车能买么;有网友说,之前去德国旅游总要背几把刀回来,那质量杠杠的,这次应该可以直接上亚马逊海外购买德国刀了吧;还有网友吐槽,在国内真见不着功能键那么多的热水壶......没错,继美、日、英站点之后,亚马逊海外购上线了德国站_亚马逊海外购买什么意思

随便推点

C++解析XML文件(一、 CMarkUp的使用)_c++ cmarkup-程序员宅基地

文章浏览阅读1.3k次。一、前言XML文件经常会被当做配置文件来使用,所以如何解析XML文件,也是一个必备skill。本文介绍如何用CMarkUp来解析XML文件,CMarkUp是一个不需要编译成动态库可以直接用的类。二、函数介绍2.1 bool CMarkup::Load( MCD_CSTR_FILENAME szFileName ) 加载xml文件,szFileName为文件名2.2 bool CMarkup::FindElem( MCD_CSTR szName ) 查找名为szName的元素或者节点2.3 _c++ cmarkup

Kafka分区、副本机制(二)_kafka生产者分区写入策略-程序员宅基地

文章浏览阅读141次。2.Kafka 高级2.1. 分区和副本机制2.1.1 分区写入策略生产者可以写入消息到同批次中,Kafka将会根据不同的策略分配到不同的分区中。分区策略主要3种:轮询分区策略这是一种默认的策略,也是采用最多的策略。它可以最大限度保证所有的消息平均分配到一个分区中。当生产者生产消息时,将key设置为 null, 则认为使用轮询算法均匀地分配分区。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yKkRTPXS-1604475558866)(_kafka生产者分区写入策略

强化学习笔记 experience replay 经验回放_经验回放数组存满后为什么要删除旧的数据-程序员宅基地

文章浏览阅读4.6k次,点赞10次,收藏29次。1 回顾 :DQNDQN 笔记 State-action Value Function(Q-function)_UQI-LIUWJ的博客-程序员宅基地DQN是希望通过神经网络来学习Q(s,a)的结果,我们输入一个人状态s,通过DQN可以得到各个action对应的Q(s,a)通常用TD来求解DQN其中rt是实际进行交互得到的真实奖励,Q(s,a),是预测得到的价值函数(注:Q是fixed target network,所以qt和yt会稍有不同)在之前我们所说..._经验回放数组存满后为什么要删除旧的数据

算术的非标准模型(修改稿)_非标准算术模型-程序员宅基地

文章浏览阅读2.2k次。算术的非标准模型包括无穷大自然数,是非标准分析的先驱。鲁宾逊无穷小微积分(超实数)就是传统微积分的非标准模型。深入学习、理解算术的非标准模型对于正确理解无穷小微积分是十分有益的。建议读者仔细研读本文附件。,袁萌 陈启清 12月10日附件:算术的非标准模型Non-Standard Models of ArithmeticAsher M. Kach1 May 20..._非标准算术模型

2020.3.19 XCTF的基础题_hackbar xxf头-程序员宅基地

文章浏览阅读382次。题目描述:(学会使用hackbar)1.打开hackbar,用get方式传递a=1,如图所示2.勾选hackbar上的Enable post data,用post方式传递b=2,可获得flag,如图所示原理:X-Forwarded-For:简称XFF头,它代表客户端,也就是HTTP的请求端真实的IP,只有在通过了HTTP 代理或者负载均衡服务器时才会添加该项HTTP Referer..._hackbar xxf头

如何在Python中使用静态变量在计数_python3 静态计数-程序员宅基地

文章浏览阅读2.3k次。如何在Python中使用静态变量在计数转载:https://blog.csdn.net/sunshine_in_moon/article/details/51145843今天,在用Python写一个统计一个文件下有多少文件的小标本时,遇到了一个很棘手的问题。如何在Python中使用静态变量来计数。然后,就在网上一通查找,找的方法都是利用类的方法来实现静态变量。说实话没有看太懂,另外我想如果用类成员..._python3 静态计数