腾讯云centos服务器上安装hadoop踩坑记-程序员宅基地

  1. 首先需要下载hadoop、jdk1.8

在本地下载好jdk1.8
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

hadoop的安装包:
链接:https://pan.baidu.com/s/1LkTMeLl0qRsuvSZJAUpzUA
提取码:tkmr

  1. 通过xftp上传的服务器,我上传的位置分别是:
    java路径
    /usr/java

hadoop路径
/usr/local

  1. 解压配置环境变量

解压Java

cd /usr/java
tar zxvf jdk-8u251-linux-x64.tar.gz

解压hadoop

cd /usr/local
tar zxvf hadoop-2.8.5.tar.gz
  1. 配置环境变量
vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

export HADOOP_HOME=/usr/local/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin
  1. 使之生效
source /etc/profile
  1. 修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件
<configuration>
    <!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>

fs.defaultFS直接用localhost就行,如果重命名了主机名,也可以用重命名的。

  1. 修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/hadoop/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据 </description>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/usr/hadoop/hdfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>


    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

     <property>
        <name>dfs.namenode.http.address</name>
       <value>slave1:50070</value>
     </property>
</configuration>
  1. SSH免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
  1. hdfs启动与停止

第一次启动hdfs需要格式化,之后启动就不需要的:

cd /usr/local/hadoop-2.8.5
./bin/hdfs namenode -format
  1. 启动命令和关闭命令
./sbin/start-dfs.sh # 启动命令
./sbin/stop-dfs.sh # 停止命令

这一步可能会出问题解决方案是:

cd /usr/local/hadoop-2.8.5/etc/hadoop
vi hadoop-env.sh

将如下位置修改为JAVA_HOME的路径

  1. 结果

  1. 从图中看,会启动namenode,datanode,secondarynamenode浏览器输入:http://129.211.85.92:50070/ 查看效果:

这一步可能会出问题参考方案:

https://blog.csdn.net/xingyue0422/article/details/85316822(我已经之前做了)
https://blog.csdn.net/wy7980/article/details/40710631?utm_source=blogxgwz5?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-2

  1. 接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml    。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template   重命名为mapred-site.xml 。如果不启动yarn,把重命名还原。
cd /usr/local/hadoop-2.8.5/etc/hadoop
mv mapred-site.xml.template mapred-site.xml
  1. vi mapred-site.xml
<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  1. vi yarn-site.xml
<configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
  1. 启动yarn

启动:

cd /usr/local/hadoop-2.8.5
./sbin/start-yarn.sh

停止:

./sbin/stop-yarn.sh

如图:

会启动resourcemanager,nodemanager

可以用jps命令查看启动了什么进程:

浏览器输入:http://129.211.85.92:8088 (8088是默认端口,如果端口占用,先把占用的端口杀掉 netstat -ano)

这样,dfs和yarn就启动成功了。

https://blog.csdn.net/cafebar123/article/details/73500014?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/k17041114/article/details/107032603

智能推荐

Linux x86-64 IOMMU详解(六)——Intel IOMMU参与下的DMA Coherent Mapping流程-程序员宅基地

文章浏览阅读3.2k次,点赞6次,收藏19次。在上一篇文章中,我们详细介绍了Intel IOMMU的初始化流程,并耗费大量笔墨讲述了此过程中Intel IOMMU与SWIOTLB二虎相争的故事。最终,SWIOTLB被禁用,而Intel IOMMU得以保留。现在,所有的DMA操作,都要经由Intel IOMMU了。本文将介绍Intel IOMMU在DMA Coherent Mapping过程中的作用。_linux x86-64 iommu详解

vue2.0实现富文本编辑及文本内容展示_vue显示富文本内容-程序员宅基地

文章浏览阅读1.4w次,点赞4次,收藏40次。vue2.0实现富文本编辑及文本内容展示_vue显示富文本内容

opentsDB单机版安装_opentsdb单机安装-程序员宅基地

文章浏览阅读694次。opentsDB单机版安装一、jdk安装1.下载https://www.oracle.com/technetwork/java/javase/downloads/index.html2.利用SecureCRT对服务器上传jdk,解压下载的jdk1.8.0_131tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local3.配置环境变量vi /..._opentsdb单机安装

【Latex】机器学习中的主要符号 LaTeX_latex sup-程序员宅基地

文章浏览阅读835次,点赞2次,收藏2次。\documentclass{article}\usepackage{ctex}\usepackage{amsmath}\usepackage{amssymb}\usepackage{wasysym}\usepackage{booktabs}\usepackage{fancyhdr} \pagestyle{fancy} \lhead{} \chead{} \rhead{..._latex sup

加拿大要把AI带上飞机,他们都准备干什么?-程序员宅基地

文章浏览阅读370次。随着旅客的日益增加、线路的不断开辟,空中航线变得愈加繁忙。相应的,航空公司之间的竞争日趋激烈,对飞机的检修维护等工作更显得不可开交。据国际航空运输协会(IATA)的数据显...

cmd/go: unsupported GOOS/GOARCH pair linux /amd64-程序员宅基地

文章浏览阅读7.8k次,点赞7次,收藏2次。windowds下编译go项目,执行如下操作时:SET CGO_ENABLED=0set GOARCH=amd64set GOOS=linuxgo build main.goset GOOS=linux这个操作的linux后面带了空格,编译器不能自动去掉空格,导致编译不过去。结束!..._go: unsupported goos/goarch pair linux /amd64

随便推点

tvp5150 若干问题,很好的解答_1.8v系统电压多高会复位-程序员宅基地

文章浏览阅读1.1k次。作者:德州仪器半导体技术(上海)有限公司 通用DSP 技术应用工程师 喻云峰1.简介TVP5150系列是一颗使用简易,超低功耗,封装极小的数字视频解码器。使用单一14.31818MHz时钟就可以实现PAL/NTSC/SECAM各种制式的解码,输出8-bit ITU-R BT.656数据,也可输出分离同步。MCU通过标准I2C接口控制TVP5150的诸多参数,比如色调,对比度,亮度,_1.8v系统电压多高会复位

matlab函数定义和调用-程序员宅基地

文章浏览阅读2.9w次,点赞13次,收藏87次。Matlab函数函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段。函数能提高应用的模块性,和代码的重复利用率。你已经知道Matlab提供了许多内建函数,比如disp()。但你也可以自己创建函数,这被叫做用户自定义函数matlabdisp(‘hello world’)hello world总的来说,自定义函数分为两步:即定义函数和调用函数。定义一个函数你可以定义一个由自己想要功能的函数,以下是简单的规则:函数代码块以 function关键词开头,后接输出变量和函数标识_matlab函数定义和调用

【JMeter4.0】安装及运行(windows环境)_jemeter 4.0 使用jdk20-程序员宅基地

文章浏览阅读975次。安装JDK安装及配置安装对应版本的java环境,配置好环境变量。版本对应关系参考下表:JMeter版本JDK版本4.01.8 or 1.93.2/3.31.8+3.0/3.11.7+JDK环境变量配置:“我的电脑”属性-&amp;amp;gt;高级-&amp;amp;gt;环境变量-&amp;amp;gt;在系统变量中添加以下变量及对应变量值变量名变量值_jemeter 4.0 使用jdk20

Python几个国内镜像_python镜像-程序员宅基地

文章浏览阅读2.5w次,点赞3次,收藏21次。Python国内镜像地址:1.阿里云:https://mirrors.aliyun.com/pypi/simple/2.豆瓣:https://pypi.douban.com/simple/3.清华大学:https://pypi.tuna.tsinghua.edu.cn/simple/(推荐)4.中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/5.华中理工大学:http://pypi.hustunique.com/6.山东理工大学:http://py_python镜像

TCP Thin-Stream连接_tcp_thin_linear_timeouts-程序员宅基地

文章浏览阅读953次。Thin-stream属性,意味着应用程序以很低的速率发送数据,致使TCP等传输协议的重传机制不能有效的运行。一些场景(类似于在线游戏,控制系统,股票交易等)中,用户体验取决于数据的发送时延,报文丢失对于服务质量来说是灾难性的。极大的时延是由于TCP依赖于应用程序新的报文的发送,进而通过快速重传来启动丢失报文的重传,而不用等待较长时间的RTO超时。以上提到的时间敏感的交互应用,通常是会产生thi..._tcp_thin_linear_timeouts

linux下查看端口占用情况、查看所有tcp端口情况_linux 机器如何查看大量处于tcp_wait 的端口是哪个-程序员宅基地

文章浏览阅读2w次,点赞3次,收藏17次。1、linux下查看所有占用端口情况netstat -ntlp2、查看所有某个端口使用情况,如80端口。netstat -ntulp |grep 803、查看一台服务器上面哪些服务及端口。netstat -lanp4、查看一个服务有几个端口,比如要查看mysqld。ps -ef |grep mysqldnetstat命令各个参数说明如下:-a..._linux 机器如何查看大量处于tcp_wait 的端口是哪个