目录
如果决意去做一件事,就不要问自己和别人值不值得,心甘情愿才能理所当然,理所当然才能义无反顾
微信搜索公众号码海无际或扫描左侧二维码回复c001获取,
如果不会请给我留言或者加QQ194760901找我索要
下载好以后里面有如下软件
直接双击就可以
安装位置你开心就好,我这里是默认的
到这里VM就安装完成了
首先打开控制面板
双击下面我选中的内容
给我选中的内容打勾并且双击
然后按照我下面的配置来操作
接下来打开VM虚拟机
按照我标的序号来
到这里VM网络就设置好了
把虚拟机名称改为master,安装位置你开心就好
按照我的配置来,把多余的移除了,这样可以保证虚拟机运行的速度
然后等待就好了,时间有点长
不要动,继续等待
设置为中文,你要是会其他语言当我没说
你可以从这里选择安装图形用户界面,我没选
这俩个都需要设置,设置完一定要记住
设置好就等待吧,时间有点长,不对,是超级长
然后重启
输入用户名和密码登陆
出来这个就成功了
登陆成功直接输入下面命令然后回车会出现下面内容
vi /etc/sysconfig/network-scripts/ifcfg-ens33
然后把里面的内容修改成下面的内容
按键盘i可以修改,修改好以后先按键盘Esc键,然后使用组合键Shift+: 最后输入wq然后回车就修改好了
如果看不清上面的看下面的
然后输入下面的内容重启网路
service network restart
出现上面的内容说明重启成功
然后ping一下自己的ip
ping 192.168.56.110
出现下面内容就说明成功了
这时你会发现虚拟机就跟喝了脉动似的,根本停不下来,其实按Ctrl+c就可以停下来了
然后输入shutdown now关机为下一步做准备
把虚拟机名称修改为slave0,位置你开心就好
这样slave0就复制好了,接下来用同样的方法复制slave1,这里我就不在演示了
首先打开slave0,然后登陆,密码和master一样
登陆成功直接输入下面命令然后回车会出现下面内容
vi /etc/sysconfig/network-scripts/ifcfg-ens33
然后把红色标记的地方修改成192.168.56.111,其余地方不修改
这样slave0就配置好了,用同样的方法配置slave1,把红色标记的地方修改成192.168.56.112
首先先把三台虚拟机关机
这样一台的就设置好了,另外俩台类似,我这里就不再演示
可以同时连接多台服务器,将多台服务器连接在一台机器上操作,这样就不用在每台服务器上进行操作,方便远程操作服务器;主要是对服务器进行命令操作
直接双击
安装位置你开心就好
到这里就安装成功了
名称随意,不过最好有意义;主机输入端口号
注意:链接之前记得把虚拟机开机
链接时需要输入用户名和密码,出现下面的内容就成功了
另外俩台操作一样,我这里不在演示
可以同时连接多台服务器,将多台服务器连接在一台机器上操作,这样就不用在每台服务器上进行操作,方便远程操作服务器;主要是对服务器进行文件传输操作
直接双击
安装位置你开心就好
到这里就安装成功了
配置完下面的不要点确定,点选项
出现下面内容就说明成功了
另外俩台操作类似,我这里就不演示了
首先打开并登陆master服务器
先查看防火墙状态
systemctl status firewalld.service
我标记的内容说明防火墙此时是开启状态
关闭防火墙
systemctl stop firewalld.service
该命令输入和执行后,终端不会有输出,要检查是否执行成功,可以再查看一次防火墙状态
出现我标记的内容说明关闭防火墙成功了
但是重启服务器时防火墙还会启动,所以还需要输入下面命令,防止重启服务器防火墙启动
systemctl disable firewalld.service
这样master的防火墙就关闭成功了,另外俩台也一样,我这里不做演示
先在master服务器上操作’,输入下面命令
vi /etc/sysconfig/network
修改成下面的内容
如果看不清上面请看下面
记得要把原来的内容删除掉
然后重新启动该主机,就会发现主机名被修改了
首先在master服务器输入下面命令
ssh-keygen -t rsa
然后按四次回车,出现下面内容
然后输入下面命令进入ssh文件夹
cd ~/.ssh
输入下面命令可以看文件夹里面的内容
ls -l
然后输入下面命令把公钥文件发送到自己和其它服务器
发送给自己
ssh-copy-id -i id_rsa.pub root@master
输入yes
输入密码
成功后出现下面内容
然后再分别发送给slave0和slave1
验证是否成功
在master服务器输入下面的命令,都不需要输入密码,就说明成功了,注意每执行完一条命令都用exit退出一下再执行下一条
ssh master
ssh slave0
ssh slave1
首先在master服务器的usr/local目录下新建一个java文件夹,用下面命令就可以完成
mkdir /usr/local/java
然后用Xftp连接master服务器,打开usr/local/java这个目录,把jdk-8u162-linux-x64.tar复制进去
接着用下面的命令进入到该目录
cd /usr/local/java
接着用下面的命令进行解压
tar -zxvf jdk-8u162-linux-x64.tar.gz
然后就解压好了
接下来开始配置环境变量,先用cd命令回到总目录
输入下面命令开始配置
vi /root/.bash_profile
按照我的配置来
看不清上面看下面
然后保存退出输入下面内容使环境变量生效
source /root/.bash_profile
然后输入java、javac和java -version验证,如果都出现一大堆代码说明配置成功了,如果其中有一个或多个出现不是内部或外部命令,也不是可运行的程序或批处理文件等类似语句,就说明配置失败了,需要重新配置jdk环境
这样就安装好master服务器的jdk了,但是还没有安装好slave0和slave1的jdk,我们可以用下面命令把master中的jdk复制到slave0上面
scp -r /usr/local/java root@slave0:/usr/local
这时已经把jdk复制到slave0了,但是slave0的环境变量还没有配置,我们同样可以使用下面命令来复制环境变量
scp -r /root/.bash_profile root@slave0:/root
然后在slave0中输入下面内容使环境变量生效
source /root/.bash_profile
这样 slave0中的jdk就安装成功了,slave1,与slave0类似,这里不做演示
先用下面的命令给opt文件夹中新建一个hapoop文件夹
mkdir /opt/hadoop
然后把hadoop-2.7.5复制到hadoop文件夹中
使用下面命令进入到hadoop文件夹
cd /opt/hadoop
使用下面命令把hadoop-2.7.5进行解压
tar -zxvf hadoop-2.7.5.tar.gz
使用下面命令把hadoop-2.7.5文件夹重命名成hadoop
mv hadoop-2.7.5 hadoop
该文件设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的,即使我们当前的系统设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前执行的环境当成远程服务器。所以这里设置的目的是确保Hadoop能正确的找到jdk。
先用cd回到主目录
然后输入下面命令进入该文件所在的文件夹
cd /opt/hadoop/hadoop/etc/hadoop
用ls就可以看到该文件
然后输入下面命令打开该文件
vi hadoop-env.sh
然后修改成下面的内容
export JAVA_HOME=/usr/local/java/jdk1.8.0_162/
core-site.xm所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可
vi core-site.xml
接着把下面命令写入<configuration></configuration>中,注释不用写
<!-- 指定Hadoop所使用的文件系统schema(URL),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的储存目录,默认是/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoopdata</value>
</property>
hdfs-site.xml所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可
vi hdfs-site.xml
接着把下面命令写入<configuration></configuration>中,注释不用写
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
yarn-site.xml所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可
vi yarn-site.xml
接着把下面命令写入<configuration></configuration>中,里面自带的注释不用删除
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
还是在/opt/hadoop/hadoop/etc/hadoop目录下(也就是上个文件所在的目录),有一个叫 mapred-site.xml.template的文件,把它复制到/opt/hadoop/hadoop/etc/hadoop目录下(也就是mapred-queues.xml.template文件所在的目录)重命名为mapred-site.xml,命令如下
mv mapred-site.xml.template mapred-site.xml
然后用下面命令打开该文件
vi mapred-site.xml
接着把下面命令写入<configuration></configuration>中,注释不用写
<!-- 指定mr运行时框架,这里指定在yarn上,默认是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
slaves所在的目录和上面的目录一样,所以直接使用下面命令打开该文件即可
vi slaves
先把localhost这行删除,然后把下面代码写进去
master
slave0
slave1
先用cd命令回到总目录
输入下面命令开始配置
vi /root/.bash_profile
把下面命令输入进去
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
然后保存退出输入下面内容使环境变量生效
source /root/.bash_profile
先用cd命令回到总目录
接着用下面命令新建目录
mkdir /opt/hadoop/hadoopdata
用下面命令就可以把master的Hadoop复制到slave0上
scp -r /opt/hadoop root@slave0:/opt
用下面命令把master的Hadoop复制到slave1上
scp -r /opt/hadoop root@slave1:/opt
接着用下面命令把master的环境变量复制到slave0上
scp -r /root/.bash_profile root@slave0:/root
然后在slave0中输入下面内容使环境变量生效
source /root/.bash_profile
slave1与slave0类似,这里不做演示
在master中输入下面命令格式化文件系统,其余俩台服务器不用,注意该命令只能使用一次
hadoop namenode -format
在master服务器上,先用下面命令进入Hadoop的sbin目录
cd /opt/hadoop/hadoop/sbin
然后输入下面命令启动
start-all.sh
在三台服务器分别输入jps可以判断是否启动成功,出现下面内容说明成功
只需要在master服务器输入下面命令即可
stop-all.sh
文章浏览阅读904次。分享一个可任意移动,任意旋转的J4关节移动相机标定算法。只需标定一次,相机就可以在任意位置且相机可以带旋转的进行拍照。简单方便。—Edited By Hugo部分代码如下截图:..._可动眼标定
文章浏览阅读332次。背包问题_while(t--) { for(i = 0; i < 10001; i++); }
文章浏览阅读543次。准备工作:CentOS系统,MySQL安装包(也可在系统在线下载)实验环境:腾讯云centos7.2 X64 , mysql-5.5.54描述:源码下载目录/src/;安装目录/usr/local/mysql/;目录可根据自己及的需求自定义一、远程连接到Linux服务器,二、创建mysql用户及所属mysql组不允许登录,在线下载mysql源码包,并解压,创建mysql用户及组不允许登录,可以使用..._centos mysql5.5 编译安装
文章浏览阅读6.1k次,点赞33次,收藏152次。问:本人零基础,想学FPGA,求有经验的人说说,我应该从哪入手,应该看什么教程,应该用什么学习板和开发板,看什么书等,希望有经验的好心人能够给我一些引导。如果想速成,那就..._密码学和图像处理哪个难
文章浏览阅读338次。题意:在N个城市选出K个城市,建飞机场(1 ≤ N ≤ 60,1 ≤ K ≤ N),N个城市给出坐标,选择这K个机场,使得从城市到距离自己最近的机场的 最大的距离 最小。输出这个最小值。思路:我居然想歪,歪到想到了模式识别的K均值算法,简直瞎搞2333333.(虽说和DLX一样都是暴力)DLX可重复覆盖+二分距离制关系表即可代码:kuangbin模板,注意爆_给定n个城市,选择k个城市
文章浏览阅读1.2w次。昨天下午“亚马逊海外购德国商店正式上线”的消息一出,网友不淡定了,在亚马逊微博话题#真德来了#底下,刷出了三千多条评论,九千多万阅读量(截至发稿)。有网友问,德系车能买么;有网友说,之前去德国旅游总要背几把刀回来,那质量杠杠的,这次应该可以直接上亚马逊海外购买德国刀了吧;还有网友吐槽,在国内真见不着功能键那么多的热水壶......没错,继美、日、英站点之后,亚马逊海外购上线了德国站_亚马逊海外购买什么意思
文章浏览阅读1.3k次。一、前言XML文件经常会被当做配置文件来使用,所以如何解析XML文件,也是一个必备skill。本文介绍如何用CMarkUp来解析XML文件,CMarkUp是一个不需要编译成动态库可以直接用的类。二、函数介绍2.1 bool CMarkup::Load( MCD_CSTR_FILENAME szFileName ) 加载xml文件,szFileName为文件名2.2 bool CMarkup::FindElem( MCD_CSTR szName ) 查找名为szName的元素或者节点2.3 _c++ cmarkup
文章浏览阅读141次。2.Kafka 高级2.1. 分区和副本机制2.1.1 分区写入策略生产者可以写入消息到同批次中,Kafka将会根据不同的策略分配到不同的分区中。分区策略主要3种:轮询分区策略这是一种默认的策略,也是采用最多的策略。它可以最大限度保证所有的消息平均分配到一个分区中。当生产者生产消息时,将key设置为 null, 则认为使用轮询算法均匀地分配分区。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yKkRTPXS-1604475558866)(_kafka生产者分区写入策略
文章浏览阅读4.6k次,点赞10次,收藏29次。1 回顾 :DQNDQN 笔记 State-action Value Function(Q-function)_UQI-LIUWJ的博客-程序员宅基地DQN是希望通过神经网络来学习Q(s,a)的结果,我们输入一个人状态s,通过DQN可以得到各个action对应的Q(s,a)通常用TD来求解DQN其中rt是实际进行交互得到的真实奖励,Q(s,a),是预测得到的价值函数(注:Q是fixed target network,所以qt和yt会稍有不同)在之前我们所说..._经验回放数组存满后为什么要删除旧的数据
文章浏览阅读2.2k次。算术的非标准模型包括无穷大自然数,是非标准分析的先驱。鲁宾逊无穷小微积分(超实数)就是传统微积分的非标准模型。深入学习、理解算术的非标准模型对于正确理解无穷小微积分是十分有益的。建议读者仔细研读本文附件。,袁萌 陈启清 12月10日附件:算术的非标准模型Non-Standard Models of ArithmeticAsher M. Kach1 May 20..._非标准算术模型
文章浏览阅读382次。题目描述:(学会使用hackbar)1.打开hackbar,用get方式传递a=1,如图所示2.勾选hackbar上的Enable post data,用post方式传递b=2,可获得flag,如图所示原理:X-Forwarded-For:简称XFF头,它代表客户端,也就是HTTP的请求端真实的IP,只有在通过了HTTP 代理或者负载均衡服务器时才会添加该项HTTP Referer..._hackbar xxf头
文章浏览阅读2.3k次。如何在Python中使用静态变量在计数转载:https://blog.csdn.net/sunshine_in_moon/article/details/51145843今天,在用Python写一个统计一个文件下有多少文件的小标本时,遇到了一个很棘手的问题。如何在Python中使用静态变量来计数。然后,就在网上一通查找,找的方法都是利用类的方法来实现静态变量。说实话没有看太懂,另外我想如果用类成员..._python3 静态计数