技术标签: 大数据之路
1.将hadoop-1.1.2.tar.gz放到/usr/local目录下 执行tar zxvf hadoop-1.1.2.tar.gz 解压到当前目录
2.为了方便访问重命名hadoop文件夹 执行 mv hadoop-1.1.2 hadoop
3.将hadoop路径加到环境变量中 vi /etc/profile 设置如下
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/local/jdk
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export HADOOP_HOME_WARN_SUPPRESS=1为了减少干扰信息
4.修改hadoop配置文件 hadoop-env.sh 在hadoop/conf/目录下 修改JAVA_HOME=/usr/local/jdk
5.修改hadoop配置文件 core-site.xml 在hadoop/conf/目录下 修改如下
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
6.修改hadoop配置文件 hdfs-site.xml 在hadoop/conf/目录下 修改如下
<configuration>
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>0.0.0.0:0</value>
</property>
<property>
<name>dfs.datanode.address</name>
<value>0.0.0.0:0</value>
</property>
<property>
<name>dfs.datanode.ipc.address</name>
<value>0.0.0.0:0</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:0</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
0.0.0.0:0代表任意地址和端口
7.修改hadoop配置文件 mapred-site.xml 在hadoop/conf/目录下 修改如下
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://hadoop1:9001</value>
<description>change your own hostname</description>
</property>
<property>
<name>mapred.job.tracker.http.address</name>
<value>0.0.0.0:50030</value>
</property>
<property>
<name>mapred.task.tracker.http.address</name>
<value>0.0.0.0:0</value>
</property>
</configuration>
8.masters文件内添加secondarynamenode主机 这里添加 hadoop2
9.slaves文件内添加从节点 这里添加
hadoop3
hadoop4
hadoop5
10.将hadoop文件夹复制到其他所有节点 scp -r hadoop/ hadoop2:/usr/local -r 代表递归复制
11.在hadoop1将hadoop格式化 执行命令 hadoop namenode -format
12.启动hadoop集群 执行 start-all.sh
VMware Workstation安装完Debian系统后,安装vmware tools的时候不停的报错:Setup is unable to find the "depmod" program on your machine. Please make sure it is installed. Do you want to specify the location of this pr...
是否撒旦法发生的发发
引用:https://www.cnblogs.com/chenxiaohei/p/6909652.htmlMySQL常用语句 一、连接MySQL 格式: mysql -h 主机地址 -u 用户名 -p 用户密码 1、例1:连接到本机上的MYSQL。 首先在打开DOS窗口,然后进入目录 mysql bin,再键入命令mysql -uroot -p,回车后提示你输密码,如果...
Ensemble Learning----基本的回归模型上一次有点没说完。聚类是无监督学习的一种,比如我们常见的k-means算法,不给出因变量,对自变量的取值进行聚类。回归是监督学习的一种方法,包含的内容非常多,比较基础的是线性回归,当线性回归不能解决问题时将线性回归的每个变量增加次数,成为多项式回归,如果将每个变量变成多项式,就成为了广义可加模型(GAM)。另外决策树、SVM(支持向量机)都是回归问题的解决方法。from sklearn import datasetsboston=datase
我们知道,计算机系统有两个时钟,一个是硬件时钟,一个是系统时钟,硬件时钟的工作原理就是电脑在开机运行的时候会给主板上的纽扣电池充电,关机后这块电池还为存放系统参数的CMOS、RAM供电,以保存其中的系统参数。系统参数包括硬盘类型、软盘驱动器、显示卡、键盘、鼠标、显示器等,反映了计算机设备的情况,还包括日期、时间等等,这有点扯远了。一、查看当前时区:[[email protected] ~]# cat /etc/sy...
一、安装和启动apt install openssh-server #安装openssh-serverservice ssh start #启动openssh-serverps -e |grep sshd #查看ssh服务是否启动 -e查看全部进程service ssh status #查看ssh运行状态设置开机启动,进入/et...
简介CoordinatorLayout是一种嵌套滑动控件,结合AppbarLayout, CollapsingToolbarLayout等 可 产生各种炫酷的折叠悬浮效果。本文参考文章CoordinatorLayout 学习(一) - CoordinatorLayout的基本使用使用作为最上层的View作为一个 容器与一个或者多个子View进行交互AppBarLayout如果我们想要实现折叠的Ac...
1.前言:移动端可以播放MP4文件格式,HTML5的video标签实现了播放器。但是在移动端上初始化显示界面不好看,所以,这里将video包装起来,界面至少不丑。&lt;!doctype html&gt;&lt;html lang="en"&gt; &lt;head&gt; &lt;title&gt;乐在工作&lt;/title&gt; &lt;meta charset="utf
最近工作中需要使用oracle发送带附件的邮件,在网上查了些资料,发现最简单的办法是使用oracle提供的utl_mail包发送邮件,但是由于该包没有提供smtp邮件服务器用户名密码的参数设置,所以如果smtp服务器需要验证,用这个方法似乎就行不通了,而且该方法仅适用于oracle10g及其以上版本。该方法参考至:http://www.cnblogs.com/xublogs/archive/201
$ cd ~/.ssh 检查本级有没有公钥 $ ls 查看包含文件 列表(可能会出现: id_rsa (私钥)、 id_rsa.pub(公钥)。。。) ,如果没有,需要创建: $ ssh-keygen之后用vim打开 id_rsa_pub: $ vim id_rsa_pub此时,你看到的就是所谓的公钥了,ok!!!现在是v
我的版本说明:redis服务端版本:redis_version:2.8.19jedis:&lt;dependency&gt; &lt;groupId&gt;redis.clients&lt;/groupId&gt; &lt;artifactId&gt;jedis&lt;/artifactId&gt; &lt;version&gt;2.8.0&lt;/version&gt;&
本文来自于知乎专栏:https://zhuanlan.zhihu.com/p/385350636说明:软件开发平台devcloud是持续集成(CI)持续部署(CD)工具;应用管理与运维平台servicestage用来管理多个运行环境(例如alpha开发、beta测试、gamma集成测试、prod生产)。devcloud关注软件的开发过程,servicestage关注运维过程。本文通过一个helloworld的例子,展示如何实现持续集成持续部署。本文的例子使用几行代码,打包成docke