温馨提示:
若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具,使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。
离线包下载地址:CDH6.3.2 提取码:h1sv
准备三台服务器,修改主机名为 cdh01、cdh02、cdh03
主机规划即哪台机器上部署哪些软件。
cdh01/172.30.198.32 | cdh02/172.30.198.33 | cdh03/172.30.198.34 | |
---|---|---|---|
CM管理服务 | ✘ | ✘ | |
NameNode | ✘ | ✘ | |
DataNode | |||
SecondNameNode | ✘ | ✘ | |
ResourceManager | ✘ | ✘ | |
NodeManager | |||
JobHistory Server | ✘ | ✘ | |
Zookeeper | |||
Hive | ✘ | ✘ | |
Oozie | ✘ | ✘ | |
Hue | ✘ | ✘ | |
Sqoop | |||
Coordinator | ✘ | ✘ | |
Worker |
配置好对应主机的网络IP、主机名称、关闭防火墙。
三台主机全部都要配置
vim /etc/hosts
# cluster
172.30.198.32 cdh01 cdh01
172.30.198.33 cdh02 cdh02
172.30.198.34 cdh03 cdh03
sudo systemctl disable firewalld
sudo systemctl stop firewalld
1)检查SELinux状态
getenforce
如果输出是 Permissive
or Disabled
,可以跳过这一步
2)修改 SELINUX=enforcing 为 SELINUX=disabled
vim /etc/selinux/config
3)重新启动系统或运行以下命令立即禁用SELinux
setenforce 0
CDH6支持python2.7.5或者更低版本,centos7自带2.7.5版本,可以跳过此步骤。
配置cdh01对cdh01、cdh02、cdh03三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的,所以这里不需要配置SSH免密登录,但是为了我们分发文件方便,在这里我们也配置SSH。
1)生成公钥和私钥:
[[email protected]]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2)将公钥拷贝到要免密登录的目标机器上
[[email protected]]$ ssh-copy-id cdh01
[[email protected]]$ ssh-copy-id cdh02
[[email protected]]$ ssh-copy-id cdh03
3)重复1和2的操作,配置cdh02,cdh03对cdh01、cdh02、cdh03三台服务器免密登录。
需要使用官网提供的jdk
(1)在cdh01的/opt目录下创建software文件夹
[root@cdh01 opt]# mkdir software
(2)上传oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm并安装
[root@cdh01 software]# rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
[root@cdh01 software]# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
[root@cdh01 software]# source /etc/profile
[root@cdh01 software]# java -version
java version "1.8.0_181"
(3)分发,并source
[root@cdh01 software]# scp -r /usr/java/ cdh02:/usr/
[root@cdh01 software]# scp -r /usr/java/ cdh03:/usr/
[root@cdh01 software]# scp /etc/profile cdh02:/etc/
[root@cdh01 software]# scp /etc/profile cdh03:/etc/
[root@cdh02 software]# source /etc/profile
[root@cdh02 software]# java -version
[root@cdh03 software]# source /etc/profile
[root@cdh03 software]# java -version
注意:一定要用root用户操作如下步骤;先卸载MySQL再安装,点链大数据平台用的是PostgreSQL,后续再介绍PostgreSQL的安装部署。
1)安装包准备
(1)查看MySQL是否安装
[root@cdh01 ~]# rpm -qa|grep -i mysql
mysql-libs-5.1.73-7.el6.x86_64
(2)如果安装了MySQL,就先卸载
[root@cdh01 ~]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
(3),如果是用的阿里云服务器,需要删除阿里云原有MySql依赖
[root@cdh01 ~]# yum remove mysql-libs
(4)下载MySql依赖并安装
[root@cdh01 ~]# yum install libaio
[root@cdh01 ~]# yum -y install autoconf
[root@cdh01 software]# wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
[root@cdh01 software]# wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm
[root@cdh01 software]# rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm
[root@cdh01 software]# rpm -ivh MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
(4)上传mysql-libs.zip到cdh01的/opt/software目录,并解压文件到当前目录
[root@cdh01 software]# yum install unzip
[root@cdh01 software]# unzip mysql-libs.zip
(5)进入到mysql-libs文件夹下
[root@cdh01 mysql-libs]# ll
总用量 76048
-rw-r--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
-rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz
-rw-r--r--. 1 root root 55782196 3月 26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm
2)安装MySQL服务器
(1)安装MySQL服务端
[root@cdh01 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
(2)查看产生的随机密码
[root@cdh01 mysql-libs]# cat /root/.mysql_secret
OEXaQuS8IWkG19Xs
(3)查看MySQL状态
[root@cdh01 mysql-libs]# service mysql status
(4)启动MySQL
[root@cdh01 mysql-libs]# service mysql start
3)安装MySQL客户端
(1)安装MySQL客户端
[root@cdh01 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
(2)链接MySQL(密码替换成产生的随机密码)
[root@cdh02 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs
(3)修改密码
mysql>SET PASSWORD=PASSWORD('000000');
(4)退出MySQL
mysql>exit
4)MySQL中user表中主机配置
配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。
(1)进入MySQL
[root@cdh01 mysql-libs]# mysql -uroot -p000000
(2)显示数据库
mysql>show databases;
(3)使用MySQL数据库
mysql>use mysql;
(4)展示MySQL数据库中的所有表
mysql>show tables;
(5)展示user表的结构
mysql>desc user;
(6)查询user表
mysql>select User, Host, Password from user;
(7)修改user表,把Host表内容修改为%
mysql>update user set host='%' where host='localhost';
(8)删除root用户的其他host
mysql> delete from user where host!='%';
(9)刷新
mysql>flush privileges;
(10)退出
mysql>quit;
注意:如果用的是阿里云服务器则不用配置
- 卸载chrony
在CentOS7.x的操作系统上,已经默认的安装了chrony,我们这里先卸载chrony,然后安装ntp。使用ntp来配置各台机器的时钟同步。
所有节点卸载chrony
yum -y remove chrony
所有节点下载安装ntp服务
yum -y install ntp
Master节点修改 /etc/ntp.conf文件:
注释部分内容,添加以下内容:
server 127.127.1.0
fudge 127.127.1.0 stratum 10
集群其他节点修改/etc/ntp.conf文件如下:
启动ntpd服务并设置开机自启:
systemctl start ntpd
systemctl enable ntpd
systemctl status ntpd | grep Active
查看同步状态:
ntpq -p
1)创建各组件需要的数据库
mysql> GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
(1)将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java\路径下,并重命名
[root@cdh01 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz
[root@cdh01 mysql-libs]# cd mysql-connector-java-5.1.27
[root@cdh01 mysql-connector-java-5.1.27]# mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar
[root@cdh01 mysql-connector-java-5.1.27]# mkdir /usr/share/java
[root@cdh01 mysql-connector-java-5.1.27]# scp mysql-connector-java.jar /usr/share/java/
[root@cdh01 mysql-connector-java-5.1.27]# scp -r /usr/share/java/ cdh02:/usr/share/
[root@cdh01 mysql-connector-java-5.1.27]# scp -r /usr/share/java/ cdh03:/usr/share/
集群规划
节点 | cdh01 | cdh02 | cdh03 |
---|---|---|---|
服务 | cloudera-scm-server/cloudera-scm-agent | cloudera-scm-agent | cloudera-scm-agent |
(2)创建cloudera-manager目录,存放cdh安装文件
[root@cdh01 mysql-connector-java-5.1.27]# mkdir /opt/cloudera-manager
[root@cdh01 mysql-connector-java-5.1.27]# cd /opt/software/
[root@cdh01 software]# tar -zxvf cm6.3.1-redhat7.tar.gz
[root@cdh01 software]# cd cm6.3.1/RPMS/x86_64/
[root@cdh01 x86_64]# cp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@cdh01 x86_64]# cp cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@cdh01 x86_64]# cp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@cdh01 x86_64]# cd /opt/cloudera-manager/
[root@cdh01 cloudera-manager]# ll
total 1185876
-rw-r--r-- 1 2001 2001 10483568 Sep 25 2019 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r-- 1 2001 2001 1203832464 Sep 25 2019 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r-- 1 2001 2001 11488 Sep 25 2019 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
(3)安装cloudera-manager-daemons(所有节点),安装完毕后多出/opt/cloudera目录
[root@cdh01 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@cdh01 cloudera-manager]# cd /opt/cloudera
cloudera/ cloudera-manager/
[root@cdh01 cloudera-manager]# cd ..
[root@cdh01 opt]# scp -r /opt/cloudera-manager/ cdh02:/opt/
[root@cdh01 opt]# scp -r /opt/cloudera-manager/ cdh03:/opt/
[root@cdh02 ~]# cd /opt/cloudera-manager/
[root@cdh02 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@cdh03 ~]# cd /opt/cloudera-manager/
[root@cdh03 cloudera-manager]# rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
(4)安装cloudera-manager-agent(所有节点)
[root@cdh01 cloudera-manager]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
[root@cdh01 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
[root@cdh02 cloudera-manager]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
[root@cdh02 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
[root@cdh03 cloudera-manager]# yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
[root@cdh03 cloudera-manager]# rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
(5)安装agent的server节点
[root@cdh01 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=cdh01
[root@cdh02 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=cdh01
[root@cdh03 cloudera-manager]# vim /etc/cloudera-scm-agent/config.ini
server_host=cdh01
(6)安装cloudera-manager-server
[root@cdh01 cloudera-manager]# rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
(7)上传CDH包导parcel-repo
[root@cdh01 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@cdh01 parcel-repo]# ll
total 2033432
-rw-r--r-- 1 root root 2082186246 May 21 11:10 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
-rw-r--r-- 1 root root 40 May 21 10:56 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
-rw-r--r-- 1 root root 33887 May 21 10:56 manifest.json
[root@cdh01 parcel-repo]# mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
(8)修改server的db.properties
[root@cdh01 parcel-repo]# vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh01:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNAL
(9)初始化数据库
[root@cdh01 log]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm
(10)启动server服务
#启动server服务
[root@cdh01 software]# systemctl start cloudera-scm-server
#查看server状态
[root@cdh01 software]# systemctl status cloudera-scm-server
#查看server日志
[root@cdh01 software]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
(11)启动agent节点
#启动agent服务
[root@cdh01 software]# systemctl start cloudera-scm-agent
[root@cdh02 software]# systemctl start cloudera-scm-agent
[root@cdh03 software]# systemctl start cloudera-scm-agent
#查看agent状态
[root@cdh01 software]# systemctl status cloudera-scm-agent
#查看agent日志
[root@cdh01 software]# tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
访问: http://chd01:7180
[root@cdh01 software]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdh01 software]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@cdh02 software]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdh02 software]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@chd03 software]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdh03 software]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
全部选默认即可
关闭HDFS中的权限检查:dfs.permissions。
1)进入HDFS页面点击启用High Availability
2)命名
3)分配角色
4)审核更改
5)等待启动服务
1)添加服务
2)选择Sqoop 1 Client
3)选择所有主机(sqoop是客户端,只有在使用的时候才会占用资源)
4)自动安装
5)返回到首页查看安装完成
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf