技术标签: cloudera Linux Hadoop hadoop big data 大数据 云计算
目录
因为内存只有8G,放弃
华为RH2288 V3服务器(共64G内存)
VM15虚拟机 3台(每台16G内存)
Centos7.6操作系统
CDH/CM 5.12.1
MySQL 5.7
JDK 1.8
1、配置ssh免密码连接
2、安装JDK1.8
3、安装MySQL
4、关闭SELINUX
5、下载第三方依赖
6、创建CM用的数据库
7、CM安装部署
1、下载依赖时报错,各个下载地址都报错404
2、在mysql中创建cm库时报错
3、启动 CM Agent服务时报错:1、Python2.6没有找到;2、空间不足;3、Zlib无法解压
1、可能是CDH、MySQL和Centos7.6互相之间不兼容
2、Python没有安装2.6版本,Centos7.6自带的是2.7
3、磁盘不足,当时磁盘剩余空间只有5G(20G)了
华为Magic book 14(共8G内存)
VM15虚拟机 3台(每台2G内存)
Centos7.6操作系统
CDH/CM 6.3.1
JDK 1.8
MySQL 5.7.30
1、安装cdh100
2、配置静态IP地址,VM NAT桥接,永久关闭防火墙
3、安装JDK 1.8
4、关闭selinux
5、配置xsync脚本
6、克隆cdh101、cdh102
7、设置ssh免密码登录
8、部署 NTP 服务器进行时间同步
9、配置本地 CM 仓库
10、配置本地 CDH 仓库
11、构建 yum 源
12、MySQL安装
13、MySQL数据库创建
14、MySQL驱动包导入
15、安装 CM Server 和 Agent
16、建立CM的数据库
17、启动 CM Server
18、访问CM
19、在CM中安装CDH
20、操作各个组件
1、浏览器访问不到CM和CDH仓库
原因:没有按照规定路径/var/www/html/...创建目录
2、构建yum镜像源时,yum clean all和yum makecache无法识别
原因:未知,删掉就不报错了
3、在MySQL的SCM数据库创建时报错:
Your password does not satisfy the current policy requirements
原因:密码太简单了,修改难一点为Scm@#123后解决
4、主节点安装CM时报错:
错误:软件包:2:postfix-2.10.1-6.el7.x86_64 (base)
需要:libmysqlclient.so.18(libmysqlclient_18)(64bit)
错误:软件包:2:postfix-2.10.1-6.el7.x86_64 (base)
需要:libmysqlclient.so.18()(64bit)
您可以尝试添加 --skip-broken 选项来解决该问题 您可以尝试执行:rpm -Va --nofiles --nodigest
原因:卸载了原本自带的mariadb安装了自己的MySQL,下载并安装Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm 包后问题解决
5、所有从节点安装CM时报错:
原因:没有配置本地yum源,配置后解决
6、建立CM的数据库时报错:
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
原因:MySQL驱动位置没有放正确,应放在/usr/share/java/目录下
7、CM Server启动后浏览器访问不到
原因:是在Windows系统的火狐浏览器访问不到,但是在虚拟机自带的火狐浏览器中可以访问得到
8、CDH安装检查报错,根据提示处理即可
1、报错较多,都是前两次搭建时遇到但是没有解决的问题,但是这次遇见问题后,查看了cloudera官网的6.3.1搭建指南,成功找到相应错误并解决
2、CM和CDH都安装成功后,集群启动成功,但是有很多黄色警告,其中还有一段时间后变为红色报错的
3、在服务器上搭建成功一次后,将虚拟机全部删除掉,再从头到尾连续搭建成功一次,并记录相应错误,重点在解决CDH集群的相应黄色警告上
华为RH2288 V3(共64G内存)
VM15虚拟机 3台(每台16G内存)
Centos7.6操作系统
CDH/CM 6.3.1
JDK 1.8
MySQL 5.7.30
1、安装cdh100
2、配置静态IP地址,VM NAT桥接,永久关闭防火墙
3、安装JDK 1.8
4、关闭selinux
5、配置xsync脚本
6、克隆cdh101、cdh102
7、设置ssh免密码登录
8、部署 NTP 服务器进行时间同步
9、配置本地 CM 仓库
10、配置本地 CDH 仓库
11、构建 yum 源
12、MySQL安装
13、MySQL数据库创建
14、MySQL驱动包导入
15、安装 CM Server 和 Agent
16、建立CM的数据库
17、启动 CM Server
18、访问CM
19、安装CDH
20、CDH设计
21、首次运行CDH
22、红标故障排查
23、黄标警告排查
24、CDH集群使用
1、建立CM的数据库报错:ERROR JDBC Driver com.mysql.jdbc.Driver not found.
2、检查器结果报错1:已启用透明大页面压缩,可能会导致重大性能问题
3、检查器结果报错2:Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10
4、数据库设置时报错:JDBC driver cannot be found. Unable to find the JDBC database jar on host : cdh102.
5、首次运行HDFS报错:Failed to format NameNode
6、HDFS启动后报错:副本不足的块,群集中有 1,827 个 副本不足的块 块。群集中共有 1,832 个块。百分比 副本不足的块: 99.73%。 临界阈值:40.00%。
7、主机报错:网络接口速度,以下网络接口似乎未以全速运行:virbr0-nic。
8、HBase报错:群集连接,该 RegionServer 当前未连接至其 cluster。
9、HDFS告警:9 DataNodes are required for the erasure coding policies: RS-6-3-1024k.
10、HDFS告警:Service hdfs has 1 DataNode,Cloudera suggests at least 3 DataNode for HDFS.
11、主机告警:主机 cdh102 上的内存被调拨过度。
12、HBase报错:RegionServer 运行状况,运行良好的 RegionServer:0,存在隐患的 RegionServer:0。
13、HDFS告警:Java Heap Size of NameNode in Bytes is recommended to be at least 1GB for every million HDFS blocks.
14、HDFS告警:NameNode and SecondaryNameNode have different heapsizes
15、Hive告警:Hive: Spark Executor Cores,1 小于 4 建议的最小值。
16、Hive告警:HiveServer2 (cdh102): Spark Executor Cores,1 小于 4 建议的最小值。
17、Hue告警:The health test result for HUE_HUE_SERVERS_HEALTHY has become concerning: Healthy Hue Server: 0. C
18、Hue告警:Thrift Server role must be configured in HBase service to use the Hue HBase Browser application.
19、Hue告警:HBase Thrift Server Suppress...
20、ZK告警:ZooKeeper: Service zookeeper has 1 Server,Cloudera suggests at least 3 Servers for ZooKeeper.
21、CM告警:Java Heap Size of Host Monitor in Bytes,推荐的堆大小为 1.0 GiB 字节,大于配置 591.0 MiB
22、CM告警:Maximum Non-Java Memory of Host Monitor ,建议的非 Java 内存大小为 2.0 GiB,大于配置 1.2 GiB
23、CM告警:Cloudera Management Service: Java Heap Size of Service Monitor in Bytes,推荐的堆大小为 2.0 GiB 字节,大于配置 1.6 GiB
24、CM告警:Maximum Non-Java Memory of Service Monitor ,建议的非 Java 内存大小为 12.0 GiB,大于配置 11.2 GiB
25、CM告警:Cloudera Manager Server GC cpu usage is at 10% or more of total process time
26、切换不了为HDFS用户:This account is currently not available
1、在建立CM数据库时需要小心,经常都会报错
2、本次搭建过程中,安装过程没有报太多错,精力主要还是花费在CDH安装后的消除红标和黄标错误上,就是运维
3、本次使用的3台节点,但是有一台是CM-Server,只有两台是CM-Agent,相当于只有一个DN,完全达不到官方的推荐要求。所以下一次搭建,我打算用两台服务器,共128G,然后安装10台节点,每台8G,进行CM、CDH集群的搭建
文章浏览阅读1k次。一.Bootstrap简介1.什么是BootstrapBootstrap 是全球最受欢迎的前端组件库,用于开发响应式布局、移动设备优先的 WEB 项目。Bootstrap4 目前是 Bootstrap 的最新版本,是一套用于 HTML、CSS 和 JS 开发的开源工具集。2.Bootstrap的来源Bootstrap是美国Twitter公司的设计师Mark Otto和Jacob Thornton合作基于HTML、CSS、JavaScript开发的简洁、直观、强悍的前端开发框架,使得 W._bootstrap4的好处
文章浏览阅读264次。208 . 实现 Trie (前缀树)题目:实现一个 Trie (前缀树),包含 insert, search, 和 startsWith 这三个操作。示例:Trie trie = new Trie();trie.insert(“apple”);trie.search(“apple”); // 返回 truetrie.search(“app”); // 返回 falsetrie.startsWith(“app”); // 返回 truetrie.insert(“app”);tr
文章浏览阅读6.6k次,点赞6次,收藏12次。(对于自然数N的阶乘,当N比较小时,可以32位整数int范围内准确表示 。例如12!=479001600<2147483647(231-1) 而20!=2432902008176640000<9223372036854775807(263-1)可以在64位整数long long int范围内准确表示 ,但是N取值更大时,N!只能使用浮点数计算,从而产生误差 )题目描述已知正整数N(N..._阶乘和高精度
文章浏览阅读638次。一.用到软件 1.FontCvtST.exe 2.U2C.exe 下载地址:https://i.cnblogs.com/Files.aspx二.转换1.新建文本文档,在文本文档中写入所需要用的字或词语,注意:根据用到的字或者词语,每个换行,方便后面使用,如下图2.将文本文档另存为UNICODE格式的新文本文档,备用;并将原文档再另存为UTF-8格式的新文..._st emwin修改字库
文章浏览阅读9.8k次,点赞4次,收藏4次。把.ico文件放在根目录下的static文件夹下,然后link标签引入 <link rel="shortcut icon" href="./static/favicon.ico">_vue项目页面左上角小图标怎么修改
文章浏览阅读1.5k次。V3应用层加密应用层透明加密技术俗称钩子透明加密技术。这种技术就是将两种技术(应用层API和Hook)组合而成的。通过windows的钩子技术,监控应用程序对文件的打开和保存,当打开文件时,先将密文转换后再让程序读入内存,保证程序读到的是明文,而在保存时,又将内存中的明文加密后再写入到磁盘中。应用层透明加密(钩子透明加密)技术与应用程序密切相关,它是通过监控应用程序的启动而启动的。V4驱动层加密基于windows的文件系统(过滤)驱动(IFS)技术,工作在windows的内核层。当应用程_ip-guard原理
文章浏览阅读633次。数组的定义数组是相同类型数据的有序集合。数组描述的是相同类型的若干个数据,按照一定的先后次序排列组合而成。其中,每一个数据称作一个元素,每个元素可以通过一个索引(下标)来访问它们。数组的三个基本特点:1. 长度是确定的。数组一旦被创建,它的大小就是不可以改变的。2. 其元素必须是相同类型,不允许出现混合类型。3. 数组类型可以是任何数据类型,包括基本类型和引用类型。数组变量属引用类型,数组也可以看..._java file 数组
文章浏览阅读449次。实现客户姓名录入 package kj;public class kehu { String []names=new String[10]; public void addName(String name){ for(int i=0;i
文章浏览阅读722次。配置 路由 报错 'Switch' is not exported from 'react-router'.npm uninstall react-router-domnpm install [email protected]
文章浏览阅读1.1k次,点赞2次,收藏7次。ID:399899量化交易中,首先要弄好的就是选股。然后在才是买卖策略的制定。不同类型的策略,选股思路也不相同。俗话说得好,不管黑猫白猫,抓到老鼠的就是好猫。一个好的选股策略,往往在量化中是起较为关键的作用的。要实现程序化选股的话,数据又是一个前提。要有数据才能去实现编写程序。数据来源有很多,可以去爬取,也可以去股票交易网站下载。当然也有一些接口可以提供数据。常见的接口有tushare、baostock、akshare在这里我以一个简单的选股案例,为大家介绍一下使用tushare接口使用tush_tushare 选股
文章浏览阅读3.7k次,点赞2次,收藏10次。以下是测试项目目录一、配置modelconf/casbin_rbac_model.conf# 请求[request_definition]r = sub,obj,act# sub ——> 想要访问资源的用户角色(Subject)——请求实体# obj ——> 访问的资源(Object)# act ——> 访问的方法(Action: get、post...)# 策略(.csv文件p的格式,定义的每一行为policy rule;p,p2为policy rule的名字。)_gin 的权限校验
文章浏览阅读319次。例如,一个团队有20个人,其中有2个员工在共同做A业务,3个员工在共同做B业务,5个员工在共同做C业务,剩下10个员工在共同做D业务,那么可以基于业务相关性将这20个员工分成A业务研讨组、B业务研讨组、C业务研讨组和D业务研讨组,这样,在步骤2目标众筹时,就以A、B、C、D 4个研讨小组为单位,邀请其输出3~5个团队OKR,然后团队主管再基于所有小组贡献的团队OKR进行投票表决,形成团队的OKR。通过这种方式,大大增强了团队成员对团队目标的共识程度,团队目标真正变成了大家共同的目标,而不再只是主管的目标。_运营okr的制定与实施