技术标签： zookeeper spark hadoop Hadoop+spark学习笔记
系列文章：
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署（2n+1台虚拟机）
第四章 Hadoop高可用集群搭建（HA）
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署（Standalone）
第十章 spark配置历史服务
第十一章 搭建Spark高可用（HA）
第十二章 spark配置Yarn模式（混合部署模式）
待更新
前提：配置过Zookeeper（可参考 第三章 Zookeeper分布式集群部署（2n+1台虚拟机））
进入spark目录（这里是/export/servers/spark-3.1.2）
sbin/stop-all.sh
进入Zookeeper的bin目录（这里是/export/servers/zookeeper-3.4.10/bin）
./zkServer.sh start
#注释以下内容
#SPARK_MASTER_HOST=node1
#SPARK_MASTER_port=7077
#Master监控页面默认访问端口为8080，但是也能与Zookeeper冲突，所以改为8989，也可以自定义
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=node1,node2,node3
-Dspark.deploy.zookeeper.dir=/spark-3.1.2"
scp -r conf node2:/export/servers/spark-3.1.2/
scp -r conf node3:/export/servers/spark-3.1.2/
sbin/start-all.sh
。。。先进入虚拟机node2的spark目录。。。
sbin/start-master.sh
端午节前赶完了HTML的东西，去约饭啦～这里是表单和输入框、引入内联框架、头元素、脚本这四个大块，接下来准备更css的东西～冲！<h1>10、HTML Forms and Input</h1> <p>10.1 文本域和密码域</p> <form action=""> First name:<input type="text" name="firsrname" /><br /> Last name:<in_html实战案例5
一、Samba简介Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件，由服务器及客户端程序构成。SMB(Server Messages Block，信息服务块)是一种在局域网上共享文件和打印机的一种通信协议，它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务。SMB协议是客户机/服务器型协议，客户机通过该协议可以访问服务器上的共享文件系统、打印机及其他资源。通过设置“N...
机器学习中最经典的例子就是NNIST通过图片来识别0~9的数字，这篇文章将介绍如何将基于Tensorflow NNIST整合到Diego1#机器人中作为一个节点，此节点将订阅Image消息，通过NNIST识别后将结果发布消息给讯飞语音节点，讯飞语音节点会告诉我们识别的数字是几。相关源代码已经上传到本人的github。1. 安装Tensorflow只需一句命令即可安装pip install tenso_基于ros和tensorflow实现mnist
package io.transstream.demo;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStre...
1产品数据管理系统(PDM)发展及现状1.1PDM技术的基本概念及产生的背景 产品数据管理(PDM)是以软件技术为基础，以产品为核心，实现对产品相关的数据、过程、资源一体化集成管理的技术。PDM明确定位为面向制造企业，以产品为管理的核心，以数据、过程和资源为管理信息的三大要素。它继承并发展了CIM(Computer integration Manufacture)等技术的核心思想，在系..._数据产品说明书
昨天系统插入一条数据,突然不能使用. 于是看日志反馈.内存表的大小超过了规定的范围 : 使用的数据库是mysql. 于是进行如下解决: 1. 找到对应数据库: 测试sql语句直接插入,修改 也报错. 确实这是数据库原因 2. 找到linux 服务器. 输入 df -h 查看服务器磁盘空间. 发现used 为 100%. 删除部分数据后, 系统可正常使用
1、问题描述:使用image显示头像，在更新数据库资源文件之后再次发起请求获取头像，image显示头像不发生改变，需要重新登录才能更新(或重新登陆也不更新)2、解决办法:在image控件中src图片路径后加随机数参数，如: < :scr="imgUrl+'?key='+time " 其中时间为当前时间，这样保证每次请求参数key的值都不一样，这样获取到的图片总是最新的，虽然图片请求本身并不需要这个key值，但避免了电脑直接获取缓存中图片数据。..._uniapp image 刷新
Linux 学习实验楼注册，和熟悉Linux基础实验Linux 基础教程 说明：2是实验，不需要再安装了，实验楼是有环境的，可以直接看3的视频教程，然后在实验楼做一下实验就可以了主要是 cd ls tar解压文件 shell脚本的运行 重定向和管道 vim编辑器的使用-显示行数，跳转到某行，编辑文件，保存文件，退出
报错内容：Invalid prop: type check failed for prop “value”. Expected String, Number, got Array。原因：relateuserCount在该change事件中有赋值，该属性本身是string类型，prop也是该属性。但是现在复制强制改成数组类型，但是prop并不支持prop为数组类型，prop对应值只能是string或者number。导致报错。select 多选、远程搜索都有，参考官方示例。如果el-option是v-fo_invalid prop: type check failed for prop "value". expected string, number, g
问题描述：给定一个自然数n，由自然数n开始可以依次产生半数集set(n)中的数如下： (1)n属于set(n) (2)在n的左边添加一个自然数，但该数不能超过最近添加的数的一半 (3)按此规则，直到不能添加为止 例如：set(6)={6,16,26,36,126,136}=6算法设计：对于给定的自然数n，计算set(n)中的元素个数输入：自然数n..._分治法解决半数集
第一步：下载扩展 和下载 xhprof-2.2.0压缩包 ，DLL扩展根据自己的PHP版本下载即可。下载链接：https://pecl.php.net/package/xhprof/2.2.0/windows第二步：修改php.ini文件，加入如下扩展。extension=php_xhprof.dll//后面的路径可以自行定义xhprof.output_dir="F:/phpstudy_pro/xhprof.com/log"第三步：将解压出来的php_xhprof.dll放入到_windows xhprof 安装