技术标签: Big Data hadoop big data hbase
(一)安装
Hbase
,能够查询Hbase
的版本由于
HBase
对Hadoop
具有版本依赖性,所以在安装HBase2.2.2
时要首先安装Hadoop3.1.3
。①解压
hbase-2.2.2-bin.tar.gz
文件压缩格式的文件
hbase-2.2.2-bin.tar.gz
下载到本地电脑,保存在“/home/hadoop/下载
”下,现在解压包装包至路径/usr/local
下。
②文件改名
将解压的文件名
hbase-2.2.2
改为hbase
以方便使用。
把hbase
目录权限赋予给hadoop
用户。
③配置环境变量
将
hbase
下的bin
目录添加到path
中,这样启动hbase
就无需到/usr/local/hbase
目录下,大大的方便了hbase
的使用。
编辑~/.bashrc
文件,在尾行添加export PATH=$PATH:/usr/local/hbase/bin
如果已经引入过PATH
则在export PATH
这行追加/usr/local/hbase/bin
,这里的“:
”是分隔符。
编辑完成后,再执行source
命令使上述配置在当前终端立即生效。
④添加
HBase
权限
⑤ 查看
HBase
版本,确定hbase
安装成功看到输出版本消息表示
HBase
已经安装成功。
(二)单机运行
Hbase
系统①配置
/usr/local/hbase/conf/hbase-env.sh
配置
JAVA
环境变量,并添加配置HBASE_MANAGES_ZK
为true
,用vi
命令打开并编辑hbase-env.sh
。
由于之前已经安装过Hadoop3.1.3
,则已经安装了JDK1.8
。JDK
的安装目录是/usr/lib/jvm/jdk1.8.0_162
, 则JAVA _HOME =/usr/lib/jvm/jdk1.8.0_162
;配置HBASE_MANAGES_ZK
为true
,表示由hbase
自己管理zookeeper
,不需要单独的zookeeper
。hbase-env.sh
中本来就存在这些变量的配置,所以只需要删除前面的#并修改配置内容即可(#代表注释)。添加完成后保存退出即可。
②配置
/usr/local/hbase/conf/hbase-site.xml
打开并编辑
hbase-site.xml
。
在启动HBase
前需要设置属性hbase.rootdir
,用于指定HBase
数据的存储位置,因为如果不设置的话,hbase.rootdir
默认为/tmp/hbase-${user.name}
,这意味着每次重启系统都会丢失数据。此处设置为HBase
安装目录下的hbase-tmp
文件夹即(/usr/local/hbase/hbase-tmp
),添加配置如下:
③测试运行
首先切换目录至
HBase
安装目录/usr/local/hbase
;再启动HBase
。其中sudo bin/start-hbase.sh
用于启动HBase
,bin/hbase shell
用于打开shell
命令行模式,用户可以通过输入shell
命令操作HBase
数据库。成功启动HBase
。
停止HBase
运行,命令如下。
注意:如果在操作HBase
的过程中发生错误,可以通过{HBASE_HOME}
目录(/usr/local/hbase
)下的logs
子目录中的日志文件查看错误原因。(三)实现
Hbase
的伪分布式启动①配置
/usr/local/hbase/conf/hbase-env.sh
配置
JAVA_HOME
,HBASE_CLASSPATH
,HBASE_MANAGES_ZK
.
HBASE_CLASSPATH
设置为本机HBase
安装目录下的conf
目录(即/usr/local/hbase/conf
)
②配置
/usr/local/hbase/conf/hbase-site.xml
用命令
vi
打开并编辑hbase-site.xml,命令如下。
修改hbase.rootdir
,指定HBase
数据在HDFS
上的存储路径;将属性hbase.cluter.distributed
设置为true
。假设当前Hadoop
集群运行在伪分布式模式下,在本机上运行,且NameNode
运行在9000
端口。
hbase.rootdir
指定HBase
的存储目录;hbase.cluster.distributed
设置集群处于分布式模式.另外,上面配置文件中,hbase.unsafe.stream.capability.enforce
这个属性的设置,是为了避免出现启动错误。也就是说,如果没有设置hbase.unsafe.stream.capability.enforce
为false
,那么,在启动HBase
以后,会出现无法找到HMaster
进程的错误,启动后查看系统启动日志(/usr/local/hbase/logs/hbase-hadoop-master-ubuntu.log
)会发现错误。③测试运行
HBase
a. 首先登陆
ssh
,之前设置了无密码登陆,因此这里不需要密码;再切换目录至/usr/local/hadoop
;再启动hadoop
,如果已经启动hadoop
请跳过此步骤。
输入命令jps
,能看到NameNode
,DataNode
和SecondaryNameNode
都已经成功启动,表示hadoop
启动成功。
b. 切换目录至/usr/local/hbase
,再启动HBase
。
c.启动成功,输入命令jps
,看到以下界面说明hbase
启动成功。
d.进入shell
界面
④停止
HBase
运行
注意:如果在操作HBase
的过程中发生错误,可以通过{HBASE_HOME}
目录(/usr/local/hbase
)下的logs
子目录中的日志文件查看错误原因。
这里启动关闭Hadoop
和HBase
的顺序一定是:
启动Hadoop
—>启动HBase
—>关闭HBase
—>关闭Hadoop
(四)运行
Hbase
相关的Shell
命令,实现表的创建,数据插入,数据删除,以及数据查看等操作1. 利用
Shell
命令①1.1
HBase
中创建表
a.HBase
中用create
命令创建表。
此时,即创建了一个“student
”表,属性有:Sname,Ssex,Sage,Sdept,course
。因为HBase
的表中会有一个系统默认的属性作为行键,无需自行创建,默认为put
命令操作中表名后第一个数据。创建完“student
”表后,可通过describe
命令查看“student
”表的基本信息。
2.
HBase
数据库基本操作在添加数据时,
HBase
会自动为添加的数据添加一个时间戳,故在需要修改数据时,只需直接添加数据,HBase
即会生成一个新的版本,从而完成“改”操作,旧的版本依旧保留,系统会定时回收垃圾数据,只留下最新的几个版本,保存的版本数可以在创建表的时候指定。
①添加数据
HBase
中用put命令添加数据,注意:一次只能为一个表的一行数据的一个列,也就是一个单元格添加一个数据,所以直接用shell
命令插入数据效率很低,在实际应用中,一般都是利用编程操作数据。
a.当运行命令:put ‘student’,’95001’,’Sname’,’LiYing’
时,即为student
表添加了学号为95001
,名字为LiYing
的一行数据,其行键为95001
。
b.当运行命令:put 'student','95001','course:math','80'
时,即为95001
行下的course
列族的math
列添加了一个数据。
②删除数据
在HBase
中用delete
以及deleteall
命令进行删除数据操作,它们的区别是:1.delete
用于删除一个数据,是put
的反向操作;2.deleteall
操作用于删除一行数据。
a.delete
命令
当运行命令:delete 'student','95001','Ssex'
时,即删除了student
表中95001
行下的Ssex
列的所有数据。
b.deleteall
命令
当运行命令deleteall 'student','95001'
时,即删除了student
表中的95001
行的全部数据。
③查看数据
HBase
中有两个用于查看数据的命令:
get
命令,用于查看表的某一行数据;scan
命令用于查看某个表的全部数据。
a.get
命令
当运行命令get 'student','95001'
时,返回的是‘student’
表‘95001’
行的数据。
b.scan
命令
当运行命令scan ‘student’
时返回的是‘student’
表的全部数据。
④删除表
删除表有两步,第一步先让该表不可用,第二步删除表。
3. 查询表历史数据
查询表的历史版本,需要两步。
a. 在创建表的时候,指定保存的版本数(假设指定为5)
b. 插入数据然后更新数据,使其产生历史版本数据,注意:这里插入数据和更新数据都是用put
命令。
c. 查询时,指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5)
4. 退出
HBase
数据库表操作最后退出数据库操作,输入
exit
命令即可退出,注意:这里退出HBase
数据库是退出对数据库表的操作,而不是停止启动HBase
数据库后台运行。
(五)实现
Hbase
的Java
编程,在eclipse
中创建项目ExampleForHbase
。①启动
Eclipse
,启动以后,出现如下图所示界面,点击界面右下角的“Launch
”按钮。
启动进入Eclipse
以后的程序开发界面如下图所示。
②点击界面顶部的“File
”菜单,在弹出的子菜单(如下图所示)中选择“New
”,再选择子菜单中的“Java Project
”。
这时会弹出一个Java
工程创建对话框(如下图所示),在“Project name
”文本框中输入“HBaseExample
”,在“JRE
”选项卡中选中第2项“Use a project specific JRE
”,然后点击界面底部的“Next
”按钮。
③在弹出的界面中(如下图所示),用鼠标点击“Libraries
”选项卡,然后,点击界面右侧的“Add External JARs…
”按钮。
④在弹出的“JAR Selection
”界面中(如下图所示),进入到“/usr/local/hbase/lib
”目录,选中该目录下的所有jar
文件(注意,不要选中client-facing-thirdparty
、ruby
、shaded-clients
和zkcli
这四个目录),然后,点击界面底部的“OK
”按钮。
⑤然后,在“JAR Selection
”界面中(如下图所示),点击进入到“client-facing-thirdparty
”目录下。
⑥在“client-facing-thirdparty
”目录下(如下图所示),选中所有jar
文件,再点击界面底部的“OK
”按钮。
然后,再点击界面(如下图所示)底部的“Finish
”按钮。
⑦在界面(如下图所示)左侧的“HBaseExample
”工程名称上单击鼠标右键,在弹出的菜单中选择“New
”,再在弹出的子菜单中选择“Class
”。
在弹出的“New Java Class
”对话框(如下图所示)中,在“Name
”文本框中输入“ExampleForHBase
”,然后,点击界面底部的“Finish
”按钮。
⑧在代码窗口中(如下图所示),ExampleForHBase.java
代码内容输入。
⑨在开始运行程序之前,需要启动HDFS
和HBase
。
然后,如下图所示,点击界面中的运行图标右侧的“倒三角”,在弹出的菜单中选择“Run As
”,再在弹出的菜单中点击“1 Java Application
”,开始运行程序。
⑩这时,可以到HBase Shell
交互式环境中,使用如下命令查看student
表是否创建成功:
再在HBase Shell
交互式环境中,使用如下命令查看student
表中的数据:
(六)
Hbase
和传统的关系型数据库相比,有哪些特点?①数据类型:
Hbase
只有简单的数据类型,只保留字符串;传统数据库有丰富的数据类型。
②数据操作:Hbase
只有简单的插入、查询、删除、清空等操作,表和表之间是分离的,没有复杂的表和表之间的关系;传统数据库通常有各式各样的函数和连接操作。
③存储模式:Hbase
是基于列存储的,每个列族都由几个文件保存,不同列族的文件是分离的,这样的好处是数据即是索引,访问查询涉及的列大量降低系统的I/O
,并且每一列由一个线索来处理,可以实现查询的并发处理;传统数据库是基于表格结构和行存储,其没有建立索引将耗费大量的I/O
并且建立索引和物化试图需要耗费大量的时间和资源。
④数据维护:Hbase
的更新实际上是插入了新的数据;传统数据库只是替换和修改。
⑤可伸缩性:Hbase
可以轻松的增加或减少硬件的数目,并且对错误的兼容性比较高;传统数据库需要增加中间层才能实现这样的功能。
⑥事务:Hbase
只可以实现单行的事务性,意味着行与行之间、表与表之前不必满足事务性;传统数据库是可以实现跨行的事务性。(七)
Hbase
创建的应用程序,需要导入哪些安装包,这些安装包里面有什么功能?①
Hbase
创建的应用程序,需要导入“/usr/local/hbase/lib
”目录和“/usr/local/hbase/lib client-facing-thirdparty
”目录下所有的jar
包。
②安装包的功能:
a.用于发布和使用类库
b.作为应用程序和扩展的构建单元
c.作为组件、applet
或者插件程序的部署单位
d.用于打包与组件相关联的辅助资源
1、安装显卡驱动系统设置-》软件和更新-》附加驱动-》更新nvidia和intel2、下载cuda和cudnn下载cudnn,注意下载cuda所支持的版本3、安装cuda编译安装如果编译错误,进入log日志查看错误原因,可能gcc版本不支持(一般是gcc版本不能过高),查看博客。。。解决。设定环境变量以及路径:安装后自动会创建安装目录的软链接/usr/local/cuda ,如果没有可以手动创建sudo ln -s /usr/local/cuda-10.0 /usr/local/cuda
$("#selectId").combobox('setValue',value);//使用ID选择器,来对下拉框进行赋值;下拉框有两个属性:ID 和 VALUE,通过上面的代码 对ID 进行赋值,赋值ID之后,value就自动加载过来了$('#dateTime').combobox('getValue');//下拉框的取Value方法$('#dateTime').combobox(...
不要认为代码会消失,代码永存!!糟糕的代码可以毁掉公司;混乱的代码影响生产力;保持代码整洁,不但有关效率,还有关生存;混乱无助于赶上期限,赶上期限的唯一方法——尽可能保持代码整洁;编写整洁代码的程序员就像是艺术家;简单代码重要顺序:能通过所有测试没有重复代码体现系统中的全部设计理念包括尽量少的实体,比如类、方法、函数等有意义的命名是体现表达力的一种方式;童子军军规光把代码写好可不够,必须时时保持代码整洁;如果每次签入代码时,代码都比签出时干净,那么代.
先上学习资料: Lucas’ Theorem 中国剩余定理 Chinese Remainder Theorem 组合数取模 - ACdreamerlucas 定理用来计算组合数模素数。如果素数P可以先确定,则可以O(P)O(P)预处理,每次计算时间复杂度为 O(logPlogN)O(logPlogN)。不预处理的时间复杂度,O(PlogN)O(PlogN)。中国剩余定理用来解模方程组 其
elementUI的级联选择器el-cascader去动态更改disabeld,遇到数据不及时更新的问题问题: 1,项目开发过程中,使用场景是一个接口,返回的数据在主办部门和协办部门的级联选择器中展示。选择主办部门的任一项后,协办部门不能再选择,即(disabled = true) 但是在选择了主办部门,用主办部门的change事件打印出来数组,协办部门中的disabled都是正常赋值上去,同时主办部门也默认赋值了disabled属性 2,解决了上一个问题后,在主办部门下拉事件完成选择任一个值
opencv图像处理识别
转载地址https://blog.csdn.net/xujidong1576324301/article/details/72851023因为使用的开发板是stm32f407discovery,所以启动代码为st公司的官方库文件里的startup_stm32f40_41xxx.s,至于如何去找官方库文件,不在本节讨论的范围内,本节只是初步的分析startup_stm32f40_41xxx....
STM32CubeMX实战教程(七)——TFT_LCD液晶显示(附驱动代码)会开发的喵 2020-07-30 16:10:53 2636 收藏 53分类专栏: STM32CubeMX——HAL库开发 文章标签: 嵌入式 单片机 stm32版权液晶显示前言材料TFT_LCDFSMC接口原理图工程配置进入代码驱动程序引入代码分析TFTLCD_InitLCD_DrawxxxLCD_FillLCD_Showxxxx功能实现下载验证结语前言想来想去,也不知道更新什么内容
<el-input class="nameInput" maxlength="20" v-model.trim="form.teamName" placeholder="请输入团队名称"></el-input>
如何对函数的参数进行类型检查?这个需求在 JS 中或许比较麻烦,但是在 TS 中就是小菜一碟了。function foo(obj:{name:string,age:number}) { console.log(`My name is ${obj.name},${obj.age} years old`)}对函数 foo 的参数进行了如下要求:参数 obj 必须是一个...
tensorflow 旋转矩阵的函数实现方法关键字: rot90, tensorflow1. 背景在做数据增强的操作过程中, 很多情况需要对图像旋转和平移等操作, 针对一些特殊的卷积(garbo conv)操作,还需要对卷积核进行旋转操作.在tensorflow中似乎没有实现对4D tensor的旋转操作.严格的说: tensorflow对tensor的翻转操作并未实现, 仅有针对3D tenso...
遍历文件夹的三种方法实例直接进入正题,第一种方法:递归法 public static void test(File file) { File[] list = file.listFiles(); for (File file2 : list) { if (file2.isDirectory()) { ...