Hbase的安装和基础编程_半濠春水的博客-程序员秘密

技术标签: Big Data  hadoop  big data  hbase  

(一)安装Hbase,能够查询Hbase的版本

由于HBaseHadoop具有版本依赖性,所以在安装HBase2.2.2时要首先安装Hadoop3.1.3

①解压hbase-2.2.2-bin.tar.gz文件

压缩格式的文件hbase-2.2.2-bin.tar.gz下载到本地电脑,保存在“/home/hadoop/下载”下,现在解压包装包至路径 /usr/local下。
在这里插入图片描述

②文件改名

将解压的文件名hbase-2.2.2改为hbase以方便使用。
在这里插入图片描述
hbase目录权限赋予给hadoop用户。
在这里插入图片描述

③配置环境变量

hbase下的bin目录添加到path中,这样启动hbase就无需到/usr/local/hbase目录下,大大的方便了hbase的使用。
在这里插入图片描述
编辑~/.bashrc文件,在尾行添加export PATH=$PATH:/usr/local/hbase/bin
在这里插入图片描述
如果已经引入过PATH则在export PATH这行追加/usr/local/hbase/bin,这里的“”是分隔符。
在这里插入图片描述
编辑完成后,再执行source命令使上述配置在当前终端立即生效。
在这里插入图片描述

④添加HBase权限

在这里插入图片描述

⑤ 查看HBase版本,确定hbase安装成功

看到输出版本消息表示HBase已经安装成功。
在这里插入图片描述

(二)单机运行Hbase系统

①配置/usr/local/hbase/conf/hbase-env.sh

配置JAVA环境变量,并添加配置HBASE_MANAGES_ZKtrue,用vi命令打开并编辑hbase-env.sh
在这里插入图片描述
由于之前已经安装过Hadoop3.1.3,则已经安装了JDK1.8JDK的安装目录是/usr/lib/jvm/jdk1.8.0_162, 则JAVA _HOME =/usr/lib/jvm/jdk1.8.0_162;配置HBASE_MANAGES_ZKtrue,表示由hbase自己管理zookeeper,不需要单独的zookeeperhbase-env.sh中本来就存在这些变量的配置,所以只需要删除前面的#并修改配置内容即可(#代表注释)。添加完成后保存退出即可。
在这里插入图片描述在这里插入图片描述

②配置/usr/local/hbase/conf/hbase-site.xml

打开并编辑hbase-site.xml
在这里插入图片描述
在启动HBase前需要设置属性hbase.rootdir,用于指定HBase数据的存储位置,因为如果不设置的话,hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(/usr/local/hbase/hbase-tmp),添加配置如下:
在这里插入图片描述

③测试运行

首先切换目录至HBase安装目录/usr/local/hbase;再启动HBase。其中sudo bin/start-hbase.sh用于启动HBasebin/hbase shell用于打开shell命令行模式,用户可以通过输入shell命令操作HBase数据库。成功启动HBase
在这里插入图片描述
停止HBase运行,命令如下。
在这里插入图片描述
注意:如果在操作HBase的过程中发生错误,可以通过{HBASE_HOME}目录(/usr/local/hbase)下的logs子目录中的日志文件查看错误原因。

(三)实现Hbase的伪分布式启动

①配置/usr/local/hbase/conf/hbase-env.sh

在这里插入图片描述

配置JAVA_HOMEHBASE_CLASSPATHHBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机HBase安装目录下的conf目录(即/usr/local/hbase/conf
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

②配置/usr/local/hbase/conf/hbase-site.xml

用命令vi打开并编辑hbase-site.xml,命令如下。
在这里插入图片描述
修改hbase.rootdir,指定HBase数据在HDFS上的存储路径;将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下,在本机上运行,且NameNode运行在9000端口。
在这里插入图片描述
hbase.rootdir指定HBase的存储目录;hbase.cluster.distributed设置集群处于分布式模式.另外,上面配置文件中,hbase.unsafe.stream.capability.enforce这个属性的设置,是为了避免出现启动错误。也就是说,如果没有设置hbase.unsafe.stream.capability.enforcefalse,那么,在启动HBase以后,会出现无法找到HMaster进程的错误,启动后查看系统启动日志(/usr/local/hbase/logs/hbase-hadoop-master-ubuntu.log)会发现错误。

③测试运行HBase

a. 首先登陆ssh,之前设置了无密码登陆,因此这里不需要密码;再切换目录至/usr/local/hadoop ;再启动hadoop,如果已经启动hadoop请跳过此步骤。
在这里插入图片描述
输入命令jps,能看到NameNode,DataNodeSecondaryNameNode都已经成功启动,表示hadoop启动成功。
在这里插入图片描述
b. 切换目录至/usr/local/hbase,再启动HBase
在这里插入图片描述
c.启动成功,输入命令jps,看到以下界面说明hbase启动成功。
在这里插入图片描述
d.进入shell界面
在这里插入图片描述

④停止HBase运行

在这里插入图片描述
注意:如果在操作HBase的过程中发生错误,可以通过{HBASE_HOME}目录(/usr/local/hbase)下的logs子目录中的日志文件查看错误原因。
这里启动关闭HadoopHBase的顺序一定是:
启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

(四)运行Hbase相关的Shell命令,实现表的创建,数据插入,数据删除,以及数据查看等操作

1. 利用Shell命令

①1.1 HBase中创建表
a.HBase中用create命令创建表。
在这里插入图片描述
此时,即创建了一个“student”表,属性有:Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行键,无需自行创建,默认为put命令操作中表名后第一个数据。创建完“student”表后,可通过describe命令查看“student”表的基本信息。
在这里插入图片描述

2. HBase数据库基本操作

在添加数据时,HBase会自动为添加的数据添加一个时间戳,故在需要修改数据时,只需直接添加数据,HBase即会生成一个新的版本,从而完成“改”操作,旧的版本依旧保留,系统会定时回收垃圾数据,只留下最新的几个版本,保存的版本数可以在创建表的时候指定。
①添加数据
HBase中用put命令添加数据,注意:一次只能为一个表的一行数据的一个列,也就是一个单元格添加一个数据,所以直接用shell命令插入数据效率很低,在实际应用中,一般都是利用编程操作数据。
a.当运行命令:put ‘student’,’95001’,’Sname’,’LiYing’时,即为student表添加了学号为95001,名字为LiYing的一行数据,其行键为95001
在这里插入图片描述
b.当运行命令:put 'student','95001','course:math','80' 时,即为95001行下的course列族的math列添加了一个数据。
在这里插入图片描述
②删除数据
HBase中用delete以及deleteall命令进行删除数据操作,它们的区别是:1. delete用于删除一个数据,是put的反向操作;2. deleteall操作用于删除一行数据。
a. delete命令
当运行命令: delete 'student','95001','Ssex'时,即删除了student表中95001行下的Ssex列的所有数据。
在这里插入图片描述
b. deleteall命令
当运行命令 deleteall 'student','95001'时,即删除了student表中的95001行的全部数据。
在这里插入图片描述
③查看数据
HBase中有两个用于查看数据的命令:
get命令,用于查看表的某一行数据; scan命令用于查看某个表的全部数据。
a. get命令
当运行命令get 'student','95001' 时,返回的是‘student’‘95001’行的数据。
在这里插入图片描述
b. scan命令
当运行命令scan ‘student’ 时返回的是‘student’表的全部数据。
在这里插入图片描述
④删除表
删除表有两步,第一步先让该表不可用,第二步删除表。
在这里插入图片描述

3. 查询表历史数据

查询表的历史版本,需要两步。
a. 在创建表的时候,指定保存的版本数(假设指定为5)
在这里插入图片描述
b. 插入数据然后更新数据,使其产生历史版本数据,注意:这里插入数据和更新数据都是用put命令。
在这里插入图片描述
c. 查询时,指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5)
在这里插入图片描述

4. 退出HBase数据库表操作

最后退出数据库操作,输入exit命令即可退出,注意:这里退出HBase数据库是退出对数据库表的操作,而不是停止启动HBase数据库后台运行。
在这里插入图片描述

(五)实现HbaseJava编程,在eclipse中创建项目ExampleForHbase

①启动Eclipse,启动以后,出现如下图所示界面,点击界面右下角的“Launch”按钮。
在这里插入图片描述
在这里插入图片描述
启动进入Eclipse以后的程序开发界面如下图所示。
在这里插入图片描述
②点击界面顶部的“File”菜单,在弹出的子菜单(如下图所示)中选择“New”,再选择子菜单中的“Java Project”。
在这里插入图片描述
这时会弹出一个Java工程创建对话框(如下图所示),在“Project name”文本框中输入“HBaseExample”,在“JRE”选项卡中选中第2项“Use a project specific JRE”,然后点击界面底部的“Next”按钮。
在这里插入图片描述
③在弹出的界面中(如下图所示),用鼠标点击“Libraries”选项卡,然后,点击界面右侧的“Add External JARs…”按钮。
在这里插入图片描述
④在弹出的“JAR Selection”界面中(如下图所示),进入到“/usr/local/hbase/lib”目录,选中该目录下的所有jar文件(注意,不要选中client-facing-thirdpartyrubyshaded-clientszkcli这四个目录),然后,点击界面底部的“OK”按钮。
在这里插入图片描述
⑤然后,在“JAR Selection”界面中(如下图所示),点击进入到“client-facing-thirdparty”目录下。
在这里插入图片描述
⑥在“client-facing-thirdparty”目录下(如下图所示),选中所有jar文件,再点击界面底部的“OK”按钮。
在这里插入图片描述
然后,再点击界面(如下图所示)底部的“Finish”按钮。
在这里插入图片描述
⑦在界面(如下图所示)左侧的“HBaseExample”工程名称上单击鼠标右键,在弹出的菜单中选择“New”,再在弹出的子菜单中选择“Class”。
在这里插入图片描述
在弹出的“New Java Class”对话框(如下图所示)中,在“Name”文本框中输入“ExampleForHBase”,然后,点击界面底部的“Finish”按钮。
在这里插入图片描述
⑧在代码窗口中(如下图所示),ExampleForHBase.java代码内容输入。
在这里插入图片描述
⑨在开始运行程序之前,需要启动HDFSHBase
然后,如下图所示,点击界面中的运行图标右侧的“倒三角”,在弹出的菜单中选择“Run As”,再在弹出的菜单中点击“1 Java Application”,开始运行程序。
在这里插入图片描述
⑩这时,可以到HBase Shell交互式环境中,使用如下命令查看student表是否创建成功:
在这里插入图片描述
再在HBase Shell交互式环境中,使用如下命令查看student表中的数据:
在这里插入图片描述

(六)Hbase和传统的关系型数据库相比,有哪些特点?

①数据类型:Hbase只有简单的数据类型,只保留字符串;传统数据库有丰富的数据类型。
②数据操作:Hbase只有简单的插入、查询、删除、清空等操作,表和表之间是分离的,没有复杂的表和表之间的关系;传统数据库通常有各式各样的函数和连接操作。
③存储模式:Hbase是基于列存储的,每个列族都由几个文件保存,不同列族的文件是分离的,这样的好处是数据即是索引,访问查询涉及的列大量降低系统的I/O,并且每一列由一个线索来处理,可以实现查询的并发处理;传统数据库是基于表格结构和行存储,其没有建立索引将耗费大量的I/O并且建立索引和物化试图需要耗费大量的时间和资源。
④数据维护:Hbase的更新实际上是插入了新的数据;传统数据库只是替换和修改。
⑤可伸缩性:Hbase可以轻松的增加或减少硬件的数目,并且对错误的兼容性比较高;传统数据库需要增加中间层才能实现这样的功能。
⑥事务:Hbase只可以实现单行的事务性,意味着行与行之间、表与表之前不必满足事务性;传统数据库是可以实现跨行的事务性。

(七)Hbase创建的应用程序,需要导入哪些安装包,这些安装包里面有什么功能?

Hbase创建的应用程序,需要导入“/usr/local/hbase/lib”目录和“/usr/local/hbase/lib client-facing-thirdparty”目录下所有的jar包。
②安装包的功能:
a.用于发布和使用类库
b.作为应用程序和扩展的构建单元
c.作为组件、applet 或者插件程序的部署单位
d.用于打包与组件相关联的辅助资源

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_51571728/article/details/124634164

智能推荐

ubuntu环境下安装cuda和cudnn_码肥人壮的博客-程序员秘密

1、安装显卡驱动系统设置-》软件和更新-》附加驱动-》更新nvidia和intel2、下载cuda和cudnn下载cudnn,注意下载cuda所支持的版本3、安装cuda编译安装如果编译错误,进入log日志查看错误原因,可能gcc版本不支持(一般是gcc版本不能过高),查看博客。。。解决。设定环境变量以及路径:安装后自动会创建安装目录的软链接/usr/local/cuda ,如果没有可以手动创建sudo ln -s /usr/local/cuda-10.0 /usr/local/cuda

easyui combobox下拉框 的取value text的API_罗四强的博客-程序员秘密

$("#selectId").combobox('setValue',value);//使用ID选择器,来对下拉框进行赋值;下拉框有两个属性:ID 和 VALUE,通过上面的代码 对ID 进行赋值,赋值ID之后,value就自动加载过来了$('#dateTime').combobox('getValue');//下拉框的取Value方法$('#dateTime').combobox(...

《代码整洁之道》第1章:整洁代码——学习笔记_超级大洋葱806的博客-程序员秘密

不要认为代码会消失,代码永存!!糟糕的代码可以毁掉公司;混乱的代码影响生产力;保持代码整洁,不但有关效率,还有关生存;混乱无助于赶上期限,赶上期限的唯一方法——尽可能保持代码整洁;编写整洁代码的程序员就像是艺术家;简单代码重要顺序:能通过所有测试没有重复代码体现系统中的全部设计理念包括尽量少的实体,比如类、方法、函数等有意义的命名是体现表达力的一种方式;童子军军规光把代码写好可不够,必须时时保持代码整洁;如果每次签入代码时,代码都比签出时干净,那么代.

【总结】lucas 定理 + 中国剩余定理_slowlight93的博客-程序员秘密

先上学习资料: Lucas’ Theorem 中国剩余定理 Chinese Remainder Theorem 组合数取模 - ACdreamerlucas 定理用来计算组合数模素数。如果素数P可以先确定,则可以O(P)O(P)预处理,每次计算时间复杂度为 O(logPlogN)O(logPlogN)。不预处理的时间复杂度,O(PlogN)O(PlogN)。中国剩余定理用来解模方程组 其

elementUI的级联选择器el-cascader去动态更改disabeld,遇到数据不及时更新的问题_el-cascader disable_vicky_minmin的博客-程序员秘密

elementUI的级联选择器el-cascader去动态更改disabeld,遇到数据不及时更新的问题问题:  1,项目开发过程中,使用场景是一个接口,返回的数据在主办部门和协办部门的级联选择器中展示。选择主办部门的任一项后,协办部门不能再选择,即(disabled = true)  但是在选择了主办部门,用主办部门的change事件打印出来数组,协办部门中的disabled都是正常赋值上去,同时主办部门也默认赋值了disabled属性  2,解决了上一个问题后,在主办部门下拉事件完成选择任一个值

随便推点

stm32f4启动代码分析(一)_dfl448866的博客-程序员秘密

转载地址https://blog.csdn.net/xujidong1576324301/article/details/72851023因为使用的开发板是stm32f407discovery,所以启动代码为st公司的官方库文件里的startup_stm32f40_41xxx.s,至于如何去找官方库文件,不在本节讨论的范围内,本节只是初步的分析startup_stm32f40_41xxx....

STM32CubeMX实战TFT_LCD液晶显示-探索者专用(转发)_正点原子探索者 1602_qq_36838192的博客-程序员秘密

STM32CubeMX实战教程(七)——TFT_LCD液晶显示(附驱动代码)会开发的喵 2020-07-30 16:10:53 2636 收藏 53分类专栏: STM32CubeMX——HAL库开发 文章标签: 嵌入式 单片机 stm32版权液晶显示前言材料TFT_LCDFSMC接口原理图工程配置进入代码驱动程序引入代码分析TFTLCD_InitLCD_DrawxxxLCD_FillLCD_Showxxxx功能实现下载验证结语前言想来想去,也不知道更新什么内容

关于element UI 中输入框禁止输入空格的实现_element plus 输入框空格_小小小蜻蜓的博客-程序员秘密

<el-input class="nameInput" maxlength="20" v-model.trim="form.teamName" placeholder="请输入团队名称"></el-input>

TypeScript 系列(五)—— 接口_很菜的前端的博客-程序员秘密

如何对函数的参数进行类型检查?这个需求在 JS 中或许比较麻烦,但是在 TS 中就是小菜一碟了。function foo(obj:{name:string,age:number}) { console.log(`My name is ${obj.name},${obj.age} years old`)}对函数 foo 的参数进行了如下要求:参数 obj 必须是一个...

tensorflow 旋转图片_tensorflow: a Implementation of rotation ops (旋转的函数实现方法)_weixin_39878989的博客-程序员秘密

tensorflow 旋转矩阵的函数实现方法关键字: rot90, tensorflow1. 背景在做数据增强的操作过程中, 很多情况需要对图像旋转和平移等操作, 针对一些特殊的卷积(garbo conv)操作,还需要对卷积核进行旋转操作.在tensorflow中似乎没有实现对4D tensor的旋转操作.严格的说: tensorflow对tensor的翻转操作并未实现, 仅有针对3D tenso...

遍历文件夹的三种方法_简述对目录下的文件遍历的3种方式_EvansYN的博客-程序员秘密

遍历文件夹的三种方法实例直接进入正题,第一种方法:递归法 public static void test(File file) { File[] list = file.listFiles(); for (File file2 : list) { if (file2.isDirectory()) { ...

推荐文章

热门文章

相关标签