Hbase使用问题汇总_正在加载丶的博客-程序员秘密

技术标签： hbase

1.hbase表中的属性分别都是什么含义？
2.hbase中如何实现预分区？
3.hbase中本文采用了哪些优化方法？

一、hbase中的常见属性
   VERSIONS：指版本数
   MIN_VERSIONS=> '0'：最小版本数
   TTL=> 'FOREVER'：版本存活时间
            假设versions=10,mini_version=4
            到达TTL时间后，version-mini_version=6，最老的6个版本的值会被清空

            create't2', {NAME => 'f1', VERSIONS => 1000,MIN_VERSIONS => '1000',TTL =>'31536000'}

   BLOOMFILTER=> 'ROW':布隆过滤器
                  -》NONE：不使用布隆过滤器
                  -》ROW：行级布隆过滤器
                  -》ROWCOL：行列布隆过滤器
                  进行storefile文件检索的时候：
                  ROW：会对当前的storefile进行判断，判断是否有我需要的rowkey，
                                 如果有就读，没有就跳过
                  ROWCOL：会对当前的storefile进行判断，判断是否有我需要的rowkey+列标签的组合，
                                 如果有就读，没有就跳过
                                 这种消耗的资源较大
   BLOCKSIZE=> '65536'：数据块的大小，如果你的数据块越小，索引就越大
                                             占用的内存就越高，速度会更快
                  create't3', {NAME => 'f1', BLOCKSIZE => '65536'}
   BLOCKCACHE=> 'true'：缓存，默认就是true
                        建议：在企业中，对于不常使用的列簇，关闭缓存
   IN_MEMORY=> 'false'：缓存中的级别，设置成TRUE，将优先缓存该列簇
                        缓存清理的算法：LRU

二、hbase中实现预分区
   设计分区时按照rowkey的前缀
   -》第一种：创建了5个分区
            create'split1', 'f1', SPLITS => ['100', '200', '300', '400']

put'split1','001000000_2016','f1:name','111' 会放到第一个分区中
put'split1','501000000_2016','f1:name','222' 会放到第五个分区中

-》第二种
create'split2', 'f1', SPLITS_FILE => '/opt/datas/splits.txt'

-》第三种（默认创建15个分区，一般不使用）
create'split3', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

   -》第四种：Java client
            byte[][]splitKeys = {
                  Bytes.toBytes("100"),
                  Bytes.toBytes("200"),
                  Bytes.toBytes("300")
            };
三、hbase中的优化
   -》hbase中的压缩
            -》时间换取空间
            -》Hadoop是否支持需要压缩类型
                  snappy安装：将压缩包放到并解压/opt/modules/hadoop-2.5.0/lib/native
                  bin/hadoopchecknative
            -》检测hbase当前是否支持压缩
                  bin/hbaseorg.apache.hadoop.hbase.util.CompressionTest /home/beifeng/snappy.txt snappy

            -》修改配置支持压缩
                  拷贝hadoop/lib下的native下的所有so文件和hadoop-snappy-0.0.1-SNAPSHOT.jar到hbase/lib下面
                  cp../hadoop-2.5.0/lib/hadoop-snappy-0.0.1-SNAPSHOT.jar lib/
                  cp../hadoop-2.5.0/lib/native/* lib/

                  如果有多台regionserver，要将文件拷贝到每一台regionserver上
                  重启集群，测试
                  如果继续报错：

cp../hadoop-2.5.0/lib/native/* ../jdk1.7.0_67/jre/lib/amd64/
重启测试

                  2016-12-1919:10:48,830 INFO  [main]compress.CodecPool: Got brand-new decompressor [.snappy]
SUCCESS
            -》创建表测试
                  create'snappytest',{NAME=>'F1',COMPRESSION => 'SNAPPY'},{NAME=>'F2'}

   -》垃圾回收参数调优
            -》JVM：
                  新生代：空间比较小，主要存储新生成的对象，生存周期比较短
                                 Eden、survivor
                  老年代：空间表较大、主要存储应用程序中生命周期较长的对象
                  永生代：永久保存的区域，存储meta和class的信息
                                 元空间（本地内存）
                        GC：
                        ParrallelNew Collector 垃圾回收策略
                        特点：速度比较快，但是不适用与大数据量，GC停顿
                        并行标记回收器（ConcurrentMark-Sweep Collector）：
                        特点：速度相对较慢，适用于大数据量的回收，避免GC停顿

                  exportHBASE_REGIONSERVER_OPTS=”-Xmx8g -Xms8G -Xmn128m -XX:UseParNewGC-XX:UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -verbose:gc-XX:+PrintGCDetails -XX:+PrintGCTimeStamps-Xloggc:$HBASE_HOME/logs/gc-${hostname}-hbase.log”

                  调优：将上述配置放入conf/hbase-env.sh文件

   -》hbase中内存的调优
            -》memstore
                  阈值：128M
                     <property>
                        <name>hbase.hregion.memstore.flush.size</name>
                        <value>134217728</value>
                     </property>
                  正常情况：关闭自动溢写
                                 在业务量较低时，手动触发flush
            -》cache
                  在注重读响应时间的应用场景下，可以将 BlockCache设置大些，Memstore设置小些，以加大缓存的命中率。
                     <name>hbase.regionserver.global.memstore.upperLimit</name>
                        <value>0.4</value>
                        <name>hfile.block.cache.size</name>
                        <value>0.4</value>
                  按照以下百分比分配给Single、Multi、InMemory使用：0.25、0.50和0.25。

            -》本地memstore缓存
                  内存的孔洞过多，需要进行垃圾回收，造成业务停顿
                  <name>hbase.hregion.memstore.mslab.enabled</name>
                  <value>true</value>
                  缺点：容易造成资源的浪费
            -》compact：用于文件的合并和清除被删除的数据
                  -》minor compaction：小文件（满足一定的条件）的合并，轻量级，频繁执行
                                                      它不会删除被标记为“删除”的数据和以过期的数据
                  -》major compaction
                        把所有的storefile合并成一个单一的storefile文件，
                        在文件合并期间系统会删除标记为"删除"标记的数据和过期失效的数据，
                        同时会block所有客户端对该操作所属的region的请求直到合并完毕，
                        最后删除已合并的storefile文件。
                              <name>hbase.hregion.majorcompaction</name>
                                 <value>604800000</value>
                        改成0就是关闭

                        企业中手动触发：major_compact
            -》split
                  最好关闭自动拆分，采用手动拆分方式：split
                     <name>hbase.hregion.max.filesize</name>
                        <value>10737418240</value>
                        建议改成100G

四、hbase表的迁移
   -》hadoop数据迁移类似
   -》hdfs
   -》表的迁移
            -》将数据迁移-》hadoop distcp
                        bin/hdfsfsck /
                        bin/hbasehbck
            -》元数据的恢复

   实验步骤：
   -》第一步：将t5表迁移到另一个hdfs集群
            在迁移之前要进行flush操作（原路径目标路径）
            bin/Hadoopdistcp h ftp://192.168.134.191:50070/hbase/data/default/t5 hdfs://192.168.134.140:8020/distcp/
   -》第二步：删除t5表
   -》第三步：t5表迁移回来
            bin/Hadoopdistcp h ftp://192.168.134.140:50070/dist ... hbase/data/default/
   -》第四步：查询hbase表
            list可以查询，无法操作
            ERROR:Unknown table t5!
   -》第五步：元数据恢复
            bin/hbasehbck  -fixAssignments –fixMeta

五、索引的介绍

   rowkey:110_20161211
               110_20161212
               110_20161213
               110_20170213

   需求1：查找某个用户某一时间段内的通话记录
   需求2：查询某一时间段内所有用户的通话记录

   索引表方式实现：
            源  表：110_20161211
            索引表：20161211_110    value:对应源表中的rowkey：110_20161211

   需求：通过某一列的值来查询另一列的值
            name,age：查询所有今年18岁的用户的姓名

            传统思路：1-查询所有18岁的用户的rowkey
                           2-根据rowkey查询name

   索引实现：rowkey：18
                     info:rowkey:18岁对应的rowkey

   索引表同步的问题：
            -》第一种（效率低）：在客户端执行，对源表操作时，同时对索引表进行操作
            -》第二种：编写协处理器
                                 在server端运行在客户端同步的逻辑，但是中小型企业不会自己编写
            -》其他框架：第三方工具
                  -》Phoenix：底层就是协处理器
                  -》solr
                  -》elasticsearch
            协处理器类型：
                  observer：观察者类，类似于RDBMS中的触发器
                  endpoint：终端类，类似于存储过程

六、hbase与其他框架的集成
   -》hive
   -》sqoop
   -》flume
   -》hue

-》sqoop与hbase集成（使用的是cdh版本的）
   用于hdfs与RDBMS之间的导入导出
   -》配置conf/sqoop-env.sh
   原始

新配置

            exportHADOOP_COMMON_HOME=/opt/modules/hadoop-2.5.0

            #Setpath to where hadoop-*-core.jar is available
            exportHADOOP_MAPRED_HOME=/opt/modules/hadoop-2.5.0

            #setthe path to where bin/hbase is available
            exportHBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2

            #Setthe path to where bin/hive is available
            #exportHIVE_HOME=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6

            #Setthe path for where zookeper config dir is
            exportZOOCFGDIR=/opt/modules/zookeeper-3.4.5/conf
   导入：
            bin/sqoopimport \
            --connect\
            jdbc:MySQL://hadoop-senior01.ibeifeng.com:3306/test\
            --usernameroot \
            --password123456 \
            --tablemy_user \
            --hbase-create-table\
            --hbase-tabletest \
            --hbase-row-keyid \
            --column-familyinfo \
            -m1
在HBase中查询：

   导出：没有导出
   怎么实现用sqoop导出hbase的数据？
   搭桥：hive
            hive与hbase集成
                  |
                  将hbase表中的数据存储到另一张hive表中
                  |
                  通过hdfs导出

-》hue集成
   -》启动hbase的thrift
            bin/hbase-daemon.shstart thrift
   —》修改hue.ini配置文件（/opt/cdh-5.3.6/hue-3.7.0-cdh5.3.6/desktop/conf/）
      hbase_clusters=(Cluster|hadoop-senior01.ibeifeng.com:9090)
      # HBase configuration directory, wherehbase-site.xml is located.
      hbase_conf_dir=/opt/modules/hbase-0.98.6-hadoop2/conf

-》启动hue
hue：build/env/bin/supervisor
hadoop-senior01.ibeifeng.com:8888

本文链接：https://blog.csdn.net/qi49125/article/details/78717747

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Bootstrap 轮播图技巧_:target轮播图_Yeastone的博客-程序员秘密

bootstrap的使用让页面开发的速度变得更快,在这里就着重解析一下bootstrap3里轮播图模块,和不同情况（屏幕宽度）下轮播图图片大小如何做到响应式切换.下面代码即是bootstrap3轮播图模块解析:

python+gevent+threadpool+cx_Oracle高并发时空指针问题_chuzhuanbo7093的博客-程序员秘密

手头有个python项目，该项目是一个数据库中间件，用于集中处理各个业务系统对Oracle数据库的增删改查操作。项目采用gevent的WSGISever启动: application = tornado.wsgi.WSGIApplication([ (r"/healthcheck...

androi中用引入fragment时error inflating class fragment 解决办法_木兰缀露的博客-程序员秘密

在常用fragment的时候经常碰到报错问题，这个问题一般的情况如下下面是主布局进行引用接下来是注意1、引用的包是import android.support.v4.app.Fragment;不是android.app.Fragment2、布局中引用路径是包名+类名3、主页类要继承FragmentActivity才行

使用crond 在linux中定时执行任务（转）_ipcas_oasis的博客-程序员秘密

一、使用crond监控程序运行程序1. 使用cron来定期执行任务使用crond (cron监控程序)来定期运行一些任务，比如备份日志、数据库、把日志发送到自己邮箱等等操作都可以又定期运行程序来完成。crond是个脚本，每次Linux启动的时候都自动起到该脚本，该脚本是 /etc/rc.d/init.d 下面的，每次系统启动的时候就自动会启动该目录下的脚本。cron有两个配置文件，一个/etc/...

算法笔记——C/C++语言基础篇（已完结）_weixin_30437481的博客-程序员秘密

开始系统学习算法，希望自己能够坚持下去，期间会把常用到的算法写进此博客，便于以后复习，同时希望能够给初学者提供一定的帮助，手敲难免存在错误，欢迎评论指正，共同学习。博客也可能会引用别人写的代码，如有引用，定会注明。本博客内容主要按照算法笔记内容进行学习。（2018-12-03）1.万能头文件#include<bits/stdc++.h>using namespac...

DELL服务器安装过程中的三种模式AHCI, ATA, RAID_普通网友的博客-程序员秘密

BIOS 里的 SATA setting 有 AHCI mode, ATA mode, RAID mode三种模式。以下大部分内容源于 differencebetween，根据自己的理解整理而成。AHCI vs ATA ATA(AT Attachment) 是一个很久远的标准，最初是定义诸如硬盘等存储设备和 CPU 的接的标准。一共有两种类型的 ATA，第一种叫 Parallel ATA(

随便推点

Java中long和int互相转换，不改变原有数据_金刀李的博客-程序员秘密

Java中long和int互相转换，不改变原有数据文章目录Java中long和int互相转换，不改变原有数据测试方法，及封装好的方法封装好之后的方法测试方法，及封装好的方法@Testpublic void testLong2Int() {long tmpLong = 3412567892L; // long转int数组 int pre, suffix; pre =...

华为云FusionInsight携手客户伙伴重磅发新能力_FusionInsight MO的博客-程序员秘密

9月23日华为全联接2021在线上正式开幕。其中华为云FusionInsight技术专家陈祥发表了“华为云FusionInsight智能数据湖版本新能力解读”演讲。华为云FusionInsight发布智能数据湖8.1.0新版本，提供湖仓一体的解决方案，兼顾历史与未来。工商银行大数据平台产品经理袁一，分享“工商银行携手华为云FusionInsight共建大数据体系”议题，近年来通过引入FI，支撑300+总行和子公司和行外的金融数据服务应用，未来还将在大集群跨机房部署、大数据云原生、高可用能力提升、数据入湖时