Thrift介绍与应用（三）—hbase的thrift接口_松门一枝花的博客-程序员宅基地

技术标签： 微服务  

原文：http://blog.csdn.net/guxch/article/details/12163047

-----------------------------------------------------------------------------------

一、概述

Hbase是目前比较火的列存储数据库，由于Hbase是用Java写的，因此它原生地提供了Java接口，对非Java程序人员，怎么办呢？幸好它提供了thrift接口服务器，因此也可以采用其他语言来编写Hbase的客户端，本文即是Hbase C++接口的介绍。
目前的Hbase（0.94.11，本文即基于此版本）有两套thrift接口（可以叫thrift1和thrift2）,它们并不兼容（随意性太强，这可能是所有开源软件都具有的问题）。根据官方文档，thrift1很可能被抛弃，但网上的文章基本是介绍thrift1的，本文则主要介绍thrift2。
要使用Hbase的thrift接口，必须将它的服务启动，命令行为：
[plain]  view plain   copy
  1. hbase-deamon.sh start thrift2  
thrift默认的监听端口是9090，可以用netstat -nl | grep 9090看看该端口是否有服务。

二、thrift1与thrift2的简单比较

两个版本的thrift文件位于如下位置，
[plain]  view plain   copy
  1. src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift  
  2. src/main/resources/org/apache/hadoop/hbase/thrift2/hbase.thrift  

thrift1的文件有24K左右，而thrift2只有12K左右，看来新版做了大量的简化。
命名空间上，新版都将thrift改为thrift2，以示区别。下表是thrift和thrift2的区别，可以看出，二者真的差别挺大，特别是服务中的方法，thrift2做了简化与合成，并把DDL有关的内容去掉了，关于这些结构、服务的具体意义，请参阅thrift文件中的注释，下文将详细列出。

 

Thrift

Thrift2

结构

struct TCell

struct ColumnDescriptor

struct TRegionInfo

struct Mutation

struct BatchMutation

struct TIncrement

struct TColumn

struct TRowResult

struct TScan

struct TTimeRange

struct TColumn

struct TColumnValue

struct TColumnIncrement

struct TResult

struct TGet

struct TPut

struct TDelete

struct TIncrement

struct TScan

struct TRowMutations

异常

exception IOError

exception IllegalArgument

exception AlreadyExists

exception TIOError

exception TIllegalArgument

其他

 

union TMutation

enum TDeleteType

enum TDurability

服务

名称为：Hbase

void enableTable()

void disableTable()

bool isTableEnabled()

void compact()

void majorCompact()

list<Text> getTableNames()

map<Text,ColumnDescriptor> getColumnDescriptors()

list<TRegionInfo> getTableRegions()

void createTable()

void deleteTable()

list<TCell> get()

list<TCell> getVer()

list<TCell> getVerTs()

list<TRowResult> getRow()

list<TRowResult> getRowWithColumns()

list<TRowResult> getRowTs()

list<TRowResult> getRowWithColumnsTs()

list<TRowResult> getRows()

list<TRowResult> getRowsWithColumns()

list<TRowResult> getRowsTs()

list<TRowResult> getRowsWithColumnsTs()

void mutateRow()

void mutateRowTs()

void mutateRows()

void mutateRowsTs()

i64 atomicIncrement()

void deleteAll()

void deleteAllTs()

void deleteAllRow()

void increment()

void incrementRows()

void deleteAllRowTs()

ScannerID scannerOpenWithScan()

ScannerID scannerOpen()

ScannerID scannerOpenWithStop()

ScannerID scannerOpenWithPrefix()

ScannerID scannerOpenTs()

ScannerID scannerOpenWithStopTs()

list<TRowResult> scannerGet()

list<TRowResult> scannerGetList()

void scannerClose()

list<TCell> getRowOrBefore()

TRegionInfo getRegionInfo()

名称为：THBaseService

bool exists(...)

TResult get(...)

list<TResult> getMultiple(...)

void put(...)

bool checkAndPut(...)

void putMultiple(...)

void deleteSingle(...)

list<TDelete> deleteMultiple(...)

bool checkAndDelete(...)

TResult increment(...)

i32 openScanner(...)

list<TResult> getScannerRows(...)

void closeScanner(...)

void mutateRow(...)

list<TResult> getScannerResults(...)


三、thrift2接口客户端生成文件

包含6个文件hbase_constants.cpp/.h、 hbase_types.cpp/.h、THBaseService.cpp/.h，结构的定义都在hbase_types中，服务方法的实现在THBaseService中（关于这几个文件的详细说明，见作者其他博文）。由于我们通常关心数据的查、增、删（对Hbase来说，改是增加一个新“版本”），因此下面的讨论只围绕这些操作展开。

四、thrift2接口主要结构


以下是主要涉及的结构及其意义。

  • TColumn 对列的封装
  • TColumnValue  对列及其值的封装
  • TResult  对单行（Row）及其查询结果(若干colunmvalue)的封装
  • TGet  对查询一行(row)的封装，可以设置行内的查询条件
  • TPut  与TGet一样，只是它是写入若干“列”
  • TDelete  与TGet一样，只是它是删除若干“列”
  • TScan 对查询多行和多列的封装，有点类似于“cursor”
  • TRowMutations 实际上是若干个TDelete和TPut的集合，完成对一行内数据的“原子”操作

五、thrift2接口service函数

1.    查数据

Service中有关查数据的函数如下：

  • get：对某一行内的查询，输入是表名、TGet结构，输出是TResult
  • getMultiple：实际上是对get的扩展，输入是表名、TGet数组，输出是TResult数组
  • openScanner、getScannerRows、closeScanner：这三个连在一起使用，类似于”cursor”，由openScanner打开一个scanner，getScannerRows从这个打开的scanner顺序得到若干行（也就是一个TResult数组，行数可指定），得不到数据行后可认为已读完，最后用closeScanner关闭这个scanner。查询的条件由TScan封装，在打开时传入。需要注意的是每次取数据的行数要合适，否则有效率问题。

2.    增数据

Service中有关添加数据的函数如下：

  • put：对某一行内增加若干列，输入是表名，TPut结构
  • putMultiple：对put的扩展，一次增加若干行内的若个列，输入是表名、TPut数组
  • checkAndPut：这个函数比较有意思，它提供了一种“原子”操作的概念，当传入的（表名+列族名+列名+数据）都存在于数据库时，才做操作，返回true，否则不做任何操作而返回false。可以看出，Hbase内部实现这个操作时肯定是加锁的。它使用的场合如下：某时刻一个用户取得了某个值，以后只有在确保没有其他人操作该值的情况下才能进行更新。

3.    删数据

Service中有关删除数据的函数如下：deleteSingle，deleteMultiple，checkAndDelete，这三个与上面的put函数类似，不再论述。

4.    其他

Service中其他的函数如下：

  • exists：检查表内是否存在某行或某行内某些列，输入是表名、TGet，输出是bool
  • mutateRow：将某行内若干put和delete操作集合起来，形成一个“原子”操作。输入是表名、TRowMutations结构。
  • increment：增加一行内某些列的值，这个操作比较特别，是专门用于计数的，也保证了“原子”操作特性。


需要注意的是，以上大部分函数都是void，如果操作发生错误，thrift的做法是抛出异常，因此进行操作时应有异常捕获处理。


thrift2接口比较简单明了，当然，实际使用时，会进行或多或少的再次封装，以适应自己的应用需要，对该接口的再次封装，这里不在讨论。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengmingen/article/details/52346618

智能推荐

I/O接口库函数和系统调用I/O接口函数_如何调试exe程序的i/o接口-程序员宅基地

访问文件方式（1）C库I/O函数；（2）系统调用I/O函数1、C文件I/O接口库函数标准C对I/O的概念进行抽象，对于C程序，所有的I/O操作就是移进、移出字节的事情，这种字节流被称为流。可以形象的认为流就是文件。C库函数读取、写入流基本都是完全缓冲，因为I/O函数和磁盘打交道速度太慢，所以就有了一个缓冲区，当缓冲区被塞满的时候，一起打包放入到文件或者设备。这就是完全缓冲。1.文件常量..._如何调试exe程序的i/o接口

RecyclerView跳转到指定位置的两种方式-程序员宅基地

转载解决问题自从android5.0推出RecyclerView以后，RecyclerView越来越受广大程序员的热爱了！大家都知道RecyclerView的出现目的是为了替代listview和ScrollView在列表方面的使用！那么listview和ScrollView的所有功能和方法都应该有的！但是RecyclerView的很多方法，不是封装在RecyclerView中的_recyclerview跳转到指定位置

从零开始语音识别算法--（1）基本概念-程序员宅基地

学习目标希望从语音识别开始深入，最后可以开发一个个性化语音合成的系统。这样就可以随时随地可以听你想听到的人说话啦。语音识别的总体思路语音基本单位：帧（Frame）HMM模型：初始状态概率（P(w1)）和状态转移概率（P(w2 |w1)、P(w2 |w2)）可以用常规的统计方法从样本中计算出来，主要的难点在于发射概率（P(x1 |w1)、P(x2 |w2)、P(x3 |w2)）的计算，所以声学模型问题进一步细化到发射概率（Emission Probability） 的学习上，可以通过生成式模型（

记忆化搜索例题 记忆化搜索-程序员宅基地

1.poj 1579题目链接：http://poj.org/problem?id=1579代码如下：#include <cstdio>#include <cstring>#include <algorithm>#include <iostream>using namespace std;const int maxn=1e...

团队-团队编程项目作业名称-最终程序-程序员宅基地

托管平台地址:https://gitee.com/YangYanDeMeiNv/XiangQi小组名称:BRT小组成员合照:没有程序运行方法:双击网页打开就可以程序运行示例及运行结果：其他附加内容:会继续努力转载于:https://www.cnblogs.com/xuhang97/p/7931795.html...

Android解决RecyclerView中的item显示不全方案-程序员宅基地

最近的项目中实现订单确定页面。需要使用ScrollView嵌套RecyclerView，当RecyclerView中的item数量比较多时，就会出现item只显示一部分数据，并没有将用户勾选的商品数量全部显示出来，这个时候就需要我们做一下处理了。下面来说两种解决方案：1、使用5.0的新控件NestedScrollView替换ScrollView.NestedScrollView支..._android recyclerview onresume后item显示不全

随便推点

如何测试ntp时间服务器-程序员宅基地

C:\Documents and Settings\Administrator>w32tm /stripchart /computer:aisa.pool.ntp.orgTracking aisa.pool.ntp.org [180.168.41.175].The current time is 2012-3-7 15:35:23 (local time).15:35:23 err

elementui 隐藏输入框_vue+elementUi 实现密码显示/隐藏+小图标变化功能-程序员宅基地

vue+elementUi 实现密码显示/隐藏+小图标变化(js一共三行代码，其中一行为了美观)...，先给大家展示下效果图，感觉不错可以参考实现代码。【效果图】【html】// 前后代码【略】【js】showPwd () {this.pwdType === 'password' ? this.pwdType = '' : this.pwdType = 'password';let e = doc..._elementui 输入框隐藏

ArcGIS对遥感影像进行投影转换，纠偏_arcgis核对影像偏移-程序员宅基地

在arcgis中进行坐标转换有两种方法：第一是在ArcToolbox–>数据管理工具模块–>投影和转换–>投影栅格功能，[Toolboxes–>System Toolboxes–>Data Management Tools.tbx–>Projections and Transformations–>Raster–>Project Raster]..._arcgis核对影像偏移

为什么选择Canal + Flume + Kafka 架构而不是Canal + Kafka架构？_为什么用canal 不用kafka-程序员宅基地

对于采集MySQL 的Binlog并实时解析，我们知道Canal直接对接的消息队列MQ中就包含Kafka组件，那么我们为什么不能直接使用Canal + Kafka + SparkStreaming 架构呢？其实上面的问题答案是可以的。 Canal负责采集 Kafka负责消息传输以及固化 SparkStreaming使用Spark引擎解析日志并提取有用的价值。..._为什么用canal 不用kafka

Unity 3d愤怒的小鸟-Line Renderer皮筋绘制-程序员宅基地

Unity 通过LineRenderer绘制两点之间的直线;public class Bird:MonoBehaviour{ private bool isClick=false;//判断是否点击鼠标 public float maxDis=3; private SpringJoint2D sp; private Rigidbody2D rg; ...

深入理解javascript原型和闭包（17）——补充：上下文环境和作用域的关系-程序员宅基地

先用简单的语言来概括一下上下文环境和作用域的区别。00 上下文环境：可以理解为一个看不见摸不着的对象（有若干个属性），虽然看不见摸不着，但确实实实在在存在的，因为所有的变量都在里面存储着，要不然咱们定义的变量在哪里存？另外，对于函数来说，上下文环境是在调用时创建的，这个很好理解。拿参数做例子，你不调用函数，我哪儿知道你要给我传什么参数？01 作用域：首先，它很抽象。第二，记住一句话：除了全局作用域，

推荐文章

热门文章

相关标签