HAWQ个人学习笔记(一)——HAWQ介绍-程序员宅基地

技术标签: 经验分享  hadoop  大数据  

一、什么是HAWQ?

HAWQ是Hadoop原生SQL查询引擎,针对分析性的应用。它具有大规模并行处理很多传统数据库以及其他数据库没有的特性及功能,结合了MMP数据库的关键技术优势和Hadoop的可扩展性和便利性。读写依赖于HDFS。

注:Hadoop是一种分布式文件系统,适用于大规模数据集的应用,具有高容错性。简称HDFS。

二、特性

  • 丰富且兼容的ANSI SQL标准并且支持SQL 92、99、2003 OLAP以及基于Hadoop的PostgreSQL
  • 用户自定义函数支持多种语言:Python、Java、C/C++,R
  • 支持多种压缩方法:snappy,gzip,quicklz,RLE等

注:特性太多,很多还不理解,详见别的文章。

三、架构

Hadoop有许多元素组成。

  1. NameNode
    它负责管理文件系统名称空间和控制外部客户机的访问。

    ①接收客户端的读写请求
    ②接收DataNode的心跳报告
    ③分配数据块的存储节点
    ④存储元数据信息

    注:系统表(元数据)存在 master本地,用户数据存在HDFS。系统入口,终端用户通过master与 HAWQ交互。负责接收客户端连接并处理 SQL命令

  2. DataNode
    它响应来自 HDFS 客户机的读写请求,还响应来自 NameNode 的创建、删除和复制块的命令。
    ①真正处理客户端的读写请求
    ②真正的数据存储
    ③向NameNo

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_42349305/article/details/106120981

智能推荐

python libnum库安装使用方法_import libnum-程序员宅基地

文章浏览阅读2.1k次。python libnum库安装使用方法安装git clone https://github.com/hellman/libnumcd libnumpython setup.py install常用的Converting数字型(十六进制or十进制)与字符串之间的转换:>>>import libnum>>>s = 'rangrang'>>> print(libnum.s2n(s))8241990183644393063>>_import libnum

求解立方根 java_java计算立方根保留一位小数-程序员宅基地

文章浏览阅读3k次,点赞2次,收藏12次。求解立方根 java题目描述•计算一个数字的立方根,不使用库函数详细描述:•接口说明原型:public static double getCubeRoot(double input)输入:double 待求解参数返回值:double 输入参数的立方根,保留一位小数输入描述:待求解参数 double类型输出描述:输入参数的立方根 也是double类型示例1输入216..._java计算立方根保留一位小数

UTF-8编码的详细讲解_utf-8编码怎么用-程序员宅基地

文章浏览阅读2.8k次。UTF-8 and Unicode FAQ by Markus Kuhn 中国LINUX论坛翻译小组 xLoneStar[译] 2000年2月 这篇文章说明了在 POSIX 系统 (Linux,Unix) 上使用 Unicode/UTF-8 所需要的信息. 在将来不远的几年里, Unicode 已经很接近于取代 ASCII 与 Latin-1 编码的位置了. 它不仅允许你处理处理事实上存在于地_utf-8编码怎么用

APP专项测试之耗电量测试_app电量测试-程序员宅基地

文章浏览阅读6.9k次。一、耗电量测试分析相对于PC端来说,移动设备的电池电量是非常有限的,保持持久的续航能力尤为重要。Android的很多特性都比较耗电(如屏幕、GPS、sensor传感器、唤醒机制、CPU、连网等的使用),我们必须要慎重检查APP的电量使用,以免导致用户手机耗电发热,带来不良体验。1、耗电场景主要的耗电场景有: cpu:复杂的运算逻辑、死循环等会直接导致CPU负载过高,会导致耗电; wakelock:只要有应用拿到wakelock这个锁,系统就无法进入睡眠状态。频繁wakelock或_app电量测试

C++的左值和右值及C++11新特性:移动构造_cv修饰-程序员宅基地

文章浏览阅读389次。本文转载于:https://blog.csdn.net/xuwqiang1994/article/details/79924310http://c.biancheng.net/view/7847.html确实有点恶心加难,可以多读几遍,多多思考~左值和右值:翻译至https://eli.thegreenplace.net/2011/12/15/understanding-lvalues-and-rvalues-in-c-and-c/C/C++编程中不是经常出现术语(左值)和rvalue_cv修饰

python爬虫爬取博客_Python爬虫入门教程——爬取自己的博客园博客-程序员宅基地

文章浏览阅读340次。互联网时代里,网络爬虫是一种高效地信息采集利器,可以快速准确地获取网上的各种数据资源。本文使用Python库requests、Beautiful Soup爬取博客园博客的相关信息,利用txt文件转存。基础知识:网络爬虫是一种高效地信息采集利器,利用它可以快速、准确地采集互联网上的各种数据资源,几乎已经成为大数据时代IT从业者的必修课。简单点说,网络爬虫就是获取网页并提取和保存信息的自动化过程,分为..._python爬取博客网400

随便推点

PHP多张图片拼接成长图_php 图片合成-程序员宅基地

文章浏览阅读205次。将多张图片,按照规格合成一张图片。_php 图片合成

VirtualLab专题实验教程-1.超表面纳米柱及其相位分析_超表面相位计算-程序员宅基地

文章浏览阅读3k次,点赞12次,收藏36次。大创团队成员陆续进入考研阶段,已经许久没有更新,今天有一个比较好玩的超表面拿出来给大家分享,结合了讯技光电官方给出的技术文档。本次试验仅适用于试用版(7.6.1.18版可能存在一些版本问题无法操作)。本篇由大创团队成员:唐艺恒、扶杨玉、黄一诺、李思潼、明玥共同完成。此篇为工程案例的首次探索,以超表面为研究对象,确实遇到各种问题,希望大家感兴趣的尝试后能够一起讨论看看。_超表面相位计算

WIN7如何设置虚拟网卡-程序员宅基地

文章浏览阅读173次。2019独角兽企业重金招聘Python工程师标准>>> ..._win7 创建 tap

杭电1000 C++ AC代码,A+Bproblem_c++ac代码库-程序员宅基地

文章浏览阅读496次。很简单哒一道题哦,没AC的小伙伴肯定是刚接触ACM吧,不用怕哦,做这个老师说需要耐心,小伙伴们一起加油吧~~#include using namespace std;int main(){ int a=0, b=0; while(cin>>a>>b) { cout<<

如何在Golang中运行exec.Command时调试“exit status 1”错误-程序员宅基地

文章浏览阅读1.8w次,点赞3次,收藏4次。当我运行下面的代码:cmd := exec.Command("find", "/", "-maxdepth", "1", "-exec", "wc", "-c", "{}", "\\")var out bytes.Buffercmd.Stdout = &outerr := cmd.Run()if err != nil { fmt.Println(err) return

运行Java程序-设置classpath_javac指定classpath-程序员宅基地

文章浏览阅读3.2k次。Java命令用于运行Java程序,它会启动Java虚拟机,Java虚拟机加载相关的类,然后调用主程序类的mail()fan_javac指定classpath

推荐文章

热门文章

相关标签