大数据入门-大数据技术概述(一)-程序员宅基地

技术标签： hive 大数据理论 hdfs hadoop 大数据实时大数据

大数据入门系列文章

1.大数据入门-大数据是什么

一、概念

大数据入门系列文章

你知道什么是大数据吗，请走传送门。

1.大数据入门-大数据是什么

一、概念

大数据技术是指在构架大数据平台的时候需要的技术。包含存储系统，数据库，数据仓库，资源调度，查询引擎，实时框架等。下面以我目前所了解到的一些技术做简要介绍。目前之介绍简单概念。

二、技术详解

1.基础架构：Hadoop

1.架构

2.简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

2.分布式文件系统：HDFS

1.HDFS架构

2.简介

指被设计成适合运行在通用硬件上的分布式文件系统。

3.特点

HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。

3.数据仓库：Hive

1.架构

2.简介

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

3.特点

执行过程走MapReduce比较慢，处理规模大，可扩展性高，加载模式为读时模式。后面就MapReduce会做专门的解释。

4.存储引擎：Kudu

1.架构

2.简介

Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。

3.特点

支持随机读写，支持OLAP 分析，太多列查询时性能下降，跟关系型数据有点类似。其存储文件不在HDFS上面，有自己的存储文件系统。

5.分布式数据库：HBase

1.架构

2.简介

HBase是一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。

3.特点

高可靠、高性能、面向列、可伸缩。

6.实时框架：Flink

1.架构

2.简介

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

3.特点

流处理特性、API支持、Libraries支持、整合支持。

三、其他

以上就是我目前涉及到的部分技术，下一篇出Zookpeer、Yarn、Spark、Impala、Kafka、Flume。

大数据入门系列文章

你知道什么是大数据吗，请走传送门。

1.大数据入门-大数据是什么

如果你觉得这篇文章对您有帮助，请关注点赞加收藏，想要了解更多请关注公众号联系博主，祝您生活愉快，身心健康！

备注：以上资源来自网络，侵删。

本文链接：https://blog.csdn.net/helongqiang/article/details/119282811

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Sandboxie v5.45.2正式版系统安全工具_sandboxie系统安全工具-程序员宅基地

文章浏览阅读141次。简介：菜鸟高手裸奔工具沙盘Sandboxie是一款国外著名的系统安全工具，它可以让选定程序在安全的隔离环境下运行，只要在此环境中运行的软件，浏览器或注册表信息等都可以完整的进行清空，不留一点痕迹。同时可以防御些带有木马或者病毒的恶意网站，对于经常测试软件或者不放心的软件，可放心在沙盘里面运行！下载地址：http://www.bytepan.com/J7BwpqQdKzR..._sandboxie系统安全工具

Mac技巧|如何在 MacBook上设置一位数登录密码-程序员宅基地

文章浏览阅读230次，点赞4次，收藏5次。Mac老用户都知道之前的老版本系统是可以设置一位数登陆密码的，但是更新到10.14以后就不可以了，今天就教大家怎么在新版本下设置Mac一位数登陆密码。

chatgpt中的强化学习 PPO_chatgpt使用的强化学习-程序员宅基地

文章浏览阅读3.4k次。本该到此结束，但是上述实现的时候其实是把生成的每一步的奖励都使用统一的句子级reward，但该代码其实也额外按照每个token来计算奖励值的，为了获取每个token的奖励，我们在生成模型的隐层表示上，多加一个线性层，映射到一维，作为每个状态的预测奖励值。类似的，在文本生成中我们也可以用蒙特卡洛方法来估计一个模型的状态价值。假如我们只采样到了s1和s2，没有采样到s3，由于7和3都是正向奖励，s1和s2的训练后生成的概率都会变大，且s1的概率变的更大，这看似合理，但是s3是未参与训练的，它的概率反而减小了。_chatgpt使用的强化学习

获取不规则多边形中心点_truf计算重心-程序员宅基地

文章浏览阅读433次，点赞10次，收藏8次。尝试了3种方法，都失败了！_truf计算重心

HDU 1950最长上升子序列学习nlogn_poj 1631 hdu 1950为啥是最长上升子序列-程序员宅基地

文章浏览阅读406次。学习LIS_poj 1631 hdu 1950为啥是最长上升子序列

kubernetes===》二进制安装_sed -ie 's#image.*#image: ${ epic_image_fullname }-程序员宅基地

文章浏览阅读550次。一、节点规划主机名称IP域名解析k8s-m-01192.168.12.51m1k8s-m-02192.168.12.52m2k8s-m-03192.168.12.53m3k8s-n-01192.168.12.54n1k8s-n-02192.168.12.55n2k8s-m-vip192.168.12.56vip二、插件规划#1.master节点规划kube-apiserverkube-controller-manage_sed -ie 's#image.*#image: ${ epic_image_fullname }#g