初识DataLake数据湖_BabyFish13的博客-程序员秘密

技术标签： DataLake 数据湖数据分析数据仓库数仓理论相关 DataWarehouse

维基百科对Data lake的解释：数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储，从原始数据（这意味着源系统数据的精确副本）转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。湖中的数据包括结构化数据从关系数据库（行和列），半结构化数据（CSV、XML、JSON的日志），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像、音频、视频）从而形成一个集中式数据存储容纳所有形式的数据。
数据湖的核心思想是把不同结构的数据统一存储，使不同数据有一致的存储方式，在使用时方便连接，真正解决数据集成问题。
数据湖泊和数据仓库的区别，主要就是数据仓库的数据进入这个池之前是预先分类的，这可以指导其后面如何进行数据的分析。但在大数据时代，这些都是素材而已，你根本不知道以后如何用它。也就是数据湖泊给后面的数据分析带来了更大的弹性。因此，这个放大数据的仓库，专家建议叫数据湖泊，以区别于数据仓库。

数据湖泊是包含下面两个特征的信息系统：
可以保存大数据的并行系统；
能够在数据不移动的情况下进行计算的系统。

数据湖泊的成熟度分为四个级别：
1、第一级是在没有用Hadoop之前，这个时候各个大型应用都有自己的数据库，也有自己的数据仓库来做数据分析。
2、第二级是企业引入了Hadoop。企业的应用数据和Hadoop有交互。
3、第三级是数据湖泊的成长期。新的系统直接支持Hadoop，Hadoop成为缺省配置，而数据仓库只在某些特定场景下使用，外部的数据也引入数据湖泊中。
4、第四阶段就是数据湖泊和应用云阶段。Hadoop大量采用，并且加强其可靠性、安全性。
看来，数据湖泊是构造企业差异化竞争的很好思路，而Hadoop是目前流行的实现手段。

那么，Hadoop和数据湖泊又有何关系呢？
当前，Hadoop是实现数据湖泊的最常用技术手段，但以后也许有更好的方式。也就是说，数据湖泊是一个概念，而Hadoop是实现这个概念的技术手段。

难道数据湖不是数据仓库吗？
数据湖和数据仓库都是数据存储库，这一点没有区别。数据湖以其本机格式保存大量原始数据，包括结构化的、半结构化的和非结构化的数据。在需要数据之前，没有定义数据结构和需求。
数据：数据仓库是存储数据，进行建模，存储的是结构化数据；而数据湖不在乎数据，它存储所有的结构化、半结构化和非结构化。
处理：在我们可以加载到数据仓库中的数据，我们首先需要定义好它，这叫做写模式。对于数据湖，您只需加载原始数据，然后，当您准备使用数据时，就给它一个定义，这叫做读模式。两种截然不同的方法。
存储：像Hadoop这样的大数据技术的主要特点之一是与数据仓库相比，存储数据的成本相对较低。这有两个关键原因：首先，Hadoop是开源软件，因此许可和社区支持是免费的。第二，Hadoop被设计成安装在低成本的硬件资源上。
敏捷性：根据定义，数据仓库是高度结构化的存储库。改变结构并不是技术上的困难，但是考虑到所有与之相关的业务流程将会非常耗时。另一方面，数据湖缺乏数据仓库的结构，这使得开发人员和数据科学家能够轻松地配置和重新配置他们的模型、查询和应用程序。
安全：数据仓库技术已经存在了几十年，而大数据技术（数据湖的基础）是相对较新的。因此，在数据仓库中保护数据的能力比在数据湖中保护数据要成熟。
用户：因为BI和分析的原因，用户可能已经建立了数据仓库，并邀请“每个人”来使用，但平均来说只有20%到25%的使用者。所以这些人怀疑对数据湖来说也是这样吗？当我们建立了数据湖，大家会不会来用。所以从用户差异上来看，数据仓库适合企业专业人士，而数据湖最适合数据科学家。
通过以上5点的对比，数据湖并不是数据仓库，它们有各自的目标，为实现你的业务做最好的选择。

本文链接：https://blog.csdn.net/BabyFish13/article/details/78802940

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Jupyter Notebook读取文件IOPub数据率超出怎么修改`--NotebookApp.iopub_data_rate_limit`_进一寸有一寸的欢喜077的博客-程序员秘密

0x01 问题描述在处理csv文件时，出现如下图所示错误：0x02 出现原因IOPub数据率超出了，提示中给出了修改配置的方法。0x03 解决办法(base) C:\Users\lenovo>jupyter notebook --generate-configOverwrite C:\Users\lenovo\.jupyter\jupyter_notebo...

jquery 图片延迟加载的实现_jquery 图片延时加载_飓风zj的博客-程序员秘密

最近c2c电子商务已经进入优化阶段，我负责前台大多数的功能的实现，其实商品列表页，由于会显示很多的商品，要是一次性都显示出来，会造成服务器很大的压力，此时我们可以考虑当用户滑动滚动条的时候，图片显示出现在屏幕范围之内的时候在加载进来，这样就可以减少服务器一次性过多请求带来

linux系统命令行基本操作9——管理网络_chine666的博客-程序员秘密

1.ip基础知识 ipv4 ： 2进制32位-----10进制172.25.0.10/255.255.255.0 172.25.0.10： ip地址255.255.255.0：子网掩码子网掩码255位对应的ip位为网络位，子网掩码0对应的ip位为主机位2.配置ip>1）图形界面nm-connection-editor

tracker:iou+lapjv（未使用kalmanfilter)_lapjv算法matlab实现_gakki_chen的博客-程序员秘密

from future import print_functionimport cv2import osimport numpy as npimport matplotlibmatplotlib.use(‘TkAgg’)import matplotlib.pyplot as pltimport matplotlib.patches as patchesfrom skimage import ioimport globimport timeimport argparsetry:fro

鸿蒙开发之资源文件与HiLog日志_CodeDevMaster的博客-程序员秘密

鸿蒙开发之资源文件资源文件的分类resources目录资源组目录资源文件的使用Java文件引用资源文件的格式普通资源：ResourceTable.type_name系统资源：ohos.global.systemres.ResourceTable.type_name获取profile中的文件内容XML文件引用资源文件的格式普通资源：$type:name系统资源：$ohos:type:name。rawfile目录中的资源文件资源文件的分类resources目录应用的资源文件（字符串、图片、音频等）统一存放

《Pro Android Graphics》读书笔记之第一节_android graphic书籍_傲慢的上校的博客-程序员秘密

大体上看了一下，该书共分为19章，此文章仅为自己作为记录所用，所以书中很多重要知识点可能没有收录，建议直接读书，拿此参考即可，因为是英文书籍，可能很多方面理解不透彻，文中可能会有不少错误，欢迎指点探讨。Android Digital Imaging: Formats, Concepts and Optimization 第一节：Android’s Digital Image Form