软考-架构师-第三章-数据库系统 第十五节 数据仓库的结构 (读书笔记)_迦蓝叶的博客-程序员秘密

技术标签: 读书笔记  软考  架构师  数据库  软考-架构师  

版权声明

主要针对希赛出版的架构师考试教程《系统架构设计师教程(第4版)》,作者“希赛教育软考学院”。完成相关的读书笔记以便后期自查,仅供个人学习使用,不得用于任何商业用途。

第十五节 数据仓库的结构

数据仓库系统要包含数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库及各种管理工具和应用工具。

img

数据仓库建立之后,首先要从数据源中抽取相关的数据到数据准备区,在数据准备区中经过净化处理后再加载到数据仓库数据库,最后根据用户的需求将数据导入数据集市和知识挖掘库中。当用户使用数据仓库时,可以利用包括 OLAP(On-Line Analysis Processing,联机分析处理)在内的多种数据仓库应用工具向数据集市/知识挖掘库或数据仓库进行决策查询分析或知识挖掘。数据仓库的创建、应用可以利用各种数据仓库管理工具辅助完成。

数据仓库的参考框架

数据仓库的参考框架由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。

img

(1)数据仓库基本功能层。数据仓库的基本功能层部分包含数据源、数据准备区、数据仓库结构、数据集市或知识挖掘库,以及存取和使用部分。本层的功能是从数据源抽取数据,对所抽取的数据进行筛选、清理,将处理过的数据导入或者说加载到数据仓库中,根据用户的需求设立数据集市,完成数据仓库的复杂查询、决策分析和知识的挖掘等。

(2)数据仓库管理层。数据仓库的正常运行除了需要数据仓库功能层提供的基本功能外,还需要对这些基本功能进行管理与支持的结构框架。数据仓库管理层由数据仓库的数据管理和数据仓库的元数据管理组成。

数据仓库的数据管理层包含数据抽取、新数据需求与查询管理,数据加载、存储、刷新和更新系统,安全性与用户授权管理系统及数据归档、恢复及净化系统等四部分。

(3)数据仓库的环境支持层。数据仓库的环境支持层由数据仓库数据传输层和数据仓库基础层组成。数据仓库中不同结构之间的数据传输需要数据仓库的传输层来完成。

数据仓库的传输层包含数据传输和传送网络、客户/服务器代理和中间件、复制系统及数据传输层的安全保障系统。

大众观点的数据仓库的架构

img

1)数据源。是数据仓库系统的基础,是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于 RDBMS(关系型 DBMS)中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等。

(2)数据的存储与管理。是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)

(3)OLAP 服务器。对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:ROLAP、MOLAP 和 HOLAP。ROLAP 基本数据和聚合数据均存放在 RDBMS 之中;MOLAP 基本数据和聚合数据均存放于多维数据库中;HOLAP 基本数据存放于 RDBMS 之中,聚合数据存放于多维数据库中。

(4)前端工具。主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对 OLAP 服务器,报表工具、数据挖掘工具主要针对数据仓库。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/soslinken/article/details/80994682

智能推荐

linux不支持tailf指令,Linux安装tailf_美界柯南的博客-程序员秘密

新建文件tailf.c文件文件内容如下:/* tailf.c -- tail a log file and then follow it* Created: Tue Jan 9 15:49:21 1996 by [email protected]* Copyright 1996, 2003 Rickard E. Faith ([email protected])** Permission is hereby g...

2020-02-13_so_cool_boy的博客-程序员秘密_文章已于2020-02-13修改

Python列表-操作-切片-多维列表序列是Python中最基本的数据结构。序列中的每一个元素都分配一个数字,它的位置,或索引,索引从0开始。Python有6个序列的内置类型,最常见的是列表和元组,序列可以进行的操作包括:索引,切片,加,乘,检查成员。​ 列表通过索引获取 列表[索引]定义一个空列表:list = []定义一个有5个元素的列表:list = [1, 2, 3, 4, 5]定义一个储...

算法工程师分类与要求_heng2019的博客-程序员秘密_算法工程师要求

(一)图像算法/计算机视觉工程师包括图像算法工程师,图像处理工程师,音/视频处理算法工程师,计算机视觉工程师要求:专业:计算机、数学、统计学相关专业;技术领域:机器学习,模式识别技术要求:(1)精通DirectX HLSL和OpenGL GLSL等shader语言,熟悉常见图像处理算法GPU实现及优化;(2)语言:精通C/C++;(3)工具:Matlab数学软件,CUDA运算平台,VTK图像图形开源软件【医学领域:ITK,医学图像处理软件包】(4)熟悉OpenCV/OpenGL/Ca

NGINX-LUA——变量浅谈_aijia7039的博客-程序员秘密

Nginx 变量的创建只能发生在 Nginx 配置加载的时候,或者说 Nginx 启动的时候;而赋值操作则只会发生在请求实际处理的时候。事例:1 server {2 listen 8080;3 location /bar {4 echo "foo = [$foo]";5 set $foo 32;6 }...

mysql 硬盘写入速度_MySQL存储写入速度慢分析_weixin_39998906的博客-程序员秘密

一、存储结构分析MySQL存储结构图:解析:1、读操作:内存读-->cache缓存读-->磁盘物理读读取到的数据会按上述顺序往回送。2、写操作:内存数据直接写入cache缓存(非常快)-->写入disk由上可知,MySQL之所以读写速度快,cache在其中起到了关键作用。1、Cache缓存特点:1、速度快2、掉电数据丢失3、容量有限2、保护数据安全(防止意外掉电的数据丢失)应对措...

<二>Material主题的使用__wiky_的博客-程序员秘密

http://developer.android.com/training/material/theme.htmlMaterial主题带来的效果体现在以下几个方面:System widgets that let you set their color palette(调色板)系统控件(部件)的触屏反馈动画Activity跳转动画可以在app中对color palet

随便推点

ckplayer html播放本地,vue中使用ckplayer播放器_清蒸星星清蒸星星的博客-程序员秘密

请选择视频源获取视频中,请稍等...export default {name: '',components: {},props:{sourceUrl:{type:String,default:''},height:{type:String,default:'550px'}},data() {return {sourceUrls:this.sourceUrl,//如果不赋值,在加载组件时会报错pla...

notepad列编辑功能_joris30的博客-程序员秘密

本文网址:https://www.crifan.com/files/doc/docbook/rec_soft_npp/release/htmls/npp_function_column_mode.htmlNotepad++介绍全目录:https://www.crifan.com/files/doc/docbook/rec_soft_npp/release/htmls/index.html ...

LINQ-分页数据查询_admindong的博客-程序员秘密

//1            var ss = (from r in db.Am_recProScheme                      where r.rpId > 10                      orderby r.rpId descending                      select r).Skip(10).Take(10); 

北航计算机组成原理课程设计-2020秋 PreProject-Logisim-斐波那契数列问题(简单迭代法+矩阵乘法的快速幂)_走肖暂时无法接通的博客-程序员秘密

北航计算机学院-计算机组成原理课程设计-2020秋,PreProject-Logisim-Logisim组合逻辑电路-斐波那契数列问题(简单迭代法+矩阵乘法的快速幂)。北航计算机学院的计算机组成原理课程设计,是高度实践性的专业课程,一共会有P0~P9九个project,以及进入project之前的预备知识。

4.4 节点启动及成员管理_cpongo311111的博客-程序员秘密

超级账本网络维护着所有节点的信息,包括存活节点和故障节点,包括最近一次检测到它们存活或者掉线的时间,所有节点信息都是以PKI-ID为标识符的。要想加入到超级账本网络,节点必须至少要知道网络中一个存活节点的地址信息。节点启动的时候会读取配置文件core.yaml,读取bootpeer.gossip.bootstrap字段的值,这个字段可以设置为一个列表,它包含了它可以连接的一些节点,这个...

推荐文章

热门文章

相关标签