数据建模,ODS模型分析-程序员宅基地

技术标签: 数据库  大数据  

 

根据ODS系统解决的不同的数据问题,将ODS模型将数据按三层进行管理:分别针对细节级数据、汇总型数据和分析型数据,每个区域有自己的管理重点。下面分别介绍。

基础数据层(FDM:FOUNDATION DATA MODLE)。来源于标准化的各源系统提供的业务基础数据。基础数据层的数据粒度为细节级数据。存储从源系统抽取的业务基础数据。这些数据经过清洗、标准化,主要是操作型数据和参数数据。基础数据层按业务主题进行归类、整合。

加工汇总层(ADM:ANALYSIS DATA MODLE)。在基础数据的上进行加工汇总形成的指标数据存储分析型和加工汇总型数据。来源于标准化的各源系统的汇总、报表数据,是基础数据经过加工按一定维度汇总的指标,或分析数据。加工汇总层的数据需求来源于应用的一些共同性指标,可以是一些中间数据,这些指标的存在,可以大大提高应用系统的处理效率。

数据集市层(MDM:MART DATA MODLE)。存储在ODS模型基础上的应用数据。其中指标数据主要从加工汇总层生成,分析数据主要从基础数据层生成,数据集市系统手工录入数据。数据集市层根据应用需求进行建设,存放的数据主要为分析型数据。其中操作型数据主要为各自的数据集市专用。

 

M层数据可从A层来,也可以直接由F层来。M层数据直接对外,可直接取用,一般均为满足需求。当然也可以从A层或F层取数据,比如取明细数据。

 

结合ETL工具KETTLE,各数据层的处理模式如下:

 

FDM层直接利用KETTLE数据抽取即可。

ADM与MDM层数据,处理较为复杂,非KETTLE处理的长项所在,但依旧可以利用KETTLE进行任务设计,数据加工处理交由数据库存储过程处理,KETTLE调用Store Procedure即可。

手机扫一扫,欢迎关注公众号

关注程序员成长

转载于:https://www.cnblogs.com/growithus/archive/2012/05/09/11012300.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/anmishi2025/article/details/101347808

智能推荐

Shell脚本的规则与练习题_shell:登录名和密码可以用文本文件存储,默认已有一个登录名admin,其密码为123456,-程序员宅基地

文章浏览阅读251次。1:变量的规则定义变量规则:变量名=值shell定义变量的规则:1:等号两边不能有空格2:定义特殊的变量需要用单引号或者双引号结合3:定义linux命令需要用反单引号区分单引号和双引号的不同和相同点2:脚本的命名格式脚本名称使用.sh结尾3:脚本的起始行格式第一行必须写# !/bin/bash4:脚本输入输出格式1:输入语句用:read2:Shell输出值:echo $变量名5: 脚本的调用方式1:./脚本名.sh(权限的问题)方式2: sh 脚本名.sh比较运算符和逻辑运_shell:登录名和密码可以用文本文件存储,默认已有一个登录名admin,其密码为123456,

ubuntu桌面版打开终端Terminal的几种方法_mate 桌面查看当前桌面所有终端-程序员宅基地

文章浏览阅读3w次,点赞7次,收藏8次。1. Ctrl + Alt + T 快捷键直接打开2. 在Ubuntu左上角选择File/Open in Terminal3. 快捷键alt+F2调出Run a Command,输入gnome-terminal4. 通过dash home这个按钮,输入te,就可以看到Terminal终端的选项了,如下图:_mate 桌面查看当前桌面所有终端

(JavaScript学习记录):BOM 浏览器对象模型-程序员宅基地

文章浏览阅读360次。写在前面:参考哔哩哔哩黑马程序员pink老师教程 地址:https://www.bilibili.com/video/BV1Sy4y1C7ha?t=41&p=4目录BOM 浏览器对象模型BOM 概述什么是 BOMBOM 的构成window 对象的常见事件窗口加载事件调整窗口大小事件定时器setTimeout() 定时器案例: 5秒后自动关闭的广告停止 setTimeout() 定时器setInterval() 定时器案例: 倒计时停止 .

echarts的y轴自适应,不从0开始_echarts y轴自适应-程序员宅基地

文章浏览阅读2.6w次,点赞14次,收藏26次。echarts的y轴自适应,不从0开始最近写项目的时候画图工具用的esharts,还是比较不错,但是做一个折线图的时候遇到个问题。可以看到如果数值接近,那么曲线就不会很明显,最后找到个属性。scale:true加上之后就可以自由伸展了。option = { xAxis: { type: 'category', data: ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun'], }, yAxis_echarts y轴自适应

Linux core文件的生成、大小、路径查看和设置_linux查看core文件路径-程序员宅基地

文章浏览阅读5.8k次。1.设置core文件大小1)使用ulimit -c命令可查看core文件的生成开关。若结果为0,则表示关闭了此功能,不会生成core文件。2)使用ulimit -c filesize命令,可以限制core文件的大小(filesize的单位为kbyte)。若ulimit -c unlimited,则表示core文件的大小不受限制。如果生成的信息超过此大小,将会被裁剪,最终生成一个不完整的core文件。在调试此core文 件的时候,gdb会提示错误。可以将ulimit -c unlimited写入到.ba_linux查看core文件路径

等价类结和判定表的软件测试方法应用-程序员宅基地

文章浏览阅读626次。摘要:软件测试的类型通常分为白盒测试和黑盒测试,其中基于等价类的划分法与基于判定表的测试法都是较为典型和实用的黑盒测试技术方法。在实际工作中,为了使测试用例的覆盖更加全面,测试目的更加明确,通常不仅仅局限于某一种测试手段。针对等价类和判定表这两种方法各自的特点,可以将两者有机结合,通过对输入条件进行等价类划分,对输出行为进行判定表列举,用综合的手段进行软..._测试用例等价类和判定表合用

随便推点

element ui表格内容过长省略显示,点击单元格展开全部内容_elementui 表格 缩略显示-程序员宅基地

文章浏览阅读7.9k次,点赞5次,收藏15次。element-ui表格内容过长用省略号省略过长的内容文本,通过点击单元格将该单元格完整的内容完整展示出来!_elementui 表格 缩略显示

Nano、orangepi 设置ip_nano改ip-程序员宅基地

文章浏览阅读724次。Nano,Orangepi修改ip,和修改ip不生效问题总结。_nano改ip

Retrofit源码分析--Retrofit动态代理与CallAdapter的实现_retrofit call flowable区别-程序员宅基地

文章浏览阅读590次。目前打算选用Retrofit2+RxJava2作为网络请求框架,下面从源码角度分析下这两个框架是怎么粘合在一起的。看完本文,你将会看到: - 动态代理模式在Retrofit中的运用。 - 抽象工厂模式在Retrofit中的运用。 - RxJava2如何和Retrofit结合实现网络请求模块。使用Retrofit实现网络请求定义一个Service接口//ht..._retrofit call flowable区别

centos7中iptables启动失败_centos7安装了iptables但是无法启动-程序员宅基地

文章浏览阅读7.5k次,点赞3次,收藏5次。出现这种情况,输入service iptables save命令,iptables启动正常_centos7安装了iptables但是无法启动

Qt单元测试--基本使用-程序员宅基地

文章浏览阅读4.6k次。Qt单元测试--基本使用2018年03月19日 16:27:11zzwdkxx阅读数 332更多个人分类:Qt转自:http://blog.csdn.net/yizhou2010/article/details/78272505框架生成QtTestLib框架提供了一个简单易用的单元测试框架,首先我们通过Qt Creator自动创建一个测试框架。创建名为MyTest的..._qt单元测试

RedisDesktopManager启动后不显示窗口_为什么another redis desktop manager打开后是白屏-程序员宅基地

文章浏览阅读2.4k次,点赞13次,收藏6次。一、问题描述每次打开RDM的时候,只显示了更新提示窗口,而主窗口却并没有显示(双屏都没有显示),通过Alt + Tab检查发现,软件是正常打开的。二、解决办法首先按alt+tab键,确保该窗口处于激活位置(或者任务栏选中这个RDM) 然后再按alt+space键,激活控制菜单(注意快捷键别被占用,如:uTool快键键就是这个) 再按m键(按住不放),上下左右操作,将窗口移到屏幕中间位置即可三、相关图片..._为什么another redis desktop manager打开后是白屏