当先锋百科网

首页 1 2 3 4 5 6 7

     为把Bill Inmon和Kimball 两种不同的思路统一起来,Bill Inmon提出了CIF(Corporation Information Factory)架构,核心是把数据仓库分为不同的层次以满足不同场景的需求;每层根据不同的场景采用不同的方案。

传统数据仓库1.0的分层:

数据源->数据集成平台->数据交换平台->数据集市(数据应用、数据汇总、数据明细)

传统数据仓库2.0的分层:

ODS->DWD->DWS->DM

  1. ODS(Operation Data Service):操作型数据服务,不做建模,和业务数据库保持一致
  2. DWD(Data WareHouse Detail):数据仓库明细层,采用ER 建模,一般到3NF ;对来源于多个业务系统的数据进行合并;如需要,在该层另外开辟一个区域作为公共维度层(DIM),把通用的主数据抽取出来按3NF建模。
  3. DWS(Data WareHouse Service):数据仓库服务层,采用维度建模,对DWD的数据进行按维度建模,可根据需要进行通用的轻微轻汇总,减少重复计算。
  4. DM(Data Market):数据集市层,采用维度建模、多维建模,根据业务需求对DWS层进行重度汇总,方便业务使用。

基于大数据的数据仓库:

Data Lake->DWD->DWS->DM->ADS(BI、推荐系统、用户画像、广告系统)

Data Lake:数据湖,采集企业的所有数据,包括结构化数据、半结构化数据、非结构化数据、媒体数据(音频、视频、图片);可以保留源数据格式或用Data Vault建模。

其他层和传统数仓几乎差不多。

ODS层的作用:

  1. 尽可能减少对源系统的影响
  2. 方便作业重新开始以及Debug
  3. 数据备份、方便数据审计
  4. 数据格式的统一
  5. 实时性要求高就不必ODS
  6. 必要时添加派生审计字段、去掉Clob、Blob字段、增加checkSum code

DW&DM层的区别:

 

DW

DM

需求

侧重于整合,下游为系统;侧重于共享性和权威性

侧重于分析,下游是报表;侧重于灵活性和多变性

模型

侧重于模型的稳定性,兼顾成本和效率

侧重访问的方便性

团队和管理

总部CIO主导,主数据、参照数据等核心数据由总部CIO审核

确保数据来源于DW,数据的Owner是数据使用部门

变更管理

谨慎面对变化,充分考虑对下游的影响

主动迎接变化,方便下游使用

访问

ETL、各系统的接口、低频次

高频次、最终用户

审计

数据变化的审计

报表的访问审计