数据仓库：分层原理

数据仓库：分层原理

目录

• 一、什么是数据仓库
• 二、数仓建模的意义，为什么要对数据仓库分层？
• 三、ETL
• 四、技术架构
• 五、数仓分层架构
  数仓逻辑分层
  • 1、数据引入层（ODS，Operational Data Store，又称数据基础层）：
    • 1.1 、数据主要来源
    • 1.2 、数据存储策略（增量、全量）
  • 2、数仓层（DW,data warehouse）
    • 2.1、公共维度层（DIM，Dimension）
    • 2.2、DWD: （data warehouse detail）数据明细层，明细粒度事实层
    • 2.3、DWS（ data warehouse service）数据服务层，汇总层宽表
  • 3、应用层（ADS）applicationData Service应用数据服务
  • 4、层次调用规范

一、什么是数据仓库

Bill Inmon：数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。

Ralph Kimball：数据仓库是一个将源系统数据抽取、清洗、规格化、提交到维度数据存储的系统，为决策的制定提供查询和分析功能的支持与实现。

Inmon的表述侧重于数据仓库的性质和特点，Kimball的表述侧重于数据仓库建设的过程，综合而言，数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。

二、数仓建模的意义，为什么要对数据仓库分层？

    只有用数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。

数仓分层设计架构 详解-ODS-DWD-DWS-ADS