知识点 | 数据仓库中的 ods ,dw,dm分别是个啥?

知识点 | 数据仓库中的 ods ,dw,dm分别是个啥?先看一下数据中心的整体架构以及数据流向:DB是现有的数据来源,可以为mysql、SQLserver、Oracle、Mongodb、PostgreSQL、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中

先看一下数据中心的整体架构以及数据流向:
image.png

DB 是现有的数据来源,可以为mysql、SQLserver、Oracle、Mongodb、PostgreSQL、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。
ETL的是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程:

  1. Extract,数据抽取:把数据从数据源读出来。
  2. Transform,数据转换:把原始数据转换成期望的格式和维度。
    如果用在数据仓库的场景下,Transform也包含数据清洗,清洗掉噪音数据。
  3. Load 数据加载:把处理后的数据加载到目标处,比如数据仓库。
  4. ODS(Operational Data Store) 操作性数据:是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,而且ODS的数据周期一般比较短;ODS的数据最终流入DW
  5. DW (Data Warehouse)数据仓库,是数据的归宿,这里保持这所有的从ODS到来的数据,并长期报错,而且这些数据不会被修改。
  6. DM(Data Mart) 数据集市:为了特定的应用目的或应用范围,从数据仓库中独立出来的一部分数据,也可称为主题数据,面向应用。

【参考链接】
链接:https://www.jianshu.com/p/3e1386d6052e

文章结束

以下为个人公众号,欢迎扫码关注:
image.png

今天的文章知识点 | 数据仓库中的 ods ,dw,dm分别是个啥?分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/68643.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注