命名规范
表命名规范表命名规则: {层次}{源系统表名}{保留位/delta与否}。
增量数据:ods_{库名}_{表名}_{id}。
全量数据:ods_{库名}_{表名}。
ODS ETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。
按小时同步的增量表:ods_{库名}_{表名}_{ih}。
按小时同步的全量表:ods_{库名}_{表名}_{hh}。
ps:如果库名可能重复,可使用编码来代替库名
字段命名规范
字段默认使用源系统的字段名。
字段名与关键字冲突时,在源字段名后加上col,即源字段名col。
同步任务命名规范
任务名:和表名保持一致。
数据存储及生命周期管理规范
数据表类型 | 存储方式 | 最长存储保留策略 |
ODS流水型全量表 | 按天分区 | 不可再生情况下,永久保存。 日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。 自主设置是否保留历史月初数据。 自主设置是否保留特殊日期数据。 |
ODS镜像型全量表 | 按天分区 | 重要的业务表及需要保留历史的表视情况保存。 ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据。 |
ODS增量表 | 按天分区 | 有对应全量表,最多保留最近14天分区数据。 无对应全量表,需要永久保留数据。 |
ODS ETL过程临时表 | 按天分区 | 最多保留最近7天分区。 |
DBSync非去重数据 | 按天分区 | 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。 |
不可再生情况下,永久保存。
日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。
自主设置是否保留历史月初数据。
自主设置是否保留特殊日期数据。
ODS镜像型全量表 按天分区
重要的业务表及需要保留历史的表视情况保存。
ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据。
ODS增量表 按天分区
有对应全量表,最多保留最近14天分区数据。
无对应全量表,需要永久保留数据。
ODS ETL过程临时表 按天分区 最多保留最近7天分区。 DBSync非去重数据 按天分区 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。
数据质量规范
每个ODS全量表必须配置唯一性字段标识。
每个ODS全量表必须有注释。
每个ODS全量表必须监控分区空数据。
仅有监控要求的ODS表才需要创建数据质量监控规则。
建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/hz/140616.html