当前位置:首页 > 技术人生 > 大数据

大数据

  • 最新
  • 浏览
  • 评论

数据仓库建设规范指南——数仓命名规范

2022-04-08大数据148
数据仓库建设规范指南——数仓命名规范
1. 词根设计规范词根属于数仓建设中的规范,属于元数据管理的范畴,现在把这个划到数据治理的一部分。完整的数仓建设是包含数据治理的,只是现在谈到数仓偏向于数据建模, 而谈到数据治理,更多的是关于数据规范、数据管理。表命名,其实在很大程度上是对...

数据仓库建设规范指南——数仓各层开发规范

2022-04-08大数据149
1. ODS层设计规范同步规范:一个系统源表只允许同步一次;全量初始化同步和增量同步处理逻辑要清晰;以统计日期和时间进行分区存储;目标表字段在源表不存在时要自动填充处理。表分类与生命周期:ods流水全量表:不可再生的永久保存;日志可按留存要...

数据仓库建设规范指南——数仓公共开发规范

2022-04-08大数据123
数据仓库建设规范指南——数仓公共开发规范
1. 层次调用规范稳定业务按照标准的数据流向进行开发,即 ODS –> DWD –> DWS –> APP。非稳定业务或探索性需求,可以遵循 ODS -> DWD -> APP 或者 ODS -> DWD...

数据仓库建设规范指南——数据模型架构原则

2022-04-07大数据112
数据仓库建设规范指南——数据模型架构原则
一、数仓的分层原则优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长。目前市场上主流的分层方式眼花缭乱,不能为了分层而分层,没有最好的,只有适合的。分层是以解决当前业务快速的数据支撑...