企业视频展播,请点击播放
视频作者:北京中科汇成科技有限公司
大数据中心建设——模型设计
模型设计指导理论:
模型层次:把表数据模型分为三层:操作数据层(ODS)、公共维度模型层(CDM)和应用数据层(ADS),其中公共维度模型层包括明细数据层(DWD)和汇总数据层(DWS)。
操作数据层(ODS):把操作系统数据几乎无处理地存放在数据仓库系统中。
同步:结构化数据增量或全量同步。
结构化:非结构化(日志)结构化处理并存储。
累积历史、清洗:根据数据业务需求及稽核和审计要求保存历史数据、清洗数据。
大数据中心建设——公共维度模型层(CDM)
存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数据一般根据ODS层数据加工生成;公共指标汇总数据一般根据维表数据和明细事实数据加工生成。
CDM层又细分为DWD层和DWS层,大数据中心建设公司,分别是明细数据层和汇总数据层,采用维度模型方法作为理论基础,更多地采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联,提高明细数据表的易用性;同时在汇总数据层,加强指标的维度退化,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性,运动大数据中心建设公司,减少重复加工。其主要功能如下。
组合相关和相似数据:采用明细宽表,复用关联计算,减少数据扫描。
公共指标统一加工:基于OneData体系构建命名规范、口径一致和算法统一的统计指标,智能云大数据中心建设公司,为上层数据产品、应用和服务提供公共指标;建立逻辑汇总宽表。
建立一致性维度:建立一致的数据分析维表,降低数据计算口径、算法不统一的风险。
大数据中心建设的基本原则
高内聚和低耦合——一个逻辑或者物理模型由哪些记录和字段组成,应该遵循基本的软件设计方法的高内聚和低耦合原则。主要从数据业务特性和访问特性两个角度来考虑:将业务相近或者相关、粒度相同的数据设计为一个逻辑或者物理模型;将高概率同时访问的数据放一起,将低概率同时访问的数据分开存储。
命名清晰、可理解——表命名需清晰、一致,表名需易于消费者理解和使用。
运动大数据中心建设公司-中科汇成-大数据中心建设公司由北京中科汇成科技有限公司提供。行路致远,砥砺前行。北京中科汇成科技有限公司致力成为与您共赢、共生、共同前行的战略伙伴,更矢志成为具有竞争力的企业,与您一起飞跃,共同成功!
产品品牌:中科汇成
供货总量:不限
产品价格:议定
包装规格:不限
物流说明:货运及物流
交货说明:按订单