【廣告】
大數(shù)據(jù)中心建設(shè)的功能特性
數(shù)據(jù)質(zhì)量管理
1. 質(zhì)量規(guī)則零代碼可配置,包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則
2. 事前校驗(yàn)、事后評(píng)估方式發(fā)現(xiàn)及監(jiān)控?cái)?shù)據(jù)質(zhì)量,并進(jìn)行低分預(yù)警
1.19 數(shù)據(jù)加工算法組件;20 計(jì)算函數(shù)開(kāi)箱即用,無(wú)須代碼開(kāi)發(fā)
2.拖拽式操作實(shí)現(xiàn)跨庫(kù)的、大數(shù)據(jù)的融合加工
1. 質(zhì)量規(guī)則零代碼可配置,包括僅一性、準(zhǔn)確性、一致性、規(guī)范性等規(guī)則
2. 事前校驗(yàn)、事后評(píng)估方式發(fā)現(xiàn)及監(jiān)控?cái)?shù)據(jù)質(zhì)量,并進(jìn)行低分預(yù)警
大數(shù)據(jù)中心建設(shè)的體系架構(gòu)
業(yè)務(wù)板塊:根據(jù)業(yè)務(wù)的屬性劃分出幾個(gè)相對(duì)獨(dú)立的業(yè)務(wù)板塊,步態(tài)大數(shù)據(jù)中心建設(shè)費(fèi)用,業(yè)務(wù)板塊之間的指標(biāo)或業(yè)務(wù)重疊性較小。
規(guī)范定義:結(jié)合行業(yè)的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)經(jīng)驗(yàn)和自身數(shù)據(jù)特點(diǎn),設(shè)計(jì)出的一套數(shù)據(jù)規(guī)范命名體系,規(guī)范定義將會(huì)被用在模型設(shè)計(jì)中。后面章節(jié)將會(huì)詳細(xì)說(shuō)明。
模型設(shè)計(jì):以維度建模理論為基礎(chǔ),基于維度建??偩€架構(gòu),構(gòu)建一致性的維度和事實(shí)(進(jìn)行規(guī)范定義)。同時(shí),在落地表模型時(shí),基于自身業(yè)務(wù)特點(diǎn),設(shè)計(jì)出一套表規(guī)范命名體系。
大數(shù)據(jù)中心建設(shè)——公共維度模型層(CDM)
存放明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)及公共指標(biāo)匯總數(shù)據(jù),其中明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)一般根據(jù)ODS層數(shù)據(jù)加工生成;公共指標(biāo)匯總數(shù)據(jù)一般根據(jù)維表數(shù)據(jù)和明細(xì)事實(shí)數(shù)據(jù)加工生成。
CDM層又細(xì)分為DWD層和DWS層,分別是明細(xì)數(shù)據(jù)層和匯總數(shù)據(jù)層,采用維度模型方法作為理論基礎(chǔ),更多地采用一些維度退化手法,將維度退化至事實(shí)表中,減少事實(shí)表和維表的關(guān)聯(lián),提高明細(xì)數(shù)據(jù)表的易用性;同時(shí)在匯總數(shù)據(jù)層,運(yùn)動(dòng)大數(shù)據(jù)中心建設(shè)費(fèi)用,加強(qiáng)指標(biāo)的維度退化,采取更多的寬表化手段構(gòu)建公共指標(biāo)數(shù)據(jù)層,提升公共指標(biāo)的復(fù)用性,大數(shù)據(jù)中心建設(shè)費(fèi)用,減少重復(fù)加工。其主要功能如下。
組合相關(guān)和相似數(shù)據(jù):采用明細(xì)寬表,復(fù)用關(guān)聯(lián)計(jì)算,減少數(shù)據(jù)掃描。
公共指標(biāo)統(tǒng)一加工:基于OneData體系構(gòu)建命名規(guī)范、口徑一致和算法統(tǒng)一的統(tǒng)計(jì)指標(biāo),為上層數(shù)據(jù)產(chǎn)品、應(yīng)用和服務(wù)提供公共指標(biāo);建立邏輯匯總寬表。
建立一致性維度:建立一致的數(shù)據(jù)分析維表,降低數(shù)據(jù)計(jì)算口徑、算法不統(tǒng)一的風(fēng)險(xiǎn)。
企業(yè): 北京中科匯成科技有限公司
手機(jī): 13011846930
電話: 010-56036900
地址: 北京市豐臺(tái)區(qū)西四環(huán)中路112號(hào)紫辰院