大數(shù)據(jù)中心建設(shè)——模型設(shè)計(jì)

模型設(shè)計(jì)指導(dǎo)理論：

模型層次：把表數(shù)據(jù)模型分為三層：操作數(shù)據(jù)層（ODS）、公共維度模型層（CDM）和應(yīng)用數(shù)據(jù)層（ADS），其中公共維度模型層包括明細(xì)數(shù)據(jù)層（DWD）和匯總數(shù)據(jù)層（DWS）。

操作數(shù)據(jù)層（ODS）：把操作系統(tǒng)數(shù)據(jù)幾乎無(wú)處理地存放在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。

同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步。

結(jié)構(gòu)化：非結(jié)構(gòu)化（日志）結(jié)構(gòu)化處理并存儲(chǔ)。

累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計(jì)要求保存歷史數(shù)據(jù)、清洗數(shù)據(jù)。

大數(shù)據(jù)中心建設(shè)——公共維度模型層（CDM）

存放明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)及公共指標(biāo)匯總數(shù)據(jù)，其中明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)一般根據(jù)ODS層數(shù)據(jù)加工生成；公共指標(biāo)匯總數(shù)據(jù)一般根據(jù)維表數(shù)據(jù)和明細(xì)事實(shí)數(shù)據(jù)加工生成。

CDM層又細(xì)分為DWD層和DWS層，分別是明細(xì)數(shù)據(jù)層和匯總數(shù)據(jù)層，采用維度模型方法作為理論基礎(chǔ)，更多地采用一些維度退化手法，運(yùn)動(dòng)大數(shù)據(jù)中心建設(shè)費(fèi)用，將維度退化至事實(shí)表中，減少事實(shí)表和維表的關(guān)聯(lián)，大數(shù)據(jù)中心建設(shè)費(fèi)用，提高明細(xì)數(shù)據(jù)表的易用性；同時(shí)在匯總數(shù)據(jù)層，加強(qiáng)指標(biāo)的維度退化，采取更多的寬表化手段構(gòu)建公共指標(biāo)數(shù)據(jù)層，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工。其主要功能如下。

組合相關(guān)和相似數(shù)據(jù)：采用明細(xì)寬表，步態(tài)大數(shù)據(jù)中心建設(shè)費(fèi)用，復(fù)用關(guān)聯(lián)計(jì)算，減少數(shù)據(jù)掃描。

公共指標(biāo)統(tǒng)一加工：基于OneData體系構(gòu)建命名規(guī)范、口徑一致和算法統(tǒng)一的統(tǒng)計(jì)指標(biāo)，為上層數(shù)據(jù)產(chǎn)品、應(yīng)用和服務(wù)提供公共指標(biāo)；建立邏輯匯總寬表。

建立一致性維度：建立一致的數(shù)據(jù)分析維表，降低數(shù)據(jù)計(jì)算口徑、算法不統(tǒng)一的風(fēng)險(xiǎn)。

大數(shù)據(jù)中心建設(shè)的基本原則

公共處理邏輯下沉及單一——越是底層公用的處理邏輯越應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)，不要讓公用的處理邏輯暴露給應(yīng)用層實(shí)現(xiàn)，運(yùn)動(dòng)大數(shù)據(jù)中心建設(shè)費(fèi)用，不要讓公共邏輯多處同時(shí)存在。

成本與性能平衡——適當(dāng)?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能，不宜過(guò)度冗余與數(shù)據(jù)復(fù)貼。

數(shù)據(jù)可回滾——處理邏輯不變，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變。

大數(shù)據(jù)中心建設(shè)費(fèi)用-中科匯成科技有限公司由北京中科匯成科技有限公司提供。行路致遠(yuǎn)，砥礪前行。北京中科匯成科技有限公司致力成為與您共贏、共生、共同前行的戰(zhàn)略伙伴，更矢志成為具有競(jìng)爭(zhēng)力的企業(yè)，與您一起飛躍，共同成功!