【廣告】
大數(shù)據(jù)中心建設(shè)的中游:服務(wù)商和第三方。
服務(wù)商包含基礎(chǔ)電信運(yùn)營(yíng)商和云計(jì)算服務(wù)商,基礎(chǔ)電信運(yùn)營(yíng)商為中國(guó)聯(lián)通、中國(guó)電信、中國(guó)移動(dòng),這些基礎(chǔ)運(yùn)營(yíng)商由于資本、網(wǎng)絡(luò)寬帶和客戶規(guī)模等優(yōu)勢(shì)在數(shù)據(jù)中心的布局力度大。這也是咱們的一貫作風(fēng),對(duì)于市場(chǎng)這些標(biāo)的因?yàn)榉N種原因是得不到青睞的。而云計(jì)算服務(wù)商因?yàn)樽陨順I(yè)務(wù)需要,自營(yíng)建設(shè)或定制建設(shè)數(shù)據(jù)中心,主要是:阿里、騰訊、華為云、金山云等。
第三方就是說一些有相關(guān)技術(shù)的公司,建成數(shù)據(jù)中心,提供數(shù)據(jù)中心托管和增值服務(wù)。這類公司往往擁有專門的客戶群體,長(zhǎng)時(shí)間提供數(shù)據(jù)中心服務(wù),格局已經(jīng)形成,業(yè)績(jī)和市場(chǎng)占有率掛鉤。
大數(shù)據(jù)中心建設(shè)——功能介紹
數(shù)據(jù)統(tǒng)一歸集
1.多種數(shù)據(jù)歸集策略實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一歸集
2.國(guó)、內(nèi)外主流的關(guān)系型庫、大數(shù)據(jù)庫、NOSQL庫、國(guó)產(chǎn)庫等無縫適配
1.企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一定義、統(tǒng)一管理、統(tǒng)一查詢
2.標(biāo)準(zhǔn)落地情況實(shí)時(shí)監(jiān)控,輔助企業(yè)標(biāo)準(zhǔn)化治理工作開展
元數(shù)據(jù)管理
1.元數(shù)據(jù)自動(dòng)采集、動(dòng)態(tài)感知,版本差異標(biāo)記
2.元數(shù)據(jù)血緣、影響、全鏈路關(guān)系自動(dòng)探索,圖形化展現(xiàn)
數(shù)據(jù)融合加工
1.19 數(shù)據(jù)加工算法組件;20 計(jì)算函數(shù)開箱即用,無須代碼開發(fā)
2.拖拽式操作實(shí)現(xiàn)跨庫的、大數(shù)據(jù)的融合加工
數(shù)據(jù)服務(wù)
1. 自定義封裝數(shù)據(jù)API服務(wù)接口,可配置映射關(guān)系、代碼轉(zhuǎn)換標(biāo)準(zhǔn)等
2. API接口全生命周期管理及監(jiān)控,實(shí)現(xiàn)對(duì)外提供服務(wù)
數(shù)據(jù)地圖
可視化、多方位、多維度的展現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)分布及運(yùn)營(yíng)管理情況
數(shù)據(jù)安全
1. 支持?jǐn)?shù)據(jù)加密、密級(jí)、三員等多種安全策略
2. 支持敏感數(shù)據(jù)發(fā)現(xiàn)及敏感監(jiān)控,全力保障數(shù)據(jù)安全環(huán)境
大數(shù)據(jù)中心建設(shè)——公共維度模型層(CDM)
存放明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)及公共指標(biāo)匯總數(shù)據(jù),其中明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)一般根據(jù)ODS層數(shù)據(jù)加工生成;公共指標(biāo)匯總數(shù)據(jù)一般根據(jù)維表數(shù)據(jù)和明細(xì)事實(shí)數(shù)據(jù)加工生成。
CDM層又細(xì)分為DWD層和DWS層,分別是明細(xì)數(shù)據(jù)層和匯總數(shù)據(jù)層,采用維度模型方法作為理論基礎(chǔ),更多地采用一些維度退化手法,將維度退化至事實(shí)表中,減少事實(shí)表和維表的關(guān)聯(lián),提高明細(xì)數(shù)據(jù)表的易用性;同時(shí)在匯總數(shù)據(jù)層,加強(qiáng)指標(biāo)的維度退化,采取更多的寬表化手段構(gòu)建公共指標(biāo)數(shù)據(jù)層,提升公共指標(biāo)的復(fù)用性,減少重復(fù)加工。其主要功能如下。
組合相關(guān)和相似數(shù)據(jù):采用明細(xì)寬表,復(fù)用關(guān)聯(lián)計(jì)算,減少數(shù)據(jù)掃描。
公共指標(biāo)統(tǒng)一加工:基于OneData體系構(gòu)建命名規(guī)范、口徑一致和算法統(tǒng)一的統(tǒng)計(jì)指標(biāo),為上層數(shù)據(jù)產(chǎn)品、應(yīng)用和服務(wù)提供公共指標(biāo);建立邏輯匯總寬表。
建立一致性維度:建立一致的數(shù)據(jù)分析維表,降低數(shù)據(jù)計(jì)算口徑、算法不統(tǒng)一的風(fēng)險(xiǎn)。