【廣告】
項(xiàng)目數(shù)據(jù)分析是通過(guò)對(duì)項(xiàng)目數(shù)據(jù)的科學(xué)分析來(lái)評(píng)估項(xiàng)目的可行性,為投資方?jīng)Q策項(xiàng)目提供科學(xué)、嚴(yán)謹(jǐn)?shù)囊罁?jù),降低項(xiàng)目投資的風(fēng)險(xiǎn)。
為履行我國(guó)加入世貿(mào)的承諾,適應(yīng)世界經(jīng)濟(jì)一體化的進(jìn)程,結(jié)束我國(guó)專業(yè)技術(shù)考核行業(yè)中缺少"項(xiàng)目數(shù)據(jù)分析師"的現(xiàn)狀,出臺(tái)《關(guān)于規(guī)范長(zhǎng)期投資項(xiàng)目數(shù)據(jù)分析方法及國(guó)際接軌的總體精神》,2003年底國(guó)家電子行業(yè)職業(yè)技能鑒定指導(dǎo)中心正式設(shè)立"項(xiàng)目數(shù)據(jù)分析師"考試認(rèn)證項(xiàng)目并制定出我國(guó)項(xiàng)目數(shù)據(jù)分析師培訓(xùn)、考試及管理辦法。以上目標(biāo)的聯(lián)系是緊密的,不是孤立的,只有在進(jìn)行總體分析的基礎(chǔ)上,才能進(jìn)一步的確定項(xiàng)目重點(diǎn),并在對(duì)重點(diǎn)內(nèi)容的分析中得出結(jié)果,進(jìn)而實(shí)現(xiàn)評(píng)價(jià)的過(guò)程。項(xiàng)目數(shù)據(jù)分析行業(yè)在中國(guó)正式形成。
我們可以發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在著一定的缺陷。
早期應(yīng)用的數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)時(shí),應(yīng)用直接訪問(wèn)數(shù)據(jù)庫(kù)系統(tǒng),簡(jiǎn)單的存取數(shù)據(jù)就可以滿足業(yè)務(wù)需求。但是,當(dāng)用戶訪問(wèn)量增加或是數(shù)據(jù)量不斷增大時(shí),從而導(dǎo)致數(shù)據(jù)庫(kù)服務(wù)器無(wú)法及時(shí)響應(yīng)用戶請(qǐng)求,出現(xiàn)超時(shí)的錯(cuò)誤。
當(dāng)數(shù)據(jù)訪問(wèn)負(fù)載持續(xù)增加時(shí),就需要考慮讀寫分離技術(shù)(Master-Slave)架構(gòu),以及分庫(kù)分表技術(shù)。在中國(guó),隨著世界經(jīng)濟(jì)一體化進(jìn)程的加速和全球投資市場(chǎng)的蓬勃發(fā)展,加上中國(guó)投資分析行業(yè)正處于發(fā)展的起步階段,投資人、企業(yè)管理層都迫切需要一個(gè)統(tǒng)一的、規(guī)范的標(biāo)準(zhǔn)來(lái)衡量投資項(xiàng)目的科學(xué)性和可行性,專業(yè)的項(xiàng)目數(shù)據(jù)分析報(bào)告在中國(guó)變得炙手可熱。但讀寫分離和分庫(kù)分表帶來(lái)了應(yīng)用層面的復(fù)雜性,應(yīng)用程序需要在設(shè)計(jì)開(kāi)發(fā)階段就考慮到數(shù)據(jù)的拆分。分庫(kù)分表后,不僅限制了查詢的靈活性,并且隨著數(shù)據(jù)量繼續(xù)增長(zhǎng)到PB級(jí),單個(gè)數(shù)據(jù)庫(kù)實(shí)例的處理能力會(huì)成為整個(gè)系統(tǒng)的性能瓶頸。
大數(shù)據(jù)分析依賴于及時(shí)處理和查詢復(fù)雜數(shù)據(jù)的能力。一個(gè)很好地例子就是:一家公司開(kāi)發(fā)了一個(gè)數(shù)據(jù)倉(cāng)庫(kù)用來(lái)維護(hù)從能源使用計(jì)收集到的數(shù)據(jù)。2)數(shù)據(jù)理解,收集原始數(shù)據(jù)、描述數(shù)據(jù)、探索數(shù)據(jù)、檢驗(yàn)數(shù)據(jù)質(zhì)量。在產(chǎn)品評(píng)估過(guò)程中,某供應(yīng)商的系統(tǒng)有能力在15分鐘內(nèi)處理七百萬(wàn)條記錄,而另一家則在相同時(shí)間內(nèi)可以處理三十萬(wàn)條記錄。能否識(shí)別正確的基礎(chǔ)設(shè)施來(lái)支持快速的數(shù)據(jù)可用性和查詢就意味著成功還是失敗。