【廣告】
項目數(shù)據(jù)分析是通過對項目數(shù)據(jù)的科學(xué)分析來評估項目的可行性,為投資方?jīng)Q策項目提供科學(xué)、嚴謹?shù)囊罁?jù),降低項目投資的風(fēng)險。
為履行我國加入世貿(mào)的承諾,適應(yīng)世界經(jīng)濟一體化的進程,結(jié)束我國專業(yè)技術(shù)考核行業(yè)中缺少"項目數(shù)據(jù)分析師"的現(xiàn)狀,出臺《關(guān)于規(guī)范長期投資項目數(shù)據(jù)分析方法及國際接軌的總體精神》,2003年底國家電子行業(yè)職業(yè)技能鑒定指導(dǎo)中心正式設(shè)立"項目數(shù)據(jù)分析師"考試認證項目并制定出我國項目數(shù)據(jù)分析師培訓(xùn)、考試及管理辦法。以上目標的聯(lián)系是緊密的,不是孤立的,只有在進行總體分析的基礎(chǔ)上,才能進一步的確定項目重點,并在對重點內(nèi)容的分析中得出結(jié)果,進而實現(xiàn)評價的過程。項目數(shù)據(jù)分析行業(yè)在中國正式形成。
我們可以發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在著一定的缺陷。
早期應(yīng)用的數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計時,應(yīng)用直接訪問數(shù)據(jù)庫系統(tǒng),簡單的存取數(shù)據(jù)就可以滿足業(yè)務(wù)需求。但是,當(dāng)用戶訪問量增加或是數(shù)據(jù)量不斷增大時,從而導(dǎo)致數(shù)據(jù)庫服務(wù)器無法及時響應(yīng)用戶請求,出現(xiàn)超時的錯誤。
當(dāng)數(shù)據(jù)訪問負載持續(xù)增加時,就需要考慮讀寫分離技術(shù)(Master-Slave)架構(gòu),以及分庫分表技術(shù)。在中國,隨著世界經(jīng)濟一體化進程的加速和全球投資市場的蓬勃發(fā)展,加上中國投資分析行業(yè)正處于發(fā)展的起步階段,投資人、企業(yè)管理層都迫切需要一個統(tǒng)一的、規(guī)范的標準來衡量投資項目的科學(xué)性和可行性,專業(yè)的項目數(shù)據(jù)分析報告在中國變得炙手可熱。但讀寫分離和分庫分表帶來了應(yīng)用層面的復(fù)雜性,應(yīng)用程序需要在設(shè)計開發(fā)階段就考慮到數(shù)據(jù)的拆分。分庫分表后,不僅限制了查詢的靈活性,并且隨著數(shù)據(jù)量繼續(xù)增長到PB級,單個數(shù)據(jù)庫實例的處理能力會成為整個系統(tǒng)的性能瓶頸。
大數(shù)據(jù)分析依賴于及時處理和查詢復(fù)雜數(shù)據(jù)的能力。一個很好地例子就是:一家公司開發(fā)了一個數(shù)據(jù)倉庫用來維護從能源使用計收集到的數(shù)據(jù)。2)數(shù)據(jù)理解,收集原始數(shù)據(jù)、描述數(shù)據(jù)、探索數(shù)據(jù)、檢驗數(shù)據(jù)質(zhì)量。在產(chǎn)品評估過程中,某供應(yīng)商的系統(tǒng)有能力在15分鐘內(nèi)處理七百萬條記錄,而另一家則在相同時間內(nèi)可以處理三十萬條記錄。能否識別正確的基礎(chǔ)設(shè)施來支持快速的數(shù)據(jù)可用性和查詢就意味著成功還是失敗。