項目數(shù)據(jù)分析是通過對項目數(shù)據(jù)的科學(xué)分析來評估項目的可行性，為投資方?jīng)Q策項目提供科學(xué)、嚴(yán)謹(jǐn)?shù)囊罁?jù)，降低項目投資的風(fēng)險。

為履行我國加入世貿(mào)的承諾，適應(yīng)世界經(jīng)濟(jì)一體化的進(jìn)程，結(jié)束我國專業(yè)技術(shù)考核行業(yè)中缺少"項目數(shù)據(jù)分析師"的現(xiàn)狀，出臺《關(guān)于規(guī)范長期投資項目數(shù)據(jù)分析方法及國際接軌的總體精神》，2003年底國家電子行業(yè)職業(yè)技能鑒定指導(dǎo)中心正式設(shè)立"項目數(shù)據(jù)分析師"考試認(rèn)證項目并制定出我國項目數(shù)據(jù)分析師培訓(xùn)、考試及管理辦法。項目數(shù)據(jù)分析行業(yè)在中國正式形成。對于一個希望獲取并分析大數(shù)據(jù)的組織來說，光有存儲容量是不夠的。

       我們可以發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在著一定的缺陷。

　　早期應(yīng)用的數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計時，應(yīng)用直接訪問數(shù)據(jù)庫系統(tǒng)，簡單的存取數(shù)據(jù)就可以滿足業(yè)務(wù)需求。但是，當(dāng)用戶訪問量增加或是數(shù)據(jù)量不斷增大時，從而導(dǎo)致數(shù)據(jù)庫服務(wù)器無法及時響應(yīng)用戶請求，出現(xiàn)超時的錯誤。

　　當(dāng)數(shù)據(jù)訪問負(fù)載持續(xù)增加時，就需要考慮讀寫分離技術(shù)（Master-Slave）架構(gòu)，以及分庫分表技術(shù)。但讀寫分離和分庫分表帶來了應(yīng)用層面的復(fù)雜性，應(yīng)用程序需要在設(shè)計開發(fā)階段就考慮到數(shù)據(jù)的拆分。能否識別正確的基礎(chǔ)設(shè)施來支持快速的數(shù)據(jù)可用性和高性能查詢就意味著成功還是失敗。分庫分表后，不僅限制了查詢的靈活性，并且隨著數(shù)據(jù)量繼續(xù)增長到PB級，單個數(shù)據(jù)庫實例的處理能力會成為整個系統(tǒng)的性能瓶頸。

　  當(dāng)基于分布式存儲計算的大數(shù)據(jù)處理技術(shù)出現(xiàn)后，我們所面對的則是來自離線和在線的多個不同數(shù)據(jù)流，系統(tǒng)需要實時響應(yīng)數(shù)據(jù)查詢請求，還需要處理分布式系統(tǒng)的分區(qū)和問題，以及滿足高容錯和可擴(kuò)展的要求，于是就有了lambda架構(gòu)，但其也存在著不足之處：整體架構(gòu)比較復(fù)雜，資源開銷比較大，對軟硬件的需求較高；越來越多的風(fēng)險投資機(jī)構(gòu)把項目數(shù)據(jù)分析報告作為其判斷項目是否可行及是否值得投資的重要依據(jù)。很多分析場景實現(xiàn)困難，增加了應(yīng)用開發(fā)難度；數(shù)據(jù)流水線較長，系統(tǒng)運維復(fù)雜。

　　通過以上可以發(fā)現(xiàn)，現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在一定缺陷，在面對今天日益復(fù)雜的企業(yè)大數(shù)據(jù)分析需求時顯得力不從心，如何采用架構(gòu)技術(shù)來解決這些問題，這也是數(shù)據(jù)分析廠商所面對的挑戰(zhàn)。