大數(shù)據(jù)分析平臺

大數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)庫進(jìn)行分析。大數(shù)據(jù)可以概括為5個V，數(shù)據(jù)量大（Volume）、速度快（Velocity）、類型多（Variety）、價(jià)值（Value）、真實(shí)性（Veracity）。所謂大數(shù)據(jù)并不僅僅是指海量數(shù)據(jù)，而更多的是指這些數(shù)據(jù)都是非結(jié)構(gòu)化的、殘缺的、無法用傳統(tǒng)的方法進(jìn)行處理分析的數(shù)據(jù)。

而對于大數(shù)據(jù)的分析應(yīng)該從以下六個方面進(jìn)行：

1.Analytic Visualizations（可視化分析）：不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。

2.Data Mining Algorithms（數(shù)據(jù)挖掘算法）：可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

3.Predictive Analytic Capabilities（預(yù)測性分析能力）：數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。

4.Semantic Engines（語義引擎）：我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。

5.Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）：數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化的流程和工具對數(shù)據(jù)進(jìn)行處理可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果。

6.Data storage and data warehouse(數(shù)據(jù)存儲和數(shù)據(jù)倉庫)：數(shù)據(jù)倉庫是為了便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲所建立起來的關(guān)系型數(shù)據(jù)庫。在商業(yè)智能系統(tǒng)的設(shè)計(jì)中，數(shù)據(jù)倉庫的構(gòu)建是關(guān)鍵，是商業(yè)智能系統(tǒng)的基礎(chǔ)，承擔(dān)對業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合的任務(wù)，為商業(yè)智能系統(tǒng)提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)，并按主題對數(shù)據(jù)進(jìn)行查詢和訪問，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺。

泓維明昊大數(shù)據(jù)分析平臺亮點(diǎn)：

1.數(shù)據(jù)接入系統(tǒng)：泓維明昊數(shù)據(jù)接入系統(tǒng)作為底層基礎(chǔ)支撐性服務(wù)，是大數(shù)據(jù)分析平臺的核心組成部分。它通過提供多種數(shù)據(jù)接入工具，將來自互聯(lián)網(wǎng)的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行統(tǒng)一的匯聚接入，并為大數(shù)據(jù)分析平臺提供原始數(shù)據(jù)支撐。

2.數(shù)據(jù)儲存系統(tǒng)：泓維明昊數(shù)據(jù)儲存系統(tǒng)作為數(shù)據(jù)采集的上層系統(tǒng)和數(shù)據(jù)分析共享的支撐系統(tǒng)，也是大數(shù)據(jù)分析平臺的核心組成部分。它能夠滿足對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一儲存和查詢的需求。

3.數(shù)據(jù)分析系統(tǒng)：泓維明昊數(shù)據(jù)分析系統(tǒng)作為大數(shù)據(jù)平臺提供數(shù)據(jù)深度挖掘和分析服務(wù)的核心系統(tǒng)，利用分布式存儲和并行計(jì)算框架，結(jié)合多種分布式計(jì)算引擎，對各類結(jié)構(gòu)化、半結(jié)構(gòu)化的信息資源進(jìn)行快速的分布式計(jì)算、并提供基于關(guān)聯(lián)、聚類、分類、預(yù)測等類算法庫的數(shù)據(jù)挖掘分析開發(fā)工具包。

4.平臺管理系統(tǒng)：泓維明昊大數(shù)據(jù)分析平臺提供數(shù)據(jù)資源管理、目錄管理、用戶權(quán)限、組織人員管理、數(shù)據(jù)接入和共享服務(wù)運(yùn)行監(jiān)控、日志審計(jì)及平臺運(yùn)維等平臺運(yùn)行和系統(tǒng)管理功能。