大數(shù)據(jù)分析平臺(tái)架構(gòu)有哪些

| 2022-09-13 admin
在搭建數(shù)據(jù)分析平臺(tái)之前,要先明確業(yè)務(wù)需求場(chǎng)景以及用戶(hù)的需求,通過(guò)大數(shù)據(jù)分析平臺(tái),想要得到哪些有價(jià)值的信息,需要接入的數(shù)據(jù)有哪些,明確基于場(chǎng)景業(yè)務(wù)需求的數(shù)據(jù)平臺(tái)要具備的基本的功能,從下至上可分為四個(gè)層次:

數(shù)據(jù)采集層:底層就是各種數(shù)據(jù)源,主要是對(duì)企業(yè)底層數(shù)據(jù)的采集和解析,將零散的數(shù)據(jù)整合起來(lái),包括企業(yè)的核心業(yè)務(wù)數(shù)據(jù)、用戶(hù)數(shù)據(jù)、日志數(shù)據(jù)、集團(tuán)數(shù)據(jù)等等,通常有傳統(tǒng)的ETL離線(xiàn)采集和實(shí)時(shí)采集兩種方式

數(shù)據(jù)儲(chǔ)存和處理層:有了數(shù)據(jù)底層的數(shù)據(jù),然后根據(jù)需求和場(chǎng)景的不同進(jìn)行數(shù)據(jù)預(yù)處理,儲(chǔ)存到一個(gè)合適的持久化儲(chǔ)存層中,比如說(shuō)OLAP、機(jī)器學(xué)習(xí)、數(shù)據(jù)庫(kù)等等

數(shù)據(jù)分析層:這里就要用到報(bào)表系統(tǒng)和BI分析系統(tǒng),比如FineBI和FineReport,這一層主要是對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單加工,然后進(jìn)行深層次的分析和挖掘。

數(shù)據(jù)應(yīng)用層:根據(jù)業(yè)務(wù)需求不同劃分出不同類(lèi)別的應(yīng)用,主要是對(duì)最終的數(shù)據(jù)進(jìn)行展示和可視化,如上圖的數(shù)據(jù)報(bào)表、儀表板、數(shù)字大屏、及時(shí)查詢(xún)等等。

企業(yè)對(duì)數(shù)據(jù)、效率要求的逐步提高,也給大數(shù)據(jù)提供了展現(xiàn)能力的平臺(tái),企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái),歸根到底是構(gòu)建企業(yè)的數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)中心,發(fā)揮數(shù)據(jù)的價(jià)值,支撐企業(yè)的發(fā)展。