一、數(shù)據(jù)采集雖然每天互聯(lián)網(wǎng)都會產(chǎn)生大量的數(shù)據(jù)，對于企業(yè)來講，要搜集對自己企業(yè)有用的數(shù)據(jù)才是真的大數(shù)據(jù)。首先都需要了解需要收集哪些數(shù)據(jù)。
考慮到數(shù)據(jù)收集的難度和成本，大數(shù)據(jù)分析平臺并不收集企業(yè)的所有數(shù)據(jù)，而是直接或間接相關(guān)的數(shù)據(jù)。
企業(yè)應(yīng)該知道哪些數(shù)據(jù)可用于戰(zhàn)略決策或某些詳細(xì)的決策，并且分析后的數(shù)據(jù)的結(jié)果是有價(jià)值的。而大數(shù)據(jù)的采集很簡單，通過操作數(shù)據(jù)分析軟件，利用多個(gè)數(shù)據(jù)庫對各種數(shù)據(jù)進(jìn)行查詢和處理，并存儲在相應(yīng)的空間當(dāng)中。Smartbi提供了強(qiáng)大的數(shù)據(jù)采集功能，既減少了開發(fā)人員的工作量，又可以滿足業(yè)務(wù)人員的數(shù)據(jù)采集需求。
數(shù)據(jù)采集的功能和亮點(diǎn)
1、Smartbi提供Excel數(shù)據(jù)批量導(dǎo)入功能，能夠簡便的將Excel數(shù)據(jù)，一鍵上傳、數(shù)據(jù)入庫的一種方式導(dǎo)入數(shù)據(jù)庫，支持自動創(chuàng)建數(shù)據(jù)庫表，業(yè)務(wù)人員可以自行選擇增量或者全量的方式導(dǎo)入數(shù)據(jù)，導(dǎo)入后可與其它企業(yè)內(nèi)部數(shù)據(jù)（關(guān)系型數(shù)據(jù)）一起用于后續(xù)的語義層封裝和關(guān)聯(lián)查詢。
2、回寫填報(bào) 數(shù)據(jù)填報(bào)滿足數(shù)據(jù)收集需要，通過回寫權(quán)限和規(guī)則定義，實(shí)現(xiàn)用Excel設(shè)計(jì)采集表單、Web填報(bào)數(shù)據(jù)，配置靈活便捷，支持在報(bào)表上直接進(jìn)行數(shù)據(jù)填報(bào)，支持校驗(yàn)公式進(jìn)行數(shù)據(jù)校驗(yàn)，支持多人填報(bào)，支持會簽及分支的流程審批。可適用于單條數(shù)據(jù)采集、清單數(shù)據(jù)檢驗(yàn)補(bǔ)錄、調(diào)查問卷等采集場景，并且可支持在移動端進(jìn)行數(shù)據(jù)填報(bào)。
二、導(dǎo)入以及預(yù)處理采集所產(chǎn)生的數(shù)據(jù)雖多，但是卻并不全是有效的，需要數(shù)據(jù)分析軟件對其進(jìn)行分析，而要想分析這些數(shù)據(jù)，就要先將這些數(shù)據(jù)導(dǎo)入到一個(gè)數(shù)據(jù)庫中，并做一些簡單的處理，這樣可以集中刪除一些無用但是占內(nèi)存的數(shù)據(jù)，幫助企業(yè)更快的找到有效數(shù)，滿足企業(yè)對數(shù)據(jù)的分析要求。
Smartbi通過封裝ETL算法，將技術(shù)分離，可以實(shí)現(xiàn)業(yè)務(wù)人員進(jìn)行自助ETL操作。
自助ETL以工作流的形式實(shí)現(xiàn)為庫表提取數(shù)據(jù)模型的語義，通過易于操作的可視化工具，將數(shù)據(jù)加工成具備語義一致性與完整性的數(shù)據(jù)模型，也可以增強(qiáng)自助數(shù)據(jù)集構(gòu)建數(shù)據(jù)模型的能力。
自助ETL，無需單獨(dú)部署，能夠與Smartb無縫連接，允許將數(shù)據(jù)準(zhǔn)備的結(jié)果，以數(shù)據(jù)表方式直接提供給BI使用。自助ETL采用分布式計(jì)算架構(gòu)，同時(shí)單節(jié)點(diǎn)情況下支持多線程，這極大地提高了數(shù)據(jù)處理的性能，億級的數(shù)據(jù)量處理時(shí)間可以達(dá)到分鐘級。ETL流程定制界面用于設(shè)計(jì)定制ETL工作流。
三、統(tǒng)計(jì)分析通過Smartbi數(shù)據(jù)分析軟件這些工作都得到了極大的簡化，采用“類Excel數(shù)據(jù)透視表”的設(shè)計(jì)，多維分析不再需要建立模型，就能夠組合維度、匯總計(jì)算、切片、鉆取，洞察數(shù)據(jù)。不僅如此，任何字段都可直接作為輸出字段或篩選條件，輕松實(shí)現(xiàn)對數(shù)據(jù)的查詢與探索。
四、數(shù)據(jù)挖掘與以前的統(tǒng)計(jì)和分析過程不同，數(shù)據(jù)挖掘通常沒有任何預(yù)設(shè)的主題，主要是基于對現(xiàn)有數(shù)據(jù)的各種算法的計(jì)算，從而達(dá)到預(yù)測的效果，以實(shí)現(xiàn)一些高級的數(shù)據(jù)分析需求目的。企業(yè)要想發(fā)展的更快更好，不僅僅需要對數(shù)據(jù)進(jìn)行分析，還要做好充分的挖掘。從收集的數(shù)據(jù)當(dāng)中，了解各種企業(yè)發(fā)展的情況，預(yù)測未來可能遇到等問題，并找到最佳解決方法，這是挖掘大數(shù)據(jù)最大的目的。Smartbi Mining以互聯(lián)網(wǎng)式用戶體驗(yàn)為目標(biāo)的全新產(chǎn)品設(shè)計(jì)，極簡風(fēng)格的流式建模，快速實(shí)現(xiàn)各種類型的數(shù)據(jù)挖掘應(yīng)用，為個(gè)人、團(tuán)隊(duì)和企業(yè)所做的決策提供預(yù)測性智能。平臺具備流程化、可視化的建模界面，內(nèi)置實(shí)用的、經(jīng)典的統(tǒng)計(jì)挖掘算法和深度學(xué)習(xí)算法，這些算法配置簡單降低了機(jī)器學(xué)習(xí)的使用門檻，大大節(jié)省了成本，業(yè)務(wù)人員可通過輕松拖拉拽組件的操作，進(jìn)行可視化建模，完成模型流程的搭建，并能將模型發(fā)布管理。該平臺將機(jī)器學(xué)習(xí)系統(tǒng)做成更加通用的、簡單易用的平臺，可以幫助企業(yè)將相關(guān)業(yè)務(wù)輕易接入該平臺，從而幫助企業(yè)利用機(jī)器學(xué)習(xí)的手段挖掘分析企業(yè)數(shù)據(jù)和解決相關(guān)的業(yè)務(wù)問題。