大數(shù)據(jù)分析方法及理論詳解

| 2022-09-21 admin

大數(shù)據(jù)時代 | 數(shù)據(jù)分析方法及理論詳解

1數(shù)據(jù)分析前,我們需要思考

像一場戰(zhàn)役的總指揮影響著整個戰(zhàn)役的勝敗一樣,數(shù)據(jù)分析師的思想對于整體分析思路,甚至分析結(jié)果都有著關(guān)鍵性的作用。

2 分析問題和解決問題的思路

定義問題(重要步驟之一):

1)首先,要搞清楚問題的實(shí)質(zhì),準(zhǔn)確、完整、真實(shí)地表達(dá)問題。

2)其次,弄清楚為什么要解決這個問題?

3)最后,解決這個問題的意義何在?是必須解決還是無關(guān)緊要,或是需要馬上解決這個問題還是不太著急。

收集整理信息:

搜集、整理關(guān)于要解決問題的歷史資料、類似情況和現(xiàn)狀。例如,從現(xiàn)有的報表數(shù)據(jù)中就能看到當(dāng)前問題點(diǎn)的數(shù)據(jù)情況或者一段時間的趨勢;

選取分析方法:

1)分析涉及到的主要維度,為后面提取數(shù)據(jù)需求做準(zhǔn)備;

2)選取的分析軟件以及分析方法(統(tǒng)計(jì)學(xué)相關(guān)方法);

數(shù)據(jù)提取整理(重要步驟之二):

1)根據(jù)分析內(nèi)容以及分析方法,提出分析所需的數(shù)據(jù)需求;

2)對于反饋回來的數(shù)據(jù),需要進(jìn)行部分加工,以便更能反映所要分析的問題;

分析結(jié)果及結(jié)論:

1)根據(jù)分析的結(jié)果,得出一些當(dāng)前問題產(chǎn)生的一些結(jié)論。這里注意分析的方法以及維度,結(jié)果的展示方式等。

2)結(jié)論需要足夠的數(shù)據(jù)作支撐;

實(shí)施及建議措施:

1)針對數(shù)據(jù)分析結(jié)論,給出當(dāng)前問題的解決建議措施;

2)一方面從業(yè)務(wù)層面進(jìn)行建議措施。另一方面,可以就問題點(diǎn)進(jìn)行更深層次分析,給出數(shù)據(jù)挖掘?qū)用娴慕鉀Q措施;

實(shí)施效果評估及報告整理:

1)根據(jù)措施實(shí)施效果進(jìn)行評估,將完成的分析過程、結(jié)果以及評估整理報告,為以后出現(xiàn)問題提供經(jīng)驗(yàn)教訓(xùn);

2)對于本次沒有完全解決的問題,進(jìn)行說明。

3 精確地陳述問題

5W2H法:

5W:What、When、Where、Who、Why;

2H:How many、How much;

Where——哪里存在問題?

What——存在的問題是什么?

Why——原因在哪里?

When——什么時候開始出現(xiàn)這樣的問題?

Who——與什么對象有關(guān)?

How many——發(fā)生的次數(shù)和數(shù)量?

How much——損失有多大?

4 問題展示方式

問題結(jié)構(gòu)是由現(xiàn)狀、直接原因以及最終原因構(gòu)成的。針對直接原因進(jìn)行的叫初步問題分析、針對最終原因進(jìn)行分析的叫深層及問題分析。

5 分析方法

統(tǒng)計(jì)方法的三大特性,用三句話來簡單概括:

1)實(shí)用性:除了實(shí)情,數(shù)據(jù)能證明一切;

2)豐富性:統(tǒng)計(jì)揭露出的部分固然明晰,沒揭露出來的或許更重要;

3)公平性:每個人都應(yīng)當(dāng)用數(shù)據(jù)說話。

6 描述性統(tǒng)計(jì)分析

“五點(diǎn)法”:最小值、1/4分位數(shù)、均值、3/4分位數(shù)、最大值;

“兩度”:峰度、偏度

六西格瑪:

7 變量分析方法選取

8 數(shù)據(jù)挖掘分析

按挖掘方法分類:包括統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。

其中:

1)統(tǒng)計(jì)方法可分為:判別分析(貝葉斯判別、費(fèi)謝爾判別、非參數(shù)判別等),聚類分析(系統(tǒng)聚類、動態(tài)聚類等),探索性分析(主成分分析等)等。

2)機(jī)器學(xué)習(xí)方法可分為:歸納學(xué)習(xí)方法(決策樹、規(guī)則歸納等),基于范例學(xué)習(xí),遺傳算法等。

3)神經(jīng)網(wǎng)絡(luò)方法可分為:前向神經(jīng)網(wǎng)絡(luò)(BP算法等),自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競爭學(xué)習(xí)等)。

4)數(shù)據(jù)庫方法分為:多維數(shù)據(jù)分析和OLAP技術(shù),此外還有面向?qū)傩缘臍w納方法。

關(guān)聯(lián)規(guī)則:關(guān)聯(lián)規(guī)則反映一個事物與其他事物之間的相互依存性和關(guān)聯(lián)性,如果兩個事物或者多個事物之間存在一定的關(guān)聯(lián)關(guān)系,那么其中一個事物就能夠通過其他事物預(yù)測到。

9 選取分析所需的相關(guān)數(shù)據(jù)

10 數(shù)據(jù)質(zhì)量的評估

在現(xiàn)實(shí)社會中,存在著大量的“臟數(shù)據(jù)”:

不完整性(數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員):

1)缺少感興趣的屬性

2)感興趣的屬性缺少部分屬性值

3)僅僅包含聚合數(shù)據(jù),沒有詳細(xì)數(shù)據(jù)

噪音數(shù)據(jù)(采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸):

1)數(shù)據(jù)中包含錯誤的信息

2)存在著部分偏離期望值的孤立點(diǎn)

不一致性(數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)錄入人員):

1)數(shù)據(jù)結(jié)構(gòu)的不一致性

2)Label的不一致性

3)數(shù)據(jù)值的不一致性

數(shù)據(jù)類型沖突:

1)性別:string(Male、Female)、Char(M、F)、Integer(0、1)

2)日期:Date、DateTime、Sting

數(shù)據(jù)標(biāo)簽沖突:解決同名異義、異名同義:

學(xué)生成績、分?jǐn)?shù)

度量單位沖突:

1)學(xué)生成績

a.百分制:100~0

b.五分制:A、B、C、D、E

c.字符表示:優(yōu)、良、及格、不及格

概念不清:

最近交易額:前一個小時、昨天、本周、本月

聚焦沖突:根源在于表結(jié)構(gòu)的設(shè)計(jì)

11 數(shù)據(jù)的清洗處理

主要任務(wù):

補(bǔ)充缺失數(shù)據(jù)

識別孤立點(diǎn)

處理不一致的數(shù)據(jù)

處理方法:

分箱(Binning)的方法:

聚類方法:檢測并消除異常點(diǎn)

線性回歸:對不符合回歸的數(shù)據(jù)進(jìn)行平滑處理

人機(jī)結(jié)合共同檢測:由計(jì)算機(jī)檢測可疑的點(diǎn),然后由用戶確認(rèn)

12 怎樣將分析的結(jié)果呈現(xiàn)出來

?指標(biāo)分析與政策分析并重

?反映重點(diǎn)問題、實(shí)事求是

?材料、數(shù)據(jù)要真實(shí),論據(jù)要有說服力

13 分析結(jié)果呈現(xiàn)基本原則

數(shù)據(jù)分析結(jié)果呈現(xiàn)準(zhǔn)備工作:

確定表達(dá)的主題:

?使用圖形的目的:

將思想和觀點(diǎn)形象化地表達(dá),加深讀者或聽眾的印象

?使用圖標(biāo)時,必須明確通過圖表要表達(dá)的信息是什么

確定對比關(guān)系:

?同一類別不同項(xiàng)目間的對比

?不同類別不同項(xiàng)目間的對比

14 如何用圖來表示數(shù)據(jù)

15 常見的分析模式

內(nèi)容決定形式、形式服務(wù)于內(nèi)容,當(dāng)形式經(jīng)過時間考驗(yàn)被普遍接受后就固化成一種模式。

16 分析總結(jié)及建議措施

建議措施分類:業(yè)務(wù)層面;數(shù)據(jù)挖掘

17 實(shí)施效果評估及報告整理

1)營銷活動效果反饋數(shù)據(jù),分析對于問題的解決程度

2)業(yè)務(wù)模型優(yōu)化提升