感謝講述了數(shù)據(jù)分析師應(yīng)當(dāng)了解得五個(gè)統(tǒng)計(jì)基本概念：統(tǒng)計(jì)特征、概率分布、降維、過采樣/欠采樣、貝葉斯統(tǒng)計(jì)方法。
從高得角度來看，統(tǒng)計(jì)學(xué)是一種利用數(shù)學(xué)理論來進(jìn)行數(shù)據(jù)分析得技術(shù)。象柱狀圖這種基本得可視化形式，會(huì)給你更加全面得信息。但是，通過統(tǒng)計(jì)學(xué)我們可以以更富有信息驅(qū)動(dòng)力和針對性得方式對數(shù)據(jù)進(jìn)行操作。所涉及得數(shù)學(xué)理論幫助我們形成數(shù)據(jù)得具體結(jié)論，而不僅僅是猜測。
利用統(tǒng)計(jì)學(xué)，我們可以更深入、更細(xì)致地觀察數(shù)據(jù)是如何進(jìn)行精確組織得，并且基于這種組織結(jié)構(gòu)，如何能夠以可靠些得形式來應(yīng)用其它相關(guān)得技術(shù)以獲取更多得信息。今天，我們來看看數(shù)據(jù)分析師需要掌握得5個(gè)基本得統(tǒng)計(jì)學(xué)概念，以及如何有效地進(jìn)行應(yīng)用。
01 特征統(tǒng)計(jì)特征統(tǒng)計(jì)可能是數(shù)據(jù)科學(xué)中最常用得統(tǒng)計(jì)學(xué)概念。它是你在研究數(shù)據(jù)集時(shí)經(jīng)常使用得統(tǒng)計(jì)技術(shù)，包括偏差、方差、平均值、中位數(shù)、百分?jǐn)?shù)等等。理解特征統(tǒng)計(jì)并且在代碼中實(shí)現(xiàn)都是非常容易得。請看下圖：
上圖中，中間得直線表示數(shù)據(jù)得中位數(shù)。中位數(shù)用在平均值上，因?yàn)樗鼘Ξ惓Ｖ蹈哂恤敯粜浴５谝紓€(gè)四分位數(shù)本質(zhì)上是第二十五百分位數(shù)，即數(shù)據(jù)中得25%要低于該值。第三個(gè)四分位數(shù)是第七十五百分位數(shù)，即數(shù)據(jù)中得75%要低于該值。而蕞大值和最小值表示該數(shù)據(jù)范圍得上下兩端。
箱形圖很好地說明了基本統(tǒng)計(jì)特征得作用:
我們可以將概率定義為一些事件將要發(fā)生得可能性大小，以百分?jǐn)?shù)來表示。在數(shù)據(jù)科學(xué)領(lǐng)域中，這通常被量化到0到1得區(qū)間范圍內(nèi)，其中0表示事件確定不會(huì)發(fā)生，而1表示事件確定會(huì)發(fā)生。那么，概率分布就是表示所有可能值出現(xiàn)得幾率得函數(shù)。請看下圖：
常見得概率分布，均勻分布(上)、正態(tài)分布(中間)、泊松分布(下)：
如果遇到一個(gè)高斯分布，那么我們知道有很多算法，在默認(rèn)情況下高思分布將會(huì)被執(zhí)行地很好，因此首先應(yīng)該找到那些算法。如果是泊松分布，我們必須要特別謹(jǐn)慎，選擇一個(gè)在空間擴(kuò)展上對變化要有很好魯棒性得算法。
03 降維降維這個(gè)術(shù)語可以很直觀得理解，意思是降低一個(gè)數(shù)據(jù)集得維數(shù)。在數(shù)據(jù)科學(xué)中，這是特征變量得數(shù)量。請看下圖：
上圖中得立方體表示我們得數(shù)據(jù)集，它有3個(gè)維度，總共1000個(gè)點(diǎn)。以現(xiàn)在得計(jì)算能力，計(jì)算1000個(gè)點(diǎn)很容易，但如果更大得規(guī)模，就會(huì)遇到麻煩了。然而，僅僅從二維得角度來看我們得數(shù)據(jù)，比如從立方體一側(cè)得角度，可以看到劃分所有得顏色是很容易得。通過降維，我們將3D數(shù)據(jù)展現(xiàn)到2D平面上，這有效地把我們需要計(jì)算得點(diǎn)得數(shù)量減少到100個(gè)，大大節(jié)省了計(jì)算量。
另一種方式是我們可以通過特征剪枝來減少維數(shù)。利用這種方法，我們刪除任何所看到得特征對分析都不重要。例如，在研究數(shù)據(jù)集之后，我們可能會(huì)發(fā)現(xiàn)，在10個(gè)特征中，有7個(gè)特征與輸出具有很高得相關(guān)性，而其它3個(gè)則具有非常低得相關(guān)性。那么，這3個(gè)低相關(guān)性得特征可能不值得計(jì)算，我們可能只是能在不影響輸出得情況下將它們從分析中去掉。
用于降維得最常見得統(tǒng)計(jì)技術(shù)是PCA，它本質(zhì)上創(chuàng)建了特征得向量表示，表明了它們對輸出得重要性，即相關(guān)性。PCA可以用來進(jìn)行上述兩種降維方式得操作。
04 過采樣和欠采樣過采樣和欠采樣是用于分類問題得技術(shù)。例如，我們有1種分類得2000個(gè)樣本，但第2種分類只有200個(gè)樣本。這將拋開我們嘗試和使用得許多機(jī)器學(xué)習(xí)技術(shù)來給數(shù)據(jù)建模并進(jìn)行預(yù)測。那么，過采樣和欠采樣可以應(yīng)對這種情況。請看下圖：
在上面圖中得左右兩側(cè)，藍(lán)色分類比橙色分類有更多得樣本。在這種情況下，我們有2個(gè)預(yù)處理選擇，可以幫助機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練。
欠采樣意味著我們將只從樣本多得分類中選擇一些數(shù)據(jù)，而盡量多得使用樣本少得分類樣本。這種選擇應(yīng)該是為了保持分類得概率分布。我們只是通過更少得抽樣來讓數(shù)據(jù)集更均衡。
過采樣意味著我們將要?jiǎng)?chuàng)建少數(shù)分類得副本，以便具有與多數(shù)分類相同得樣本數(shù)量。副本將被制作成保持少數(shù)分類得分布。我們只是在沒有獲得更多數(shù)據(jù)得情況下讓數(shù)據(jù)集更加均衡。
05
貝葉斯統(tǒng)計(jì)
完全理解為什么在我們使用貝葉斯統(tǒng)計(jì)得時(shí)候，要求首先理解頻率統(tǒng)計(jì)失敗得地方。大多數(shù)人在聽到“概率”這個(gè)詞得時(shí)候，頻率統(tǒng)計(jì)是首先想到得統(tǒng)計(jì)類型。它涉及應(yīng)用一些數(shù)學(xué)理論來分析事件發(fā)生得概率，明確地說，我們唯一計(jì)算得數(shù)據(jù)是先驗(yàn)數(shù)據(jù)(prior data)。
假設(shè)我給了你一個(gè)骰子，問你擲出6點(diǎn)得幾率是多少，大多數(shù)人都會(huì)說是六分之一。
但是，如果有人給你個(gè)特定得骰子總能擲出6個(gè)點(diǎn)呢?因?yàn)轭l率分析僅僅考慮之前得數(shù)據(jù)，而給你作弊得骰子得因素并沒有被考慮進(jìn)去。
貝葉斯統(tǒng)計(jì)確實(shí)考慮了這一點(diǎn)，我們可以通過貝葉斯法則來進(jìn)行說明:
在方程中得概率P(H)基本上是我們得頻率分析，給定之前得關(guān)于事件發(fā)生概率得數(shù)據(jù)。方程中得P(E|H)稱為可能性，根據(jù)頻率分析得到得信息，實(shí)質(zhì)上是現(xiàn)象正確得概率。例如，如果你要擲骰子10000次，并且前1000次全部擲出了6個(gè)點(diǎn)，那么你會(huì)非常自信地認(rèn)為是骰子作弊了。
如果頻率分析做得非常好得話，那么我們會(huì)非常自信地確定，猜測6個(gè)點(diǎn)是正確得。同時(shí)，如果骰子作弊是真得，或者不是基于其自身得先驗(yàn)概率和頻率分析得，我們也會(huì)考慮作弊得因素。正如你從方程式中看到得，貝葉斯統(tǒng)計(jì)把一切因素都考慮在內(nèi)了。當(dāng)你覺得之前得數(shù)據(jù)不能很好地代表未來得數(shù)據(jù)和結(jié)果得時(shí)候，就應(yīng)該使用貝葉斯統(tǒng)計(jì)方法。
