想入門數(shù)據(jù)科學不知如何開始嗎？先看看這篇
數(shù)字化
2019/08/26 09:06:08 85661閱讀
數(shù)字化
2019/08/26 09:06:08 85661閱讀
想要入坑數(shù)據(jù)科學而又不知如何開始嗎？先看看這篇使用的數(shù)據(jù)科學入門數(shù)學指南吧！
數(shù)學就像一個章魚：它的「觸手」可以觸及到幾乎所有學科。雖然有些學科只是沾了點數(shù)學的邊，但有些學科則被數(shù)學的「觸手」緊緊纏住。數(shù)據(jù)科學就屬于后者。如果你想從事數(shù)據(jù)科學工作，你就必須解決數(shù)學問題。如果你已經(jīng)獲得了數(shù)學學位或其它強調(diào)數(shù)學技能的學位，你可能想知道你學到的這些知識是否都是必要的。而如果你沒有相關(guān)背景，你可能想知道：從事數(shù)據(jù)科學工作究竟需要多少數(shù)學知識？在本文中，我們將探討數(shù)據(jù)科學意味著什么，并討論我們到底需要多少數(shù)學知識。讓我們從「數(shù)據(jù)科學」的實際含義開始講起。
對于數(shù)據(jù)科學的理解，是「仁者見仁，智者見智」的事情！在 Dataquest，我們將數(shù)據(jù)科學定義為：使用數(shù)據(jù)和高級統(tǒng)計學進行預(yù)測的學科。這是一門專業(yè)學科，重點關(guān)注理解有時有些混亂和不一致的數(shù)據(jù)（盡管數(shù)據(jù)科學家解決的問題因人而異）。統(tǒng)計學是我們在該定義中提到的唯一一門數(shù)學學科，但數(shù)據(jù)科學也經(jīng)常涉及數(shù)學中的其他領(lǐng)域。學習統(tǒng)計學是一個很好的開始，但數(shù)據(jù)科學也使用算法進行預(yù)測。這些算法被稱為機器學習算法，數(shù)量達數(shù)百種。深入探討每種算法需要多少數(shù)學知識不屬于本文的范圍，本文將討論以下常用算法所需的數(shù)學知識：樸素貝葉斯
線性回歸
Logistic 回歸
K-Means 聚類
決策樹
現(xiàn)在讓我們來看看每種算法實際需要哪些數(shù)學知識！
定義：樸素貝葉斯分類器是一系列基于同一個原則的算法，即某一特定特征值獨立于任何其它特征值。樸素貝葉斯讓我們可以根據(jù)我們所知道的相關(guān)事件的條件預(yù)測事件發(fā)生的概率。該名稱源于貝葉斯定理，數(shù)學公式如下：
其中有事件 A 和事件 B，且 P(B) 不等于 0。這看起來很復(fù)雜，但我們可以把它拆解為三部分：
P(A|B) 是一個條件概率。即在事件 B 發(fā)生的條件下事件 A 發(fā)生的概率。
P(B|A) 也是一個條件概率。即在事件 A 發(fā)生的條件下事件 B 發(fā)生的概率。
P(A) 和 P(B) 是事件 A 和事件 B 分別發(fā)生的概率，其中兩者相互獨立。
所需數(shù)學知識：如果你想了解樸素貝葉斯分類器算法的基本原理以及貝葉斯定理的所有用法，一門概率論課程就足夠了。
定義：線性回歸是最基本的回歸類型。它幫助我們理解兩個連續(xù)變量間的關(guān)系。簡單的線性回歸就是獲取一組數(shù)據(jù)點并繪制可用于預(yù)測未來的趨勢線。線性回歸是參數(shù)化機器學習的一個例子。在參數(shù)化機器學習中，訓練過程使機器學習算法變成一個數(shù)學函數(shù)，能擬合在訓練集中發(fā)現(xiàn)的模式。然后可以使用該數(shù)學函數(shù)來預(yù)測未來的結(jié)果。在機器學習中，數(shù)學函數(shù)被稱為模型。在線性回歸的情況下，模型可以表示為：
其中 a_1, a_2, …,a_n 表示數(shù)據(jù)集的特定參數(shù)值，x_1, x_2, …, x_n 表示我們選擇在最終的模型中使用的特征列，y 表示目標列。線性回歸的目標是找到能描述特征列和目標列之間關(guān)系的最佳參數(shù)值。換句話說，就是找到最能最佳擬合數(shù)據(jù)的直線，以便根據(jù)線的趨勢來預(yù)測未來結(jié)果。
為了找到線性回歸模型的最佳參數(shù)，我們要最小化模型的殘差平方和。殘差通常也被稱為誤差，用來描述預(yù)測值和真實值之間的差異。殘差平方和的公式可以表示為：
其中 y ^ 是目標列的預(yù)測值，y 是真實值。
所需數(shù)學知識：如果你只想簡單了解一下線性回歸，學習一門基礎(chǔ)統(tǒng)計學的課程就可以了。如果你想對概念有深入的理解，你可能就需要知道如何推導(dǎo)出殘差平方和的公式，這在大多數(shù)高級統(tǒng)計學課程中都有介紹。
邏輯回歸
定義：Logistic 回歸重點關(guān)注在因變量取二值（即只有兩個值，0 和 1 表示輸出結(jié)果）的情況下估算發(fā)生事件的概率。與線性回歸一樣，Logistic 回歸是參數(shù)化機器學習的一個例子。因此，這些機器學習算法的訓練結(jié)果是得到一個能夠最好地近似訓練集中模式的數(shù)學函數(shù)。區(qū)別在于，線性回歸模型輸出的是實數(shù)，而 Logistic 回歸模型輸出的是概率值。
正如線性回歸算法產(chǎn)生線性函數(shù)模型一樣，Logistic 回歸算法生成 Logistic 函數(shù)模型。它也被稱作 Sigmoid 函數(shù)，會將所有輸入值映射為 0 和 1 之間的概率結(jié)果。Sigmoid 函數(shù)可以表示如下：
那么為什么 Sigmoid 函數(shù)總是返回 0 到 1 之間的值呢？請記住，代數(shù)中任意數(shù)的負數(shù)次方等于這個數(shù)正數(shù)次方的倒數(shù)。
所需數(shù)學知識：我們在這里已經(jīng)討論過指數(shù)和概率，你需要對代數(shù)和概率有充分的理解，以便理解 Logistic 算法的工作原理。如果你想深入了解概念，我建議你學習概率論以及離散數(shù)學或?qū)崝?shù)分析。
定義：K Means 聚類算法是一種無監(jiān)督機器學習，用于對無標簽數(shù)據(jù)（即沒有定義的類別或分組）進行歸類。該算法的工作原理是發(fā)掘出數(shù)據(jù)中的聚類簇，其中聚類簇的數(shù)量由 k 表示。然后進行迭代，根據(jù)特征將每個數(shù)據(jù)點分配給 k 個簇中的一個。K 均值聚類依賴貫穿于整個算法中的距離概念將數(shù)據(jù)點「分配」到不同的簇中。距離的概念是指兩個給定項之間的空間大小。在數(shù)學中，描述集合中任意兩個元素之間距離的函數(shù)稱為距離函數(shù)或度量。其中有兩種常用類型：歐氏距離和曼哈頓距離。歐氏距離的標準定義如下：
其中 (x1,y1) 和 (x2,y2) 是笛卡爾平面上的坐標點。雖然歐氏距離應(yīng)用面很廣，但在某些情況下也不起作用。假設(shè)你在一個大城市散步；如果有一個巨大的建筑阻擋你的路線，這時你說「我與目的地相距 6.5 個單位」是沒有意義的。為了解決這個問題，我們可以使用曼哈頓距離。曼哈頓距離公式如下：
其中 (x1,y1) 和 (x2,y2) 是笛卡爾平面上的坐標點。
所需數(shù)學知識：實際上你只需要知道加減法，并理解代數(shù)的基礎(chǔ)知識，就可以掌握距離公式。但是為了深入了解每種度量所包含的基本幾何類型，我建議學習一下包含歐氏幾何和非歐氏幾何的幾何學。為了深入理解度量和度量空間的含義，我會閱讀數(shù)學分析并選修實數(shù)分析的課程。
決策樹
定義：決策樹是類似流程圖的樹結(jié)構(gòu)，它使用分支方法來說明決策的每個可能結(jié)果。樹中的每個節(jié)點代表對特定變量的測試，每個分支都是該測試的結(jié)果。決策樹依賴于信息論的理論來確定它們是如何構(gòu)建的。在信息論中，人們對某個事件的了解越多，他們能從中獲取的新信息就越少。信息論的關(guān)鍵指標之一被稱為熵。熵是對給定變量的不確定性量進行量化的度量。熵可以被表示為：
在上式中，P(x_i) 是隨機事件 x_i 發(fā)生的概率。對數(shù)的底數(shù) b 可以是任何大于 0 的實數(shù)；通常底數(shù)的值為 2、e（2.71）和 10。像「S」的花式符號是求和符號，即可以連續(xù)地將求和符號之外的函數(shù)相加，相加的次數(shù)取決于求和的下限和上限。在計算熵之后，我們可以通過利用信息增益開始構(gòu)造決策樹，從而判斷哪種分裂方法能最大程度地減少熵。信息增益的公式如下：
信息增益可以衡量信息量，即獲得多少「比特」信息。在決策樹的情況下，我們可以計算數(shù)據(jù)集中每列的信息增益，以便找到哪列將為我們提供最大的信息增益，然后在該列上進行分裂。
所需數(shù)學知識：想初步理解決策樹只需基本的代數(shù)和概率知識。如果你想要對概率和對數(shù)進行深入的概念性理解，我推薦你學習概率論和代數(shù)課程。
如果你還在上學，我強烈建議你選修一些純數(shù)學和應(yīng)用數(shù)學課程。它們有時肯定會讓人感到畏懼，但是令人欣慰的是，當你遇到這些算法并知道如何最好地利用它們時，你會更有能力。如果你目前沒有在上學，我建議你去最近的書店，閱讀本文中提到的相關(guān)書籍。如果你能找到涉及概率論、統(tǒng)計學和線性代數(shù)的書籍，我強烈建議你選擇涵蓋這些主題的書籍，以真正了解本文涉及到的和那些未涉及到的機器學習算法背后的原理。文章來源：微信公眾號almosthuman2014
