機(jī)器學(xué)習(xí)(Machine Learning) 最早起源于 人工智能(Artificial Intelligence,AI) ，其核心在于構(gòu)造學(xué)習(xí)算法(Learning Algorithm)，使得機(jī)器可以自動(dòng)從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)以完成特定任務(wù)。

機(jī)器學(xué)習(xí)的定義

• 1959年，Arthur Samuel將機(jī)器學(xué)習(xí)定義為："Field of study that gives computers the ability to learn without being explicitly programmed"。
• 1998年，Tom Mitchell給出了一個(gè)更為正式的定義："A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E"。

值得一提的是，Arthur Samuel曾寫(xiě)了一個(gè)可以實(shí)現(xiàn)自己和自己下跳棋(checkers，如下圖所示)的程序。該程序在自己與自己下棋的過(guò)程中不斷學(xué)習(xí)，知道了什么樣的棋盤(pán)格局更容易獲勝或失敗，最終該程序比Arthur Samuel本人還更擅長(zhǎng)下跳棋。

第一種定義更多的是從認(rèn)知的角度來(lái)定義機(jī)器學(xué)習(xí)；而第二種定義則傾向于從更為基本的形式化表述，所以認(rèn)可度更高。以上面的跳棋程序?yàn)槔?，E代表和自己不斷下棋所獲的經(jīng)驗(yàn)，T代表下跳棋的任務(wù)，P則可用和人下跳棋的獲勝率來(lái)衡量。

機(jī)器學(xué)習(xí)實(shí)例

機(jī)器學(xué)習(xí)的精髓在于利用設(shè)計(jì)的學(xué)習(xí)算法，使機(jī)器自動(dòng)學(xué)習(xí)數(shù)據(jù)之間的映射關(guān)系，最后利用這種映射關(guān)系解決實(shí)際問(wèn)題。以手寫(xiě)數(shù)字識(shí)別為例，我們很難設(shè)計(jì)出一段程序，可以直接解析出一張手寫(xiě)的數(shù)字圖像到底對(duì)應(yīng)哪個(gè)數(shù)字。因?yàn)榧词故峭粋€(gè)人，在不同情景下寫(xiě)的同一個(gè)數(shù)字在圖像上也會(huì)存在差異，我們無(wú)法用一段程序應(yīng)對(duì)如此復(fù)雜多變的狀況。如果我們提供很多手寫(xiě)數(shù)字的數(shù)據(jù)，并且告訴機(jī)器每個(gè)數(shù)據(jù)對(duì)應(yīng)哪個(gè)數(shù)字，然后讓機(jī)器自動(dòng)去學(xué)習(xí)手寫(xiě)數(shù)字和真實(shí)數(shù)字之間的映射關(guān)系。最后，任意給定一個(gè)手寫(xiě)數(shù)字作為輸入，我們可以利用學(xué)習(xí)到的映射關(guān)系找到對(duì)應(yīng)的真實(shí)數(shù)字，順利完成手寫(xiě)數(shù)字的識(shí)別任務(wù)。機(jī)器學(xué)習(xí)在我們生活中也是處處可見(jiàn)的，比如信封上的郵編就是通過(guò)機(jī)器學(xué)習(xí)的算法自動(dòng)識(shí)別的；Amzon和Netfix等網(wǎng)站利用學(xué)習(xí)算法學(xué)習(xí)用戶(hù)的偏好，然后向用戶(hù)提供具有一定針對(duì)性的推薦；筆記本上面可以通過(guò)指紋或人臉識(shí)別來(lái)判斷用戶(hù)是否有訪問(wèn)該機(jī)器的權(quán)限；垃圾郵件過(guò)濾。

?學(xué)習(xí)算法的分類(lèi)

我們根據(jù)訓(xùn)練階段的輸入數(shù)據(jù)的類(lèi)型即相應(yīng)的輸出可以將算法大致分為如下幾類(lèi)：

• 監(jiān)督學(xué)習(xí)(Supervised Learning) 的任務(wù)是從給定輸入和輸出的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)輸入和輸出之間的映射函數(shù)，然后利用該映射函數(shù)預(yù)測(cè)出測(cè)試樣本的輸出值，其中訓(xùn)練集中的每個(gè)樣本都由輸入和對(duì)應(yīng)的輸出(也稱(chēng)之為label)組成(labeled data)。如果我們要預(yù)測(cè)的目標(biāo)值是連續(xù)變量，那么這類(lèi)問(wèn)題稱(chēng)之為回歸(Regression);反之，如果預(yù)測(cè)的目標(biāo)值是離散的，這類(lèi)問(wèn)題一般被稱(chēng)之為分類(lèi)(Classification)。
• 無(wú)監(jiān)督學(xué)習(xí)(Unsupervised Learning) 的職責(zé)在于發(fā)現(xiàn)數(shù)據(jù)中的隱含結(jié)構(gòu)，而其中的數(shù)據(jù)樣本未給定對(duì)應(yīng)的目標(biāo)值(unlabeled data)。如果我們要將相似的樣本劃分為不同的組，這類(lèi)問(wèn)題稱(chēng)之為聚類(lèi)(Clustering);如果我們需要找出輸入空間的數(shù)據(jù)分布狀況，這類(lèi)問(wèn)題稱(chēng)之為密度估計(jì)(Density Estimation);我們也可以利用主成份分析(Principal Component Analysis,PCA)、獨(dú)立成分分析(Independent Component Analysis,ICA)、非負(fù)矩陣分解(Nonnegative Matrix Factorization,NMF)和奇異值分解(Singular Value Decomposition,SVD)等特征提取方法將數(shù)據(jù)從高維度映射到較低維度實(shí)現(xiàn)將維(Dimensionality Reduction)。
• 半監(jiān)督學(xué)習(xí)(Semi-supervised Learning) 利用labeled data和unlabeled data組成的數(shù)據(jù)集,生成近似函數(shù)或者分類(lèi)器。一般unlabeled data很多，而labeled data占少數(shù)。
• 增強(qiáng)學(xué)習(xí)(Reinforcement Learning) 關(guān)心的問(wèn)題并不是像分類(lèi)問(wèn)題那樣一次性就可以解決，而是涉及到與環(huán)境進(jìn)行交互的一系列狀態(tài)和行為。這里要解決的問(wèn)題是，在給定的狀態(tài)下，如何找到最優(yōu)的行為策略，以獲取最大的累積回報(bào)。在大多數(shù)情況下，當(dāng)前的行為不僅會(huì)影響當(dāng)前的回報(bào)(immediate reward)，還會(huì)對(duì)后續(xù)的回報(bào)產(chǎn)生影響。

機(jī)器學(xué)習(xí)的應(yīng)用

機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域相當(dāng)廣泛，對(duì)科學(xué)界和工業(yè)界都產(chǎn)生了深遠(yuǎn)影響。其應(yīng)用領(lǐng)域包括計(jì)算機(jī)視覺(jué)、圖形處理、自然語(yǔ)言處理、醫(yī)療診斷、生物信息學(xué)、股票市場(chǎng)分析、社交網(wǎng)絡(luò)分析、市場(chǎng)劃分、天文數(shù)據(jù)分析、搜索引擎、信息檢索和推薦系統(tǒng)等。

我們從機(jī)器學(xué)習(xí)廣泛的應(yīng)用領(lǐng)域就可以看出機(jī)器學(xué)習(xí)的前景必然是一片光明的。如今眾多公司和政府都在開(kāi)發(fā)協(xié)同過(guò)濾、垃圾郵件過(guò)濾、詐騙檢測(cè)對(duì)象跟蹤等應(yīng)用，這些應(yīng)用都需要在大規(guī)模的數(shù)據(jù)上發(fā)掘潛在的模式。隨著信息呈現(xiàn)爆炸式增長(zhǎng)，如何組織和分析這些數(shù)據(jù)已經(jīng)成為亟待解決的難題，機(jī)器學(xué)習(xí)在大數(shù)據(jù)時(shí)代必將扮演極為重要的角色。目前具備機(jī)器學(xué)習(xí)知識(shí)的人才非常受歡迎，在COMPUTERWORLD上出現(xiàn)的一篇名為 12 IT skills that employers can't say no to 的報(bào)道中，機(jī)器學(xué)習(xí)是位列第一的，足見(jiàn)機(jī)器學(xué)習(xí)的霸氣！

最后，羅列一些機(jī)器學(xué)習(xí)相關(guān)的學(xué)習(xí)資料

• Coursera上的機(jī)器學(xué)習(xí)公開(kāi)課 ，機(jī)器學(xué)習(xí)入門(mén)級(jí)別的課程。
• 網(wǎng)易公開(kāi)課提供的Stanford機(jī)器學(xué)習(xí)視頻教程(翻譯完成)? ，相對(duì)于第一個(gè)視頻教程，涵蓋的內(nèi)容更豐富，難度也大一些。
• 網(wǎng)易公開(kāi)課提供的加州理工學(xué)院機(jī)器學(xué)習(xí)視頻教程 (未翻譯完)，與Stanford機(jī)器學(xué)習(xí)視頻教程重疊部分不多，可以?xún)烧呓Y(jié)合一起看。
• Stanford機(jī)器學(xué)習(xí)課程的資料 (與網(wǎng)易公開(kāi)課的機(jī)器學(xué)習(xí)視頻對(duì)應(yīng))。網(wǎng)站上附有配套的講義(最后幾個(gè)章節(jié)缺講義)和作業(yè)，還有學(xué)生提交的課程項(xiàng)目的PDF文檔。
• Stanford數(shù)據(jù)挖掘課程 ，包括相關(guān)的電子書(shū)和Slides，涉及降維、聚類(lèi)、推薦系統(tǒng)等熱門(mén)技術(shù)。
• kaggle上有很多機(jī)器學(xué)習(xí)方面的有獎(jiǎng)競(jìng)賽
• 機(jī)器學(xué)習(xí)相關(guān)書(shū)籍推薦：《Pattern Recognition and Machine Learning》、《The Elements of Statistical Learning》、《?Mining of massive datasets》。極力推薦第一本書(shū)，據(jù)說(shuō)是CMU機(jī)器學(xué)習(xí)的教程。

Introduction to Machine Learning