機器學習教程(微課視頻版)

目錄

第一部分基礎知識和基本方法

第1章機器學習概述

微課視頻 185分鐘

1.1什麽是機器學習

1.2機器學習的類型

1.2.1基本分類

1.2.2監督學習及其功能分類

1.3構建機器學習系統的基本問題

1.3.1機器學習的基本元素

1.3.2機器學習的一些基本概念

1.4從簡單示例理解機器學習

1.4.1一個簡單的回歸示例

1.4.2一個簡單的分類示例

1.5深度學習簡介

1.6本章小結

習題

第2章統計與優化基礎

微課視頻 168分鐘

2.1概率論基礎

2.1.1離散隨機變量

2.1.2連續隨機變量

2.1.3隨機變量的統一表示

2.1.4隨機變量的基本特徵

2.1.5隨機特徵的蒙特卡洛逼近

2.2概率實例

2.2.1離散隨機變量示例

2.2.2高斯分佈

2.2.3指數族

2.2.4混合高斯過程

2.2.5馬爾可夫過程

2.3最大似然估計

2.4貝葉斯估計

2.5貝葉斯決策

2.5.1機器學習中的決策

2.5.2分類的決策

2.5.3回歸的決策

2.6隨機變量的熵特徵

2.6.1熵的定義和基本性質

2.6.2KL散度

2.7非參數方法

2.8優化技術概述

2.9本章小結

習題

第3章基本回歸算法

微課視頻 85分鐘

3.1線性回歸

3.1.1基本線性回歸

3.1.2線性回歸的遞推學習

3.1.3多輸出線性回歸

3.2正則化線性回歸

3.3線性基函數回歸

3.4本章小結

習題

第4章基本分類算法

微課視頻 86分鐘

4.1基本分類問題

4.2線性判別函數模型

4.2.1Fisher線性判別分析

*4.2.2感知機

4.3邏輯回歸

4.3.1二分類問題的邏輯回歸

4.3.2多分類問題的邏輯回歸

4.4樸素貝葉斯方法

4.5高斯生成模型分類器

4.5.1相同協方差矩陣情況的二分類

4.5.2不同協方差矩陣情況的二分類

4.5.3多分類情況

4.6本章小結

習題

第5章機器學習的性能與評估

5.1模型的訓練、驗證與測試

5.2機器學習模型的性能評估

5.3機器學習模型的誤差分解

5.4機器學習模型的泛化性能

5.4.1假設空間有限時的泛化誤差界

*5.4.2假設空間無限時的泛化誤差界

5.5本章小結

習題

第二部分經典算法

第6章支持向量機與核函數方法

微課視頻 90分鐘

6.1線性可分的支持向量機

6.1.1不等式約束的優化

6.1.2線性可分情況SVM的原理

6.1.3線性可分情況SVM的優化解

6.2線性不可分情況的SVM

6.2.1線性不可分情況SVM的優化解

6.2.2合頁損失函數

6.3非線性支持向量機

6.3.1SVM分類算法小結

6.3.2核函數方法

6.4SVM用於多分類問題

*6.5支持向量回歸

6.6本章小結

習題

第7章決策樹算法

微課視頻 75分鐘

7.1基本決策樹算法

7.1.1決策樹的基本結構

7.1.2信息增益和ID3算法

7.1.3信息增益率和C4.5算法

7.2CART算法

7.2.1分類樹

7.2.2回歸樹

7.3決策樹的一些實際問題

7.3.1連續數值變量

7.3.2正則化和剪枝技術

7.3.3缺失屬性的訓練樣本問題

7.4本章小結

習題

第8章集成學習算法

微課視頻 60分鐘

8.1Bagging和隨機森林

8.1.1自助採樣和Bagging算法

8.1.2隨機森林算法

8.2提升和AdaBoost算法

8.3提升樹算法

8.3.1加法模型和提升樹

8.3.2梯度提升樹

8.4本章小結

習題

第三部分進階方法

第9章神經網絡與深度學習之一： 基礎

微課視頻 90分鐘

9.1神經網絡的基本結構

9.1.1神經元結構

9.1.2多層神經網絡解決異或問題

9.1.3多層感知機

9.1.4神經網絡的逼近定理

9.2神經網絡的目標函數和優化

9.2.1神經網絡的目標函數

9.2.2神經網絡的優化

9.3誤差反向傳播算法

9.3.1反向傳播算法的推導

9.3.2反向傳播算法的向量形式

9.4神經網絡學習中的一些問題

9.4.1初始化

9.4.2正則化

9.4.3幾類等價正則化技術

9.5本章小結

習題

第10章神經網絡與深度學習之二： 結構與優化

微課視頻 180分鐘

10.1捲積神經網絡

10.1.1基本CNN的結構

*10.1.2捲積的一些擴展結構

*10.1.3CNN示例介紹

10.2循環神經網絡

10.2.1基本RNN

10.2.2RNN的計算流程

*10.2.3RNN的擴展BP算法

10.2.4深度RNN

*10.2.5長短期記憶模型

*10.2.6門控循環單元

10.3深度學習中的優化算法

10.3.1小批量SGD算法

10.3.2動量SGD算法

10.3.3自適應學習率算法

10.4深度學習訓練的正則化技術

10.4.1Dropout技術

10.4.2批歸一化

10.5本章小結

習題

第11章無監督學習算法

微課視頻 85分鐘

11.1聚類算法

11.1.1K均值聚類算法

11.1.2其他度量和聚類算法

11.2EM算法

11.2.1獨立同分佈情況

*11.2.2通過KL散度對EM算法的解釋

11.3EM算法求解高斯混合模型參數

11.3.1GMM參數估計

11.3.2GMM的軟聚類

11.4主分量分析

11.4.1主分量分析原理

11.4.2廣義Hebb算法

11.5本章小結

習題

第12章強化學習

微課視頻 160分鐘

12.1強化學習的基本問題

12.2馬爾可夫決策過程

12.2.1MDP的定義

12.2.2貝爾曼方程

12.2.3最優策略

12.2.4強化學習的類型

12.2.5探索與利用

12.3動態規劃

12.3.1策略迭代方法

12.3.2值函數迭代方法

12.4強化學習的蒙特卡洛方法

12.4.1MC部分策略評估

12.4.2MC策略改進

12.5強化學習的時序差分方法

12.5.1基本時序差分學習和Sarsa算法

12.5.2Q學習

12.5.3DP、MC和TD算法的簡單比較

12.6強化學習的值函數逼近

12.6.1基本線性值函數逼近

12.6.2深度Q網絡

12.7策略梯度方法

12.7.1MC策略梯度算法Reinforce

12.7.2行動器評判器方法

*12.8多臂賭博機

12.9本章小結

習題

參考文獻

附錄A課程的實踐型作業實例

A.1第1次實踐作業

A.2第2次實踐作業

A.3第3次實踐作業

附錄B函數對向量和矩陣的求導

視 頻 名 稱時長/分鐘位置

ML01導論1651.1節節首

ML02導論2601.3節節首

ML03導論3601.4節節首

ML04統計基礎1702.1節節首

ML05統計基礎2402.5節節首

ML06統計基礎3582.6節節首

ML07回歸學習853.1節節首

ML08分類學習1504.1節節首

ML09分類學習2364.4節節首

ML10核與SVM906.1節節首

ML11決策樹757.1節節首

ML12集成學習608.1節節首

ML13神經網絡909.1節節首

ML14深度學習18010.1節節首

ML15深度學習24410.2節節首

ML16深度學習35610.3節節首

ML17無監督學習16511.1節節首

ML18無監督學習22011.4節節首

ML19強化學習19012.1節節首

ML20強化學習27012.3節節首