動手學機器學習

张伟楠，上海交通大学副教授，博士生导师，ACM班机器学习、强化学习课程授课教师。主要研究强化学习、数据挖掘、知识图谱、深度学习以及这些技术在推荐系统、游戏智能、机器人控制等场景中的应用，累计发表国际期刊和会议论文180余篇。

赵寒烨，上海交通大学 APEX数据与知识管理实验室博士生，师从张伟楠副教授，研究方向为强化学习、机器学习。以一作身份在人工智能国际会议 NeurIPS上发表论文，并参与多本机器学习相关教材的编写。

俞勇，上海交通大学ACM班创办人，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养人工智能算法工程师和研究员。

第 一部分 機器學習基礎

第 1 章 初探機器學習 2

1 1 人工智能的“兩只手和四條腿” 2

1 2 機器學習是什麽 2

1 3 時代造就機器學習的盛行 4

1 4 泛化能力：機器學習奏效的本質 5

1 5 歸納偏置：機器學習模型的“天賦” 6

1 6 機器學習的限制 7

1 7 小結 7

第 2 章 機器學習的數學基礎 8

2 1 向量 8

2 2 矩陣 10

2 2 1 矩陣的基本概念 10

2 2 2 矩陣運算 11

2 2 3 矩陣與線性方程組 12

2 2 4 矩陣範數 13

2 3 梯度 14

2 4 凸函數 17

2 5 小結 19

第 3 章 k近鄰算法 20

3 1 KNN算法的原理 20

3 2 用KNN算法完成分類任務 21

3 3 使用scikit-learn實現KNN算法 24

3 4 用KNN算法完成回歸任務--色彩風格遷移 25

3 4 1 RGB空間與LAB空間 27

3 4 2 算法設計 27

3 5 小結 30

第 4 章 線性回歸 33

4 1 線性回歸的映射形式和學習目標 33

4 2 線性回歸的解析方法 35

4 3 動手實現線性回歸的解析方法 35

4 4 使用sklearn中的線性回歸模型 37

4 5 梯度下降算法 38

4 6 學習率對迭代的影響 42

4 7 小結 44

第 5 章 機器學習的基本思想 46

5 1 欠擬合與過擬合 46

5 2 正則化約束 49

5 3 輸入特徵與相似度 52

5 4 參數與超參數 55

5 5 數據集劃分與交叉驗證 56

5 6 小結 57

5 7 擴展閱讀：貫穿恆等式的證明 58

5 8 參考文獻 58

第二部分 參數化模型

第 6 章 邏輯斯諦回歸 60

6 1 邏輯斯諦函數下的線性模型 61

6 2 最大似然估計 62

6 3 分類問題的評價指標 64

6 4 動手實現邏輯斯諦回歸 69

6 5 使用sklearn中的邏輯斯諦回歸模型 73

6 6 交叉熵與最大似然估計 74

6 7 小結 76

6 8 擴展閱讀：廣義線性模型 78

6 9 參考文獻 79

第 7 章 雙線性模型 80

7 1 矩陣分解 81

7 2 動手實現矩陣分解模型 83

7 3 因子分解機 86

7 4 動手實現因子分解機模型 89

7 5 小結 92

7 6 擴展閱讀：概率矩陣分解 93

7 7 參考文獻 95

第 8 章 神經網絡與多層感知機 96

8 1 人工神經網絡 96

8 2 感知機 97

8 3 隱含層與多層感知機 99

8 4 反向傳播 102

8 5 動手實現多層感知機 104

8 6 用PyTorch庫實現多層感知機 110

8 7 小結 113

8 8 參考文獻 114

第 9 章 捲積神經網絡 115

9 1 捲積 115

9 2 神經網絡中的捲積 117

9 3 用捲積神經網絡完成圖像分類任務 119

9 4 用預訓練的捲積神經網絡完成色彩風格遷移 126

9 4 1 VGG網絡 126

9 4 2 內容表示與風格表示 127

9 5 小結 134

9 6 擴展閱讀：數據增強 134

9 7 參考文獻 136

第 10 章 循環神經網絡 137

10 1 循環神經網絡的基本原理 137

10 2 門控循環單元 139

10 3 動手實現GRU 141

10 4 小結 146

10 5 參考文獻 147

第三部分 非參數化模型

第 11 章 支持向量機 150

11 1 支持向量機的數學描述 150

11 2 序列最小優化 153

11 3 動手實現SMO求解SVM 156

11 4 核函數 158

11 5 sklearn中的SVM工具 162

11 6 小結 163

11 7 擴展閱讀：SVM對偶問題的推導 164

第 12 章 決策樹 167

12 1 決策樹的構造 168

12 2 ID3算法與C4 5算法 171

12 3 CART算法 172

12 4 動手實現C4 5算法的決策樹 175

12 4 1 數據集處理 175

12 4 2 C4 5算法的實現 178

12 5 sklearn中的決策樹 182

12 6 小結 183

12 7 參考文獻 184

第 13 章 集成學習與梯度提升決策樹 185

13 1 自舉聚合與隨機森林 186

13 2 集成學習器 191

13 3 提升算法 194

13 3 1 適應提升 195

13 3 2 梯度提升 200

13 4 小結 205

13 5 參考文獻 206

第四部分 無監督模型

第 14 章 k均值聚類 208

14 1 k均值聚類算法的原理 208

14 2 動手實現k均值算法 209

14 3 k-means++算法 212

14 4 小結 214

14 5 參考文獻 215

第 15 章主成分分析 216

15 1 主成分與方差 216

15 2 利用特徵分解進行PCA 218

15 3 動手實現PCA算法 221

15 4 用sklearn實現PCA算法 222

15 5 小結 223

第 16 章 概率圖模型 225

16 1 貝葉斯網絡 226

16 2 最大後驗估計 228

16 3 用樸素貝葉斯模型完成文本分類 231

16 4 馬爾可夫網絡 234

16 5 用馬爾可夫網絡完成圖像去噪 236

16 6 小結 240

16 7 參考文獻 241

第 17 章 EM算法 242

17 1 高斯混合模型的EM算法 243

17 2 動手求解GMM來擬合數據分佈 245

17 3 一般情況下的EM算法 251

17 4 EM算法的收斂性 253

17 5 小結 254

第 18 章 自編碼器 255

18 1 自編碼器的結構 256

18 2 動手實現自編碼器 257

18 3 小結 262

18 4 參考文獻 262

總結與展望 264

總結 264

展望 264

中英文術語對照表 267