機器學習（第3版）

趙衛東，復旦大學計算機科學技術學院副教授，主要負責本科生和各類研究生機器學習、深度學習應用等課程的教學。商務智能被評為上海市精品課程（2012年）、獲得2013年高等教育上海市教學成果獎二等獎和2022年一等獎，獲得2024年第四屆上海市教師教學創新大賽一等獎。入選2023-2024年度高校計算機專業優秀教師獎勵計劃，獲得2022年復旦大學教師教學創新大賽一等獎。獲得2022年教育部-華為智能基座項目深度學習課程優秀課件，入選2024年教育部-華為‘智能基座’優秀教師獎勵計劃，2024年CCF教學案例大賽一等獎，第7屆CCF開源大賽案例賽道特等獎。深度學習及其應用國家一流課程負責人。主持國家自然科學基金2項、國家重點研發計劃子課題、上海市浦江人才以及企業合作課題等40多項。已在Knowledge and Information Systems ,Information Processing & Management等國內外刊物發表論文100多篇。出版著作《智能化的流程管理》以及教材《商務智能（第5版）》《機器學習（第2版）》（十四五工信部規劃教材、復旦大學精品教材）《機器學習案例實戰（第2版）》《Python機器學習實戰案例（第2版）》《數據挖掘實用案例分析（第2版）》《深度學習實戰案例》等10多部。獲得上海市2015年上海市科技進步二等獎。

第 1章 機器學習基礎 1

1.1 機器學習概述 1

1.1.1 機器學習簡史 1

1.1.2 機器學習主要流派 3

1.2 機器學習、人工智能和數據挖掘 5

1.2.1 什麼是人工智能 5

1.2.2 什麼是數據挖掘 5

1.2.3 機器學習、人工智能和數據挖掘的關系 6

1.3 機器學習應用的典型領域 7

1.4 機器學習算法 12

1.5 機器學習的流程 18

習題 20

第 2章 機器學習基本方法 21

2.1 統計分析 21

2.1.1 統計基礎 21

2.1.2 常見概率分布 27

2.1.3 參數估計 28

2.1.4 假設檢驗 29

2.1.5 線性回歸 30

2.1.6 邏輯回歸 34

2.1.7 判別分析 35

2.1.8 非線性模型 36

2.2 高維數據降維 36

2.2.1 主成分分析 37

2.2.2 奇異值分解 39

2.2.3 線性判別分析 40

2.2.4 局部線性嵌入 43

2.2.5 拉普拉斯特征映射 44

2.3 特征工程 45

2.3.1 特征構造 46

2.3.2 特征選擇 46

2.3.3 特征提取 47

2.4 模型訓練 47

2.4.1 模型訓練常見術語 48

2.4.2 訓練數據收集 48

2.5 可視化分析 49

2.5.1 可視化分析的作用 49

2.5.2 可視化分析的基本流程 49

2.5.3 可視化分析方法 50

2.5.4 可視化分析常用工具 51

2.5.5 常見的可視化圖表 52

2.5.6 可視化分析面臨的挑戰 62

習題 62

第3章 決策樹與分類算法 64

3.1 決策樹 64

3.1.1 分支處理 65

3.1.2 連續屬性離散化 71

3.1.3 過擬合問題 73

3.1.4 分類性能評價 76

3.2 集成學習 80

3.2.1 裝袋法 80

3.2.2 提升法 81

3.2.3 GBDT算法 83

3.2.4 XGBoost算法 86

3.2.5 隨機森林算法 90

習題 92

第4章 聚類分析 93

4.1 聚類分析概述 93

4.1.1 聚類算法分類 93

4.1.2 良好聚類算法的特征 94

4.2 聚類分析的度量 95

4.2.1 外部指標 95

4.2.2 內部指標 96

4.3 基於劃分的聚類 97

4.3.1 k-均值算法 98

4.3.2 k-medoids算法 103

4.3.3 k-prototype算法 103

4.4 基於密度的聚類 104

4.4.1 DBSCAN算法 104

4.4.2 OPTICS算法 106

4.5 基於層次的聚類 107

4.5.1 BIRCH聚類 107

4.5.2 CURE算法 110

4.6 基於網格的聚類 112

4.7 基於模型的聚類 113

4.7.1 基於概率模型的聚類 113

4.7.2 模糊聚類 118

4.7.3 基於Kohonen神經網絡模型的聚類 118

習題 123

第5章 文本分析 124

5.1 文本分析概述 124

5.2 文本特征提取及表示 125

5.2.1 TF-IDF算法 125

5.2.2 信息增益 125

5.2.3 互信息 126

5.2.4 卡方統計量 127

5.2.5 詞嵌入 127

5.2.6 語言模型 128

5.2.7 向量空間模型 129

5.3 知識圖譜 131

5.3.1 知識圖譜相關概念 132

5.3.2 知識圖譜的存儲 132

5.3.3 知識圖譜的挖掘與計算 133

5.3.4 知識圖譜的構建過程 134

5.4 詞法分析 138

5.4.1 文本分詞 138

5.4.2 命名實體識別 141

5.4.3 詞義消歧 141

5.5 句法分析 142

5.6 語義分析 144

5.7 文本分析應用 145

5.7.1 文本分類 145

5.7.2 信息抽取 147

5.7.3 問答系統 148

5.7.4 情感分析 149

5.7.5 自動摘要 150

習題 151

第6章 神經網絡 152

6.1 神經網絡概述 152

6.1.1 前饋神經網絡 152

6.1.2 反饋神經網絡 157

6.1.3 自組織神經網絡 159

6.2 神經網絡相關概念 161

6.2.1 激活函數 161

6.2.2 損失函數 170

6.2.3 學習率 175

6.2.4 過擬合與正則化 179

6.2.5 數據預處理 181

6.2.6 訓練方式 181

6.2.7 神經網絡模型訓練中的問題 182

6.2.8 網絡模型效果評價 187

6.3 神經網絡應用 187

習題 189

第7章 貝葉斯網絡 190

7.1 貝葉斯定理 190

7.2 樸素貝葉斯分類模型 191

7.3 貝葉斯網絡推理 194

7.4 貝葉斯網絡的應用 199

7.4.1 中文分詞 200

7.4.2 機器翻譯 200

7.4.3 故障診斷 200

7.4.4 疾病診斷 201

習題 203

第8章 支持向量機 204

8.1 線性可分支持向量機 204

8.1.1 間隔與超平面 204

8.1.2 支持向量 205

8.1.3 對偶問題求解 207

8.1.4 軟間隔 208

8.2 非線性可分支持向量機 209

8.2.1 非線性可分支持向量機原理 209

8.2.2 常見核函數 209

8.3 支持向量機應用 210

習題 214

第9章 分布式機器學習 215

9.1 分布式機器學習基礎 215

9.2 分布式機器學習框架 216

9.3 並行決策樹 221

9.4 並行k-均值算法 222

習題 223

第 10章 推薦系統 225

10.1 推薦系統概述 225

10.1.1 推薦系統的應用場景 225

10.1.2 相似度計算 226

10.2 推薦系統通用模型 228

10.2.1 推薦系統結構 228

10.2.2 基於人口統計學的推薦 229

10.2.3 基於內容的推薦 229

10.2.4 基於協同過濾的推薦 230

10.2.5 基於圖的推薦 233

10.2.6 基於關聯規則的推薦 234

10.2.7 基於知識的推薦 240

10.2.8 基於標簽的推薦 241

10.3 推薦系統評測 242

10.3.1 評測方法 242

10.3.2 評測指標 243

10.4 推薦系統常見問題 246

10.5 推薦系統實例 249

10.6 深度學習在推薦系統中的應用 257

習題 261

第 11章 強化學習 262

11.1 強化學習概述 262

11.2 強化學習基礎 263

11.2.1 馬爾可夫鏈 263

11.2.2 強化學習基本概念 263

11.2.3 強化學習的目標函數 266

11.2.4 價值函數 266

11.3 強化學習基本算法 270

11.3.1 蒙特卡洛強化學習 270

11.3.2 時序差分算法 271

11.3.3 SARSA算法 271

11.3.4 Q-Learning算法 273

11.4 深度強化學習 279

11.4.1 DQN算法 279

11.4.2 DDQN算法 283

11.4.3 Dueling DQN算法 284

11.4.4 基於策略的強化學習 285

11.4.5 演員-評論家算法 287

11.4.6 A2C算法 294

11.4.7 A3C算法 295

11.4.8 TRPO 算法 296

11.4.9 PPO 算法 298

習題 300

實驗1 二手車價格預測實驗 301

實驗2 基於強化學習的倒立擺實驗 317

實驗3 超市銷售數據分析 327