機器學習（第2版）

赵卫东，复旦大学副教授，主要负责本科生和各类研究生机器学习、大数据核心技术和人工智能（机器学习）（商务数据分析）等课程的教学，2011年纽约大学访问学者。人工智能（机器学习）被评为上海市精品课程以及CMOOC联盟线上线下混合式教学改革项目，获得2013年高等教育上海市教学成果奖二等奖。目前主要研究方向包括机器学习应用和大数据分析等。主持国家自然科学基金2项、国家重点研发计划子课题、上海市浦江人才以及企业合作课题等30多项目。已在Knowledge and Information Systems ,Information Processing & Management，Information Systems Frontiers，Intelligent Data Analysis，Applied Intelligence等国内外刊物和学术会议发表论文100多篇。出版专著、教材《机器学习》《机器学习案例实战》《Python机器学习实战案例》等10多部。获得上海市2015年上海市科技进步二等奖。CDA三级认证数据科学家，腾讯云和百度云机器学习认证讲师。

第 1章 機器學習概述 1

1.1　機器學習簡介　1

1.1.1　機器學習簡史　1

1.1.2　機器學習主要流派　3

1.2　機器學習、人工智能和數據挖掘　4

1.2.1　什麽是人工智能　4

1.2.2　什麽是數據挖掘　5

1.2.3　機器學習、人工智能與數據挖掘的關系　6

1.3　典型機器學習應用領域　6

1.4　機器學習算法　12

1.5　機器學習的一般流程　18

習題　19

第　2章 機器學習基本方法　20

2.1　統計分析　20

2.1.1　統計基礎　20

2.1.2　常見概率分佈　25

2.1.3　參數估計　26

2.1.4　假設檢驗　28

2.1.5　線性回歸　28

2.1.6　邏輯回歸　32

2.1.7　判別分析　33

2.1.8　非線性模型　35

2.2　高維數據降維　35

2.2.1　主成分分析　35

2.2.2　奇異值分解　38

2.2.3　線性判別分析　39

2.2.4　局部線性嵌入　42

2.2.5　拉普拉斯特徵映射　43

2.3　特徵工程　44

2.3.1特徵構造　44

2.3.2特徵選擇　45

2.3.3特徵提取　46

2.4　模型訓練　46

2.4.1　模型訓練常見術語　46

2.4.2　訓練數據收集　47

2.5　可視化分析　47

2.5.1　可視化分析的作用　48

2.5.2　可視化的基本流程　48

2.5.3　可視化分析方法　48

2.5.4　可視化分析常用工具　50

2.5.5　常見的可視化圖表　51

2.5.6　可視化分析面臨的挑戰　61

習題　61

第3章　決策樹與分類算法　63

3.1　決策樹算法　63

3.1.1　分支處理　65

3.1.2　連續屬性離散化　70

3.1.3　過擬合問題　72

3.1.4　分類效果評價　75

3.2　集成學習　79

3.2.1　裝袋法　79

3.2.2　提升法　80

3.2.3　GBDT　81

3.2.4　XGBoost算法　82

3.2.5　隨機森林　86

3.3　決策樹應用　88

習題　90

第4章　聚類分析　92

4.1　聚類分析概念　92

4.1.1　聚類方法分類　92

4.1.2　良好聚類算法的特徵　93

4.2　聚類分析的度量　94

4.2.1　外部指標　94

4.2.2　內部指標　95

4.3　基於劃分的聚類　96

4.3.1　k-均值算法　97

4.3.2　k-medoids算法　101

4.3.3　k-prototype算法　102

4.4　基於密度的聚類　102

4.4.1　DBSCAN算法　102

4.4.2　OPTICS算法　105

4.4.3　DENCLUE算法　105

4.5　基於層次的聚類　107

4.5.1　BIRCH聚類　108

4.5.2　CURE算法　110

4.6　基於網格的聚類　112

4.7　基於模型的聚類　113

4.7.1　概率模型聚類　113

4.7.2　模糊聚類　118

4.7.3　Kohonen神經網絡聚類　118

習題　123

第5章　文本分析　124

5.1　文本分析介紹　124

5.2　文本特徵提取及表示　125

5.2.1　TF-IDF　125

5.2.2　信息增益　125

5.2.3　互信息　126

5.2.4　卡方統計量　127

5.2.5　詞嵌入　127

5.2.6　語言模型　128

5.2.7　向量空間模型　129

5.3　知識圖譜　131

5.3.1　知識圖譜相關概念　132

5.3.2　知識圖譜的存儲　132

5.3.3　知識圖譜挖掘與計算　133

5.3.4　知識圖譜的構建過程　135

5.4　詞法分析　139

5.4.1　文本分詞　139

5.4.2　命名實體識別　142

5.4.3　詞義消歧　142

5.5　句法分析　143

5.6　語義分析　145

5.7　文本分析應用　146

5.7.1　文本分類　146

5.7.2　信息抽取　148

5.7.3　問答系統　149

5.7.4　情感分析　150

5.7.5　自動摘要　151

習題　152

第6章　神經網絡　153

6.1　神經網絡介紹　153

6.1.1　前饋神經網絡　153

6.1.2　反饋神經網絡　158

6.1.3　自組織神經網絡　160

6.2　神經網絡相關概念　161

6.2.1　激活函數　162

6.2.2　損失函數　171

6.2.3　學習率　175

6.2.4　過擬合與網絡正則化　179

6.2.5　預處理　181

6.2.6　訓練方式　182

6.2.7　模型訓練中的問題　182

6.2.8　神經網絡效果評價　190

6.3　神經網絡應用　190

習題　195

第7章　貝葉斯網絡　196

7.1　貝葉斯理論概述　196

7.2　貝葉斯概率基礎　196

7.2.1　概率論　196

7.2.2　貝葉斯概率　197

7.3　樸素貝葉斯分類模型　198

7.4　貝葉斯網絡推理　201

7.5　貝葉斯網絡的應用　206

7.5.1　中文分詞　206

7.5.2　機器翻譯　206

7.5.3　故障診斷　207

7.5.4　疾病診斷　207

習題　209

第8章　支持向量機　210

8.1　線性可分SVM　210

8.1.1　間隔與超平面　210

8.1.2　支持向量　210

8.1.3　對偶問題求解　212

8.1.4　軟間隔　213

8.2　非線性SVM　214

8.2.1　非線性SVM原理　214

8.2.2　常見核函數　214

8.3　支持向量機應用　215

習題　219

第9章　分佈式機器學習　220

9.1　分佈式機器學習基礎　220

9.1.1　參數服務器　220

9.1.2　分佈式並行計算類型　221

9.2　分佈式機器學習框架　222

9.3　並行決策樹　227

9.4　並行k-均值算法　228

習題　230

第　10章 深度學習基礎　231

10.1　捲積神經網絡　231

10.1.1　捲積神經網絡簡介　232

10.1.2　捲積神經網絡的結構　232

10.1.3　捲積神經網絡的訓練　241

10.1.4　常見捲積神經網絡　243

10.2　循環神經網絡　268

10.2.1　RNN基本原理　269

10.2.2　長短期記憶網絡　276

10.2.3　門限循環單元　280

10.2.4　循環神經網絡的其他改進　281

10.3　深度學習流行框架　284

習題　285

第　11章 高級深度學習　286

11.1　高級循環神經網絡　286

11.1.1詞嵌入　286

11.1.2自註意力模型　288

11.1.3多頭註意力機制　290

11.1.4　Transformer　291

11.1.5　BERT模型　294

11.2　無監督式深度學習　295

11.2.1　深度信念網絡　295

11.2.2　自動編碼器網絡　297

11.3　生成對抗網絡　299

11.3.1　生成對抗網絡基本原理　299

11.3.2　常見的生成對抗網絡　302

11.4　遷移學習　305

11.5　對偶學習　307

習題　308

第　12章 推薦系統　309

12.1　推薦系統基礎　309

12.1.1　推薦系統的應用場景　309

12.1.2　相似度計算　310

12.2　推薦系統通用模型　312

12.2.1　推薦系統結構　312

12.2.2　基於人口統計學的推薦　313

12.2.3　基於內容的推薦　313

12.2.4　基於協同過濾的推薦算法　314

12.2.5　基於圖的模型　316

12.2.6　基於關聯規則的推薦　318

12.2.7　基於知識的推薦　323

12.2.8　基於標簽的推薦　324

12.3　推薦系統評測　325

12.3.1　評測方法　325

12.3.2　評測指標　326

12.4　推薦系統常見問題　330

12.5　推薦系統實例　333

12.6　深度學習在推薦系統中的應用　340

習題　343

第　13章 強化學習　345

13.1　強化學習概況　345

13.2　強化學習基礎　346

13.2.1　馬爾可夫鏈　346

13.2.2　強化學習基本概念　346

13.2.3　強化學習的目標函數　348

13.2.4　價值函數　349

13.3　強化學習基本算法　353

13.3.1　蒙特卡洛強化學習　353

13.3.2　時序差分算法　355

13.3.3　SARSA算法　355

13.3.4　Q-Learning算法　356

13.4　深度強化學習　361

13.4.1　DQN算法　361

13.4.2　運動員-裁判員算法　367

習題　373