實戰機器學習

鮑亮，西安電子科技大學副教授，西安電子科技大學博士。主要研究方向為軟件體系結構、面向服務的計算和雲計算等，主持並完成科研課題多項，發表學術論文20餘篇。

崔江濤，西安電子科技大學計算機科學與技術學院教授、博士生導師。西安電子科技大學計算機學院博士。 2018年入選陝西省高等學校教學名師，2020年入選陝西省特支計劃領軍人才。享受國務院政府特殊津貼，入選第八屆教育部科學技術委員會學部委員。

李倩，西安交通大學講師，西安交通大學博士。主要研究方向為行為金融學和組合投資等，主持並完成科研課題多項，發表學術論文10餘篇。

目錄
1章  機器學習解決問題流程 1
1.1  機器學習基礎 1
1.1.1  機器學習定義 1
1.1.2  機器學習流派 3
1.1.3  機器學習簡史 7
1.2  機器學習解決實際問題的流程 8
1.3  機器學習平台介紹 10
1.3.1  阿里PAI 10
1.3.2  範式先知（Sage EE） 11
1.3.3  騰訊智能鈦機器學習（TI-ML） 12
1.3.4  中科院EasyML 13
1.3.5  百度機器學習BML 14
1.3.6  華為AI開發平台ModelArts 15
1.3.7  微軟Azure機器學習服務 15
1.3.8  谷歌Cloud AutoML平台 16
1.3.9  SageMaker 17
1.4  本章小結 18

2章  問題分析與建模 19
2.1  問題分析 19
2.1.1  明確和理解問題 19
2.1.2  拆解和定位問題 21
2.2  數據分析 23
2.2.1  描述統計分析 24
2.2.2  相關分析 24
2.2.3  回歸分析 25
2.2.4  分類分析 25
2.2.5  聚類分析 26
2.3  問題建模 27
2.4  心髒病UCI數據集案例 27
2.4.1  問題描述 28
2.4.2  問題分析 28
2.4.3  數據分析 29
2.4.4  問題建模 30
2.5  本章小結 31

3章  數據探索與準備 32
3.1  ETL技術 32
3.1.1  ETL工作方式 32
3.1.2  ETL實現模式 33
3.1.3  ETL發展歷程 34
3.1.4  主流ETL工具 37
3.2  數據清洗 40
3.2.1  數據缺失處理 40
3.2.2  異常值處理 41
3.3  採樣 42
3.3.1  拒採樣 42
3.3.2  重要性採樣 43
3.3.3  馬爾可夫鏈蒙特卡洛採樣 44
3.4  本章小結 46

4章  特徵工程 47
4.1  數據預處理 47
4.1.1  特徵縮放 47
4.1.2  特徵編碼 48
4.2  特徵選擇 53
4.2.1  過濾式選擇Filter 53
4.2.2  包裹式選擇Wrapper 59
4.2.3  嵌入式選擇Embedded 61
4.3  降維 63
4.3.1  主成分分析PCA 63
4.3.2  線性判別分析 65
4.4  本章小結 66

5章  模型訓練與評價 67
5.1  模型選擇 67
5.1.1  基礎知識 67
5.1.2  模型選擇的要素 68
5.2  模型訓練 68
5.2.1  留出法 69
5.2.2  交驗證法 70
5.2.3  自助法 71
5.3  模型調優 71
5.3.1  參數調優 71
5.3.2  神經架構搜索 73
5.3.3  元學習 76
5.4  模型評價 78
5.4.1  分類問題 78
5.4.2  回歸問題 81
5.4.3  聚類問題 82
5.5  本章小結 83

6章  模型部署與應用 84
6.1  機器學習模型格式 84
6.1.1  scikit-learn 84
6.1.2  TensorFlow 85
6.1.3  PyTorch 86
6.2  機器學習模型部署 87
6.2.1  模型在平台內應用 87
6.2.2  將模型封裝成可執行腳本 88
6.2.3  基於容器和微服務的模型部署方式 89
6.2.4  模型部署方式對比 92
6.3  模型對外訪問接口 93
6.3.1  REST架構 93
6.3.2  RPC架構 94
6.3.3  gRPC架構 95
6.3.4  模型對外接口對比 96
6.4  模型更新 96
6.4.1  如何更新模型 97
6.4.2  如何進行持續更新 97
6.5  本章小結 99

7章  回歸模型 100
7.1  線性回歸 100
7.1.1  線性回歸原理 100
7.1.2  多項式回歸 101
7.1.3  線性回歸案例 101
7.2  正則線性模型 103
7.2.1  正則線性模型原理 103
7.2.2  L1、L2正則化對比 103
7.3  邏輯回歸 105
7.3.1  邏輯回歸原理 106
7.3.2  邏輯回歸案例 109
7.4  本章小結 109

8章  支持向量機 110
8.1  緒論 110
8.2  支持向量機原理 111
8.2.1  函數間隔 111
8.2.2  對偶問題 112
8.2.3  軟間隔SVM 113
8.2.4  KKT條件 114
8.2.5  支持向量 115
8.2.6  核函數 115
8.2.7  SMO 117
8.2.8  合頁損失函數 117
8.3  SVR回歸方法 117
8.4  SVM預測示例 119
8.5  本章小結 120

9章  決策樹 121
9.1  緒論 121
9.2  決策樹基本概念 121
9.2.1  特徵選擇 122
9.2.2  信息增益 122
9.2.3  信息增益率 123
9.2.4  基尼係數 124
9.3  ID3算法 124
9.4  C4.5算法 125
9.4.1  決策樹生成 125
9.4.2  決策樹剪枝 126
9.5  CART算法 127
9.5.1  決策樹生成 128
9.5.2  決策樹剪枝 129
9.6  決策樹應用 130
9.7  本章小結 130

10章  集成學習 131
10.1  bagging與隨機森林 131
10.1.1  bagging 131
10.1.2  隨機森林 132
10.1.3  隨機森林的應用 132
10.1.4  隨機森林的推廣 135
10.2  boosting 136
10.2.1  Adaboost 136
10.2.2  前向分步算法 142
10.2.3  三大框架 147
10.3  stacking與blending 154
10.4  本章小結 156

11章  K近鄰算法 157
11.1  KNN算法 157
11.2  距離的表示 158
11.3  KD樹 159
11.4  KNN心髒病預測實例 160
11.5  本章小結 161

12章  貝葉斯方法 162
12.1  貝葉斯方法概述 162
12.2  貝葉斯決策論 163
12.3  樸素貝葉斯分類器 165
12.4  貝葉斯網絡 165
12.4.1  貝葉斯網絡概念 166
12.4.2  貝葉斯網絡學習 167
12.4.3  貝葉斯網絡推理 168
12.4.4  貝葉斯網絡的應用 169
12.5  貝葉斯優化 169
12.5.1  貝葉斯優化框架 170
12.5.2  概率代理模型 170
12.5.3  採集函數 172
12.5.4  貝葉斯優化的應用 173
12.6  貝葉斯優化迭代過程示例 174
12.7  本章小結 177

13章  聚類算法 178
13.1  聚類的評價指標 178
13.2  距離計算 179
13.3  聚類算法 180
13.3.1  基於層次的算法 180
13.3.2  基於分割的算法 181
13.3.3  基於密度的算法 185
13.4  本章小結 187

14章  關聯規則學習 188
14.1  關聯規則學習概述 188
14.2  頻繁項集 188
14.3  Apriori算法 189
14.4  FP-growth算法 193
14.5  本章小結 196

15章  神經網絡基礎 197
15.1  神經網絡概述 197
15.2  神經網絡原理 198
15.2.1  神經元 198
15.2.2  損失函數 199
15.2.3  激活函數 201
15.2.4  正向傳播 202
15.2.5  反向傳播 203
15.3  前饋神經網絡 204
15.3.1  前饋神經網絡概述 204
15.3.2  MNIST數據集多分類應用 205
15.4  本章小結 206

16章  正則化 207
16.1  正則化概述 207
16.2  數據集增強 207
16.3  提前終止 208
16.4  Dropout 208
16.5  Batch rmalization 211
16.6  本章小結 213

17章  深度學習中的優化 214
17.1  優化技術概述 214
17.2  優化原理 215
17.2.1  標準化 215
17.2.2  梯度下降 219
17.2.3  參數初始化 221
17.3  自適應優化方法 223
17.4  參數初始化方法 224
17.5  本章小結 225

18章  卷積神經網絡 226
18.1  卷積神經網絡概述 226
18.2  卷積神經網絡原理 226
18.2.1  局部連接 227
18.2.2  權值共享 228
18.2.3  池化層 229
18.3  卷積神經網絡的新方法 230
18.3.1  1D/2D/3D卷積 230
18.3.2  1×1卷積 231
18.3.3  空洞卷積 231
18.3.4  全卷積神經網絡 231
18.4  卷積神經網絡的應用 232
18.4.1  卷積神經網絡的發展 232
18.4.2  MNIST數據集分類示例 234
18.5  本章小結 234

19章  循環神經網絡 235
19.1  循環神經網絡概述 235
19.2  循環神經網絡原理 236
19.2.1  展開計算圖 236
19.2.2  循環神經網絡 237
19.2.3  長期依賴 239
19.2.4  LSTM 240
19.2.5  GRU 241
19.2.6  雙向RNN 242
19.2.7  深度循環網絡 243
19.2.8  基於編碼?解碼的序列到序列架構 244
19.3  各種RNN的優缺點及應用場景 245
19.4  時間序列預測問題示例 246
19.5  本章小結 248

20章  自編碼器 249
20.1  緒論 249
20.2  自編碼器原理 250
20.2.1  經典自編碼器 250
20.2.2  去噪自編碼器 251
20.2.3  稀疏自編碼器 252
20.2.4  變分自編碼器 253
20.2.5  堆疊自編碼器 254
20.2.6  與神經網絡融合的編碼器 256
20.3  自編碼器優缺點及應用場景 257
20.4  自編碼器應用 258
20.5  本章小結 259

21章  基於深度學習的語音分離方法 260
21.1  問題背景 260
21.2  問題定義 261
21.3  相關工作 262
21.4  VoiceFilter的實現方法 263
21.4.1  說話人編碼器 264
21.4.2  聲譜掩碼網絡 269
21.4.3  實驗效果 273
21.5  本章小結 274

22章  基於深度學習的圖像去水印方法 276
22.1  圖像去水印的研究背景 276
22.2  圖像修復問題的定義 277
22.3  圖像修復的相關工作 278
22.3.1  傳統修復方法 279
22.3.2  基於深度學習的修復方法 279
22.3.3  修復效果評價指標 280

22.3.4  常用數據集 281
22.4  方法實現 282
22.4.1  基於內容編碼器的生成網絡模型 282
22.4.2  損失函數設計 286
22.4.3  算法步驟 288
22.4.4  實驗結果展示 289
22.5  本章小結 290

23章  基於LSTM的雲環境工作負載預測方法 291
23.1  工作負載預測的研究背景 291
23.2  工作負載預測問題的定義 292
23.3  工作負載預測的相關工作 293
23.3.1  循環神經網絡 293
23.3.2  門控循環單元 294
23.4  基於LSTM的工作負載預測 295
23.4.1  負載數據預處理 295
23.4.2  LSTM預測模型 296
23.4.3  實驗結果與分析 297
23.5  本章小結 300

24章  基於QoS的服務組合問題 301
24.1  服務組合問題的研究背景 301
24.2  半自動服務組合問題的定義 302
24.3  服務組合問題的相關工作 305
24.3.1  求解優解的方法 305
24.3.2  基於元啟發式算法的方法 305
24.3.3  基於強化學習的方法 306
24.4  Q-learning算法 306
24.5  Q-learning算法的實現 308
24.5.1  狀態集設計 308
24.5.2  動作集設計 309
24.5.3  回報函數設計 310
24.5.4  Q-learning算法步驟 310
24.5.5  實驗結果展示 313
24.6  本章小結 315

25章  基於強化學習的投資組合方法 316
25.1  投資組合問題的研究背景 316
25.2  投資組合指數增強問題的定義 319
25.2.1  符號定義 319
25.2.2  基本假設 319
25.2.3  問題描述 319
25.2.4  個股收益率和指數收益率 320
25.2.5  目標函數 320
25.2.6  約束條件 321
25.2.7  問題的完整定義 321
25.3  投資組合問題的研究方法 322
25.3.1  基於統計模型的方法 322
25.3.2  啟發式算法 322
25.3.3  基於學習的算法 322
25.4  深度確定性策略梯度算法 323
25.5  投資組合問題的實現方法 326
25.5.1  數據探索與準備 326
25.5.2  模型訓練與評價 328
25.5.3  實驗結果及分析 333
25.6  本章小結 334

26章  基於GAN模型的大數據系統參數優化方法 335
26.1  大數據系統參數優化的研究背景 335
26.2  大數據系統參數優化問題的定義 336
26.3  大數據系統參數優化的方法 337
26.3.1  基於模型的大數據系統參數優化方法 337
26.3.2  基於評估的大數據系統參數優化方法 338
26.3.3  基於搜索的大數據系統參數優化方法 338
26.3.4  基於學習的大數據系統參數優化方法 343
26.3.5  大數據系統參數優化問題的流程 346
26.4  ACTGAN方法 347
26.4.1  動機 347
26.4.2  原理 348
26.4.3  具體過程 349
26.4.4  實驗結果 352
26.5  本章小結 354
26.5.1  總結 354
26.5.2  展望 354

附錄1  名詞及解釋 355
附錄2  數據集 377
參考文獻 381