Python 機器學習原理與算法實現

目    錄

第1章  Python入門知識 1

1.1  Python簡介與本書的教學理念 1

1.2  Python的下載與安裝 2

1.2.1  下載Python（Anaconda平臺） 2

1.2.2  安裝Python（Anaconda平臺） 4

1.2.3  Anaconda Prompt（Anaconda3） 6

1.2.4  Spyder（Anaconda3）的介紹及偏好設置 7

1.2.5  Spyder（Anaconda3）窗口介紹 10

1.3  Python註釋、基本輸入與輸出 16

1.3.1  Python的註釋 16

1.3.2  print函數 17

1.3.3  input函數 17

1.4  Python變量和數據類型 18

1.4.1  Python的保留字與標識符 18

1.4.2  Python的變量 19

1.4.3  Python的基本數據類型 20

1.4.4  Python的數據運算符 23

1.5  Python序列 25

1.5.1  索引（Indexing） 26

1.5.2  切片（Slicing） 26

1.5.3  相加（Adding） 27

1.5.4  相乘（Multiplying） 28

1.5.5  元素檢查 28

1.5.6  與序列相關的內置函數 28

1.6  Python列表 30

1.6.1  列表的基本操作 30

1.6.2  列表元素的基本操作 32

1.6.3  列表推導式 33

1.7  Python元組 34

1.7.1  元組的基本操作 34

1.7.2  元組元素的基本操作 35

1.7.3  元組推導式 36

1.8  Python字典 37

1.8.1  字典的基本操作 37

1.8.2  字典元素的基本操作 39

1.8.3  字典推導式 40

1.9  Python集合 41

1.10  Python字符串 42

1.11  習題 46

第2章  Python進階知識 48

2.1  Python流程控制語句 48

2.1.1  選擇語句 48

2.1.2  循環語句 50

2.1.3  跳轉語句 52

2.2  Python函數 53

2.2.1  函數的創建和調用 53

2.2.2  參數的相關概念與操作 53

2.2.3  變量的作用域 56

2.3  Python模塊和包 58

2.3.1  模塊的創建和導入 58

2.3.2  包的創建和使用 61

2.4  Python numpy模塊中的數組 63

2.4.1  數組的創建 63

2.4.2  數組的計算 65

2.4.3  使用數組開展矩陣運算 66

2.4.4  數組的排序、索引和切片 66

2.5  Python pandas模塊中的序列與數據框 67

2.5.1  序列的相關操作 67

2.5.2  數據框的相關操作 69

2.6  Python對象與類 74

2.6.1  類的定義 74

2.6.2  定義適用於類對象的方法 75

2.6.3  子類從父類繼承 76

2.7  Python數據讀取 76

2.7.1  讀取文本文件（CSV或者TXT文件） 77

2.7.2  讀取EXCEL數據 80

2.7.3  讀取SPSS數據 81

2.7.4  讀取Stata數據 82

2.8  Python數據檢索 83

2.9  Python數據缺失值處理 84

2.9.1  查看數據集中的缺失值 84

2.9.2  填充數據集中的缺失值 86

2.9.3  刪除數據集中的缺失值 89

2.10  Python數據重復值處理 91

2.10.1  查看數據集中的重復值 91

2.10.2  刪除數據集中的重復值 92

2.11  Python數據行列處理 94

2.11.1  刪除變量列、樣本行 94

2.11.2  更改變量列名稱、調整變量列順序 95

2.11.3  改變列的數據格式 96

2.11.4  多列轉換 96

2.11.5  數據百分比格式轉換 97

2.12  習題 98

第3章  機器學習介紹 99

3.1  機器學習概述 99

3.2  機器學習術語 100

3.3  機器學習分類 101

3.4  誤差、泛化、過擬合與欠擬合 102

3.5  偏差、方差與噪聲 103

3.5.1  偏差 103

3.5.2  方差 103

3.5.3  噪聲 103

3.5.4  誤差與偏差、方差、噪聲的關系 104

3.5.5  偏差與方差的權衡 104

3.6  性能量度 105

3.6.1  “回歸問題監督式學習”的性能量度 105

3.6.2  “分類問題監督式學習”的性能量度 106

3.7  模型評估 111

3.7.1  驗證集法 111

3.7.2  K折交叉驗證 112

3.7.3  自助法 113

3.8  機器學習項目流程 114

3.9  習題 118

第4章  線性回歸算法 119

4.1  線性回歸算法的基本原理 119

4.1.1  線性回歸算法的概念及數學解釋 119

4.1.2  線性回歸算法的優缺點 120

4.2  數據準備 121

4.2.1  導入分析所需要的模塊和函數 121

4.2.2  數據讀取及觀察 122

4.3  描述性分析 123

4.4  圖形繪制 125

4.4.1  直方圖 125

4.4.2  密度圖 127

4.4.3  箱圖 128

4.4.4  小提琴圖 128

4.4.5  正態QQ圖 129

4.4.6  散點圖和線圖 130

4.4.7  熱力圖 131

4.4.8  回歸擬合圖 132

4.4.9  聯合分佈圖 132

4.5  正態性檢驗 133

4.5.1  Shapiro-Wilk test檢驗 133

4.5.2  kstest檢驗 134

4.6  相關性分析 135

4.7  使用statsmodels進行線性回歸 137

4.7.1  使用 smf 進行線性回歸 137

4.7.2  多重共線性檢驗 139

4.7.3  解決多重共線性問題 140

4.7.4  繪制擬合回歸平面 141

4.8  使用sklearn進行線性回歸 142

4.8.1  使用驗證集法進行模型擬合 142

4.8.2  更換隨機數種子，使用驗證集法進行模型擬合 143

4.8.3  使用10折交叉驗證法進行模型擬合 143

4.8.4  使用10折重復10次交叉驗證法進行模型擬合 144

4.8.5  使用留一交叉驗證法進行模型擬合 144

4.9  習題 145

第5章  二元Logistic回歸算法 147

5.1  二元Logistic回歸算法的基本原理 147

5.2  數據準備 148

5.2.1  導入分析所需要的模塊和函數 149

5.2.2  數據讀取及觀察 150

5.3  描述性分析 152

5.4  數據處理 154

5.4.1  區分分類特徵和連續特徵並進行處理 154

5.4.2  將樣本全集分割為訓練樣本和測試樣本 154

5.5  建立二元Logistic回歸算法模型 155

5.5.1  使用statsmodels建立二元Logistic回歸算法模型 155

5.5.2  使用sklearn建立二元Logistic回歸算法模型 159

5.5.3  特徵變量重要性水平分析 162

5.5.4  繪制ROC曲線，計算AUC值 165

5.5.5  計算科恩kappa得分 166

5.6  習題 167

第6章  多元Logistic回歸算法 169

6.1  多元Logistic回歸算法的基本原理 169

6.2  數據準備 170

6.2.1  導入分析所需要的模塊和函數 170

6.2.2  數據讀取及觀察 171

6.3  描述性分析及圖形繪制 172

6.3.1  描述性分析 172

6.3.2  繪制直方圖 173

6.3.3  繪制箱圖 173

6.4  數據處理 175

6.4.1  區分分類特徵和連續特徵並進行處理 175

6.4.2  將樣本全集分割為訓練樣本和測試樣本 175

6.5  建立多元Logistic回歸算法模型 175

6.5.1  模型估計 176

6.5.2  模型性能分析 176

6.6  習題 179

第7章  判別分析算法 180

7.1  判別分析算法的基本原理 180

7.1.1  線性判別分析的基本原理 180

7.1.2  線性判別分析的算法過程 181

7.1.3  二次判別分析的基本原理 182

7.2  數據準備 183

7.2.1  導入分析所需要的模塊和函數 184

7.2.2  線性判別分析降維優勢展示 185

7.2.3  數據讀取及觀察 187

7.3  特徵變量相關性分析 188

7.4  使用樣本全集開展線性判別分析 189

7.4.1  模型估計及性能分析 189

7.4.2  運用兩個特徵變量繪制LDA決策邊界圖 192

7.5  使用分割樣本開展線性判別分析 193

7.6  使用分割樣本開展二次判別分析 195

7.6.1  模型估計 195

7.6.2  運用兩個特徵變量繪制QDA決策邊界圖 196

7.7  習題 197

第8章  樸素貝葉斯算法 198

8.1  樸素貝葉斯算法的基本原理 198

8.1.1  貝葉斯方法的基本原理 198

8.1.2  貝葉斯定理 199

8.1.3  樸素貝葉斯算法的基本原理 201

8.1.4  拉普拉斯修正 202

8.1.5  樸素貝葉斯算法分類及適用條件 202

8.2  數據準備 203

8.2.1  案例數據說明 203

8.2.2  導入分析所需要的模塊和函數 205

8.3  高斯樸素貝葉斯算法示例 205

8.3.1  數據讀取及觀察 206

8.3.2  將樣本全集分割為訓練樣本和測試樣本 207

8.3.3  高斯樸素貝葉斯算法擬合 207

8.3.4  繪制ROC曲線 207

8.3.5  運用兩個特徵變量繪制高斯樸素貝葉斯決策邊界圖 208

8.4  多項式、補集、二項式樸素貝葉斯算法示例 208

8.4.1  數據讀取及觀察 209

8.4.2  將樣本全集分割為訓練樣本和測試樣本 209

8.4.3  多項式、補集、二項式樸素貝葉斯算法擬合 210

8.4.4  尋求二項式樸素貝葉斯算法擬合的最優參數 210

8.4.5  最優二項式樸素貝葉斯算法模型性能評價 213

8.5  習題 214

第9章  高維數據懲罰回歸算法 216

9.1  高維數據懲罰回歸算法簡介 216

9.1.1  高維數據懲罰回歸算法的基本原理 216

9.1.2  嶺回歸 217

9.1.3  Lasso回歸 217

9.1.4  彈性網回歸 218

9.1.5  懲罰回歸算法的選擇 218

9.2  數據準備 218

9.2.1  導入分析所需要的模塊和函數 220

9.2.2  數據讀取及觀察 220

9.3  變量設置及數據處理 221

9.4  嶺回歸算法 222

9.4.1  使用默認懲罰系數構建嶺回歸模型 222

9.4.2  使用留一交叉驗證法尋求最優懲罰系數構建嶺回歸模型 223

9.4.3  使用K折交叉驗證法尋求最優懲罰系數構建嶺回歸模型 224

9.4.4  劃分訓練樣本和測試樣本下的最優嶺回歸模型 225

9.5  Lasso回歸算法 226

9.5.1  使用隨機選取懲罰系數構建嶺回歸模型 226

9.5.2  使用留一交叉驗證法尋求最優懲罰系數構建Lasso回歸模型 227

9.5.3  使用K折交叉驗證法尋求最優懲罰系數構建Lasso回歸模型 227

9.5.4  劃分訓練樣本和測試樣本下的最優Lasso回歸模型 228

9.6  彈性網回歸算法 229

9.6.1  使用隨機選取懲罰系數構建彈性網回歸模型 229

9.6.2  使用K折交叉驗證法尋求最優懲罰系數構建彈性網回歸模型 230

9.6.3  劃分訓練樣本和測試樣本下的最優彈性網回歸模型 231

9.7  習題 231

第10章  K近鄰算法 233

10.1  K近鄰算法簡介 233

10.1.1  K近鄰算法的基本原理 233

10.1.2  K值的選擇 235

10.1.3  K近鄰算法的變種 235

10.2  數據準備 236

10.2.1  案例數據說明 236

10.2.2  導入分析所需要的模塊和函數 236

10.3  回歸問題K近鄰算法示例 237

10.3.1  變量設置及數據處理 237

10.3.2  構建K近鄰回歸算法模型 237

10.3.3  如何選擇最優的K值 238

10.3.4  最優模型擬合效果圖形展示 239

10.4  分類問題K近鄰算法示例 240

10.4.1  變量設置及數據處理 240

10.4.2  構建K近鄰分類算法模型 241

10.4.3  如何選擇最優的K值 242

10.4.4  最優模型擬合效果圖形展示 243

10.4.5  繪制K近鄰分類算法ROC曲線 243

10.4.6  運用兩個特徵變量繪制K近鄰算法決策邊界圖 244

10.4.7  普通KNN算法、帶權重KNN、指定半徑KNN三種算法的對比 245

10.5  習題 246

第11章  主成分分析算法 248

11.1  主成分分析算法簡介 248

11.1.1  主成分分析算法的基本原理 248

11.1.2  主成分分析算法的數學概念 249

11.1.3  主成分的特徵值 250

11.1.4  樣本的主成分得分 250

11.1.5  主成分載荷 251

11.2  數據準備 252

11.2.1  案例數據說明 252

11.2.2  導入分析所需要的模塊和函數 253

11.2.3  變量設置及數據處理 253

11.2.4  特徵變量相關性分析 254

11.3  主成分分析算法示例 256

11.3.1  主成分提取及特徵值、方差貢獻率計算 256

11.3.2  繪制碎石圖觀察各主成分特徵值 256

11.3.3  繪制碎石圖觀察各主成分方差貢獻率 257

11.3.4  繪制碎石圖觀察主成分累積方差貢獻率 258

11.3.5  計算樣本的主成分得分 258

11.3.6  繪制二維圖形展示樣本在前兩個主成分上的得分 259

11.3.7  繪制三維圖形展示樣本在前三個主成分上的得分 260

11.3.8  輸出特徵向量矩陣，觀察主成分載荷 260

11.4  習題 261

第12章  聚類分析算法 262

12.1  聚類分析算法簡介 262

12.1.1  聚類分析算法的基本原理 262

12.1.2  劃分聚類分析 263

12.1.3  層次聚類分析 263

12.1.4  樣本距離的測度 265

12.2  數據準備 267

12.2.1  案例數據說明 268

12.2.2  導入分析所需要的模塊和函數 268

12.2.3  變量設置及數據處理 269

12.2.4  特徵變量相關性分析 270

12.3  劃分聚類分析算法示例 271

12.3.1  使用K均值聚類分析方法對樣本進行聚類（K=2） 271

12.3.2  使用K均值聚類分析方法對樣本進行聚類（K=3） 271

12.3.3  使用K均值聚類分析方法對樣本進行聚類（K=4） 272

12.4  層次聚類分析算法示例 273

12.4.1  最短聯結法聚類分析 273

12.4.2  最長聯結法聚類分析 274

12.4.3  平均聯結法聚類分析 275

12.4.4  ward聯結法聚類分析 277

12.4.5  重心聯結法聚類分析 278

12.5  習題 279

第13章  決策樹算法 280

13.1  決策樹算法簡介 280

13.1.1  決策樹算法的概念與原理 280

13.1.2  特徵變量選擇及其臨界值確定方法 282

13.1.3  決策樹的剪枝 284

13.1.4  包含剪枝決策樹的損失函數 284

13.1.5  變量重要性 285

13.2  數據準備 285

13.2.1  案例數據說明 285

13.2.2  導入分析所需要的模塊和函數 287

13.3  分類問題決策樹算法示例 287

13.3.1  變量設置及數據處理 287

13.3.2  未考慮成本-復雜度剪枝的決策樹分類算法模型 288

13.3.3  考慮成本-復雜度剪枝的決策樹分類算法模型 291

13.3.4  繪制圖形觀察葉節點總不純度隨alpha值的變化情況 291

13.3.5  繪制圖形觀察節點數和樹的深度隨alpha值的變化情況 292

13.3.6  繪制圖形觀察訓練樣本和測試樣本的預測準確率隨alpha值的變化情況 293

13.3.7  通過10折交叉驗證法尋求最優alpha值 294

13.3.8  決策樹特徵變量重要性水平分析 295

13.3.9  繪制ROC曲線 296

13.3.10  運用兩個特徵變量繪制決策樹算法決策邊界圖 297

13.4  回歸問題決策樹算法示例 298

13.4.1  變量設置及數據處理 298

13.4.2  未考慮成本-復雜度剪枝的決策樹回歸算法模型 299

13.4.3  考慮成本-復雜度剪枝的決策樹回歸算法模型 300

13.4.4  繪制圖形觀察葉節點總均方誤差隨alpha值的變化情況 300

13.4.5  繪制圖形觀察節點數和樹的深度隨alpha值的變化情況 301

13.4.6  繪制圖形觀察訓練樣本和測試樣本的擬合優度隨alpha值的變化情況 302

13.4.7  通過10折交叉驗證法尋求最優alpha值並開展特徵變量重要性水平分析 302

13.4.8  最優模型擬合效果圖形展示 304

13.4.9  構建線性回歸算法模型進行對比 305

13.5  習題 305

第14章  隨機森林算法 307

14.1  隨機森林算法的基本原理 307

14.1.1  集成學習的概念與分類 307

14.1.2  裝袋法的概念與原理 308

14.1.3  隨機森林算法的概念與原理 309

14.1.4  隨機森林算法特徵變量重要性量度 309

14.1.5  部分依賴圖與個體條件期望圖 309

14.2  數據準備 310

14.2.1  案例數據說明 310

14.2.2  導入分析所需要的模塊和函數 310

14.3  分類問題隨機森林算法示例 311

14.3.1  變量設置及數據處理 311

14.3.2  二元Logistic回歸、單棵分類決策樹算法觀察 311

14.3.3  裝袋法分類算法 312

14.3.4  隨機森林分類算法 313

14.3.5  尋求max_features最優參數 313

14.3.6  尋求n_estimators最優參數 314

14.3.7  隨機森林特徵變量重要性水平分析 316

14.3.8  繪制部分依賴圖與個體條件期望圖 316

14.3.9  模型性能評價 318

14.3.10  繪制ROC曲線 319

14.3.11  運用兩個特徵變量繪制隨機森林算法決策邊界圖 320

14.4  回歸問題隨機森林算法示例 320

14.4.1  變量設置及數據處理 320

14.4.2  線性回歸、單棵回歸決策樹算法觀察 321

14.4.3  裝袋法回歸算法 321

14.4.4  隨機森林回歸算法 322

14.4.5  尋求max_features最優參數 322

14.4.6  尋求n_estimators最優參數 323

14.4.7  隨機森林特徵變量重要性水平分析 325

14.4.8  繪制部分依賴圖與個體條件期望圖 325

14.4.9  最優模型擬合效果圖形展示 326

14.5  習題 327

第15章  提升法 329

15.1  提升法的基本原理 329

15.1.1  提升法的概念與原理 329

15.1.2  AdaBoost（自適應提升法） 330

15.1.3  梯度提升法（Gradient Boosting Machine） 331

15.1.4  回歸問題損失函數 332

15.1.5  分類問題損失函數 336

15.1.6  隨機梯度提升法 337

15.1.7  XGBoost算法 338

15.2  數據準備 338

15.2.1  案例數據說明 338

15.2.2  導入分析所需要的模塊和函數 340

15.3  回歸提升法示例 340

15.3.1  變量設置及數據處理 340

15.3.2  線性回歸算法觀察 341

15.3.3  回歸提升法（默認參數） 341

15.3.4  使用隨機搜索尋求最優參數 341

15.3.5  繪制圖形觀察模型均方誤差隨弱學習器數量變化的情況 342

15.3.6  繪制圖形觀察模型擬合優度隨弱學習器數量變化的情況 343

15.3.7  回歸問題提升法特徵變量重要性水平分析 344

15.3.8  繪制部分依賴圖與個體條件期望圖 345

15.3.9  最優模型擬合效果圖形展示 346

15.3.10  XGBoost回歸提升法 347

15.4  二分類提升法示例 349

15.4.1  變量設置及數據處理 349

15.4.2   AdaBoost算法 349

15.4.3  二分類提升法（默認參數） 349

15.4.4  使用隨機搜索尋求最優參數 350

15.4.5  二分類問題提升法特徵變量重要性水平分析 350

15.4.6  繪制部分依賴圖與個體條件期望圖 351

15.4.7  模型性能評價 352

15.4.8  繪制ROC曲線 354

15.4.9  運用兩個特徵變量繪制二分類提升法決策邊界圖 354

15.4.10  XGBoost二分類提升法 355

15.5  多分類提升法示例 356

15.5.1  變量設置及數據處理 356

15.5.2  多元Logistic回歸算法觀察 357

15.5.3  多分類提升法（默認參數） 357

15.5.4  使用隨機搜索尋求最優參數 357

15.5.5  多分類問題提升法特徵變量重要性水平分析 358

15.5.6  繪制部分依賴圖與個體條件期望圖 359

15.5.7  模型性能評價 360

15.5.8  XGBoost多分類提升法 362

15.6  習題 362

第16章  支持向量機算法 364

16.1  支持向量機算法的基本原理 364

16.1.1  線性可分 364

16.1.2  硬間隔分類器的概念與原理解釋 365

16.1.3  硬間隔分類器的求解步驟 367

16.1.4  軟間隔分類器的概念與原理解釋 368

16.1.5  軟間隔分類器的求解步驟 369

16.1.6  核函數 370

16.1.7  多分類問題支持向量機 372

16.1.8  支持向量回歸 373

16.2  數據準備 375

16.2.1  案例數據說明 375

16.2.2  導入分析所需要的模塊和函數 375

16.3  回歸支持向量機算法示例 376

16.3.1  變量設置及數據處理 376

16.3.2  回歸支持向量機算法（默認參數） 376

16.3.3  通過10折交叉驗證尋求最優參數 377

16.3.4  最優模型擬合效果圖形展示 378

16.4  二分類支持向量機算法示例 379

16.4.1  變量設置及數據處理 379

16.4.2  二分類支持向量機算法（默認參數） 379

16.4.3  通過10折交叉驗證尋求最優參數 380

16.4.4  模型性能評價 381

16.4.5  繪制ROC曲線 382

16.4.6  運用兩個特徵變量繪制二分類支持向量機算法決策邊界圖 383

16.5  多分類支持向量機算法示例 386

16.5.1  變量設置及數據處理 386

16.5.2  多分類支持向量機算法（一對一） 387

16.5.3  多分類支持向量機算法（默認參數） 388

16.5.4  通過10折交叉驗證尋求最優參數 389

16.5.5  模型性能評價 390

16.6  習題 391

第17章  神經網絡算法 393

17.1  神經網絡算法的基本原理 393

17.1.1  神經網絡算法的基本思想 393

17.1.2  感知機 395

17.1.3  多層感知機 398

17.1.4  神經元激活函數 400

17.1.5  誤差反向傳播算法（BP算法） 405

17.1.6  萬能近似定理及多隱藏層優勢 408

17.1.7  BP算法過擬合問題的解決 408

17.2  數據準備 410

17.2.1  案例數據說明 410

17.2.2  導入分析所需要的模塊和函數 411

17.3  回歸神經網絡算法示例 411

17.3.1  變量設置及數據處理 411

17.3.2  單隱藏層的多層感知機算法 412

17.3.3  神經網絡特徵變量重要性水平分析 413

17.3.4  繪制部分依賴圖與個體條件期望圖 414

17.3.5  擬合優度隨神經元個數變化的可視化展示 415

17.3.6  通過K折交叉驗證尋求單隱藏層最優神經元個數 416

17.3.7  雙隱藏層的多層感知機算法 417

17.3.8  最優模型擬合效果圖形展示 417

17.4  二分類神經網絡算法示例 418

17.4.1  變量設置及數據處理 418

17.4.2  單隱藏層二分類問題神經網絡算法 419

17.4.3  雙隱藏層二分類問題神經網絡算法 420

17.4.4  早停策略減少過擬合問題 420

17.4.5  正則化（權重衰減）策略減少過擬合問題 420

17.4.6  模型性能評價 421

17.4.7  繪制ROC曲線 422

17.4.8  運用兩個特徵變量繪制二分類神經網絡算法決策邊界圖 423

17.5  多分類神經網絡算法示例 423

17.5.1  變量設置及數據處理 424

17.5.2  單隱藏層多分類問題神經網絡算法 424

17.5.3  雙隱藏層多分類問題神經網絡算法 424

17.5.4  模型性能評價 425

17.5.5  運用兩個特徵變量繪制多分類神經網絡算法決策邊界圖 426

17.6  習題 427