機器學習算法與實踐

目 錄
第1章 機器學習概述 1
1.1 什麼是機器學習 1
1.2 機器學習的主要類型 2
1.2.1 監督學習 2
1.2.2 無監督學習 2
1.2.3 半監督學習 3
1.2.4 強化學習 3
1.3 機器學習的應用領域 4
1.3.1 圖像識別 4
1.3.2 數據分析 4
1.3.3 推薦系統 4
1.4 機器學習的發展歷程與當前趨勢 4
1.4.1 機器學習的發展歷程 4
1.4.2 機器學習的當前趨勢 6
1.5 習題 7
第2章 數學基礎 8
2.1 線性代數基礎 8
2.1.1 向量、矩陣與張量 9
2.1.2 矩陣運算 12
2.1.3 特征值與特征向量 17
2.2 概率論與統計學 18
2.2.1 基本概率理論 19
2.2.2 條件概率與貝葉斯定理 22
2.2.3 概率分布與極大似然估計 23
2.3 優化與梯度 28
2.3.1 梯度下降法 28
2.3.2 最優化問題與收斂性 30
2.4 習題 33
第3章 數據預處理與特征工程 35
3.1 數據清理 35
3.1.1 缺失值處理 35
3.1.2 異常值檢測與處理 36
3.2 數據規範化與離散化 38
3.2.1 數據規範化 38
3.2.2 數據離散化 39
3.3 特征選擇與提取 40
3.3.1 過濾式特征選擇 41
3.3.2 包裹式特征選擇 44
3.3.3 嵌入式特征選擇 44
3.3.4 特征提取 45
3.4 類別變量的編碼方法 47
3.5 習題 48
第4章 模型評估與選擇 49
4.1 分類模型評估指標 49
4.1.1 準確率、精確率、召回率和F1分數 49
4.1.2 ROC曲線與AUC 52
4.2 聚類模型評估指標 55
4.2.1 內部評估指標 55
4.2.2 外部評估指標 57
4.3 數據集劃分 58
4.3.1 訓練集、驗證集與測試集 58
4.3.2 數據集分割 59
4.4 習題 61
第5章 回歸模型 63
5.1 線性回歸與多項式回歸 63
5.1.1 最小二乘法及其推導 64
5.1.2 多元線性回歸 66
5.1.3 矩陣方法下的線性回歸 67
5.1.4 多項式回歸 68
5.1.5 回歸模型評估（R2、MSE等） 68
5.2 邏輯回歸 70
5.2.1 二分類與多分類邏輯回歸 70
5.2.2 邏輯回歸的幾何解釋與權重分析 71
5.2.3 邏輯回歸損失函數及參數優化 73
5.3 模型正則化 75
5.3.1 嶺回歸（L2正則化） 76
5.3.2 LASSO回歸（L1正則化） 77
5.3.3 ElasticNet：L1與L2正則化結合 77
5.3.4 正則化對模型的影響 77
5.4 回歸模型應用示例 77
5.4.1 示例背景與任務定義 78
5.4.2 數據處理的關鍵步驟 78
5.4.3 基於PyTorch的線性回歸實現 78
5.4.4 結果分析與討論 83
5.5 習題 84
第6章 支持向量機 85
6.1 線性SVM的基本原理 85
6.1.1 間隔最大化與支持向量 85
6.1.2 拉格朗日乘子法與對偶問題 88
6.1.3 線性SVM的模型優化 91
6.2 非線性SVM與核方法 91
6.2.1 核函數的概念與選擇 91
6.2.2 高維特征空間與核方法的數學背景 92
6.2.3 非線性SVM的應用場景 93
6.3 支持向量回歸 93
6.3.1 SVR的基本原理 94
6.3.2 Epsilon不敏感損失函數及其優化 94
6.3.3 SVR應用示例 95
6.4 習題 99
第7章 決策樹與集成學習 101
7.1 決策樹 101
7.1.1 決策樹構建的基本過程及優缺點 101
7.1.2 信息增益與Gini系數 103
7.1.3 決策樹剪枝與過擬合控制 109
7.1.4 樣本不平衡問題與決策樹的應用 110
7.2 集成學習概述 115
7.2.1 Bagging與隨機森林 115
7.2.2 Boosting與AdaBoost 123
7.2.3 梯度提升樹與極限提升樹 130
7.2.4 隨機森林回歸應用示例 136
7.3 習題 141
第8章 貝葉斯分類器 143
8.1 樸素貝葉斯分類器 143
8.1.1 貝葉斯定理與條件獨立假設 143
8.1.2 高斯樸素貝葉斯與伯努利樸素貝葉斯 145
8.2 貝葉斯網絡 150
8.2.1 貝葉斯網絡的定義與構建 150
8.2.2 結構學習與參數估計 152
8.2.3 貝葉斯網絡應用示例 155
8.3 習題 167
第9章 聚類分析 168
9.1 聚類基礎與距離度量 168
9.1.1 聚類目標與應用場景 168
9.1.2 數學符號與術語定義 168
9.1.3 常見距離公式及其性質 169
9.2 基於劃分的聚類方法—K-Means算法 170
9.2.1 目標函數與推導過程 170
9.2.2 疊代優化步驟 170
9.2.3 初始簇中心選擇 171
9.2.4 算法的收斂性分析 171
9.3 層次聚類 173
9.3.1 自底向上層次聚類 174
9.3.2 距離更新策略 174
9.3.3 樹狀圖可視化 175
9.4 密度聚類算法 177
9.4.1 DBSCAN的核心思想 177
9.4.2 鄰域密度定義 177
9.4.3 核心點/邊界點/噪聲點判定 177
9.4.4 聚類形成流程 179
9.5 概率聚類模型 180
9.5.1 高斯混合模型（GMM） 180
9.5.2 EM算法推導 180
9.5.3 參數估計過程 184
9.6 聚類分析在材料深度學習中的應用 184
9.6.1 數據集處理 185
9.6.2 聚類分析示例 186
9.7 習題 193
縮略語表 194
參考文獻 196