AI 時代 Math 元年 - 用 Python 全精通機器學習

姜偉生

博士FRM。勤奮的小鎮做題家，熱愛知識可視化和開源分享。自2022年8月開始，在GitHub上開源「鳶尾花書」學習資源，截至2023年9月，已經分享4000多頁PDF、4000多幅矢量圖、約2000個代碼文件，全球讀者數以萬計。

第 1 篇 整體說明

第 1 章 機器學習

1.1 什麼是機器學習?

1.2 迴歸：找到引數與因變數關係

1.3 分類：針對有標籤資料

1.4 降維：降低資料維度，提取主要特徵

1.5 聚類：針對無標籤資料

1.6 機器學習流程

1.7 下一步學什麼？

第 2 篇 迴歸

第 2 章 迴歸分析

2.1 線性迴歸：一個表格、一條直線

2.2 方差分析(ANOVA)

2.3 總離差平方和(SST)

2.4 迴歸平方和(SSR)

2.5 殘差平方和(SSE)

2.6 幾何角度：畢氏定理

2.7 擬合優度：評價擬合程度

2.8 F 檢驗：模型參數不全為0

2.9 t 檢驗：某個迴歸係數是否為0

2.10 置信區間：因變數平均值的區間

2.11 預測區間：因變數特定值的區間

2.12 對數似然函數：用在最大似然估計(MLE)

2.13 資訊準則：選擇模型的標準

2.14 殘差分析：假設殘差服從平均值為0 的正態分佈

2.15 自相關檢測：Durbin-Watson

2.16 條件數：多重共線性

第 3 章 多元線性迴歸

3.1 多元線性迴歸

3.2 最佳化問題：OLS

3.3 幾何解釋：投影

3.4 二元線性迴歸實例

3.5 多元線性迴歸實例

3.6 正交關係

3.7 三個平方和

3.8 t 檢驗

3.9 多重共線性

3.10 條件機率角度看多元線性迴歸

第 4 章 非線性迴歸

4.1 線性迴歸

4.2 線性對數模型

4.3 非線性迴歸

4.4 多項式迴歸

4.5 邏輯迴歸

4.6 邏輯函數完成分類問題

第 5 章 正規化迴歸

5.1 正規化：抑制過擬合

5.2 嶺迴歸

5.3 幾何角度看嶺迴歸

5.4 套索迴歸

5.5 幾何角度看套索迴歸

5.6 彈性網路迴歸

第 6 章 貝氏迴歸

6.1 回顧貝氏推斷

6.2 貝氏迴歸：無資訊先驗

6.3 使用PyMC 完成貝氏迴歸

6.4 貝氏角度理解嶺正規化

6.5 貝氏角度理解套索正規化

第 7 章 高斯過程

7.1 高斯過程原理

7.2 解決迴歸問題

7.3 解決分類問題

第 3 篇 分類

第 8 章 k 最近鄰分類

8.1 k 最近鄰分類原理：近朱者赤，近墨者黑

8.2 二分類：非紅，即藍

8.3 三分類：非紅，不是藍，就是灰

8.4 近鄰數量k 影響投票結果

8.5 投票權重：越近，影響力越高

8.6 最近質心分類：分類邊界為中垂線

8.7 k-NN 迴歸：非參數迴歸

第 9 章 單純貝氏分類

9.1 重逢貝氏

9.2 單純貝氏的「單純」之處

9.3 高斯，你好

第 10 章 高斯判別分析

10.1 又見高斯

10.2 六類協方差矩陣

10.3 決策邊界解析解

10.4 第一類

10.5 第二類

10.6 第三類

10.7 第四類

10.8 第五類

10.9 第六類

10.10 線性和二次判別分析

第 11 章 支援向量機

11.1 支援向量機

11.2 硬間隔：處理線性可分

11.3 構造最佳化問題

11.4 支援向量機處理二分類問題

11.5 軟間隔：處理線性不可分

第 12 章 核心技巧

12.1 映射函數：實現升維

12.2 核心技巧SVM 最佳化問題

12.3 線性核心：最基本的核心函數

12.4 多項式核心

12.5 二次核心：二次曲面

12.6 三次核心：三次曲面

12.7 高斯核心：基於徑向基函數

12.8 Sigmoid 核心

第 13 章 決策樹

13.1 決策樹：可以分類，也可以迴歸

13.2 資訊熵：不確定性度量

13.3 資訊增益：透過劃分，提高確定度

13.4 基尼指數：指數越大，不確定性越高

13.5 最大葉節點：影響決策邊界

13.6 最大深度：控制樹形大小

第 4 篇 降維

第 14 章 主成分分析

14.1 主成分分析

14.2 原始資料

14.3 特徵值分解

14.4 正交空間

14.5 投影結果

14.6 還原

14.7 雙標圖

14.8 陡坡圖

第 15 章 截斷奇異值分解

15.1 幾何角度看奇異值分解

15.2 四種SVD 分解

15.3 幾何角度看截斷型SVD

15.4 最佳化角度看截斷型SVD

15.5 分析鳶尾花照片

第 16 章 主成分分析進階

16.1 從「六條技術路線」說起

16.2 協方差矩陣：中心化資料

16.3 格拉姆矩陣：原始資料

16.4 相關性係數矩陣：標準化資料

第 17 章 主成分分析與迴歸

17.1 正交迴歸

17.2 一元正交迴歸

17.3 幾何角度看正交迴歸

17.4 二元正交迴歸

17.5 多元正交迴歸

17.6 主元迴歸

17.7 偏最小平方迴歸

第 18 章 核心主成分分析

18.1 核心主成分分析

18.2 從主成分分析說起

18.3 用核心技巧完成核心主成分分析

第 19 章 典型相關分析

19.1 典型相關分析原理

19.2 從一個協方差矩陣考慮

19.3 以鳶尾花資料為例

第 5 篇 聚類

第 20 章 K 平均值聚類

20.1 K 平均值聚類

20.2 最佳化問題

20.3 迭代過程

20.4 肘部法則：選定聚類叢集值

20.5 輪廓圖：選定聚類叢集值

20.6 沃羅諾伊圖

第 21 章 高斯混合模型

21.1 高斯混合模型

21.2 四類協方差矩陣

21.3 分量數量

21.4 硬聚類和軟聚類

第 22 章 最大期望演算法

22.1 最大期望

22.2 E 步：最大化期望

22.3 M 步：最大化似然機率

22.4 迭代過程

22.5 多元GMM 迭代

第 23 章 層次聚類

23.1 層次聚類

23.2 樹狀圖

23.3 叢集間距離

23.4 親近度層次聚類

第 24 章 密度聚類

24.1 DBSCAN 聚類

24.2 調節參數

第 25 章 譜聚類

25.1 譜聚類

25.2 距離矩陣

25.3 相似度

25.4 無向圖

25.5 拉普拉斯矩陣

25.6 特徵值分解