深度學習的理論基礎與核心算法

 

目錄

 

 

 

 

 

第1章數學基礎

 

1．1線性代數

 

1．1．1向量及其運算

 

1．1．2矩陣及其運算

 

1．1．3矩陣分解

 

1．2概率論

 

1．2．1概率與隨機變量

 

1．2．2期望、方差和協方差

 

1．2．3常見的概率分佈

 

1．2．4共軛分佈

 

1．3信息論

 

1．3．1熵的定義

 

1．3．2互信息

 

1．3．3交叉熵

 

1．3．4KullbackLeibler散度

 

參考文獻

 

第2章深度神經網絡的逼近基礎理論

 

2．1函數的最佳平方逼近

 

2．1．1正交多項式的定義與性質

 

2．1．2常用的正交多項式

 

2．1．3構造正交多項式的一般方法

 

2．1．4最佳平方逼近的概念及計算

 

2．1．5用正交多項式做最佳平方逼近

 

2．2曲線擬合的最小二乘法

 

2．2．1最小二乘法

 

2．2．2用多項式作最小二乘曲線擬合

 

2．3三角多項式逼近與快速傅里葉變換

 

2．3．1最佳平方三角逼近與三角插值

 

2．3．2快速傅里葉變換

 

2．4多項式的萬能逼近性質

 

2．5從函數逼近的角度解釋神經網絡

 

2．6本章小結

 

參考文獻

 

第3章深度神經網絡的函數逼近

 

3．1基本的ReLU網絡定義

 

3．2乘法、多項式、光滑函數的逼近

 

3．2．1乘法函數的逼近

 

3．2．2多項式函數的逼近

 

3．2．3光滑函數的逼近

 

3．3正餘弦函數的逼近

 

3．3．1餘弦函數的逼近

 

3．3．2正弦函數的逼近

 

3．4神經網絡的萬能逼近性質和深度的必要性

 

3．5本章小結

 

附錄

 

參考文獻

 

第4章深度神經網絡的復雜函數逼近

 

4．1神經網絡的逼近

 

4．1．1KolmogorovDonoho數據率失真理論

 

4．1．2字典逼近

 

4．1．3神經網絡的表示

 

4．1．4神經網絡最佳M項逼近表示

 

4．1．5字典逼近轉換為神經網絡逼近

 

4．2仿射系統的神經網絡逼近

 

4．2．1仿射系統的定義

 

4．2．2仿射系統對神經網絡逼近的影響

 

4．2．3神經網絡對仿射系統逼近證明

 

4．3振盪紋理

 

4．3．1振盪紋理的定義

 

4．3．2振盪紋理的多項式逼近

 

4．3．3振盪紋理的指數級逼近

 

4．4Weierstrass函數

 

4．4．1Weierstrass函數的定義

 

4．4．2Weierstrass函數的指數級逼近

 

4．5本章小結

 

參考文獻

 

第5章深度神經網絡與多尺度幾何逼近系統

 

5．1小波分析與多尺度幾何分析

 

5．1．1由傅里葉到小波分析理論

 

5．1．2Gabor系統的逼近

 

5．2多尺度幾何分析的基礎

 

5．2．1由小波到多尺度幾何理論

 

5．2．2脊波變換

 

5．2．3曲波變換

 

5．2．4楔波變換

 

5．2．5小線變換

 

5．2．6條帶波變換

 

5．2．7輪廓波變換

 

5．2．8剪切波變換

 

5．2．9梳狀波變換

 

5．2．10方向波變換

 

5．3多尺度幾何變換的逼近性質

 

5．4本章小結

 

參考文獻

 

第6章深度特徵網絡的構造理論

 

6．1前饋神經網絡構造理論

 

6．1．1前饋神經網絡的結構

 

6．1．2前饋神經網絡的前向傳播

 

6．1．3前饋神經網絡的誤差反向傳播算法

 

6．1．4前饋神經網絡的梯度下降法

 

6．1．5常見前饋神經網絡

 

6．2捲積神經網絡構造理論

 

6．2．1捲積運算

 

6．2．2非線性激活層

 

6．2．3池化

 

6．2．4常見的距離度量方法

 

6．2．5常見的激活函數

 

6．2．6捲積神經網絡的生物學啟發

 

6．2．7捲積神經網絡的發展

 

6．3遞歸神經網絡

 

6．3．1循環神經網絡

 

6．3．2深度循環網絡

 

6．3．3遞歸神經網絡

 

6．4圖捲積網絡

 

6．4．1圖的基本定義

 

6．4．2圖信號處理

 

6．4．3圖上的濾波器

 

6．4．4圖捲積網絡

 

6．4．5圖捲積網絡的過度平滑問題

 

6．4．6圖小波神經網絡

 

6．5自組織網絡構造理論

 

6．5．1自註意力模型

 

6．5．2多頭自註意力模型

 

6．5．3Transformer模型

 

6．5．4稀疏自註意力機制

 

6．5．5結合捲積的自註意力機制

 

6．5．6強化自註意力模型

 

6．5．7結合先驗的自註意力機制

 

6．6本章小結

 

參考文獻

 

第7章學習表徵編碼器的構造理論

 

7．1自編碼器

 

7．1．1欠完備自編碼器

 

7．1．2正則自編碼器

 

7．1．3稀疏自編碼器

 

7．1．4去噪自編碼器

 

7．1．5捲積自編碼器

 

7．2線性編碼器

 

7．2．1概率PCA

 

7．2．2獨立成分分析

 

7．2．3慢特徵分析

 

7．2．4稀疏編碼

 

7．3生成模型

 

7．3．1玻耳茲曼機

 

7．3．2生成隨機網絡

 

7．3．3生成對抗網絡

 

7．4變分推斷

 

7．5部分整體層次結構

 

7．6因果推理

 

7．6．1從相關性到因果關系

 

7．6．2預測和因果推理的區別

 

7．6．3因果推理的表示方式

 

7．7本章小結

 

參考文獻

 

第8章多尺度幾何深度網絡理論

 

8．1小波神經網絡

 

8．2多小波網

 

8．3散射網

 

8．4深度散射網

 

8．5深度曲線波散射網

 

8．6輪廓波捲積神經網絡

 

8．7本章小結

 

參考文獻

 

第9章復數深度學習網絡

 

9．1復數深度神經網絡的相關概念

 

9．1．1復數值的表徵

 

9．1．2復數捲積

 

9．1．3復數可微性

 

9．1．4復數激活

 

9．1．5復數批歸一化

 

9．1．6復數權重初始化

 

9．2復數捲積神經網絡

 

9．2．1數學計算過程

 

9．2．2網絡結構

 

9．3復數輪廓波網絡

 

9．3．1原理描述

 

9．3．2數學計算過程

 

9．3．3網絡參數

 

9．4半監督復數GAN

 

9．5復數Transformer網絡

 

9．6本章小結

 

參考文獻

 

第10章擬合問題

 

10．1擬合方法介紹

 

10．1．1線性回歸

 

10．1．2復雜函數擬合

 

10．1．3通用逼近定理

 

10．2擬合數據劃分

 

10．2．1留出法

 

10．2．2交叉驗證法

 

10．2．3自助法

 

10．3擬合能力度量

 

10．3．1錯誤率和精度

 

10．3．2精準率和召回率

 

10．3．3精準率召回率曲線

 

10．3．4F1度量與交並比

 

10．3．5受試者工作特徵曲線

 

10．3．6曲線下的面積與平均精度

 

10．3．7代價敏感錯誤率與代價曲線

 

10．3．8欠擬合與過擬合

 

10．4計算復雜度

 

10．4．1計算復雜性理論基本問題

 

10．4．2判定問題類

 

10．5本章小結

 

參考文獻

 

第11章正則化理論

 

11．1常用範數特性

 

11．2正則化理論

 

11．2．1良態問題

 

11．2．2Tikhonov正則化定義

 

11．2．3Tikhonov正則化近似解求解

 

11．2．4L曲線準則

 

11．3正則化方法

 

11．3．1參數範數懲罰

 

11．3．2權重衰減

 

11．3．3噪聲註入

 

11．3．4數據增強

 

11．3．5多任務學習

 

11．3．6提前終止

 

11．3．7Dropout

 

11．3．8Drop Connect 

 

11．3．9SelfNorm與CrossNorm

 

11．4本章小結

 

參考文獻

 

第12章泛化理論

 

12．1泛化的定義

 

12．2泛化理論

 

12．2．1機器學習的泛化理論

 

12．2．2基於模型復雜度的泛化理論

 

12．2．3基於信息論的泛化理論

 

12．2．4基於隨機梯度下降算法的泛化理論

 

12．2．5基於損失曲面幾何結構的泛化理論

 

12．2．6基於傅里葉分析的泛化理論

 

12．2．7基於未標記數據的泛化理論

 

12．3泛化方法

 

12．3．1數據處理

 

12．3．2特徵表示

 

12．3．3訓練策略

 

12．3．4學習方法 

 

12．4本章小結

 

參考文獻

 

第13章學習可解釋性

 

13．1深度學習的可解釋性基本概念

 

13．1．1可解釋性的概念

 

13．1．2研究可解釋性的必要性

 

13．2深度學習的可解釋性分類方法

 

13．2．1學習深度過程的可解釋性方法

 

13．2．2學習深度網絡表示的可解釋性方法

 

13．2．3學習深度系統自身可解釋的生成方法

 

13．2．4其他類別方法

 

13．3深度捲積框架的可解釋性

 

13．3．1捲積的Hankel矩陣表示

 

13．3．2Hankel矩陣分解和捲積框架

 

13．3．3深度捲積框架進行多分辨率分析

 

13．4本章小結

 

參考文獻

 

第14章收斂性理論

 

14．1收斂問題

 

14．1．1收斂問題定義

 

14．1．2收斂與一致收斂之間的差異

 

14．2單隱藏層神經網絡的收斂性

 

14．2．1基本假設與判定指標

 

14．2．2基於SGD算法的收斂性

 

14．2．3基於自適應梯度算法的收斂性

 

14．2．4基於動量自適應算法的收斂性

 

14．3非線性神經網絡的收斂性

 

14．3．1基本假設與判定指標

 

14．3．2基於SGD算法的收斂性

 

14．3．3基於自適應梯度算法的收斂性

 

14．4深度神經網絡的收斂性

 

14．4．1深度線性神經網絡的收斂性

 

14．4．2深度非線性神經網絡的收斂性

 

14．5本章小結

 

參考文獻

 

第15章學習模型的復雜度

 

15．1復雜度的基本概念

 

15．2與動態訓練無關

 

15．2．1VC維及其擴展

 

15．2．2表達能力

 

15．3與動態訓練相關

 

15．3．1Rademacher復雜度

 

15．3．2表達能力

 

15．3．3有效復雜度

 

15．4表達能力與有效復雜度

 

15．5本章小結

 

參考文獻

 

第16章一階優化方法

 

16．1導數和梯度

 

16．2梯度下降算法

 

16．2．1批量梯度下降

 

16．2．2隨機梯度下降

 

16．2．3小批量梯度下降

 

16．3動量

 

16．4自適應學習率

 

16．4．1Adagrad

 

16．4．2RMSprop

 

16．4．3Adadelta

 

16．4．4Adam

 

16．4．5AmsGrad

 

16．4．6Adamax

 

16．4．7Nadam

 

16．4．8SparseAdam

 

16．5減少方差的方法

 

16．6交替方向乘子法

 

16．7FrankWolfe方法

 

16．8投影梯度下降算法

 

16．9本章小結

 

參考文獻

 

第17章高階優化方法

 

17．1共軛梯度法

 

17．2牛頓法及其變體

 

17．2．1牛頓法

 

17．2．2切割牛頓法

 

17．2．3擬牛頓法

 

17．2．4DFP法

 

17．2．5BFGS法

 

17．2．6隨機擬牛頓法

 

17．3不含海森矩陣的最優化方法

 

17．4自然梯度法

 

17．5信任區域法

 

17．6本章小結

 

參考文獻

 

第18章啟發式學習優化

 

18．1啟發式算法

 

18．1．1傳統啟發式算法

 

18．1．2元啟發式算法

 

18．2基於PSO算法的深度神經網絡學習

 

18．2．1PSO算法

 

18．2．2基於PSO的深度神經網絡算法的學習

 

18．3基於免疫優化算法的深度神經網絡學習

 

18．3．1免疫優化算法

 

18．3．2基於免疫優化的RBF深度神經網絡算法的學習

 

18．4基於量子優化算法的網絡學習

 

18．4．1量子優化算法發展及研究現狀

 

18．4．2基於量子離散多目標粒子群算法的學習

 

18．5本章小結

 

參考文獻

 

第19章進化深度學習

 

19．1進化計算與深度學習

 

19．1．1進化計算

 

19．1．2基於進化計算的深度學習

 

19．2收斂性分析

 

19．2．1基於壓縮映射的收斂性分析

 

19．2．2基於熵方法的收斂性分析

 

19．3網絡結構優化

 

19．3．1神經網絡結構搜索

 

19．3．2基於單目標進化的神經網絡架構搜索

 

19．3．3基於多目標進化的NAS

 

19．4網絡權重優化

 

19．4．1梯度反向傳播的局限性

 

19．4．2基於進化算法的神經網絡權重優化

 

19．4．3基於進化與反向傳播結合的權重優化

 

19．5學習規則優化

 

 

19．6本章小結

 

參考文獻

 

第20章離散優化問題

 

20．1經典離散優化問題

 

20．2精確方法求解離散優化問題

 

20．2．1分支定界算法

 

20．2．2割平面方法

 

20．3深度學習求解離散優化問題

 

20．4啟發式算法與超啟發式算法

 

20．4．1啟發式算法

 

20．4．2超啟發式算法

 

20．5本章小結

 

參考文獻

 

第21章非凸優化

 

21．1非凸優化的基本概念

 

21．1．1非凸優化的動機

 

21．1．2非凸優化的示例

 

21．2非凸優化的算法

 

21．2．1非凸投影梯度下降法

 

21．2．2隨機優化技術

 

21．3非凸優化的應用

 

21．3．1線性回歸模型

 

21．3．2低秩矩陣恢復

 

21．3．3張量分解

 

21．3．4深度神經網絡

 

21．4本章小結

 

參考文獻

 

第22章非負矩陣深度學習分解

 

22．1非負矩陣分解概述

 

22．2經典非負矩陣分解算法

 

22．2．1非負矩陣分解

 

22．2．2稀疏非負矩陣分解

 

22．2．3正交非負矩陣分解

 

22．2．4半非負矩陣分解

 

22．3深層非負矩陣分解

 

22．3．1基於系數矩陣的深層非負矩陣分解

 

22．3．2基於基矩陣的深層非負矩陣分解

 

22．3．3深層非負矩陣分解的優化

 

22．4深度學習求解非負矩陣分解

 

22．4．1基於自編碼器的非負矩陣分解

 

22．4．2深度非負矩陣分解網絡

 

22．4．3基於生成對抗網絡的非負矩陣分解

 

22．5本章小結

 

參考文獻

 

第23章稀疏張量深度學習分解

 

23．1張量表示

 

23．1．1張量的符號表示

 

23．1．2張量的圖形表示

 

23．1．3張量展開

 

23．1．4張量收縮

 

23．2稀疏張量分解

 

23．2．1張量Tucker 分解

 

23．2．2張量CP分解

 

23．2．3張量BTD

 

23．2．4張量TTD

 

23．2．5張量TRD

 

23．3張量分解的應用

 

23．3．1張量分解的神經網絡壓縮

 

23．3．2張量分解的數據補全和去噪

 

23．3．3張量分解的圖像融合

 

23．3．4張量分解的多維信號壓縮

 

23．4張量網絡

 

23．4．1數據編碼

 

23．4．2網絡模型

 

23．4．3優化方法

 

23.5本章小結

 

參考文獻

 

第24章線性方程組的深度學習求解

 

24．1線性方程組

 

24．1．1定義

 

24．1．2矩陣表示

 

24．1．3向量表示

 

24．1．4齊次與非齊次線性方程組

 

24．2稀疏線性逆問題

 

24．3線性方程組的深度求解算法

 

24．3．1LISTA算法

 

24．3．2LAMP算法

 

24．3．3LVAMP算法

 

24．4本章小結

 

參考文獻

 

第25章微分方程的深度學習求解

 

25．1微分方程簡介

 

25．1．1常微分方程簡介

 

25．1．2偏微分方程簡介

 

25．2基於常微分方程的網絡架構設計

 

25．2．1基於歐拉法的網絡架構設計

 

25．2．2基於龍格庫塔法的網絡架構設計

 

25．3基於常微分方程的優化算法設計

 

25．3．1梯度下降法

 

25．3．2Nesterov加速算法

 

25．3．3ODENet逆模自動微分

 

25．4偏微分方程的深度求解

 

25．4．1Deep Ritz method

 

25．4．2Deep Galerkin Method

 

25．5本章小結

 

參考文獻

 

第26章深度學習分類

 

26．1深度貝葉斯學習

 

26．1．1樸素貝葉斯

 

26．1．2貝葉斯深度學習

 

26．2深度決策樹學習

 

26．2．1決策樹

 

26．2．2深度森林

 

26．3深度近鄰學習

 

26．3．1近鄰法

 

26．3．2深度K近鄰算法

 

26．4深度支持向量機學習

 

26．4．1支持向量機

 

26．4．2小波支持向量機

 

26．4．3最小二乘支持向量機

 

26．4．4深度支持向量機

 

26．5深度關聯規則學習

 

26．5．1規則學習

 

26．5．2深度關聯學習

 

26．6深度集成學習

 

26．6．1集成學習

 

26．6．2快速深度集成學習

 

26．7深度特徵學習

 

26．8深度損失學習

 

26．8．1交叉熵損失

 

26．8．2對比和三元組損失

 

26．8．3大邊距損失

 

26．8．4雙正則支持向量機損失

 

26．8．5Focal Loss

 

26．8．6骰子損失

 

26．9本章小結

 

參考文獻

 

第27章深度學習聚類

 

27．1聚類基礎

 

27．1．1聚類定義

 

27．1．2聚類過程

 

27．1．3性能度量

 

27．2基本聚類算法

 

27．2．1基於質心的聚類方法

 

27．2．2基於密度的聚類方法

 

27．2．3層次聚類

 

27．2．4基於圖論的聚類方法

 

27．2．5基於模型的聚類方法

 

27．2．6基於網格的聚類方法

 

27．2．7其他聚類方法

 

27．3深度學習聚類

 

27．4深度聚類網絡架構

 

27．4．1基於自編碼器的聚類方法

 

27．4．2基於深度神經網絡的聚類方法

 

27．4．3基於生成對抗網絡的聚類方法

 

27．5深度聚類損失

 

27．6深度聚類的簇更新

 

27．7本章小結

 

參考文獻

 

第28章深度學習回歸

 

28．1回歸分析

 

28．2基於深度學習的線性回歸分析

 

28．2．1線性回歸

 

28．2．2深度學習線性回歸

 

28．3基於深度學習的邏輯回歸分析

 

28．3．1邏輯回歸

 

28．3．2深度學習邏輯回歸

 

28．4基於深度學習的嶺回歸分析

 

28．4．1嶺回歸

 

28．4．2深度學習嶺回歸

 

28．5基於深度學習的LASSO回歸分析

 

28．5．1LASSO回歸

 

28．5．2深度學習LASSO回歸

 

28．6本章小結

 

參考文獻