速通機器學習

盧菁
北京科技大學博士，北京大學博士後流動站出站。工作於騰訊、愛奇藝等知名互聯網公司，主要從事人工智能技術的應用和研發工作。
主要研究方向為機器學習、自然語言處理、知識圖譜、推薦系統等，有豐富的理論和實踐經驗。

第1章數據的量化和特徵提取1
1.1機器學習概述1
1.2特徵提取2
1.3向量距離計算6

第2章線性回歸12
2.1線性回歸的基本概念13
2.2損失函數和梯度下降法14
2.3訓練集和測試集19
2.4多項式回歸21
2.5線性回歸的高級技巧23
2.5.1特徵敏感性研究23
2.5.2損失函數的選擇24

第3章邏輯回歸27
3.1邏輯回歸的基本原理28
3.2交叉熵和KL距離32
3.2 .1 KL距離32
3.2.2梯度下降法34
3.2.3上採樣和下採樣36
3.3線性不可分及其解決方案38
3.4 L1正則和L2正則39
3.5分類模型的評價標準43
3.6邏輯回歸的特徵提陞技巧47
3.6.1特徵歸一化47
3.6.2特徵分段49
3.7深入理解損失函數和邏輯函數51

第4章因子分解模型55
4.1基本原理和特徵交叉55
4.1.1基本原理55
4.1.2特徵交叉簡化58
4.1.3參數學習59
4.2因子分解模型和矩陣分解61

第5章經典分類模型63
5.1支持向量機63
5.1.1支持向量機的基本原理63
5.1.2支持向量機和邏輯回歸的比較68
5.2核方法70
5.2.1核函數70
5.2.2核函數在支持向量機中的應用72
5.3樸素貝葉斯73
5.3.1樸素貝葉斯原理73
5.3.2樸素貝葉斯的參數估計76
5.4維數災難78
5.5奧卡姆剃刀定律的應用82
5.6經驗風險、期望風險和結構風險83

第6章無監督學習85
6.1 K-Means聚類86
6.1.1 K-Means算法的基本原理86
6.1.2改進型K-Means算法88
6.1.3 K-Means算法和邏輯回歸的結合應用91
6.2主題模型92
6.2.1 LDA模型的原理93
6.2.2 LDA模型的訓練95

第7章集成學習100
7.1決策樹100
7.2隨機森林105
7.3 GBDT 108

第8章深度神經網絡113
8.1 BP神經網絡的基本原理113
8.2多分類與Softmax函數118
8.3梯度下降法和鍊式法則120
8.4度量學習125

第9章神經網絡調優130
9.1激活函數選型131
9.2權重初始化135
9.3改進型梯度下降法137
9.3.1隨機梯度下降法138
9.3.2鞍點問題141
9.3.3梯度下降法的優化142
9.4過擬合解決方案145
9.4.1正則化145
9.4.2 Dropout 146
9.4.3提前終止147
9.4.4批標準化和層標準化148
9.4.5 Shortcut 151
9.4.6標籤平滑151
9.4.7人工製造數據152

第10章自然語言處理154
10.1自然語言處理模型154
10.2 one-hot編碼和embedding技術156
10.3哈夫曼樹和負採樣161
10.3.1哈夫曼樹161
10.3.2負採樣163
10.4 Word2vec的應用165
10.5 fastText模型的原理及應用166

第11章卷積神經網絡169
11.1卷積層和池化層169
11.2卷積神經網絡在圖像處理中的應用177
11.3卷積神經網絡中的批標準化179
11.4 TextCNN的原理及應用180

第12章深入卷積層185
12.1 1 × 1卷積185
12.2小尺寸卷積186
12.3寬度卷積和Inception 187
12.4 Depthwise卷積和Pointwise卷積189
12.5特徵通道加權卷積193

第13章循環神經網絡和LSTM模型196
13.1循環神經網絡模型詳解196
13.1.1循環神經網絡的基本原理196
13.1.2循環神經網絡存在的一些問題199
13.2 LSTM模型詳解202
13.3 LSTM模型的改進和應用206
13.4 CTC算法208

第14章Attention模型和Transformer模型210
14.1 Attention模型詳解210
14.1.1注意力機制的基本原理210
14.1.2 Attention模型概述212
14.1.3 Attention模型的改進形式214
14.1.4 Self -Attention模型215
14.1.5 Multi-Head Attention模型217
14.2 Transformer模型原理219
14.3 BERT模型及應用221