Tensorflow深度學習基礎與應用

楊虹，重慶市半導體行業協會副理事長，重慶市電子學會常務理事，重慶市高校青年骨干教師。
現任重慶郵電大學光電工程學院副院長。

謝顯中，男，教授，工學博士，博士生導師。
現為重慶郵電大學光電工程學院院長、重慶國際半導體學院執行院長，兼任計算機網絡與通信技術信息產業部/重慶市重點實驗室主任、重慶郵電大學個人通信研究所所長。

第1章 緒論 1
1．1　機器學習簡介　1
1．2　機器學習流程　2
1．3　深度學習簡介　3

第2章　TensorFlow簡介與環境搭建　4
2．1　TensorFlow簡介　4
2．2　TensorFlow 的語言支持　4
2．3　TensorFlow的安裝和環境配置　5
2．3．1　Python安裝　5
2．3．2　CUDA與CUDNN安裝　11
2．4　TensorFlow安裝　12
2．4．1　pip安裝　12
2．4．2　Docker安裝　13
2．5　測試TensorFlow　13

第3章　TensorFlow入門　14
3．1　TensorFlow靜態圖模式　14
3．1．1　TensorFlow中的張量類型　14
3．1．2　TensorFlow的操作符簡介　17
3．1．3　TensorFlow的Graph和Session　23
3．2　TensorFlow動態圖模式　27
3．3　TensorFlow 損失函數　28
3．3．1　交叉熵　28
3．3．2　均方誤差　29
3．3．3　KL散度　29
3．4　TensorFlow優化器　30
3．5　TensorFlow訓練數據輸入　33
3．5．1　tf． data． Dataset　33
3．5．2　tf． data． Iterator　35

第4章　聚類算法　37
4．1　聚類算法簡介　37
4．2　k均值聚類算法　38
4．2．1　算法步驟　38
4．2．2　準則函數　39
4．2．3　算法改進　39
4．3　k中心聚類算法　43
4．3．1　準則函數　43
4．3．2　算法步驟　43
4．3．3　算法對比　43

第5章　分類算法　45
5．1　分類算法簡介　45
5．2　k近鄰算法　45
5．2．1　算法步驟　46
5．2．2　投票算法改進　46
5．2．3　k參數選取　46
5．2．4　模型評價　47
5．3　樸素貝葉斯　49
5．3．1　算法步驟　50
5．3．2　概率處理　50
5．3．3　連續值概率計算　51
5．4　決策樹　53
5．4．1　分裂函數　53
5．4．2　特徵為連續特徵　54
5．4．3　決策樹終止條件　55
5．5　支持向量機　55
5．5．1　線性可分支持向量機　56
5．5．2　近似線性可分支持向量機　59
5．5．3　非線性支持向量機　60
5．5．4　常用核函數　60
5．5．5　多分類支持向量機　61
5．6　人工神經網絡　61
5．6．1　激活函數　62
5．6．2　邏輯門設計　64
5．6．3　多層感知器　67
5．6．4　前向傳播算法　67
5．6．5　反向傳播算法　68

第6章　回歸算法　72
6．1　線性回歸　72
6．1．1　最小二乘法　72
6．1．2　廣義逆　74
6．1．3　嶺回歸與Lasso回歸　76
6．1．4　梯度求解算法　78
6．2　非線性回歸　84
6．2．1　指數變換　84
6．2．2　對數變換　85
6．2．3　冪等變換　85
6．2．4　多項式變換　85
6．3　邏輯回歸　85
6．3．1　二值邏輯回歸　86
6．3．2　多元邏輯回歸　89
6．4　決策樹回歸　91
6．4．1　代價函數　92
6．4．2　算法流程　92
6．4．3　舉例　93
6．5　梯度算法　94
6．5．1　隨機梯度下降法　95
6．5．2　牛頓法　96

第7章　MNIST數據集　99
7．1　MNIST數據集簡介　99
7．2　LeNet的實現與講解　101
7．2．1　網絡參數設置和輸入設置　101
7．2．2　LeNet網絡模型詳解　102
7．2．3　更簡潔的實現　107
7．2．4　softmax層和網絡更新方式　108
7．2．5　訓練過程　108
7．3　FashionMNIST數據集　109

第8章　圖像分類　110
8．1　圖像分類的概念　110
8．2　圖像分類的常用網絡結構　111
8．2．1　AlexNet網絡結構　111
8．2．2　VGGNet網絡結構　113
8．2．3　Network In Network網絡結構　114
8．2．4　GoogLeNet網絡結構　117
8．2．5　ResNet網絡結構　119
8．3　圖像多標籤分類實例　121
8．3．1　使用TFRecord生成訓練數據　121
8．3．2　構建多標籤分類網絡　122
8．3．3　多標籤模型訓練模型　125

第9章　目標檢測　127
9．1　目標檢測的概念　127
9．1．1　Faster R-CNN　127
9．1．2　YOLO　128
9．1．3　SSD　130
9．2　基於SSD的目標檢測實例　131
9．2．1　基於VGG的SSD網絡　131
9．2．2　坐標和類別預測　133
9．2．3　多尺度的預測拼接　133
9．2．4　損失函數與模型訓練　133

第10章　圖像檢索應用　135
10．1　圖像檢索的基本概念　135
10．2　圖像檢索特徵提取的常用方法　137
10．3　基於VGG的圖像檢索實例　140
10．3．1　使用TFRecord生成訓練數據　140
10．3．2　模型訓練函數　141
10．3．3　檢索系統構建　141

第11章　光學字符識別應用　143
11．1　光學字符識別的概念　143
11．2　光學字符識別的常用算法與流程　144
11．2．1　文本檢測環節　144
11．2．2　文本識別環節　145
11．3　基於CNN-RNN-CTC的光學字符識別算法實例　146
11．3．1　光學字符識別訓練數據生成　146
11．3．2　使用TFRecord生成訓練數據　148
11．3．3　構建基於CNN-RNN-CTC的光學字符識別網絡　149

第12章　中文分詞　152
12．1　自然語言處理　152
12．2　中文分詞簡介　153
12．2．1　BMES　153
12．2．2　BM12ES　154
12．3　文字單元嵌入表達　154
12．3．1　文字單元的獨熱嵌入表達　154
12．3．2　word2Vector　155
12．3．3　word2Vector代碼實現　161