深度學習與圖像分析 — 基礎與應用

目錄
前言
第一部分 基礎部分
第1章 神經網絡與深度學習基礎知識 3
1.1 神經元模型與感知機 3
1.2 從感知機到神經網絡—激活函數的引入 6
1.3 從神經網絡到深度學習網絡 12
1.4 深度學習網絡示例 16
1.5 深度學習網絡訓練過程 20
1.5.1 數據集的準備 20
1.5.2 常用損失函數的介紹與比較 21
1.5.3 基於數值微分計算損失函數關於網絡參數的梯度 23
1.5.4 基於誤差反向傳播算法計算損失函數關於網絡參數的梯度 25
1.5.5 基於隨機梯度下降算法實現網絡參數更新 29
1.5.6 基於動量法實現網絡參數更新 30
1.5.7 基於自適應梯度算法實現網絡參數更新 31
1.5.8 基於自適應矩估計算法實現網絡參數更新 32
1.6 深度學習常用工具介紹與比較 32
1.6.1 TensorFlow框架介紹與實例 32
1.6.2 Caffe框架介紹與實例 35
1.6.3 MXNet框架介紹與實例 38
1.6.4 Keras框架介紹與實例 39
1.6.5 PyTorch框架介紹與實例 40
1.6.6 各框架性能比較與評價 41
1.7 本章小結 41
參考文獻 42
第2章 基於深度學習的圖像分類算法核心思想與算法進化 44
2.1 圖像分類基礎概念與原理 44
2.2 基於深度學習的圖像分類算法的誕生與發展 46
2.2.1 基於深度學習的圖像分類算法的誕生—LeNet 546
2.2.2 開創基於深度學習圖像分類算法的新局面—AlexNet 47
2.2.3 基於小捲積核的圖像分類算法—VGGNet 49
2.2.4 基於最優局部稀疏結構的圖像分類算法—Inception系列 50
2.2.5 基於恆等映射殘差單元的圖像分類算法—ResNet 54
2.2.6 基於聚合轉換殘差單元的圖像分類算法—ResNeXt 55
2.2.7 基於多層密集連接的圖像分類算法—DenseNet 57
2.2.8 基於特徵通道重標定的圖像分類算法—SENet 59
2.2.9 基於通道壓縮與擴展的圖像分類算法—SqueezeNet 61
2.2.10 基於深度可分離捲積的圖像分類算法—MobileNet 63
2.2.11 基於逐點群捲積與通道混洗的圖像分類算法—ShuffleNet 65
2.2.12 基於神經架構自動搜索的圖像分類算法—NASNet 67
2.3 算法評價與性能比較 68
2.3.1 常用數據集介紹 69
2.3.2 評價指標 69
2.3.3 性能比較與算法評價 70
2.4 本章小結 70
參考文獻 71
第3章 基於深度學習的目標檢測算法核心思想及優化過程 73
3.1 目標檢測基礎概念與原理 73
3.2 基於深度學習的目標檢測算法的提出與優化 74
3.2.1 首個基於捲積神經網絡的目標檢測算法—R-CNN 75
3.2.2 基於空間金字塔池化的目標檢測算法—SPPNet 76
3.2.3 基於R-CNN和SPPNet改進的目標檢測算法—FastR-CNN 78
3.2.4 基於捲積提取候選區域的R-CNN—FasterR-CNN 79
3.2.5 基於語義分割和FasterR-CNN的目標檢測網絡—MaskR-CNN 82
3.2.6 一步式目標檢測算法的提出—YOLO系列 84
3.2.7 基於特徵金字塔的目標檢測算法—FPN 91
3.2.8 基於單發細化目標的檢測算法—RefineDet 92
3.2.9 基於主乾架構搜索的目標檢測算法—DetNAS 94
3.2.10 基於神經架構搜索的目標檢測算法—NAS-FPN 96
3.3 性能比較 99
3.4 本章小結 106
參考文獻 106
第4章 基於深度學習的語義分割算法的本質與革新 109
4.1 語義分割基礎概念與原理 109
4.2 基於深度學習的語義分割算法的提出與改進 110
4.2.1 首個基於深度學習的語義分割算法—FCN 111
4.2.2 基於深度編解碼結構的語義分割算法—SegNet 112
4.2.3 基於空洞捲積的語義分割算法—dilate convolution 114
4.2.4 基於金字塔池化聚合多尺度信息的語義分割算法—PSPNet 115
4.2.5 基於捲積神經網絡與條件隨機場的語義分割算法—DeepLab-v1 117
4.2.6 基於空洞空間金字塔池化與條件隨機場的語義分割算法—DeepLab-v 2119
4.2.7 基於級聯空洞捲積與並行多空洞率金字塔池化的語義分割算法—DeepLab-v 3120
4.2.8 基於深度可分離捲積與並行多空洞率金字塔池化的語義分割算法—DeepLab-v3+ 121
4.2.9 基於多路徑優化的語義分割算法—RefineNet 123
4.2.10 基於註意力優化與特徵融合的語義分割算法—BiSeNet 125
4.2.11 基於增強特徵融合的語義分割算法—ExFuse 126
4.2.12 基於雙路註意力機制的語義分割算法—DANet 129
4.3 算法評價與性能比較 131
4.3.1 常用數據集介紹 131
4.3.2 評價指標 132
4.3.3 性能比較與算法評價 133
4.4 本章小結 133
參考文獻 134
第5章 基於深度學習的圖像生成算法原理及發展 136
5.1 圖像生成基礎 136
5.2 基於深度學習的圖像生成算法的提出與發展 138
5.2.1 生成對抗網絡的提出—GAN 138
5.2.2 基於條件約束的生成對抗網絡—CGAN 140
5.2.3 基於深度捲積的生成對抗網絡—DCGAN 141
5.2.4 基於最小二乘法的生成對抗網絡—LSGAN 142
5.2.5 基於Wasserstein距離的生成對抗網絡—WGAN 142
5.2.6 從能量的角度理解GAN—EBGAN 143
5.2.7 實現圖像到圖像翻譯的生成對抗網絡—PIX 2PIX 144
5.2.8 基於兩領域圖像風格轉換的生成對抗網絡—CycleGAN 145
5.2.9 基於多領域圖像生成的生成對抗網絡—StarGAN 146
5.2.10 基於神經架構搜索的生成對抗網絡—AutoGAN 148
5.3 性能比較 150
5.4 本章小結 155
參考文獻 156
第二部分 應用部分
第6章 基於非對稱捲積塊架構增強和通道特徵選擇機制的車道線檢測算法 159
6.1 引言 159
6.2 相關研究現狀 160
6.2.1 基於深度學習的車道線檢測 160
6.2.2 註意力機制 161
6.2.3 生成對抗網絡 161
6.3 非對稱捲積與通道特徵選擇機制網絡模型 162
6.3.1 捲積下採樣單元 162
6.3.2 轉置捲積上採樣單元 163
6.3.3 非對稱捲積模型 164
6.3.4 雙通道註意力機制 165
6.3.5 通道選擇機制 166
6.4 網絡結構 167
6.5 模型實現 169
6.5.1 數據加載 169
6.5.2 模型的構建 170
6.5.3 訓練和測試 175
6.6 性能分析與討論 177
6.6.1 數據準備 177
6.6.2 模型訓練 178
6.6.3 結果與分析 178
6.7 本章小結 181
參考文獻 181
第7章 基於多尺度特徵提取和重用及特徵重標定的高效火災檢測方法 184
7.1 引言 184
7.2 相關研究現狀 185
7.3 高效的火災檢測模型 187
7.3.1 多尺度特徵提取 188
7.3.2 多尺度特徵重用 189
7.3.3 特徵重標定 190
7.3.4 特徵分類 191
7.3.5 模型設計過程 191
7.4 模型實現 193
7.4.1 數據加載 193
7.4.2 模型定義 195
7.4.3 模型訓練 198
7.5 性能分析與討論 200
7.5.1 數據準備 200
7.5.2 模型訓練 201
7.5.3 實驗結果與分析 201
7.6 本章小結 205
參考文獻 205
第8章 基於噪聲殘差捲積神經網絡的運動矢量和幀內預測模式調制信息隱藏通用檢測方法 209
8.1 引言 209
8.2 相關研究現狀 210
8.3 捲積神經網絡用於信息隱藏檢測的合理性 211
8.4 噪聲殘差捲積神經網絡模型 212
8.4.1 殘差捲積層 214
8.4.2 捲積層 215
8.4.3 激活函數 216
8.4.4 隱寫殘差單元 217
8.4.5 池化層 218
8.4.6 全連接層 219
8.4.7 批量標準化 219
8.5 模型實現 219
8.5.1 數據加載 219
8.5.2 模型定義 220
8.5.3 模型訓練 224
8.6 性能分析與討論 226
8.6.1 數據準備 226
8.6.2 模型訓練 227
8.6.3 結果與分析 227
8.7 本章小結 233
參考文獻 234
第9章 基於多尺度特徵融合和註意力機制的病蟲害檢測 239
9.1 引言 239
9.2 相關研究現狀 240
9.2.1 病蟲害識別與檢測 240
9.2.2 語義分割技術 241
9.3 基於多尺度特徵融合及註意力機制的病蟲害檢測模型 242
9.3.1 編碼器 243
9.3.2 解碼器 247
9.4 模型實現 250
9.4.1 數據加載 250
9.4.2 模型定義 251
9.4.3 模型訓練 256
9.5 性能分析與討論 257
9.5.1 數據準備 257
9.5.2 模型訓練 258
9.5.3 評價指標 259
9.5.4 燒蝕實驗結果與分析 259
9.5.5 與現有語義分割算法的比較 262
9.6 本章小結 263
參考文獻 263
第10章 基於深度學習的GAN生成虛假圖像檢測方法 267
10.1 引言 267
10.2 相關研究現狀 268
10.3 基於寬度拓展的虛假圖像檢測捲積神經網絡模型 269
10.3.1 網絡寬度拓展 271
10.3.2 深層殘差特徵學習 273
10.4 模型實現 274
10.4.1 數據加載 274
10.4.2 模型定義 275
10.4.3 模型訓練 281
10.5 性能分析與討論 282
10.5.1 數據準備 282
10.5.2 模型訓練 284
10.5.3 評價指標 284
10.5.4 燒蝕實驗結果與分析 284
10.5.5 與現有方法的比較結果 286
10.6 本章小結 286
參考文獻 287