GAN 實戰 GANs in Action

Jakub Langr

 英國創企孵化器 Founders Factory計算機視覺領域的聯合創始人。

Vladimir Bok

美國紐約一家初創公司的高級產品經理，負責機器學習基礎架構方面的工作和研究團隊的整體運作。

第一部分生成對抗網絡（GAN）與生成模型導論

第1章GAN簡介3
1．1什麼是GAN 5
1．2 GAN是如何工作的5
1．3 GAN實戰6
1．3．1 GAN的訓練7
1 ．3．2達到平衡10
1．4為什麼要學GAN 11
1．5小結14

第2章自編碼器生成模型入門15
2．1生成模型簡介16
2．2自編碼器如何用於高級場景16
2 ．3什麼是GAN的自編碼器18
2．4自編碼器的構成18
2．5自編碼器的使用20
2．6無監督學習21
2．6．1吐故納新21
2．6．2使用自編碼器生成22
2．6．3變分自編碼器23
2．7代碼就是生命23
2．8為什麼要嘗試使用GAN 30
2．9小結32

第3章你的第一個GAN模型：生成手寫數字．33
3．1 GAN的基礎：對抗訓練33
3．1．1代價函數35
3．1．2訓練過程35
3．2生成器和鑑別器37
3．2．1對抗的目標37
3．2．2混淆矩陣38
3．3 GAN訓練算法38
3．4教程：生成手寫數字39
3．4．1導入模塊並指定模型輸入維度40
3．4．2構造生成器41
3．4． 3構造鑑別器41
3．4．4搭建整個模型42
3．4．5訓練43
3．4．6輸出樣本圖像44
3．4．7運行模型45
3．4．8檢查結果45
3．5結論46
3．6小結46

第4章深度捲積生成對抗網絡（DCGAN）47
4．1捲積神經網絡48
4．1．1捲積濾波器48
4．1．2參數共享48
4．1．3捲積神經網絡可視化48
4．2 DCGAN簡史49
4．3批歸一化50
4．3．1理解歸一化50
4．3．2計算批歸一化51
4．4教程：用DCGAN生成手寫數字52
4．4．1導入模塊並指定模型輸入維度53
4．4．2構造生成器53
4．4．3構造鑑別器55
4．4．4構建並運行DCGAN 57
4．4．5模型輸出59
4．5結論60
4．6小結60

第二部分GAN的前沿主題

第5章訓練與普遍挑戰：為成功而GAN 63
5．1評估65
5．1．1評估框架65
5．1．2 IS 67
5．1．3 FID 68
5．2訓練中的挑戰70
5．2．1增加網絡深度72
5．2．2遊戲設置73
5．2．3最小-最大GAN 73
5．2．4非飽和GAN 74
5．2． 5何時停止訓練76
5．2．6 WGAN77
5．3總結遊戲設置80
5．4訓練技巧81
5．4．1輸入的歸一化81
5．4．2批歸一化81
5．4． 3梯度懲罰82
5．4．4對鑑別器進行更多的訓練82
5．4．5避免稀疏梯度83
5．4．6平滑和帶噪聲的標籤83
5．5小結83

第6章漸進式增長生成對抗網絡（PGGAN） 85
6．1潛在空間插值86
6．2它們發展如此之快87
6．2．1高分辨率層的漸進增長和平滑87
6．2．2示例實現90
6．2． 3小批量標準偏差91
6．2．4均衡學習率92
6．2．5生成器中的像素級特徵歸一化93
6．3主要創新點總結96
6．4 TensorFlow Hub庫及其實踐97
6．5 PGGAN的實際應用98
6．6小結101

第7章半監督生成對抗網絡（SGAN） 103
7．1 SGAN簡介105
7．1．1什麼是SGAN 106
7．1．2結構107
7．1．3訓練過程107
7． 1．4訓練目標108
7．2教程：SGAN的實現108
7．2．1架構圖108
7．2．2實現109
7．2．3設置109
7．2．4數據集110
7．2．5生成器112
7．2．6鑑別器112
7．2．7搭建整個模型115
7．2．8訓練116
7．3與全監督分類器的對比118
7．4結論119
7．5小結119

第8章條件生成對抗網絡（CGAN） 121
8．1動機121
8．2什麼是CGAN 122
8．2．1 CGAN的生成器123
8．2．2 CGAN的鑑別器123
8．2．3匯總表124
8．2．4架構圖124
8．3教程：CGAN的實現125
8．3．1實現125
8．3．2設置125
8．3．3 CGAN的生成器126
8 ．3．4 CGAN的鑑別器128
8．3．5搭建整個模型130
8．3．6訓練131
8．3．7輸出樣本圖像132
8．3．8訓練模型134
8．3．9檢查輸出：生成目標數據134
8．4結論135
8．5小結136

第9章循環一致性生成對抗網絡（CycleGAN） 137
9．1圖像到圖像的轉換137
9．2循環一致性損失：再GAN一次139
9． 3對抗損失140
9．4恆等損失140
9．5架構142
9．5．1 CycleGAN架構：構建網絡143
9．5．2生成器架構144
9．5．3鑑別器架構146
9．6 GAN的面向對象設計146
9．7教程：CycleGAN 146
9．7．1構建網絡148
9．7．2構建生成器149
9．7．3構建鑑別器151
9．7．4訓練CycleGAN 152
9．7．5運行CycleGAN 154
9．8擴展、增強和應用154
9．8．1增強CycleGAN 154
9．8．2應用155
9．9小結156

第三部分何去何從

第10章對抗樣本159
10．1對抗樣本的背景160
10．2謊言，該死的謊言及分佈161
10．3訓練的使用與濫用162
10．4信號與噪聲167
10．5柳暗花明又一村171
10． 6 GAN的對手172
10．7結論173
10．8小結174

第11章GAN的實際應用175
11．1醫學領域的GAN 176
11．1．1利用GAN提高診斷準確率176
11．1．2方法178
11．1．3結果179
11．2時尚領域的GAN 180
11．2．1利用GAN設計服裝181
11．2．2方法181目錄
11．2．3創造新單品以符合個人偏好182
11．2 ．4修改現有單品以更符合個人偏好184
11．3結論187
11．4小結187

第12章展望未來189
12．1倫理問題189
12．2 GAN的創新191
12．2．1相對生成對抗網絡（RGAN） 192
12．2．2自註意力生成對抗網絡（SAGAN ） 194
12．2．3 BigGAN 196
12．3拓展閱讀198
12．4回顧與總結198
12．5小結200