白話深度學習的數學

[日] 立石賢吾（作者）

SmartNews公司的機器學習工程師。從日本佐賀大學畢業後曾就職於數家開發公司，並於2014年入職LINE Fukuoka，在該公司於日本福岡市成立的數據分析和機器學習團隊中，負責利用機器學習開發推薦系統、文本分類等產品，並擔任團隊負責人。2019年入職SmartNews公司，擔任現職。

鄭明智（譯者）

長期從事人工智能、智慧醫療領域的研發工作。譯有《白話機器學習的數學》《深度學習入門2》《深度學習基礎與實踐》等書。

第 1章 神經網絡入門 1

1.1　對神經網絡的興趣 2

1.2　神經網絡所處的位置 4

1.3　關於神經網絡 6

1.4　神經網絡能做的事情 13

1.5　數學與編程 20

專欄　神經網絡的歷史 23

 

第 2章 學習正向傳播 29

2.1　先來學習感知機 30

2.2　感知機的工作原理 32

2.3　感知機和偏置 35

2.4　使用感知機判斷圖像的長邊 38

2.5　使用感知機判斷圖像是否為正方形 41

2.6　感知機的缺點 44

2.7　多層感知機 48

2.8　使用神經網絡判斷圖像是否為正方形 52

2.9　神經網絡的權重 55

2.10　激活函數 66

2.11　神經網絡的表達式 69

2.12　正向傳播 74

2.13　神經網絡的通用化 80

專欄　激活函數到底是什麼 83

 

第3章 學習反向傳播 89

3.1　神經網絡的權重和偏置 90

3.2　人的局限性 92

3.3　誤差 95

3.4　目標函數 100

3.5　梯度下降法 107

3.6　小技巧：德爾塔 119

3.7　德爾塔的計算 130

3.7.1　輸出層的德爾塔 130

3.7.2　隱藏層的德爾塔 134

3.8　反向傳播 141

專欄　梯度消失到底是什麼 145

 

第4章 學習捲積神經網絡 151

4.1　擅長處理圖像的捲積神經網絡 152

4.2　捲積過濾器 154

4.3　特徵圖 162

4.4　激活函數 165

4.5　池化 167

4.6　捲積層 168

4.7　捲積層的正向傳播 176

4.8　全連接層的正向傳播 186

4.9　反向傳播 190

4.9.1　捲積神經網絡的反向傳播 190

4.9.2　誤差 192

4.9.3　全連接層的更新表達式 197

4.9.4　捲積過濾器的更新表達式 201

4.9.5　池化層的德爾塔 205

4.9.6　與全連接層相連的捲積層的德爾塔 207

4.9.7　與捲積層相連的捲積層的德爾塔 212

4.9.8　參數的更新表達式 217

專欄　交叉熵到底是什麼 221

 

第5章 實現神經網絡 227

5.1　使用Python 實現 228

5.2　判斷長寬比的神經網絡 229

5.2.1　神經網絡的結構 232

5.2.2　正向傳播 234

5.2.3　反向傳播 239

5.2.4　訓練 244

5.2.5　小批量 250

5.3　手寫數字的圖像識別與捲積神經網絡 255

5.3.1　準備數據集 257

5.3.2　神經網絡的結構 263

5.3.3　正向傳播 266

5.3.4　反向傳播 278

5.3.5　訓練 286

專欄　後話 297

 

附錄

A.1　求和符號 302

A.2　微分 303

A.3　偏微分 307

A.4　復合函數 310

A.5　向量和矩陣 312

A.6　指數與對數 316

A.7　Python 環境搭建 319

A.8　Python 基礎知識 322