深度學習基礎教程

Wei Di是一名擁有多年機器學習和人工智能經驗的數據科學家。她熱衷於創建智能和可擴展的解決方案，這些解決方案可以影響數百萬人，並增強成功企業的能力。目前，她是LinkedIn的一名數據科學家。她之前曾與eBay人類語言技術團隊和eBay研究實驗室協作。在此之前，她在Ancestry.com從事記錄鏈接領域的大規模數據挖掘工作。她於2011年獲得了普渡大學的博士學位。

Anurag Bhardwaj目前領導著Wiser Solutions的數據科學工作，其主要致力於構建大規模的電子商務庫存。他特別感興趣的是使用機器學習來解決產品類別分類和產品匹配方面的問題，以及電子商務中的各種相關問題。此前，他曾在eBay研究實驗室從事圖像理解工作。他在紐約州立大學布法羅分校獲得博士學位和碩士學位，並在印度庫魯什特拉（Kurukshetra）的國立理工學院獲得了計算機工程學士學位。

Jianing Wei是Google Research的高級軟件工程師。他的工作領域是計算機視覺和計算機成像。在2013年加入谷歌之前，他曾在索尼美國研究中心工作了4年，在此期間其主要從事3D計算機視覺和圖像處理領域的研究工作。他於2010年獲得了普渡大學電子與計算機工程博士學位。

譯者序
原書前言
第1章為什麼進行深度學習// 1 
1.1什麼是人工智能和深度學習// 1 
1.2深度學習的歷史及其興起// 2 
1.3為什麼進行深度學習// 7 
1.3.1相比於傳統淺層方法的優勢// 7 
1.3.2深度學習的影響//8 
1.4深層架構的動機// 9 
1.4.1神經的觀點// 10 
1.4.2特徵表示的觀點// 10 
1.5應用//14 
1.5.1盈利性應用// 14 
1.5.2成功案例// 14 
1.5.3面向企業的深度學習// 19 
1.6未來的潛力和挑戰// 20 
1.7小結//21 
第2章為深度學習做準備// 22 
2.1線性代數的基礎知識// 22 
2.1.1數據表示// 22 
2.1.2數據操作// 23 
2.1.3矩陣屬性// 24 
2.2使用GPU進行深度學習// 24 
2.2. 1深度學習硬件指南// 26 
2.3深度學習軟件框架// 27 
2.3.1 TensorFlow // 27
2.3.2 Caffe // 27 
2.3.3 MXNet // 28 
2.3.4 Torch // 28 
2.3.5 Theano // 28 
2.3.6 CNTK // 29 
2.3.7 Keras // 29 
2.3.8框架比較// 29 
2.4基本亞馬遜網絡服務的深度學習開發環境配置// 30 
2.4.1從零開始配置// 30 
2.4.2基於Docker的配置// 33 
2.5小結//34 
第3章神經網絡入門// 35 
3.1多層感知機// 35 
3.1.1輸入層// 36 
3.1.2輸出層// 36 
3.1.3隱藏層// 36 
3.1.4激活函數// 36 
3.2如何進行網絡學習// 39 
3.2.1權值初始化// 39 
3.2.2前向傳播// 39 
3.2.3反向傳播// 40 
3.2.4梯度消失與爆炸// 42 
3.2.5優化算法// 42 
3.2.6正則化// 43 
3.3深度學習模型// 43 
3.3.1卷積神經網絡// 43 
3.3.2受限玻耳茲曼機// 47
3.3.3循環神經網絡（RNN/LSTM網絡）// 50 
3.3.4 RNN中的單元及其展開// 51 
3.3.5通過時間的反向傳播// 51 
3.3.6梯度消失與LSTM網絡// 51 
3.3.7 LSTM網絡中的單元和網關// 52 
3.4應用示例//53 
3.4.1 TensorFlow設置與關鍵概念// 53 
3.4.2手寫數字識別// 54 
3.5小結//57 
第4章計算機視覺中的深度學習// 58 
4.1卷積神經網絡的起源// 58 
4.2卷積神經網絡// 59 
4.2.1數據變換// 61 
4.2.2網絡層// 62 
4.2.3網絡初始化// 65 
4.2 .4正則化// 66 
4.2.5損失函數// 67 
4.2.6模型可視化// 68 
4.2.7手寫數字分類示例// 69 
4.3微調卷積神經網絡// 71 
4.4主流的捲積神經網絡架構// 72 
4.4.1 AlexNet // 72 
4.4.2 VGG // 72 
4.4.3 GoogLeNet // 73 
4.4.4 ResNet // 73 
4.5小結//74
第5章自然語言處理中的向量表示// 75 
5.1傳統的自然語言處理// 75 
5.1.1 BoW // 75 
5.1.2帶權的tf-idf // 76 
5.2基於深度學習的自然語言處理/ / 77 
5.2.1動機及分散式表示法// 77 
5.2.2詞嵌入// 78 
5.2.3 Word2Vec // 81 
5.2.4了解GloVe // 92 
5.2.5 FastText // 92 
5.3應用//93 
5.3 .1使用示例// 93 
5.3.2微調// 93 
5.4小結//94 
第6章高級自然語言處理// 95 
6.1面向文本的深度學習// 95 
6.1.1神經網絡的局限性// 95 
6.2循環神經網絡// 96 
6.2.1 RNN架構// 97 
6.2.2基本的RNN模型// 98 
6.2.3訓練RNN很難// 98 
6.3 LSTM網絡//99 
6.3.1使用TensorFlow實現LSTM網絡// 101 
6.4應用//103 
6.4.1語言建模// 103 
6.4.2序列標註// 104
6.4.3機器翻譯// 106 
6.4.4聊天機器人// 109 
6.5小結//110 
第7章多模態// 111 
7.1什麼是多模態學習// 111 
7.2多模態學習的挑戰// 111 
7.2.1模態表示// 112 
7.2.2模態轉換// 112 
7.2.3模態對齊// 112 
7.2.4模態融合// 113 
7.2.5協同學習// 113 
7.3圖像標註生成// 113 
7.3.1 show&tell算法// 114 
7.3.2其他類型的方法// 116 
7.3.3數據集// 117 
7.3.4評估方法// 119 
7.3.5注意力模型// 121 
7.4視覺問答//125 
7.5基於多源的自動駕駛//127 
7.6小結//130 
第8章深度強化學習// 131 
8.1什麼是強化學習// 131 
8.1.1問題設置// 132 
8.1.2基於值函數學習的算法/ / 132 
8.1.3基於策略搜索的算法//134 
8.1.4基於Actor-Critic的算法// 134
8.2深度強化學習// 135 
8.2.1深度Q網絡（DQN）// 135 
8.2.2雙DQN // 137 
8.2.3競爭DQN // 138 
8.3強化學習實現// 138 
8.3.1簡單的強化學習示例// 138 
8.3.2以Q-learning為例的強化學習// 139 
8.4小結//141 
第9章深度學習的技巧// 142 
9.1處理數據//142 
9.1.1數據清理// 142 
9.1.2數據擴充// 142 
9.1.3數據歸一化// 143 
9.2訓練技巧// 143 
9.2.1權值初始化// 143 
9.2.2優化// 144 
9.2.3損失函數選擇// 146 
9.2.4防止過擬合// 147 
9.2.5微調// 148 
9.3模型壓縮// 149 
9.4小結// 152 
第10章深度學習的發展趨勢// 153 
10.1深度學習的最新模型// 153 
10.1.1生成對抗網絡// 153 
10.1.2 Capsule網絡// 154 
10.2深度學習的新應用// 155
10.2.1基因組學// 155 
10.2.2醫療預測// 157 
10.2.3臨床影像學// 159 
10.2.4唇語// 160 
10.2.5視覺推理// 161 
10.2.6代碼合成// 162 
10.3小結// 164