深度學習及加速技術：入門與實踐

白創，男，博士，1983年生於陜西延安。現為長沙理工大學物理與電子科學學院、柔性電子材料基因工程湖南省重點實驗室講師、碩士生導師。主要研究方向為超大規模集成電路開發、機器視覺與模式識別技術研究，具體包括芯片指紋、安全密鑰生成、硬件防偽等安全領域芯片、射頻無線通信芯片的研究與設計，以及深度神經網絡學習算法、人臉識別技術等人工智能領域技術研究。主持國家、省部級項目6項，在國內外專業學術刊物和會議上發表研究論文20餘篇，獲得專利3項，編寫教材1部。

前言
理論篇
第1章人工智能簡介
1.1 人工智能概念
1.1.1 人工智能定義
1.1.2 人工智能發展歷程
1.2 人工智能與深度學習
1.2.1 人工智能與深度學習之間的關係
1.2.2 圖靈機與丘奇-圖靈論題
1.3 人工智能發展階段
1.3.1 人工智能1.0——知識＋算法＋算力
1.3.2 人工智能2.0——數據＋算法＋算力
1.3.3 人工智能3.0——知識＋數據＋算法＋算力
1.3.4 人工智能4.0——存算一體化
1.4 人工智能應用
1.4.1 工業零部件尺寸測量與缺陷檢測
1.4.2 目標檢測與跟蹤
1.4.3 人臉比對與識別
1.4.4 三維影像重構
第2章神經網絡數學基礎
2.1 線性向量空間
2.2 內積
2.3 線性變換與矩陣表示
2.4 梯度
第3章神經網絡與學習規則
3.1 神經元模型與網絡結構
3.1.1 神經元模型
3.1.2 神經網絡結構
3.2 感知機學習
3.2.1 感知機定義及結構
3.2.2 感知機學習規則
3.3 Hebb學習
3.3.1 無監督Hebb學習
3.3.2 有監督Hebb學習
3.4 性能學習
3.4.1 性能指數
3.4.2 梯度下降法
3.4.3 隨機梯度下降法
第4章反向傳播
4.1 LMS算法
4.2 反向傳播算法
4.2.1 性能指數
4.2.2 鍊式法則
4.2.3 反向傳播計算敏感性
4.2.4 反向傳播算法總結
4.3 反向傳播算法變形
4.3.1 批數據訓練法
4.3.2 動量訓練法
4.3.3 標準數值優化技術
4.4 反向傳播算法實例分析
第5章捲積神經網絡
5.1 捲積神經網絡基礎
5.1.1 全連接神經網絡與捲積神經網絡
5.1.2 捲積神經網絡組成結構
5.1.3 捲積神經網絡進化史
5.2 LeNet
5.2.1 LeNet結構
5.2.2 LeNet特點
5.3 AlexNet
5.3.1 AlexNet結構
5.3.2 AlexNet特點
5.4 VGGNet
5.4.1 VGG16結構
5.4.2 VGG16特點
5.5 GoogLeNet
5.5.1 Inception結構
5.5.2 GoogLeNet結構——基於Inception V1模塊
5.5.3 GoogLeNet特點
5.6 ResNet
5.6.1 ResNet殘差塊結構
5.6.2 ResNet結構
5.6.3 ResNet特點
第6章目標檢測與識別
6.1 R-CNN
6.1.1 基於SS方法的候選區域選擇
6.1.2 候選區域預處理
6.1.3 CNN特徵提取
6.1.4 SVM目標分類
6.1.5 Bounding box回歸
6.2 Fast R-CNN
6.2.1 基於SS方法的候選區域生成
6.2.2 CNN分類與回歸
6.2.3 Fast R-CNN目標檢測算法特點
6.3 Faster R-CNN
6.3.1 CNN特徵提取
6.3.2 RPN候選框生成
6.3.3 CNN分類與回歸
6.3.4 Faster R-CNN目標檢測算法特點
6.4 YOLO
6.4.1 YOLOv
6.4.2 YOLOv
6.4.3 YOLOv
第7章深度學習優化技術
7.1 梯度消失
7.2 過擬合
7.2.1 增加訓練數據集
7.2.2 regularization
7.2.3 dropout技術
7.3 初始值與學習速度
7.3.1 初始值選擇規則
7.3.2 可變的學習速度
7.4 損失函數
7.4.1 均方誤差損失函數
7.4.2 cross-entropy損失函數
7.4.3 log-likelyhood損失函數
第8章深度學習加速技術
8.1 軟件模型優化技術
8.1.1 網絡模型優化
8.1.2 計算精度降低
8.1.3 網絡剪枝技術
8.2 GPU加速技術
8.3 TPU加速技術
8.4 FPGA加速技術
8.4.1 全連接神經網絡加速
8.4.2 捲積神經網絡加速
應用篇
第9章基於OpenCL的FPGA異構並行計算技術
第10章基於OpenCL的FPGA異構並行計算應用案例
第11章基於OpenVINO的FPGA深度學習加速技術
第12章基於OpenVINO的FPGA深度學習加速應用案例