深度強化學習

吳敏傑，博士，92728部隊助理研究員。2012年獲南京航空航天大學學士學位，2014年和2018年分別獲國防科技大學碩士、博士學位。以 作者通信作者共發表論文十余篇，其中SCI檢索4篇，EI檢索6篇。

第1章 強化學習簡介：AI智能體背後的智能
1.1 什麼是人工智能，強化學習與它有什麼關係
1.2 理解強化學習的基本設計
1.3 強化學習中的獎勵和確定一個合適的獎勵函數所涉及的問題
1.4 強化學習的狀態
1.5 強化學習中的智能體
1.6 小結
第2章 強化學習的數學與演算法理解：馬可夫決策過程與解決方法
2.1 馬可夫決策過程
2.2 貝爾曼方程
2.3 動態規劃與貝爾曼方程
2.4 價值疊代與策略疊代方法
2.5 小結
第3章 編碼環境與馬可夫決策過程的解法：編碼環境、價值疊代與策略疊代演算法
3.1 以網格世界問題為例
3.2 建構環境
3.3 平臺要求和程式碼的工程架構
3.4 創建網格世界環境的程式碼
3.5 基於價值疊代法求解網格世界的程式碼
3.6 基於策略疊代法求解網格世界的程式碼
3.7 小結
第4章 時序差分學習、SARSA和Q學習：幾種常用的基於值逼近的強化學習方法
4.1 經典DP的挑戰
4.2 基於模型和無模型的方法
4.3 時序差分（TD）學習
4.4 SARSA
4.5 Q學習
4.6 決定「探索」與「利用」之間機率的演算法（賭博機演算法）
4.7 小結
第5章 Q學習程式設計：Q學習智能體與行為策略編程
5.1 工程結構與依賴項
5.2 代碼
5.3 訓練統計圖
第6章 深度學習簡介
6.1 人工神經元－深度學習的基石
6.2 前饋深度神經網絡（DNN）
6.3 深度學習中的架構註意事項
6.4 捲積神經網絡－用於視覺深度學習
6.5 小結
第7章 可運用的資源：訓練環境與智能體實作庫
7.1 你並不孤單
7.2 標準化的訓練環境與平臺
7.3 Agent開發與實作庫
第8章 深度Q網絡、雙DQN和競爭DQN
8.1 通用人工智能
8.2 Google「Deep Mind」和「AlphaGo」簡介
8.3 DQN演算法
8.4 雙DQN演算法
8.5 競爭DQN演算法
8.6 小結
第9章 雙DQN的代碼：用￡衰減行為策略編碼雙DQN
9.1 專案結構與依賴關係
9.2 雙DQN智能體的程式碼（檔案：DoubleDQN.py）
9.3 訓練統計圖
第10章 基於策略的強化學習方法：隨機策略梯度與REINFORCE演算法
10.1 基於策略的方法和策略近似介紹
10.2 基於價值的方法和基於策略的方法的廣義區別
10.3 計算策略梯度的問題
10.4 REINFORCE演算法
10.5 REINFORCE演算法中減少變異數的方法
10.6 為REINFORCE演算法選擇基線
10.7 小結
第11章 演員-評論家模型與A3C：異步優勢演員-評論家模型
11.1 演員-評論家方法簡介
11.2 演員-評論家方法的概念設計
11.3 演員-評論家實現的架構
11.4 異步優勢行動者-評論家實現（A3C）
11.5 （同步）優勢演員-評論家實現（A2C）
11.6 小結
第12章 A3C的代碼：編寫異步優勢演員-評論家代碼
12.1 專案結構與依賴關係
12.2 程式碼（A3C_Master—File：a3c_master.py）
12.3 訓練統計圖
第13章 確定性策略梯度與DDPG：基於確定性策略梯度的方法
13.1 確定性策略梯度（DPG）
13.2 深度確定性策略梯度（DDPG）
13.3 小結
第14章 DDPG的程式碼：使用進階封裝的函式庫編寫DDPG的程式碼
14.1 用於強化學習的高階封裝的庫
14.2 Mountain Car Continuous（Gym）環境
14.3 專案結構與依賴關係
14.4 程式碼（檔案：ddpg_continout_action.py）
14.5 智能體使用「MountainCarContinous-v0」環境
參考文獻