PyTorch深度學習入門與技術實踐

目錄

第1章?深度學習快速入門

1.1?各種深度學習應用

1.2?準備開發環境

1.2.1?Linux基礎

1.2.2?Micro編輯器

1.2.3?在Linux系統中安裝Python

1.2.4?選擇Python版本

1.2.5?在Windows系統中安裝Python

1.3?體驗PyTorch

1.3.1?安裝PyTorch

1.3.2?PyTorch中的計算圖

1.3.3　用三階多項式擬合函數

1.3.4?實現手寫數字識別

1.4?本章小結

第2章?Python技術基礎

2.1?變量

2.2?註釋

2.3?簡單數據類型

2.3.1?數值

2.3.2?字符串

2.3.3?數組

2.4?字面值

2.5?控制流

2.5.1?條件語句

2.5.2?循環語句

2.6?列表

2.7?元組

2.8?集合

2.9?字典

2.10?位數組

2.11?模塊

2.12?函數

2.13?print函數

2.14?正則表達式

2.15?文件操作

2.15.1?讀寫文件

2.15.2?重命名文件

2.15.3?遍歷文件

2.16?with語句

2.17?使用pickle模塊序列化對象

2.18?面向對象編程

2.19?命令行參數

2.20?數據庫

2.21?JSON格式

2.22?日誌記錄

2.23?異常處理

2.24?本章小結

第3章?PyTorch中的深度學習

3.1?神經網絡基礎

3.1.1?實現深度前饋網絡

3.1.2?計算過程

3.2?捲積神經網絡

3.3?PyTorch基礎知識

3.3.1?創建張量

3.3.2?隨機張量

3.3.3?零和一

3.3.4?範圍張量

3.3.5?張量數據類型

3.3.6?從張量獲取信息

3.3.7?操縱張量

3.3.8?深度學習中最常見的錯誤之一（形狀錯誤）

3.3.9?求最小值、最大值、平均值、總和等

3.3.10?最大值、最小值的所處位置

3.3.11?更改張量數據類型

3.3.12?重塑、堆疊、壓縮和解壓

3.3.13?索引（從張量中選擇數據）

3.3.14?PyTorch張量和NumPy

3.3.15?再現性（試圖從隨機中提取隨機性）

3.4?transformer架構

3.4.1?編碼器

3.4.2?解碼器

3.4.3?生成概率分佈

3.5?為PyTorch模型提供服務

3.6?本章小結

第4章?PyTorch開發深度學習應用

4.1?文本分類

4.1.1?準備數據集

4.1.2?定義網絡

4.1.3?訓練網絡

4.2?開發聊天機器人

4.3?用Wav2Vec 2.0進行語音識別

4.4?機器翻譯

4.5?本章小結

第5章?分佈式PyTorch

5.1?PyTorch分佈式概述

5.1.1?數據並行訓練

5.1.2?基於RPC的分佈式訓練

5.2?數據並行

5.3?單機模型並行最佳實踐

5.4?分佈式數據並行入門

5.5?用PyTorch編寫分佈式應用程序

5.6?完全分片數據並行入門

5.7?基於完全分片數據並行的高級模型訓練

5.8?分佈式RPC框架入門

5.8.1?使用RPC和RRef的分佈式強化學習

5.8.2?使用分佈式Autograd和分佈式優化器的分佈式RNN

5.9?使用分佈式RPC框架實現參數服務器

5.10?基於RPC的分佈式流水線並行

5.10.1?步驟1：分區ResNet50模型

5.10.2?步驟2：將ResNet50模型分片拼接到一個模塊中

5.10.3?步驟3：定義訓練循環

5.10.4?步驟4：啟動RPC進程

5.11?使用異步執行實現批量RPC處理

5.11.1?批量更新參數服務器

5.11.2?批量處理CartPole求解器

5.12?分佈式數據並行與分佈式RPC框架的結合

5.13?使用流水線並行性訓練transformer模型

5.14?本章小結