深度學習與大模型工程化

金正海，長期深耕AI領域，在深度學習模型開發、大模型工程化應用及工業級AI解決方案等方面具有豐富經驗，致力於推動深度學習技術的工業化應用。主導研發“體感交互的物聯網智能家居系統”並獲業界廣泛認可。

肖建於，工學博士，教授，碩士生導師。主要研究方向為信息融合、模式識別等。主持國家自然科學基金青年科學基金項目1項，安徽省高等學校科研計劃自然科學類研究項目1項。主編教材9部(其中省級規劃教材2部)，獲安徽省教學成果獎一等獎2項、二等獎4項，全國煤炭行業教學成果獎一等獎2項。

第 一部分　基礎入門篇

第 1章 深度學習基礎 2

1.1　AI技術演進 2

1.1.1　什麼是AI：核心定義與早期技術範式 2

1.1.2　機器學習：實現AI的關鍵途徑 3

1.1.3 深度學習：機器學習的強大引擎 3

1.1.4 AI、機器學習、深度學習和神經網絡的關系 4

1.2 基礎工具庫與線性回歸 5

1.2.1 NumPy和Matplotlib庫 5

1.2.2 線性回歸模型原理 12

1.2.3 線性回歸模型訓練要素 23

1.2.4 模型預測介紹 26

1.2.5 實例1：從零實現線性回歸模型訓練 27

1.3 神經網絡基礎 29

1.3.1 從生物神經元到人工神經網絡 29

1.3.2 線性回歸模型的神經網絡結構 31

1.3.3 多層神經網絡 31

1.3.4　神經網絡底層原理 32

1.3.5 隱藏層定義與理解 39

1.3.6 激活函數定義與介紹 41

1.3.7 實例2：構建波士頓房價預測的神經網絡模型 44

1.4 小結 55

 

第 2章 PyTorch框架介紹與應用 56

2.1 PyTorch框架簡介 56

2.1.1　PyTorch安裝 56

2.1.2　PyTorch的數據結構及其與NumPy的異同 57

2.1.3　PyTorch層和塊 60

2.1.4　PyTorch自定義塊 61

2.2 實例1：Logistic回歸實戰（解決異或問題） 62

2.2.1 異或問題分析 62

2.2.2 異或問題代碼實現 63

2.2.3 異或模型訓練 66

2.3 實例2：多項式回歸與模型選擇 69

2.3.1 多項式回歸的一般形式 69

2.3.2 多項式回歸的實現 69

2.3.3 模型選擇 79

2.4 小結 79

第二部分　計算機視覺模型篇

第3章 計算機視覺核心模型 81

3.1 CNN介紹 81

3.1.1 全連接網絡提取圖像特征存在的問題 81

3.1.2 CNN的優勢 81

3.2 CNN層級結構 82

3.2.1 輸入層 82

3.2.2 卷積層 85

3.2.3 激活層 89

3.2.4 池化層 89

3.2.5 全連接層 90

3.3 CNN常用API介紹 91

3.3.1 PyTorch卷積算子API 91

3.3.2 PyTorch最大池化函數 94

3.3.3 實例1：圖像中物體的邊緣檢測和圖像均值模糊 94

3.4 批歸一化詳解 98

3.4.1 批歸一化的作用 98

3.4.2 批歸一化與激活函數 99

3.4.3 批歸一化數學表達式 100

3.4.4 實現批歸一化的計算公式 100

3.4.5 實例2：模型的訓練模式和評估模式應用 109

3.5 小結 113

 

第4章 圖像分類實戰 114

4.1 實例1：貓狗分類研究 114

4.1.1 數據集準備與預處理 114

4.1.2 VGG16網絡模型構建 116

4.1.3 VGG16網絡模型訓練 118

4.1.4 模型優化與預測 119

4.1.5 基於Grad-CAM的模型可視化 121

4.2 實例2：驗證碼識別 135

4.2.1 網絡深度的重要性 135

4.2.2 殘差網絡的核心思想與解決方案 136

4.2.3 ResNet系列網絡 137

4.2.4 驗證碼識別數據集預處理 138

4.2.5 基於ResNet-18驗證碼識別的模型構建 142

4.2.6 ResNet-18模型訓練與推理 145

4.3 實例3：人臉相似度判斷 147

4.3.1 孿生神經網絡簡介 147

4.3.2 孿生神經網絡的構建與微調 148

4.3.3 標簽的生成 151

4.3.4 訓練與預測過程 152

4.4 小結 155

 

第5章 目標檢測實戰 156

5.1 YOLO系列模型解讀 156

5.1.1 YOLOv0簡介 156

5.1.2 YOLOv1詳解 159

5.1.3 YOLOv2改進解析 172

5.2 實例：火焰和煙霧目標檢測 176

5.2.1 項目背景 176

5.2.2 Ultralytics YOLOv12的下載與安裝 177

5.2.3 數據集處理 177

5.2.4 訓練、測試、推理 181

5.2.5 模型導出 184

5.2.6 小樣本低資源場景下的優化策略 184

5.3 工業級模型評估指標解讀 197

5.3.1 模型評估核心基礎 197

5.3.2 評估指標 198

5.3.3 火焰和煙霧目標檢測模型訓練結果指標分析 200

5.3.4 工業級指標選擇與優化策略 203

5.4 小結 205

第三部分　自然語言處理模型篇

第6章 循環神經網絡 207

6.1 RNN介紹 207

6.1.1 為什麼需要RNN 207

6.1.2 RNN結構解析 208

6.1.3 RNN單元 209

6.1.4 RNN類 213

6.1.5 實例1：使用RNN單元進行字符學習 216

6.1.6　實例2：使用RNN進行字符學習 222

6.1.7　實例3：用詞嵌入改進實例2 225

6.2 LSTM介紹 231

6.2.1 LSTM的設計思考 231

6.2.2 LSTM網絡結構 231

6.2.3 手動實現LSTM網絡結構 233

6.2.4 直接調用PyTorch的LSTM類接口 236

6.3 小結 239

 

第7章 序列模型工程應用實戰 240

7.1 實例1：微博話題識別 240

7.1.1 微博新聞評論數據集介紹 240

7.1.2 數據分析與可視化 240

7.1.3 項目實現思路 243

7.1.4 加載文本數據 243

7.1.5 LSTM模型搭建和訓練 245

7.1.6 模型評價指標 248

7.1.7 模型測試 249

7.2 實例2：氣溫預測 250

7.2.1 CNN-LSTM的算法原理 250

7.2.2 CNN-LSTM的網絡結構設計 251

7.2.3 任務描述 252

7.2.4 獲取數據集 252

7.2.5 處理時間數據 252

7.2.6 特征數據可視化 253

7.2.7 數據預處理—時間序列樣本 255

7.2.8 構建CNN-LSTM混合時空網絡模型 259

7.2.9 模型訓練 261

7.2.10 預測階段 262

7.3 小結 263

 

第8章 註意力機制與機器翻譯實戰 264

8.1 Seq2Seq模型快速導讀 264

8.1.1 Seq2Seq結構介紹 264

8.1.2 註意力機制的設計原理 266

8.2 實例：從中文到英文的翻譯 272

8.2.1 環境配置 272

8.2.2 數據加載 272

8.2.3 構建具有註意力機制的Seq2Seq模型 275

8.2.4 圖解註意力機制 279

8.2.5 使用模型進行機器翻譯推理 282

8.2.6 擴展：貪心搜索與集束搜索 283

8.3 小結 285

第四部分　大模型架構與應用篇

第9章 Transformer原理與實戰 287

9.1 Transformer導讀 287

9.2　Transformer結構詳解 288

9.2.1 位置編碼 288

9.2.2 自註意力機制 296

9.2.3 編碼器的多頭註意力機制 310

9.2.4 編碼器的層歸一化 313

9.2.5 編碼器的逐位前饋網絡 317

9.2.6 編碼器構建 319

9.2.7 解碼器構建詳解 321

9.2.8 Transformer模型完整構建 330

9.3 實例：小型中文聊天系統 331

9.3.1 語料準備 332

9.3.2 構建Transformer模型 333

9.3.3 預訓練Transformer模型 334

9.3.4 微調Transformer模型 336

9.4 小結 337

 

第 10章 開源大模型定制開發實戰 339

10.1 開源大模型入門 339

10.1.1 什麼是開源大模型 339

10.1.2 大模型任務類型 340

10.2 開發環境搭建 340

10.2.1 開源大模型開發工具鏈 340

10.2.2 算力平臺對比分析 342

10.2.3 本地部署與雲平臺對比 343

10.2.4 基於Transformers庫的開源模型本地部署 343

10.3 實例：端到端醫療問答大模型定制 345

10.3.1 數據準備 345

10.3.2 預訓練大模型選型 348

10.3.3 訓練參數配置 348

10.3.4 基於LoRA的高效微調技術 349

10.3.5 模型推理應用 352

10.3.6 高效微調技術對比與選型 354

10.3.7 開源模型適配性分析與選型建議 356

10.4 小結 358