計算機視覺：YOLO目標檢測原理與實踐

淩峰，博士，就職於985高校，長期從事機器學習、人工智能、計算機視覺及大語言模型方向的研發與教學工作。專註於模型優化、訓練加速與數據驅動算法設計，具備紮實的理論基礎與豐富的實踐經驗，主持及參與多項相關科研項目，致力於推薦推動大模型及多模態技術在教學與產業中的落地應用。

目    錄

第 1 部分  基礎理論

第 1 章  目標檢測概述 2

1.1  目標檢測的基礎概念 2

1.1.1  目標檢測的定義與任務 2

1.1.2  目標檢測的評估指標 4

1.1.3  目標檢測方法的分類 7

1.1.4  目標檢測方法的發展歷程 11

1.2  目標檢測的實際應用 15

1.2.1  人臉識別的進展與挑戰 16

1.2.2  智慧交通中的目標檢測應用 19

1.2.3  工業自動化檢測的趨勢 22

1.3  公開數據集與標準評測 23

1.3.1  PASCAL VOC數據集 24

1.3.2  MS COCO數據集 25

1.3.3  Visdrone數據集 26

1.4  本章小結 28

1.5  思考題 28

第 2 章  常用的深度學習框架 30

2.1  深度學習框架概述 30

2.1.1  Theano與TensorFlow 30

2.1.2  PyTorch 31

2.1.3  MXNet與Keras 33

2.2  搭建目標檢測開發環境 35

2.2.1  使用Anaconda與Conda管理環境 35

2.2.2  配置PyTorch與TensorFlow 38

2.2.3  處理GPU與多GPU訓練環境 40

2.3  數據處理與NumPy 42

2.3.1  創建與操作數組 42

2.3.2  矩陣運算與廣播 44

2.3.3  數據增強與轉換 46

2.4  本章小結 49

2.5  思考題 49

第 3 章  卷積神經網絡 51

3.1  CNN的基礎結構與原理 51

3.1.1  卷積層與池化層 52

3.1.2  激活函數與批量歸一化 55

3.1.3  Dropout與正則化 58

3.2  經典卷積神經網絡架構 61

3.2.1  LeNet與AlexNet 61

3.2.2  VGGNet與GoogLeNet 68

3.2.3  ResNet與DenseNet 72

3.3  高效卷積網絡與自適應特征融合 76

3.3.1  Depthwise卷積與輕量化設計 76

3.3.2  特征金字塔網絡 80

3.3.3  高效卷積網絡的實踐應用 87

3.4  本章小結 90

3.5  思考題 90

第 2 部分  技術實現

第 4 章  目標檢測的前處理與數據增強 94

4.1  數據增強技術概述 94

4.1.1  圖像裁剪與縮放 94

4.1.2  隨機翻轉與旋轉 97

4.1.3  亮度與對比度的隨機變化 100

4.2  數據的標準化與格式化 103

4.2.1  數據集的創建與預處理 103

4.2.2  VOC與COCO格式的轉換 107

4.3  數據增強的新技術 110

4.3.1  圖像混合技術：CutMix與MixUp 110

4.3.2  GAN生成的圖像增強 113

4.3.3  自監督學習在數據增強中的應用 116

4.4  本章小結 120

4.5  思考題 120

第 5 章  YOLO架構初步演化與具體實現 121

5.1  YOLOv1的基本結構與工作原理 121

5.1.1  目標檢測的回歸問題 121

5.1.2  YOLOv1的優勢與局限 126

5.2  YOLOv2與新技術的加入 127

5.2.1  批歸一化與高分辨率特征圖 127

5.2.2  先驗框與多尺度訓練 131

5.3  YOLOv3與性能優化 135

5.3.1  特征融合與多尺度檢測 135

5.3.2  改進的損失函數 140

5.4  YOLOv4的創新與應用 144

5.4.1  結合CSPNet與PANet 145

5.4.2  高效訓練策略 152

5.5  YOLOv5與YOLOv6的現代化設計 156

5.5.1  模塊化設計與性能優化 156

5.5.2  YOLOv5在移動端的應用 157

5.6  初步實戰：基於YOLOv5的目標檢測框架實現 160

5.6.1  環境配置與框架搭建 160

5.6.2  模型訓練結果分析及評價指標解析 163

5.6.3  加入CBAM模塊的目標檢測改進 169

5.6.4  基於Transformer的多頭註意力機制改進 174

5.7  本章小結 178

5.8  思考題 179

第 6 章  YOLOv7至YOLOv11的一些改進 180

6.1  YOLOv7的特性與技術創新詳解 180

6.1.1  新的主幹網絡與特征提取模塊 181

6.1.2  對抗性訓練與自監督學習 188

6.2  YOLOv8與YOLOv10創新技術點詳解 193

6.2.1  多尺度特征融合與自適應池化 194

6.2.2  YOLOv8的輕量化與實時檢測 203

6.3  YOLOv11：高效目標檢測 208

6.3.1  YOLOv11的全新架構與自適應模塊 209

6.3.2  在大規模數據集上的表現 216

6.3.3  YOLOv11的移動端推理優化 220

6.4  本章小結 225

6.5  思考題 225

第 7 章  目標檢測改進方法與最新技術 227

7.1  RetinaNet簡介 227

7.1.1  RetinaNet的網絡架構 227

7.1.2  如何解決類別不平衡問題 234

7.2  改進的多維度註意力機制 239

7.2.1  多維度註意力機制的基本概念 239

7.2.2  多維註意力模塊的實現 240

7.3  弱化的非極大值抑制算法 242

7.3.1  NMS的改進方法 243

7.3.2  弱化NMS的優勢 245

7.4  RetinaNet的損失函數與訓練策略 248

7.4.1  Focal Loss的原理與實現 248

7.4.2  焦點損失在密集目標檢測中的應用 252

7.4.3  自適應學習率策略 255

7.5  基於LSTM的視頻目標檢測 257

7.5.1  LSTM的基本概念 257

7.5.2  LSTM網絡與視頻目標檢測 258

7.5.3  記憶引導網絡 261

7.5.4  交叉檢測原理 263

7.5.5  交叉檢測框架的應用 263

7.5.6  LSTM網絡的訓練與優化 267

7.6  對抗樣本與模型健壯性 269

7.6.1  對抗樣本的生成與防禦 269

7.6.2  模型健壯性的提升方法 270

7.7  本章小結 273

7.8  思考題 273

第 8 章  DETR：Transformer在目標檢測中的應用 275

8.1  DETR架構與Transformer的結合 275

8.1.1  DETR的主幹網絡 275

8.1.2  基於Transformer的YOLO框架改進 277

8.2  DETR的實現與訓練 280

8.2.1  數據預處理與樣本匹配 280

8.2.2  以YOLOv11為例：損失函數與優化 282

8.3  本章小結 285

8.4  思考題 286

第 3 部分  實戰應用

第 9 章  基於YOLOv11架構的密集小目標檢測實戰 288

9.1  小目標檢測的挑戰與YOLOv11的優化策略 288

9.1.1  小目標檢測的技術難點 288

9.1.2  YOLOv11的Anchor機制與特征融合 289

9.1.3  自適應損失函數與小目標優化 292

9.2  YOLOv11的訓練流程與技術實現 295

9.2.1  數據預處理與小目標數據集構建 295

9.2.2  YOLOv11的訓練流程與超參數調優 296

9.2.3  使用PyTorch訓練YOLOv11模型 299

9.2.4  YOLOv11源碼文件結構及各文件的作用 301

9.3  後處理與優化：精確檢測小目標 304

9.3.1  YOLOv11的後處理流程 304

9.3.2  自定義NMS算法與小目標優化 305

9.4  YOLOv11在小目標檢測中的實戰案例 308

9.4.1  基於YOLOv11的交通目標與行人檢測 308

9.4.2  模型評估與性能優化 309

9.4.3  實戰項目中的調優與結果分析 312

9.5  本章小結 315

9.6  思考題 315

第 10 章  領域前沿：開放世界目標檢測技術 316

10.1  開放世界目標檢測OWOD的核心問題 316

10.1.1  閉集目標檢測的局限性 317

10.1.2  OWOD的核心問題 317

10.2  YOLO-UniOW開放世界框架 319

10.2.1  YOLO-UniOW開放世界框架簡介 319

10.2.2  自適應決策學習 321

10.2.3  通配符學習的原理 323

10.2.4  無須增量學習的動態適配機制 326

10.3  YOLO-UniOW的性能評估與應用實踐 329

10.3.1  多數據集實驗分析 329

10.3.2  實際應用場景中的表現 330

10.3.3  與現有框架的對比與未來發展 331

10.4  本章小結 333

10.5  思考題 333