視頻圖像技術原理與案例教程

李熙瑩，中山大學智能工程學院副教授，碩士生導師，現為視頻圖像智能分析與應用技術部重點實驗室目標識別與行為分析研究室主任、視頻圖像智能分析與應用技術部重點實驗室學術委員會委員。
主要研究視頻圖像車輛檢測與識別、視頻交通信息採集、視頻目標跟踪與行為分析、視頻大數據處理與分析等技術及其在交通管理、公共安全領域的應用。
目前已在車輛識別監控、交通流參數獲取、視頻智能識別與分析等方面取得實質性成果，與企業合作開發多個軟件產品和應用系統，應用覆蓋上萬路視頻，服務於多個警種，出口到國外，用戶評價很高。
主持有綜合交通、計算機視覺、公共安全等領域的國家科技專項、國家自然科學基金重點和麵上、國際合作、省部級項目十餘項，經費近千萬。
目前已在外期刊和會議發表論文60餘篇；申請發明專利30多項，其中11項專利與2項美國專利獲得授權。 
2017年獲部科學技術獎一等獎， 2014年獲得中國智能交通協會科學技術獎二等獎（排名）。

第一部分 視頻圖像技術原理與設備操作
第1章 視頻採集 2
1．1 學習目的 2
1．2 實踐內容 2
1．3 準備材料 2
1．4 預備知識 3
1．4．1 視頻圖像技術概述 3
1．4．2 光源 7
1．4．3 鏡頭 10
1．4．4 圖像補償與降噪 11
1．4．5 攝像機類型 13
1．4．6 數字示波器 14
1．5 實施步驟 15
1．5．1 觀察攝像機的外觀、形狀、接口，了解其功能 15
1．5．2 連接設備，採集視頻 15
1．5．3 觀察鏡頭參數變化的成像效果 16
1．5．4 觀察光照條件變化的成像效果 16
1．5．5 觀察不同類型攝像機的成像效果 16
1．5．6 調整攝像機參數，觀察視頻效果 16
1．5．7 利用示波器觀察視頻信號 17

第2章 視頻傳輸 18
2．1 學習目的 18
2．2 實踐內容 18
2．3 準備材料 18
2．4 預備知識 19
2．4．1 傳輸介質 19
2．4．2 視頻雙絞線傳輸器 21
2．4．3 視頻光端機 22
2．4．4 交換機和網絡視頻適配器 22
2．4．5 無線網橋 23
2．4．6 PoE供電 23
2．4．7 網絡損傷儀 24
2．5 實施步驟 24
2．5．1 同軸電纜和雙絞器傳輸 24
2．5．2 交換機傳輸 24
2．5．3 無線網橋傳輸 27
2．5．4 網絡損傷環境下不同編碼方式的傳輸 28

第3章 視頻存儲 30
3．1 學習目的 30
3．2 實踐內容 30
3．3 準備材料 30
3．4 預備知識 31
3．4．1 數字存儲技術 31
3．4．2 RAID技術 34
3．4．3 雲存儲 39
3．5 實施步驟 40
3．5．1 高清硬盤錄像機多路視頻輸入 40
3．5．2 高清硬盤錄像機抓拍畫面 41
3．5．3 高清硬盤錄像機錄像存儲 41
3．5．4 高清硬盤錄像機錄像回放 42
3．5．5 高清硬盤錄像機錄像文件導出 43
3．5．6 遠程登錄網絡錄像機 44
3．5．7 設置RAID功能 45
3．5．8 雲存儲設備的基本操作 46

第4章 視頻顯示 47
4．1 學習目的 47
4．2 實踐內容 47
4．3 準備材料 47
4．4 預備知識 48
4．4．1 顯示器的類型 48
4．4．2 液晶顯示器 49
4．4．3 顯示器的技術參數 51
4．4．4 顯示器的常用接口 52
4．4．5 分辨率 54
4．5 實施步驟 56
4．5．1 觀察多種顯示器的外觀 56
4．5．2 熟悉信號輸入接口 56
4．5．3 更改液晶顯示器的參數 57

第5章 中心與雲台控制 58
5．1 學習目的 58
5．2 實踐內容 58
5．3 準備材料 58
5．4 預備知識 59
5．4．1 中心控制設備 59
5．4．2 雲台 60
5．4．3 雲台控制協議 62
5．5 實施步驟 63
5．5．1 將多種視頻設備接入監控中心，並控制視頻信號上電視牆 63
5．5．2 觀察攝像機雲台及接口 65
5．5．3 利用視頻監控設備實現雲台控制 65
5．5．4 編程實現雲台控制（選做） 68

第6章 視頻監控系統 69
6．1 學習目的 69
6．2 實踐內容 69
6．3 準備材料 69
6．4 預備知識 69
6．4．1 視頻監控系統介紹 69
6．4．2 視頻監控系統方案選型指導 72
6．5 實施步驟 76
6．5．1 不同視頻監控系統的對比 76
6．5．2 室內視頻監控系統方案設計 76
6．5．3 室內視頻監控系統方案實現 76
6．5．4 室外視頻監控系統方案設計 76
6．5．5 室外視頻監控系統方案實現 77

第7章 機器視覺 78
7．1 學習目的 78
7．2 實踐內容 78
7．3 準備材料 78
7．4 預備知識 79
7．4．1 機器視覺系統簡介 79
7．4．2 機器視覺系統的組成 80
7．4．3 機器視覺系統設備選型 85
7．5 實施步驟 86
7．5．1 觀察、熟悉工業相機 86
7．5．2 工業相機視頻數據的存儲和處理 86
7．5．3 選用合適的工業相機和鏡頭 90
7．5．4 對比成像效果 91
7．5．5 手機屏幕壞點檢測 92

第二部分 視頻圖像智能化分析算法與工程實踐
第8章 視頻圖像數據預處理：數據增強與標註 94
8．1 學習目的 94
8．2 實踐內容 94
8．3 準備材料 94
8．4 預備知識 94
8．4．1 常用的數據增強方法 95
8．4．2 圖像標註工具VGG Image Annotator的使用 100
8．5 實施步驟 104
8．5．1 編程實現批量圖像的預處理 104
8．5．2 對批量圖像進行在線標註 104

第9章 圖像增強 105
9．1 學習目的 105
9．2 實踐內容 105
9．3 準備材料 105
9．4 預備知識 105
9．4．1 灰度變換增強 106
9．4．2 直方圖增強 107
9．4．3 圖像平滑 108
9．4．4 圖像銳化 108
9．4．5 暗通道先驗去霧算法 109
9．4．6 圖像質量評價指標 110
9．5 實施步驟 111
9．5．1 編程實現不同的圖像增強方法 111
9．5．2 編程實現暗通道先驗去霧算法 111

第10章 圖像分割 112
10．1 學習目的 112
10．2 實踐內容 112
10．3 準備材料 112
10．4 預備知識 112
10．4．1 圖像分割算法的研究現狀 112
10．4．2 基於閾值的圖像分割算法 113
10．4．3 基於圖論的圖像分割算法 116
10．4．4 選擇性搜索算法 117
10．5 實施步驟 119
10．5．1 採集並標註數據 119
10．5．2 編程實現基於閾值的圖像分割算法 119
10．5．3 編程實現選擇性搜索算法並進行圖像分割測試 120

第11章 圖像分類 121
11．1 學習目的 121
11．2 實踐內容 121
11．3 準備材料 121
11．4 預備知識 121
11．4．1 CIFAR-10簡介 122
11．4．2 卷積神經網絡簡介 122
11．4．3 經典的網絡模型 124
11．4．4 利用PyTorch構建卷積神經網絡對CIFAR-10進行分類 132
11．5 實施步驟 136

第12章 運動目標檢測 137
12．1 學習目的 137
12．2 實踐內容 137
12．3 實驗準備 137
12．4 預備知識 137
12．4．1 常用的運動目標檢測方法――背景差法 138
12．4．2 常用的運動目標檢測方法――幀差法 140
12．4．3 運動目標檢測的優化策略――形態學處理 141
12．4．4 運動目標檢測的評價指標1――IoU 145
12．4．5 運動目標檢測的評價指標2――檢出率、漏檢率和多檢率 147
12．4．6 運動目標檢測算法流程示例 149
12．5 實施步驟 150
12．5．1 編程實現背景差法 150
12．5．2 編程實現幀差法 150
12．5．3 編程實現目標檢測IoU的計算 150
12．5．4 編程實現目標檢測評價指標的計算 150

第13章 目標檢測與識別 151
13．1 學習目的 151
13．2 實踐內容 151
13．3 準備材料 151
13．4 預備知識 151
13．4．1 傳統目標檢測與識別算法 151
13．4．2 滑動窗口（Sliding Window）法 152
13．4．3 基於深度神經網絡的目標檢測與識別算法 154
13．5 實施步驟 159
13．5．1 訓練集準備 159
13．5．2 將KITTI格式轉化為VOC格式 160
13．5．3 利用PyTorch搭建一個基於YOLO v3的目標檢測與識別網絡 160
13．5．4 利用已有網絡模型及參數實現在線交通目標的檢測與識別 162

第14章 運動目標跟踪 165
14．1 學習目的 165
14．2 實踐內容 165
14．3 準備材料 165
14．4 預備知識 165
14．4．1 運動目標跟踪算法 165
14．4．2 運動目標跟踪數據集 171
14．4．3 運動目標跟踪算法的評價準則與方法 171
14．5 實施步驟（任意選擇一個算法實現） 173
14．5．1 實現卡爾曼濾波器 173
14．5．2 實現DeepSORT算法 173

第15章 視頻圖像雙目視覺測距 174
15．1 學習目的 174
15．2 實踐內容 174
15．3 準備材料 174
15．4 預備知識 174
15．4．1 雙目立體視覺的成像原理 175
15．4．2 雙目立體視覺的標定和矯正 175
15．4．3 立體匹配算法 179
15．4．4 深度圖計算 181
15．4．5 雙目視覺測距流程 181
15．4．6 Kinect 182
15．5 實施步驟 183
15．5．1 雙目圖像獲取 183
15．5．2 標定 183
15．5．3 編程實現雙目視覺測距算法 183

第16章 圖像無縫拼接 184
16．1 學習目的 184
16．2 實踐內容 184
16．3 準備材料 184
16．4 預備知識 184
16．4．1 圖像拼接的基本原理 184
16．4．2 基於單應性變換的圖像拼接算法 185
16．4．3 APAP算法 192
16．5 實施步驟（任意選擇一個算法實現） 194
16．5．1 採集圖像 194
16．5．2 編程實現基於單應性變換的圖像拼接算法 194
16．5．3 編程實現APAP算法 194

第17章 圖像三維重建 195
17．1 學習目的 195
17．2 實踐內容 195
17．3 準備材料 195
17．4 預備知識 195
17．4．1 圖像三維重建技術 195
17．4．2 基於運動的三維重建算法中關鍵幀的篩選 196
17．4．3 圖像三維重建的基本流程 197
17．4．4 圖像三維重建軟件 203
17．5 實施步驟 205
17．5．1 使用無人機採集視頻並提取關鍵幀 205
17．5．2 編程實現圖像三維重建 206
17．5．3 使用Pix4D Mapper軟件實現圖像三維重建 206

第三部分 視頻圖像技術基礎開發環境的搭建
第18章 MATLAB編程基礎 210
18．1 學習目的 210
18．2 實踐內容 210
18．3 準備材料 210
18．4 預備知識 210
18．4．1 MATLAB簡介 210
18．4．2 MATLAB安裝 211
18．4．3 MATLAB的基本使用 215
18．4．4 MATLAB圖像處理基本操作 218
18．5 實施步驟 219
18．5．1 使用MATLAB 219
18．5．2 MATLAB圖像處理 220
18．5．3 總結 221

第19章 OpenCV編程基礎 222
19．1 學習目的 222
19．2 實踐內容 222
19．3 準備材料 222
19．4 預備知識 222
19．4．1 OpenCV簡介 222
19．4．2 OpenCV安裝 222
19．5 實施步驟 225
19．5．1 圖像直方圖處理 225
19．5．2 空間域濾波與頻域變換 226

第20章 Python編程基礎 230
20．1 學習目的 230
20．2 實踐內容 230
20．3 準備材料 230
20．4 預備知識 230
20．4．1 Python 3．7．3安裝 230
20．4．2 Python常用函數 232
20．5 實施步驟 232
20．5．1 用Python創建一個csv文件 232
20．5．2 用Python寫一個腳本 233
20．5．3 多邊形面積求解 233
20．5．4 ?的計算 233
20．5．5 下載圖像、分類保存並拼接 234

第21章 面向深度學習的智能化圖像處理環境搭建 235
21．1 學習目的 235
21．2 項目內容 235
21．3準備材料 235
21．4 預備知識 235
21．4．1 Windows 10環境下PyTorch的安裝 235
21．4．2 Ubuntu 18．04環境下PyTorch的安裝 239
21．5 實施步驟 240
21．5．1 編程測試是否有GPU 240
21．5．2 編程實現梯度計算 241
21．5．3 搭建基本的分類神經網絡 241

致 謝 244
參考文獻 245

附錄A 實驗報告 250
附錄B 實驗記錄表 251