新一代通用視頻編碼 H.266/VVC：原理、標準與實現

萬帥
西北工業大學電子信息學院教授/博士生導師，澳大利亞皇家墨爾本理工大學兼職教授。2001年和2004 年先後於西安電子科技大學通信工程學院獲工學學士和工學碩士學位，2007年獲倫敦大學（Queen Mary學院）博士學位。2008年獲英國工程學會IET頒發國際會議（VIE2008）傑出貢獻獎。主持國家自然科學基金2項，省部級基金項目2項，與OPPO、華為海思等知名企業合作項目8項，參與多項國家自然科學基金、863等重要科研項目。近年來與OPPO合作，持續參與視頻編碼、點雲壓縮等國際國內標準，已有多項技術被國際國內標準接受。

第1章緒論 1
1.1 視頻壓縮與編碼概述 1
1.1.1 視頻 1
1.1.2 視頻壓縮與編碼 2
1.2 視頻編碼標準 4
1.2.1 什麼是視頻編碼標準 4
1.2.2 視頻編碼標準的發展 5
1.3 H.266/VVC簡介 13
1.3.1 標準化歷程 13
1.3.2 編碼框架及編碼工具 14
參考文獻 16

第2章數字視頻格式 19
2.1 數字視頻 19
2.1.1 色彩 20
2.1.2 亮度動態範圍 23
2.1.3 量化深度 25
2.1.4 空間分辨率 25
2.1.5 時間分辨率 26
2.1.6 全景視頻 27
2.2 數字視頻格式 28
2.2.1 色度亞採樣 28
2.2.2 數字視頻格式的規範標準 29
2.3 H.266/VVC編碼視頻格式 35
2.3.1 編碼圖像格式 35
2.3.2 解碼圖像格式 37
參考文獻 43

第3章編碼結構 44
3.1 編碼結構概述 44
3.2 多層視頻及參數集 46
3.2.1 多層視頻編碼結構 46
3.2.2 視頻參數集 48
3.3 視頻序列及參數集 51
3.3.1 編碼視頻序列 51
3.3.2 圖像類型 52
3.3.3 序列參數集 53
3.4 圖像及參數集 61
3.4.1 圖像參數集 62
3.4.2 圖像頭 65
3.5 SLICE 69
3.6 TILE 71
3.6.1 Tile劃分 72
3.6.2 Slice與Tile 72
3.7 子圖像 73
3.8 樹形編碼單元 74
3.8.1 CU劃分 75
3.8.2 圖像邊界上的CU劃分 77
3.8.3 CU的相關語法元素 77
3.9 檔次、層和級別 79
3.9.1 檔次 80
3.9.2 層和級別 80
參考文獻 81

第4章幀內預測編碼 82
4.1 視頻預測編碼技術 82
4.1.1 預測編碼技術 82
4.1.2 幀內預測編碼技術 84
4.1.3 H.266/VVC幀內預測編碼概述 86
4.2 參考像素值獲取 89
4.2.1 參考像素範圍 89
4.2.2 參考像素濾波 91
4.3 預測值計算 92
4.3.1 傳統預測模式 92
4.3.2 寬角度預測模式 96
4.3.3 基於矩陣的預測模式 97
4.4 預測值修正 100
4.5 幀內子區域劃分 102
4.6 分量間線性模型預測 103
4.6.1 亮度分量下採樣 103
4.6.2 線性模型參數 104
4.6.3 色度預測值 105
4.6.4 相關語法元素介紹 106
4.7 幀內預測模式編碼 106
4.7.1 亮度預測模式編碼 106
4.7.2 色度預測模式編碼 109
參考文獻 110

第5章幀間預測編碼 112
5.1 幀間預測編碼概述 112
5.1.1 幀間預測編碼原理 112
5.1.2 幀間預測編碼關鍵技術 115
5.1.3 H.266/VVC幀間預測編碼概述 121
5.2 亞像素插值 123
5.2.1 插值濾波器選擇 123
5.2.2 亞像素插值方法 125
5.3 MERGE模式 126
5.3.1 常規Merge模式 126
5.3.2 Skip模式 130
5.3.3 帶有運動矢量差的Merge模式 131
5.3.4 聯合幀內幀間預測模式 133
5.4 幾何劃分預測模式 134
5.4.1 基本原理 134
5.4.2 標準實現 136
5.4.3 相關語法元素 141
5.5 高級運動矢量預測技術 141
5.5.1 常規AMVP模式 141
5.5.2 對稱運動矢量差分編碼技術 143
5.5.3 自適應運動矢量精度 144
5.6 基於子塊的幀間預測模式 146
5.6.1 基於子塊的時域MV預測技術 146
5.6.2 基於子塊的仿射運動補償 148
5.6.3 仿射Merge模式 149
5.6.4 仿射AMVP模式 153
5.7 解碼端運動矢量細化 155
5.8 基於光流場的預測值修正 158
5.8.1 基於光流的預測值修正 158
5.8.2 雙向光流預測值修正 159
5.8.3 基於光流的仿射預測修正 163
5.9 幀間加權預測 165
5.9.1 Slice級加權預測 166
5.9.2 CU級雙向加權預測（BCW） 168
5.10 幀間預測模式組織結構 169
參考文獻 171

第6章變換編碼 173
6.1 變換概述 173
6.1.1 離散餘弦變換 174
6.1.2 整數離散餘弦變換 176
6.1.3 離散正弦變換 179
6.1.4 整數離散正弦變換 180
6.1.5 H.266/VVC中的變換 182
6.2 主變換 182
6.2.1 主變換的基本原理 183
6.2.2 主變換的標準實現 185
6.3 二次變換 190
6.3.1 二次變換的基本原理 190
6.3.2 二次變換的標準實現 193
6.4 哈達瑪變換 195
6.4.1 哈達瑪變換的原理及特點 195
6.4.2 哈達瑪變換的應用 196
參考文獻 197

第7章量化 199
7.1 標量量化 199
7.1.1 基本原理 199
7.1.2 均勻標量量化 200
7.1.3 Lloyd-Max量化器 202
7.1.4 熵編碼量化器 203
7.2 矢量量化 204
7.2.1 基本原理 204
7.2.2 網格編碼量化 205
7.3 H.266/VVC量化 206
7.3.1 H.266/VVC標量量化 207
7.3.2 率失真優化量化 209
7.3.3 依賴量化 210
7.3.4 量化參數 213
7.3.5 量化矩陣 215
參考文獻 217

第8章熵編碼 219
8.1 熵編碼基本原理 219
8.1.1 熵 219
8.1.2 變長編碼 221
8.1.3 指數哥倫布編碼 222
8.1.4 算術編碼 224
8.2 零階指數哥倫布編碼 226
8.2.1 零階指數哥倫布編碼簡介 226
8.2.2 H.266/VVC中的零階指數哥倫布編碼 227
8.3 CABAC 232
8.3.1 CABAC的原理 232
8.3.2 H.266/VVC中的CABAC 236
8.4 變換係數熵編碼 239
8.4.1 變換係數掃描 239
8.4.2 最後一個非零係數位置信息編碼 240
8.4.3 非零係數幅值信息編碼 242
8.4.4 變換跳過殘差熵編碼 246
8.4.5 相關語法元素 247
參考文獻 247

第9章環路濾波 249
9.1 亮度映射與色度縮放 250
9.1.1 LMCS技術 251
9.1.2 LMCS的實現 252
9.1.3 LMCS的相關語法元素 254
9.2 去方塊濾波 256
9.2.1 濾波決策 257
9.2.2 濾波操作 264
9.2.3 DBF的相關語法元素 267
9.3 樣點自適應補償 267
9.3.1 SAO技術 268
9.3.2 SAO的實現 270
9.3.3 SAO的相關語法元素 275
9.4 自適應環路濾波 277
9.4.1 維納濾波 277
9.4.2 ALF技術 278
9.4.3 亮度ALF 280
9.4.4 色度ALF 284
9.4.5 分量間ALF 284
9.4.6 ALF的相關語法元素 286
參考文獻 288

第10章面向多樣化視頻的編碼工具 290
10.1 全景視頻編碼 290
10.1.1 水平環繞運動補償 290
10.1.2 虛擬邊界取消環路濾波 292
10.2 屏幕內容視頻編碼 293
10.2.1 幀內塊複製 293
10.2.2 變換跳過模式的殘差編碼 296
10.2.3 塊差分脈衝編碼調製 297
10.2.4 調色板模式 298
10.2.5 自適應色度變換 301
參考文獻 303

第11章網絡適配層 304
11.1 分層結構 304
11.2 網絡適配層單元 306
11.2.1 NALU頭 307
11.2.2 NALU載荷 309
11.3 視頻比特流中的NALU 311
11.4 網絡適配層單元的應用 313
11.4.1 字節流應用 313
11.4.2 分組流應用 314
參考文獻 318

第12章率失真優化 319
12.1 率失真優化技術 319
12.1.1 率失真理論 319
12.1.2 視頻編碼中的率失真優化 326
12.2 H.266/VVC中的率失真優化 330
12.2.1 視頻圖像組的率失真優化 330
12.2.2 片層的率失真優化 333
12.2.3 CTU層的率失真優化 334
12.2.4 CU層的率失真優化 334
12.3 VTM中的率失真優化方法 335
12.3.1 CTU編碼優化 335
12.3.2 CU劃分模式判別 336
12.3.3 幀內預測模式判別 340
12.3.4 幀間預測模式判別 341
參考文獻 345

第13章速率控制 347
13.1 視頻編碼速率控制 347
13.1.1 速率控制的基本原理 347
13.1.2 緩衝機制 349
13.1.3 速率控制技術 350
13.2 H.266/VVC速率控制 356
13.2.1 目標比特分配 356
13.2.2 量化參數確定 358
參考文獻 361
附錄A 術語及英文解釋 363
附錄B 專業名詞縮寫 376