圖像工程——下冊：圖像理解（第5版）

目錄

註： 加*號的部分均已電子化，可掃描二維碼下載並使用。

第1章緒論

1．1圖像工程的發展

1．1．1基本概念和定義

概括

1．1．2圖像工程發展情況

回顧

1．2圖像理解及相關學科

1．2．1圖像理解

1．2．2電腦視覺

1．2．3其他相關學科

1．2．4圖像理解的應用領域

1．3圖像理解理論框架

1．3．1馬爾視覺計算理論

1．3．2對馬爾理論框架的

改進

1．3．3關於馬爾重建理論

的討論

1．3．4新理論框架的研究

1．3．5從心理認知出發的

討論

1．4深度學習簡介

1．4．1圖像理解中的深度

學習

1．4．2捲積神經網絡的基本

概念

1．4．3深度學習核心技術

1．4．4深度學習的應用

1．5內容框架和特點

總結和復習*

隨堂測試*

第1單元採 集 表 達

第2章攝像機成像和標定

2．1視覺過程

2．2亮度成像模型

2．2．1光度學和光源

2．2．2從亮度到照度

2．3空間成像模型

2．3．1基本攝像機模型

2．3．2近似投影模式

2．3．3一般攝像機模型

2．3．4透鏡畸變

2．3．5通用成像模型

2．4攝像機標定

2．4．1標定方法分類

2．4．2標定程序和參數

2．4．3兩級標定法

2．4．4精度提升

2．5在線攝像機外參數標定

方法

2．5．1車道線檢測與數據

篩選

2．5．2優化重投影誤差

2．6自標定方法

2．7結構光主動視覺系統的

標定

2．7．1投影模型和標定

2．7．2圖案分離

2．7．3計算單應性矩陣

2．7．4計算標定參數

總結和復習*

隨堂測試*

第3章壓縮感知與成像

3．1壓縮感知概述

3．2稀疏表達

3．3測量矩陣及特性

3．3．1採樣/測量模型

3．3．2測量矩陣特性

3．4解碼重構

3．4．1重構原理

3．4．2測量矩陣的校準

3．4．3典型重構算法

3．4．4基於深度學習的重構

算法

3．5稀疏編碼與字典學習

3．5．1字典學習與矩陣

分解

3．5．2非負矩陣分解

3．5．3端元提取

3．5．4稀疏編碼

3．6壓縮感知的成像應用

3．6．1單像素相機

3．6．2壓縮感知磁共振

成像

總結和復習*

隨堂測試*

第4章深度信息採集

4．1高維圖像和成像方式

4．1．1高維圖像種類

4．1．2本徵圖像和非本徵

圖像

4．1．3深度成像方式

4．2雙目成像模式

4．2．1雙目橫向模式

4．2．2雙目會聚橫向模式

4．2．3雙目軸向模式

4．3深度圖像直接採集

4．3．1飛行時間法

4．3．2結構光法

4．3．3莫爾等高條紋法

4．3．4深度和亮度圖像同時

採集

4．4顯微鏡3D分層成像

4．4．1景深和焦距

4．4．2顯微鏡3D成像

4．4．3共聚焦顯微鏡3D

成像

4．5等基線多攝像機組

4．5．1圖像採集

4．5．2圖像合並方法

4．6單攝像機多鏡反射折射

系統

4．6．1總體系統結構

4．6．2成像和標定模型

總結和復習*

隨堂測試*

第5章3D景物表達

5．1曲線和曲面的局部特徵

5．1．1曲線局部特徵

5．1．2曲面局部特徵

5．23D錶面表達

5．2．1參數表達

5．2．2錶面朝向表達

5．3等值面的構造和表達

5．3．1行進立方體算法

5．3．2覆蓋算法

5．3．3兩種算法比較

5．4從並行輪廓插值3D錶面

5．53D實體表達

5．5．1基本表達方案

5．5．2廣義圓柱體表達

總結和復習*

隨堂測試*

第2單元景 物 重 建

第6章雙目立體視覺

6．1立體視覺模塊

6．2基於區域的雙目立體匹配

6．2．1模板匹配

6．2．2立體匹配

6．3基於特徵的雙目立體匹配

6．3．1基本步驟

6．3．2尺度不變特徵

變換

6．3．3加速魯棒性特徵

6．3．4動態規劃匹配

6．4基於深度學習的立體匹配

6．4．1方法分類

6．4．2立體匹配網絡

6．4．3基於特徵級聯CNN的

匹配

6．5視差圖誤差檢測與校正

總結和復習*

隨堂測試*

第7章多目立體視覺

7．1水平多目立體匹配

7．1．1水平多目圖像

7．1．2倒距離

7．2正交三目立體匹配

7．2．1基本原理

7．2．2基於梯度分類的正交

匹配

7．3多目立體匹配

7．3．1任意排列三目立體

匹配

7．3．2正交多目立體匹配

7．4亞像素級視差

7．4．1統計分佈模型

7．4．2亞像素級視差計算

總結和復習*

隨堂測試*

第8章單目多圖像景物恢復

8．1單目景物恢復

8．2光度立體法

8．2．1景物亮度和圖像

亮度

8．2．2錶面反射特性和

亮度

8．2．3景物錶面朝向

8．2．4反射圖和亮度約束

方程

8．2．5光度立體法求解

8．3光度立體法進展

8．3．1光源標定

8．3．2非朗伯錶面反射

模型

8．3．3彩色光度立體法

8．3．43D重建方法

8．4基於GAN的光度立體法

標定

8．4．1網絡結構

8．4．2損失函數

8．5從運動求取結構

8．5．1光流和運動場

8．5．2光流方程求解

8．5．3光流與錶面取向

8．5．4光流與相對深度

8．6從分割剪影恢復形狀

總結和復習*

隨堂測試*

第9章單目單圖像景物恢復

9．1單幅圖像深度估計

9．1．1有監督學習方法

9．1．2無監督學習方法

9．1．3半監督學習方法

9．2從影調恢復形狀

9．2．1影調與形狀

9．2．2亮度方程求解

9．3混合錶面透視投影下的

SFS

9．3．1改進的Ward反射

模型

9．3．2透視投影下的圖像亮度

約束方程

9．3．3圖像亮度約束方程

求解

9．3．4基於BlinnPhong反射

模型

9．3．5新圖像亮度約束方程

求解

9．4紋理與錶面朝向

9．4．1單目成像和畸變

9．4．2由紋理變化恢復

朝向

9．4．3檢測線段紋理消

失點

9．4．4確定圖像外消

失點

9．5由焦距確定深度

9．6根據三點透視估計位姿

總結和復習*

隨堂測試*

第3單元場 景 解 釋

第10章知識表達和推理

10．1知識概述

10．2場景知識

10．2．1模型

10．2．2屬性超圖

10．2．3基於知識的

建模

10．3過程知識

10．4知識表達

10．4．1知識表達要求

10．4．2知識表達類型

10．4．3基本知識表達

方案

10．4．4人工智能中的知識

表達

10．4．5圖像理解系統中的

知識模塊

10．5邏輯系統

10．5．1謂詞演算規則

10．5．2利用定理證明

推理

10．5．3推理方法分類

10．6語義網

10．7產生式系統

總結和復習*

隨堂測試*

第11章廣義匹配

11．1匹配概述

11．1．1匹配策略和

類別

11．1．2匹配和配準

11．1．3匹配評價

11．2目標匹配

11．2．1對應點匹配

11．2．2字符串匹配

11．2．3慣量等效橢圓

匹配

11．2．4形狀矩陣匹配

11．2．5結構匹配和

量度

11．3動態模式匹配

11．4關系匹配

11．5圖同構匹配

11．5．1圖論簡介

11．5．2圖同構和匹配

11．6線條圖標記和解釋

11．6．1輪廓標記

11．6．2結構推理

11．6．3回溯標記

11．7借助匹配實現配準

11．7．1基於特徵匹配的異構

遙感圖像配準

11．7．2基於空間關系推理的

圖像匹配

11．8多模態圖像匹配

11．8．1基於區域的

技術

11．8．2基於特徵的

技術

總結和復習*

隨堂測試*

第12章場景分析和語義解釋

12．1場景理解概述

12．2模糊推理

12．2．1模糊集合和模糊

運算

12．2．2模糊推理方法

12．3遺傳算法圖像解釋

12．3．1遺傳算法原理

12．3．2語義分割和

解釋

12．4場景目標標記

12．5場景分類

12．5．1詞袋/特徵包

模型

12．5．2pLSA模型

12．5．3LDA模型

12．6遙感圖像判讀

12．6．1遙感圖像判讀方法

分類

12．6．2遙感圖像判讀知識

圖譜

12．7混合增強視覺認知

12．7．1從電腦視覺感

知到電腦視覺

認知

12．7．2混合增強視覺認知

相關技術

總結和復習*

隨堂測試*

第4單元研 究 示 例

第13章同時定位和制圖

13．1SLAM概況

13．1．1激光SLAM

13．1．2視覺SLAM

13．1．3對比和結合

13．2激光SLAM算法

13．2．1Gmapping算法

13．2．2Cartographer

算法

13．2．3LOAM算法

13．3視覺SLAM算法

13．3．1ORBSLAM系列

算法

13．3．2LSDSLAM

算法

13．3．3SVO算法

13．4群體機器人和群體

SLAM

13．4．1群體機器人的

特性

13．4．2群體SLAM要解決

的問題

13．5SLAM的新動向

13．5．1SLAM與深度學習

的結合

13．5．2SLAM與多智能體

的結合

總結和復習*

隨堂測試*

第14章多傳感器圖像信息融合

14．1信息融合概述

14．2圖像融合

14．2．1圖像融合的主要

步驟

14．2．2圖像融合的三個

層次

14．2．3圖像融合效果

評價

14．3像素級融合方法

14．3．1基本融合方法

14．3．2融合方法的

結合

14．3．3小波融合時的最佳

分解層數

14．3．4壓縮感知圖像

融合

14．3．5像素級融合

示例

14．4雙能透射和康普頓背散射

融合

14．4．1成像技術的互補性

分析

14．4．2互補融合

14．5高光譜圖像空間光譜特徵

提取

14．5．1傳統高光譜特徵

提取方法

14．5．2基於深度學習的

空間光譜特徵

提取方法

14．6特徵級和決策級融合

方法

14．6．1貝葉斯法

14．6．2證據推理法

14．6．3粗糙集理論法

14．7多源遙感圖像融合

14．7．19種多源遙感數

據源

14．7．2多源遙感圖像融合

文獻

14．7．3遙感圖像的空間光譜

融合

14．7．4基於深度循環殘差

網絡的融合

總結和復習*

隨堂測試*

第15章基於內容的圖像和視頻

檢索

15．1圖像和視頻檢索原理

15．2視覺特徵的匹配和檢索

15．2．1顏色特徵匹配

15．2．2紋理特徵計算

15．2．3多尺度形狀

特徵

15．2．4綜合特徵檢索

15．3基於運動特徵的視頻

檢索

15．3．1全局運動特徵

15．3．2局部運動特徵

15．4基於分層匹配追蹤的

檢索

15．4．1檢索框圖

15．4．2單層圖像特徵

提取

15．4．3多層特徵提取和

圖像檢索

15．4．4結合顏色直

方圖

15．5視頻節目分析和索引

15．5．1新聞視頻結

構化

15．5．2體育比賽視頻

排序

15．5．3家庭錄像視頻

組織

15．6語義分類檢索

15．6．1基於視覺關鍵詞的

圖像分類

15．6．2高層語義與

氣氛

15．7基於深度學習的跨模態

檢索

15．7．1跨模態檢索技術

分類

15．7．2圖像標題自動

生成

15．8圖像檢索中的哈希

15．8．1有監督哈希

15．8．2非對稱監督深度離散

哈希

15．8．3跨模態圖像檢索中的

哈希

總結和復習*

隨堂測試*

第16章時空行為理解

16．1時空技術

16．2時空興趣點

16．3動態軌跡學習和分析

16．3．1自動場景建模

16．3．2學習路徑

16．3．3自動活動分析

16．4動作分類和識別

16．4．1動作分類

16．4．2動作識別

16．5結合姿態和上下文的動作

分類

16．5．1基於姿態模型的動作

分類器

16．5．2基於上下文的動作分

類器

16．6活動和行為建模

16．6．1動作建模

16．6．2活動建模和

識別

16．7主體與動作聯合建模

16．7．1單標簽主體動作

識別

16．7．2多標簽主體動作

識別

16．7．3主體動作語義

分割

16．8基於關節點的行為識別

16．8．1使用CNN作為

主乾

16．8．2使用RNN作為

主乾

16．8．3使用GCN作為

主乾

16．8．4使用混合網絡作為

主乾

16．9異常事件檢測

16．9．1異常事件檢測方法

分類

16．9．2基於捲積自編碼器塊

學習的檢測

16．9．3基於單類神經網絡的

檢測

總結和復習*

隨堂測試*

附錄A視覺和視知覺

A．1視知覺概述

A．2視覺特性

A．2．1視覺的空間特性

A．2．2視覺的時間特性

A．2．3視覺的亮度特性

A．3形狀知覺

A．3．1圖形和背景

A．3．2輪廓和主觀輪廓

A．3．3幾何圖形錯覺

A．4空間知覺

A．4．1兩種空間知覺觀

A．4．2非視覺性深度

線索

A．4．3雙目深度線索

A．4．4單目深度線索

A．5運動知覺

A．6生物視覺與立體視覺

A．6．1生物視覺和雙目

視覺

A．6．2從單目到雙目

立體

主題索引

部分思考題和練習題解答*

參考文獻*