自動駕駛系統開發

楊子江，深信科創創始人，西安交通大學教授及圖靈交叉信息科學研究中心主任。在中國科學技術大學賴斯大學和賓夕法尼亞大學分別獲得學士、碩士和博士學位。曾任美國西密歇根大學計算機科學系教授及密歇根大學電子工程與計算機科學系訪問教授。學術兼職包括IEEE國際電動與無人車技術委員會共同主席、IEEE自動駕駛標準工作組副主席、中國電動汽車百人會理事、AI百人會副會長，擔任2020-2023年IEEE國際自動駕駛軟件會議共同主席、2019年IEEE國際軟件測試及驗證大會共同主席。發表論文百餘篇及數十項中美專利，獲得ACM SIGSOFT傑出論文獎，ACM TODAES最佳期刊論文獎。

 

目錄

 

 

 

 

 

前言

 

第1章自動駕駛系統概論

 

1．1自動駕駛的分級

 

1．2模塊化開發結構

 

1．3端到端開發結構

 

1．4自動駕駛場景

 

1．5數據閉環

 

1．6小結

 

參考文獻

 

 

第2章自動駕駛的基礎理論

 

2．1電腦視覺

 

2．1．1電腦視覺底層

 

2．1．2電腦視覺中層

 

2．1．3電腦視覺高層

 

2．2圖像處理

 

2．2．1圖像信號處理器

 

2．2．2圖像濾波

 

2．2．3圖像增強

 

2．3優化理論

 

2．4機器學習

 

2．4．1支持向量機

 

2．4．2隨機森林

 

2．5深度學習

 

2．5．1捲積神經網絡

 

2．5．2生成對抗網絡

 

2．5．3遞歸神經網絡

 

2．5．4Transformer網絡

 

2．6神經網絡模型壓縮和加速

 

2．6．1參數修剪和共享

 

2．6．2低秩分解

 

2．6．3轉移/緻密捲積濾波器

 

2．6．4知識蒸餾

 

2．6．5MobileNets

 

2．7小結

 

參考文獻

 

 

 

 

 

 

 

 

第3章自動駕駛的硬件平臺

 

3．1傳感器

 

3．1．1攝像頭

 

3．1．2激光雷達

 

3．1．3毫米波雷達

 

3．1．4超聲波雷達

 

3．1．5慣導

 

3．1．6GPS

 

3．1．7車聯網

 

3．2車體控制

 

3．2．1VCU/ECU/MCU/HCU

 

3．2．2CAN總線

 

3．2．3ESP

 

3．2．4EPS

 

3．3計算平臺

 

3．3．1NVIDIA Drive AGX Xavier和Orin

 

3．3．2Mobileye的EQx

 

3．3．3TI公司的TDA4VM

 

3．3．4Qualcomm公司的驍龍Ride

 

3．4線控底盤

 

3．5電子電氣架構

 

3．6小結

 

參考文獻

 

 

第4章自動駕駛的軟件平臺

 

4．1AUTOSAR

 

4．2軟件開發V模型

 

4．3aSPICE軟件開發流程

 

4．4ISO 26262軟件開發流程

 

4．5NVIDIA DriveWorks 軟件平臺

 

4．6車載操作系統

 

4．6．1ROS

 

4．6．2QNX

 

4．6．3BOSCH冰羚

 

4．6．4DORA

 

4．7自動駕駛雲平臺

 

4．7．1開源分佈式深度學習框架

 

4．7．2自動駕駛雲的實例架構

 

4．8DevOps和MLOps

 

4．9小結

 

參考文獻

 

 

第5章自動駕駛的感知模塊

 

5．1傳感器標定

 

5．1．1攝像頭標定

 

5．1．2激光雷達標定

 

5．1．3手眼標定

 

5．1．4攝像頭GPS/IMU標定

 

5．1．5激光雷達攝像頭標定

 

5．1．6攝像頭雷達標定

 

5．1．7激光雷達IMU標定

 

5．2單目視覺的障礙物測距

 

5．3單目視覺的深度圖估計

 

5．3．1傳統方法

 

5．3．2深度學習方法

 

5．4單目視覺的3D障礙物檢測

 

5．5障礙物跟蹤

 

5．5．1單目標

 

5．5．2多目標

 

5．5．3基於深度學習的目標跟蹤

 

5．6傳感器融合

 

5．6．1數據級

 

5．6．2任務級

 

5．7車道線檢測

 

5．8交通標志檢測識別

 

5．9交通信號燈檢測識別

 

5．10可駕駛區域分割

 

5．11雙目視覺感知

 

5．11．1立體匹配

 

5．11．2雙目在線標定

 

5．11．3雙目視覺感知系統

 

5．11．4深度學習的雙目視差估計

 

5．12人體姿態估計

 

5．13駕駛人監控系統

 

5．14BEV的視覺感知系統

 

5．14．1基於單應變換的BEV

 

5．14．2基於深度的BEV

 

5．14．3基於MLP的BEV

 

5．14．4基於Transformer的BEV

 

5．14．5BEV框架的擴展

 

5．14．6BEV存在的問題

 

5．15小結

 

參考文獻

 

 

第6章自動駕駛的高清地圖

 

6．1高清地圖

 

6．2語義地圖

 

6．3基於車道線的高清地圖

 

6．4基於深度學習的SLAM方法

 

6．5小結

 

參考文獻

 

 

第7章自動駕駛的定位模塊

 

7．1基於車道線地圖的定位

 

7.2基於激光雷達的定位

 

7．2．1正態分佈變換定位

 

7．2．2粒子濾波定位

 

7．2．3直方圖濾波器定位

 

7．3基於傳感器融合的定位

 

7．4基於深度學習的定位方法

 

7．5小結

 

參考文獻

 

 

第8章自動駕駛的規劃模塊

 

8．1基本規劃理論

 

8．1．1Frenet坐標系

 

8．1．2EM規劃器

 

8．2駕駛行為模型和預測

 

8．2．1駕駛行為預測

 

8．2．2駕駛行為學習

 

8．3行人行為模型和預測

 

8．4駕駛行為克隆

 

8．5小結

 

參考文獻

 

 

第9章自動駕駛的控制模塊

 

9．1車輛的運動學和動力學模型

 

9．2傳統控制算法

 

9．2．1經典PID控制

 

9．2．2LQR控制

 

9．2．3模型預測控制

 

9．3路徑和軌跡穩定的控制方法

 

9．3．1路徑穩定的控制

 

9．3．2軌跡穩定的控制

 

9．4基於深度學習的車輛控制

 

9．4．1端到端的自動駕駛控制

 

9．4．2基於機器學習的運動控制

 

9．5小結

 

參考文獻

 

 

第10章自動駕駛的模擬模擬模塊

 

10．1傳感器

 

10．1．1攝像頭

 

10．1．2激光雷達

 

10．1．3毫米波雷達

 

10．1．4其他傳感器

 

10．2交通模型

 

10．3車輛和行人模型

 

10．4數據可視化模型

 

10．4．1XVIZ

 

10．4．2streetscape．gl

 

10．5道路網絡模擬

 

10．5．1道路與環境建模

 

10．5．2可定製的道具和標志

 

10．5．3功能性道路網絡

 

10．6場景庫的建設和自動駕駛測試

 

10．6．1場景定義

 

10．6．2模擬測試方法分類

 

10．6．3場景庫建設

 

10．6．4場景描述語言OpenSCENARIO

 

10．7基於數字孿生的安全緊要場景泛化

 

10．8小結

 

參考文獻

 

 

第11章安全模型

 

11．1基本概念

 

11．2NHTSA

 

11．3ISO 26262

 

11．4ISO/PAS 21448 SOTIF

 

11．5Intel Mobileye RSS安全模型

 

11．6網絡安全

 

11．7自動駕駛系統的安全解決方案

 

11．8自動駕駛的V&V技術

 

11．9小結

 

參考文獻

 

 

第12章自動和自主泊車

 

12．1自動泊車系統的基本介紹

 

12．2環視視覺系統標定

 

12．3魚眼攝像頭的感知系統

 

12．4泊車位檢測

 

12．5泊車的運動規劃

 

12．6泊車中的傳感器融合

 

12．7自動代客泊車

 

12．8泊車場的語義地圖和定位

 

12．9自動泊車的深度學習規劃技術

 

12．10小結

 

參考文獻

 

 

第13章車聯網

 

13．1智能網聯汽車

 

13．2車載網絡與社交物聯網

 

13．3邊緣計算

 

 

13．4車輛路端的協同技術

 

13．5自動駕駛的協同感知

 

13．6編組車隊的協同規劃和控制

 

13．7小結

 

參考文獻

 

 

第14章神經渲染技術

 

14．1原始NeRF

 

14．2NeRF的加速方法

 

14．2．1AutoInt

 

14．2．2PlenOctree

 

14．2．3Plenoxel

 

14．3動態場景的渲染

 

14．4NeRF重打光技術

 

14．5NeRF的泛化技術

 

14．5．1GRAF

 

14．5．2GIRAFFE

 

14．6質量改進的技術

 

14．6．1MipNeRF

 

14．6．2NeRFinthedark

 

14．7小結

 

參考文獻

 

 

第15章擴散模型

 

15．1基於分數生成網絡

 

15．2去噪擴散概率模型

 

15．3DDIM

 

15．4SDE

 

15.5圖像/視頻合成

 

15．5．1圖像

 

15．5．2視頻

 

15．5．3新視圖合成

 

15．6圖像圖像翻譯

 

15．7文本圖像/視頻的合成

 

15．8擴散模型的改進

 

15．9小結

 

參考文獻

 

 

附錄