具身智能機器人系統

第1 部分具身智能機器人背景知識
第1 章自主經濟的崛起：具身智能機器人的影響與發展 2
1.1 產業發展概況 3
1.1.1 國際產業發展現狀 3
1.1.2 國內產業發展現狀 6
1.2 問題與挑戰 6
1.2.1 應用場景的不確定性 7
1.2.2 產業鏈成本高企 7
1.2.3 系統集成難度較大 7
1.2.4 數據瓶頸 8
1.2.5 倫理規範 8
1.3 小結 9
第2 章具身智能機器人的歷史與未來 10
2.1 何謂具身智能 10
2.2 具身智能發展歷史 11
2.3 具身智能的傳統技術方向 12
2.3.1 基於行為的人工智能 12
2.3.2 受神經生物學啟發的人工智能 13
2.3.3 認知發展機器人學 13
2.3.4 進化機器人學 14
2.3.5 物理體現與互動 15
2.4 基於大模型的具身智能技術 16
2.4.1 賦能具身智能機器人的基礎大模型分類 17
2.4.2 具身智能機器人設計自動化 17
2.5 小結 19
第2 部分具身智能機器人基礎模塊
第3 章機器人計算系統 21
3.1 概述 21
3.2 自主機器人計算系統 22
3.3 自動駕駛 25
3.3.1 自動駕駛簡史 25
3.3.2 自動駕駛計算系統 26
3.4 具身智能機器人 32
3.4.1 從自動駕駛到具身智能 33
3.4.2 具身智能計算系統 34
3.5 小結 36
第4 章自主機器人的感知系統 38
4.1 概述 38
4.2 物體檢測 38
4.3 語義分割 41
4.4 立體視覺與光流 43
4.4.1 立體視覺與深度估計 44
4.4.2 光流 45
4.5 鳥瞰視角感知 49
4.5.1 基於激光雷達的BEV 感知 49
4.5.2 基於相機的BEV 感知 51
4.5.3 基於融合的BEV 感知 55
4.6 小結 57
第5 章自主機器人的定位系統 58
5.1 概述 58
5.2 自主機器人的定位任務 59
5.3 自主機器人的定位原理 61
5.3.1 自主機器人定位系統分類 61
5.3.2 自主機器人定位算法原理 63
5.4 自主機器人定位的計算系統 69
5.4.1 多傳感器數據對齊 69
5.4.2 自主機器人定位的計算平臺 71
5.5 小結 72
第6 章自主機器人的規劃與控制系統 73
6.1 概述 73
6.2 路徑規劃和軌跡規劃 74
6.2.1 路徑規劃 74
6.2.2 軌跡規劃 76
6.2.3 變分方法 77
6.2.4 圖搜索方法 79
6.2.5 增量搜索策略 80
6.3 基於強化學習的規劃與控制 83
6.3.1 強化學習基本原理 83
6.3.2 基於強化學習的規劃與控制方法 85
6.4 小結 88
第3 部分具身智能機器人大模型
第7 章具身智能機器人大模型 91
7.1 概述 91
7.2 ChatGPT for Robotics: 故事的開始 92
7.2.1 背景與工作動機 92
7.2.2 ChatGPT 解決機器人控制問題的突出能力 92
7.2.3 ChatGPT for Robotics 的設計原則和工作流程 94
7.2.4 貢獻與局限性 95
7.3 Robotic Transformers：多模態大模型的應用 96
7.4 未來工作發展方向 98
7.4.1 小模型的成功 99
7.4.2 更多的模態 101
7.5 小結 102
第8 章大模型用於機器人計算，顛覆還是進步 103
8.1 概述 103
8.2 從算法開發者角度看具身智能大模型 103
8.2.1 具身智能機器人在醫療領域的應用 103
8.2.2 具身智能機器人在工業生產中的應用 106
8.2.3 具身智能機器人在家庭環境中的應用 107
8.3 給機器人接上大腦？從機器人系統開發看具身智能大模型 109
8.4 具身智能大模型的現狀：成功率、實時性、安全性及其他 110
8.5 小結 112
第9 章構建具身智能基礎模型 114
9.1 背景知識 114
9.1.1 元學習 114
9.1.2 上下文學習 115
9.1.3 模型預訓練 115
9.1.4 模型微調 116
9.2 具身智能基礎模型 117
9.3 關鍵選擇及利弊權衡 118
9.4 剋服計算和內存瓶頸 119
9.5 小結 120
第4 部分具身智能機器人計算挑戰
第10 章加速機器人計算 122
10.1 概述 122
10.2 機器人定位模塊加速 122
10.3 機器人規劃模塊加速 127
10.4 機器人控制模塊加速 134
10.5 因子圖：機器人加速器的通用模板 136
10.6 小結 146
第11 章算法安全性 147
11.1 概述 147
11.2 人工智能安全：橫亘在算法與應用之間的絆腳石 148
11.3 深度神經網絡的攻擊與防禦 149
11.3.1 逃逸攻擊 149
11.3.2 投毒攻擊 151
11.3.3 探索攻擊 152
11.3.4 防禦方法 152
11.4 大模型中的安全問題 153
11.5 大模型安全隱患VS. 具身智能機器人安全 156
11.6 小結 157
第12 章系統可靠性 158
12.1 概述 158
12.2 機器人系統的可靠性漏洞 158
12.2.1 機器人本體的可靠性漏洞 158
12.2.2 機器人計算系統的可靠性漏洞 160
12.3 提升系統魯棒性的常見方法 164
12.4 自適應冗餘方法：提升魯棒性的同時降低系統負擔 166
12.5 小結 169
第13 章具身智能的數據挑戰 170
13.1 具身智能的數據價值 170
13.2 具身智能的數據瓶頸 171
13.3 AIRSPEED 系統設計 173
13.4 具身智能數據採集端點 175
13.5 模擬服務 176
13.6 數據對齊服務 177
13.7 小結 178
第5 部分具身智能機器人應用案例
第14 章實例研究 180
14.1 系統設計 180
14.2 系統效果 185
14.3 小結 187
後記：總結與展望 189
參考文獻 192