智能系統開發實踐教程——面向昇騰芯片

目錄

 

 

第1章智能系統概述1

1.1智能系統介紹1

1.1.1智能系統的意義1

1.1.2智能系統的應用1

1.2智能系統的組成2

1.2.1智能芯片3

1.2.2智能軟件4

1.2.3智能計算4

1.2.4智能互聯5

1.3智能系統開發流程6

1.3.1智能芯片選型與硬件設計6

1.3.2底層代碼啟動與初始化7

1.3.3操作系統移植與驅動開發8

1.3.4編譯與構建過程8

1.3.5軟件框架應用9

1.3.6智能計算框架應用10

1.3.7應用程序開發11

1.4智能系統技術展望12

1.5習題113

第2章智能硬件系統14

2.1智能硬件片上系統芯片14

2.1.1中央處理單元15

2.1.2協處理加速單元16

2.1.3存儲器單元17

2.1.4常用接口18

2.2昇騰硬件系統21

2.2.1昇騰AI處理器22

2.2.2達芬奇AI處理器架構242.2.3昇騰開發應用平臺26

2.3習題229

第3章智能軟件操作系統31

3.1昇騰軟件體系架構31

3.2昇騰操作系統32

3.2.1昇騰操作系統構成及運行流程33

3.2.2昇騰Linux操作系統內核33

3.2.3Linux操作系統驅動開發35

3.2.4昇騰開發板接口開發38

3.2.5昇騰NPUSMI工具40

3.2.6Linux系統構建方法42

3.3昇騰應用軟件開發45

3.3.1應用程序開發流程45

3.3.2遠程應用程序開發47

3.3.3應用程序開發管理48

3.4習題351

目錄〖3〗第4章智能系統深度學習開發53

4.1深度學習網絡53

4.1.1常用深度學習網絡53

4.1.2面向智能系統的常見輕量化深度學習網絡56

4.1.3面向智能系統部署的網絡改進方案58

4.1.4深度學習模型的開放標準61

4.2深度學習模型設計與實現63

4.2.1深度學習框架63

4.2.2MindSpore深度學習框架65

4.2.3深度學習模型實現流程69

4.3深度學習模型訓練開發71

4.3.1深度學習模型編輯器71

4.3.2基於本地及圖形工作站的開發73

4.3.3基於遠程雲服務的開發78

4.3.4深度學習數據集80

4.3.5基於深度學習的數字識別案例84

4.4習題488

第5章智能系統部署與實現90

5.1智能系統部署方案90

5.1.1面向智能算法的編譯器方案91

5.1.2推理框架及硬件加速庫方案92

5.1.3智能系統部署流程93

5.2CANN異構計算架構94

5.2.1CANN算子庫95

5.2.2通信庫99

5.2.3圖引擎99

5.2.4昇騰編程語言Ascend C105

5.2.5畢昇編譯器108

5.2.6運行時與AssendCL112

5.2.7驅動程序116

5.3CANN應用案例開發117

5.3.1CANN開發環境搭建118

5.3.2模型轉換118

5.3.3NPU推理應用程序123

5.4習題5126

第6章智能視覺系統開發127

6.1視覺處理系統概述127

6.1.1視覺數據采集127

6.1.2視覺數據處理庫129

6.1.3圖像處理130

6.1.4視頻處理133

6.2圖像應用開發137

6.2.1基於OpenCV圖像處理開發137

6.2.2基於YOLOv8目標檢測深度學習開發141

6.3視頻應用開發150

6.3.1視頻常見應用框架150

6.3.2視頻應用案例開發152

6.4習題6157

第7章智能語音系統開發159

7.1智能語音系統概述159

7.2智能語音開發160

7.2.1音頻輸出和采集160

7.2.2智能語音處理開發案例162

7.3結合昇騰硬件的大模型部署163

7.3.1大語言模型概述163

7.3.2大語言模型部署164

7.3.3大語言模型在昇騰開發板部署165

7.4習題7170

第8章智能機器人系統開發171

8.1智能機器人系統概述171

8.1.1智能機器人硬件171

8.1.2智能機器人軟件173

8.1.3機器人智能系統與具身智能177

8.2智能機器人本體開發178

8.2.1機器人運動控制178

8.2.2智能機器人本體ROS2框架179

8.2.3機器人自身定位優化185

8.3智能機器人SLAM開發187

8.3.1激光傳感器數據獲取187

8.3.2常見的激光SLAM建圖定位方法188

8.3.3常見機器人導航方法189

8.4基於深度強化學習的機器人避障開發189

8.4.1問題建模189

8.4.2狀態與動作設計190

8.4.3獎勵函數設計190

8.4.4深度強化學習網絡設計191

8.4.5DQN強化學習算法流程191

8.4.6仿真訓練192

8.4.7模型部署與在線推理192

8.5習題8193

參考文獻194