人工智能技術與實踐——基於MindSpore平臺

孔令和

博士，上海交通大學計算機學院教授，長江學者特聘教授，IEEE Fellow。曾在美國哥倫比亞大學、加拿大麥吉爾大學和新加坡科技設計大學擔任博士後研究員。研究方向包括物聯網、衛星網絡、人工智能和移動計算。主講“計算機網絡”“人工智能技術及應用”“移動互聯網”“工程信息管理”等課程，所著教材《物聯網操作系統原理（LiteOS）》入選首批“十四五”職業教育國家規劃教材，教授課程“計算機網絡”入選第二批國家級一流本科課程。

劉雨桐:

博士，上海交通大學研究助理研究員。研究方向包括人工智能、物聯網和移動計算。在高水平國際會議和期刊，如Ubicomp、IEEE Journal on SelectedAreas in Communications、IEEE Transactions on Mobile Computing等發表論文30余篇，獲國際會議最佳論文獎（提名）3項，獲上海市啟明星項目（揚帆專項）及華為Explore X人才資助。主持1項國家自然科學基金青年基金項目、1項長三角科技創新共同體聯合攻關項目，以及國家重點研發計劃子課題等多項科研項目。

李豫晨

博士，百度搜索科學團隊高級研究員。研究方向包括AI搜索、網頁搜索、大模型訓練和高效推理。已在高水平國際會議和期刊，如KDD、ICDM、NeurPS、AAAl、Nature Machine Intelligence、IEEE Transac-tions on Knowledge and Data Engineering、IEEETransactions on Services Computing、IEEE Transac-tions on Mobile Computing等發表論文數十篇，獲國際會議最佳論文獎（提名）3項。參與國家重點研發計劃、國家自然科學基金重點項目等多項科研項目，並承擔1項上海交通大學學生促教基金項目和多項校企合作項目。研究成果與工業界緊密結合，部分已實現大規模部署，為數億日活用戶提供服務。

人工智能入門篇

第 1章　人工智能概述　2

1.1　人工智能簡介　2

1.1.1　人工智能的定義　2

1.1.2　圖靈測試　3

1.1.3　人工智能的研究範式　4

1.1.4　人工智能與其他相關聯概念的區別和聯系　5

1.2　人工智能發展歷程　6

1.2.1　人工智能的“三駕馬車”　6

1.2.2　我國人工智能發展戰略　7

1.2.3　人工智能前沿應用　9

1.3　課後習題　10

第 2章　人工智能實戰入門　11

2.1　人工智能Python開發入門　11

2.1.1　數據類型與變量　12

2.1.2　函數與模塊　13

2.1.3　條件判斷與循環　15

2.1.4　庫與調用　15

2.1.5　結果輸出與可視化　16

2.2　MindSpore開發入門　18

2.2.1　MindSpore簡介　18

2.2.2　環境下載與安裝　20

2.3　入門實戰介紹——基於MNIST數據集識別手寫數字　21

2.4　課後習題　25

機器學習及實戰篇

第3章　監督學習　28

3.1　監督學習的基本概念　28

3.1.1　監督學習的基本概念　29

3.1.2　監督學習的分類　29

3.2　監督分類算法　30

3.2.1　K-近鄰算法　30

3.2.2　決策樹　30

3.2.3　SVM　31

3.3　監督回歸算法　33

3.3.1　線性回歸　33

3.3.2　邏輯回歸　33

3.3.3　感知機　34

3.4　弱監督學習　35

3.4.1　弱監督學習的基本概念　35

3.4.2　半監督學習的基本概念和學習過程　35

3.5　監督學習實戰　37

3.5.1　利用決策樹根據天氣決定是否外出打球　37

3.5.2　利用SVM進行水果新鮮度評估　39

3.5.3　利用Scikit-learn根據房屋面積預測房屋價格　40

3.5.4　利用半監督學習識別手寫數字　41

3.6　課後習題　42

第4章　無監督學習　45

4.1　無監督學習的基本概念和分類　45

4.2　聚類　46

4.2.1　聚類的基本概念　46

4.2.2　K均值聚類算法　46

4.3　降維　47

4.3.1　降維的基本概念　47

4.3.2　降維的典型方法　47

4.4　無監督學習實戰　49

4.4.1　基於make_blobs數據集的聚類任務　49

4.4.2　利用自編碼器進行小區生活垃圾圖像分類　49

4.5　課後習題　51

第5章　強化學習　53

5.1　強化學習的基本概念　54

5.1.1　強化學習的基本概念　54

5.1.2　強化學習的分類　54

5.2　有模型的強化學習　54

5.2.1　有模型的強化學習的基本概念　55

5.2.2　有模型的強化學習的過程　55

5.3　無模型的強化學習　56

5.3.1　無模型的強化學習的基本概念　56

5.3.2　無模型的強化學習的過程　57

5.4　強化學習實戰　58

5.4.1　利用Q-learning完成寶藏探索遊戲　58

5.4.2　利用MindSpore Reinforcement訓練DQN　62

5.5　課後習題　70

深度學習及實戰篇

第6章　深度神經網絡　72

6.1　DNN的基本元素　72

6.1.1　定義和特點　72

6.1.2　訓練法則　73

6.1.3　激活函數　73

6.1.4　正則化　75

6.1.5　優化器　76

6.2　常用的DNN　77

6.2.1　全連接神經網絡　77

6.2.2　CNN　78

6.2.3　RNN　78

6.2.4　殘差網絡　80

6.3　深度學習實戰　82

6.3.1　神經網絡模型的訓練流程　82

6.3.2　基於IMDb數據集的RNN情感分類　85

6.3.3　基於中國城市信息的LSTM+CRF命名實體識別任務　94

6.3.4　基於CIFAR-10數據集的ResNet50圖像分類　102

6.4　課後習題　113

第7章　知識圖譜　114

7.1　邏輯推理　114

7.1.1　知識的概念與表示　114

7.1.2　產生式系統　115

7.1.3　確定性和非確定性推理方法　116

7.2　知識圖譜簡介　118

7.2.1　知識圖譜的概念　118

7.2.2　知識圖譜的構建　118

7.2.3　知識圖譜的生命周期　119

7.3　知識圖譜實戰　120

7.3.1　基於構造數據集的MindSpore Graph Learning實戰　120

7.3.2　整圖訓練GCN實戰　121

7.4　課後習題　124

第8章　生成對抗網絡　125

8.1　GAN的原理　125

8.1.1　生成器　125

8.1.2　判別器　126

8.1.3　生成器和判別器的博弈　127

8.1.4　GAN的優缺點分析　127

8.2　GAN的訓練方法　127

8.2.1　訓練規則　127

8.2.2　損失函數　128

8.3　GAN實戰　129

8.3.1　基於MNIST數據集的GAN圖像生成　129

8.3.2　Pix2Pix實現圖像轉換　136

8.4　課後習題　145

第9章　遷移學習　146

9.1　遷移學習簡介　146

9.1.1　遷移學習定義　146

9.1.2　遷移學習的可行性與優勢　147

9.1.3　遷移學習的應用場景　147

9.1.4　遷移學習的常用方法　148

9.2　預訓練模型　148

9.2.1　常見的預訓練模型　148

9.2.2　常見的預訓練方法　149

9.3　遷移學習實戰　149

9.3.1　基於動物圖像數據集的

ResNet50遷移學習　149

9.3.2　利用CycleGAN進行水果圖像遷移　159

9.4　課後習題　171

第 10章　註意力機制　172

10.1　註意力機制簡介　172

10.1.1　註意力機制原理與分類　172

10.1.2　自註意力機制原理　173

10.2　Transformer簡介　174

10.2.1　Transformer模型的結構　174

10.2.2　Transformer模型的特點　175

10.3　註意力機制實戰　176

10.3.1　基於ImageNet數據集的ViT模型構建　176

10.3.2　基於ImageNet數據集的ViT模型訓練與推理　187

10.4　課後習題　193

人工智能前沿與倫理篇

第 11章　擴散模型　196

11.1　擴散模型簡介　196

11.1.1　擴散模型的概念　196

11.1.2　擴散模型的原理　197

11.2　穩定擴散模型簡介　198

11.2.1　穩定擴散模型的概念　198

11.2.2　穩定擴散模型的原理　199

11.3　擴散模型實戰　199

11.3.1　基於DDPM的圖像生成模型構建　199

11.3.2　基於DDPM的圖像生成模型訓練與推理　210

11.4　課後習題　215

第 12章　推薦系統　216

12.1　推薦系統簡介　216

12.1.1　推薦系統的定義　216

12.1.2　推薦系統的發展歷程　217

12.1.3　推薦系統的應用領域　217

12.2　推薦系統的常用模型　218

12.2.1　基於內容的推薦系統模型　218

12.2.2　基於協同過濾的推薦模型　219

12.3　推薦系統實戰　219

12.3.1　基於Criteo數據集的MindSpore Recommender在線學習流程　219

12.3.2　Wide&Deep模型進行推薦和點擊預測　222

12.4　課後習題　225

第 13章　量子計算　228

13.1　量子計算簡介　228

13.1.1　量子計算的概念與特征　228

13.1.2　量子計算與經典計算對比　229

13.2　量子計算框架　229

13.2.1　通用量子計算　229

13.2.2　變分量子計算　230

13.3　量子計算實戰　231

13.3.1　MindQuantum簡介　231

13.3.2　基於量子神經網絡求解鳶尾花分類問題　231

13.3.3　基於量子組合優化求解Max-Cut問題　243

13.3.4　基於量子化學模擬求解分子基態能量問題　251

13.4　課後習題　258

第 14章　輕量級人工智能　261

14.1　輕量級人工智能簡介　261

14.1.1　輕量級人工智能的概念　261

14.1.2　輕量級人工智能的意義　262

14.2　輕量級人工智能方法　262

14.2.1　輕量級模型設計方法　262

14.2.2　模型壓縮策略　263

14.3　輕量級人工智能實戰　264

14.3.1　利用MindSpore Lite進行手機圖庫目標識別　264

14.3.2　利用MindSpore Lite進行手機端圖像分割　276

14.4　課後習題　280

第 15章　人工智能大模型　283

15.1　人工智能大模型的概念與發展　283

15.1.1　人工智能大模型的概念　283

15.1.2　人工智能大模型的發展歷程　284

15.2　ChatGPT工作原理　285

15.2.1　語言模型基礎與架構　285

15.2.2　GPT-3.5架構簡介　285

15.2.3　ChatGPT的生成過程與訓練方法　286

15.3　大模型實戰　286

15.3.1　利用MindOne檢測輸入的文本是否由ChatGPT生成　286

15.3.2　利用MindPet進行大模型參數微調　287

15.4　課後習題　291

第 16章　人工智能倫理　293

16.1　人工智能安全問題　293

16.1.1　對抗攻擊簡介　293

16.1.2　對抗攻擊分類　294

16.1.3　對抗攻擊發展歷史與代表工作　294

16.1.4　對抗訓練與對抗防禦方法　296

16.2　人工智能倫理問題　299

16.2.1　人工智能倫理　299

16.2.2　生成式人工智能倫理探討　300

16.2.3　人工智能的發展倡議　301

16.2.4　可信人工智能　302

16.3　課後習題　306