人工智能引論

張闖，北京郵電大學人工智能學院教授，博士生導師。曾任北京郵電大學信息中心主任，現任網絡（繼續）教育學院院長，美國西北大學（Northwestern University）訪問學者，IEEE/ACM會員，人工智能學會（CAAI）智能服務專委會委員，中國計算機學會（CCF）數據治理執行委員。主要的研究方向與關註領域為：計算機視覺、遙感大數據解譯與挖掘、文化計算與數字人文、人工智能與現代教育等。作為項目負責人和主要參加人完成過多項國家重點研發計劃項目、國家自然科學基金委項目、知名企業橫向委托開發項目等。目前在相關領域指導學生發表學術論文100余篇，並擁有多項技術發明專利。指導學生獲得CVPR2018衛星道路檢測比賽全球第一名，2023年天池大數據首屆世界科學智能大賽大氣科學賽道冠軍。作者同時為國家級職業教育“雙師型”教師培訓基地負責人，名師（名匠）名校長培養計劃項目負責人，教育部人工智能專業虛擬教研室核心成員，參與教育部人工智能領域教學資源共享服務平臺《人工智能概論》課程建設與新型教材建設。北郵人工智能導論課程群負責人，《人工智能導論》校級高新課程建設負責人，該課程獲評2022年校級課程思政示範課程。主持“5G+智慧體育育人研究與實踐”“面向發展的《人工智能導論》開放式教學研究”等校級教改項目，參與高教學會“生成式 AI支持下的高等教育數字化推進策略與實踐研究”“面向終身教育體系構建的新時代高校繼續教育轉型研究”等教研類項目。

第 1 章 認識人工智能

1.1　人工智能的起源與發展…………　002

1.2　人工智能領域的重要人物及其貢獻………………………………　003

1.3　人工智能的內在邏輯及知識體系………………………………　006

*1.4　人工智能的數學本質……………　010

1.4.1　人工智能的數學表示 …………　010

1.4.2　常用的基元函數及其功能 ……　010

1.4.3　智能函數的參數學習 …………　015

1.4.4　參數學習方式 …………………　015

1.4.5　深度學習架構 …………………　018

1.5　人工智能系統的工程化求解……　019

1.6　通用人工智能與原生人工智能…　020

1.6.1　通用人工智能 …………………　020

1.6.2　原生人工智能 …………………　022

1.6.3　大語言模型的通用性 …………　024

1.7　新一代人工智能發展歸因………　026

思考題　…………………………………　027

第　2 章 機器學習

2.1　機器學習基礎知識………………　029

2.1.1　機器學習與模式識別 …………　029

2.1.2　機器學習的一般形式 …………　030

2.1.3　可計算的機器學習 ……………　031

2.1.4　機器學習的基本分類 …………　033

*2.2　機器學習的模型…………………　034

2.2.1　學習模型的數學構建 …………　034

2.2.2　學習模型的種類 ………………　034

2.2.3　特征函數與相似度函數 ………　035

*2.3　機器學習的策略…………………　036

2.3.1　期望損失與經驗損失 …………　036

2.3.2　模型評估與模型的泛化能力 …　037

2.3.3　影響泛化能力的主要因素 ……　037

2.3.4　改善模型泛化性的主要策略 …　043

*2.4　機器學習的優化算法……………　044

2.4.1　基於數據的自動求解 …………　044

2.4.2　基於機器學習的決策函數自動求解 ……………………………　045

2.4.3　概率估計 ………………………　046

2.4.4　參數估計 ………………………　048

思考題　…………………………………　048

第　3 章 深度神經網絡

3.1　基於神經網絡的學習……………　050

*3.2　神經網絡…………………………　051

3.2.1　多層感知機與神經網絡 ………　051

3.2.2　誤差反向傳播 …………………　054

3.2.3　參數更新 ………………………　060

*3.3　深度神經網絡的核心問題………　061

3.3.1　加深網絡 ………………………　061

3.3.2　梯度消失和梯度爆炸問題 ……　063

3.3.3　更多的數據 ……………………　065

3.3.4　更快的優化算法 ………………　066

3.3.5　避免過擬合的方法 ……………　069

3.4　深度神經網絡典型模型及其應用………………………………　070

3.4.1　基於ImageNet的圖像理解任務競賽 ……………………………　070

*3.4.2　典型的深度神經網絡 …………　072

3.4.3　深度神經網絡應用案例 ………　074

思考題　…………………………………　078

第　4 章 生成式人工智能

4.1　預訓練模型………………………　080

4.1.1　什麼是預訓練模型 ……………　080

*4.1.2　自監督學習與微調 ……………　081

4.1.3　預訓練模型的發展趨勢 ………　085

4.2　大語言模型………………………　086

4.2.1　大語言模型的訓練數據 ………　086

4.2.2　大語言模型架構 ………………　087

4.2.3　大語言模型預訓練的方法 ……　088

4.2.4　大語言模型的訓練過程 ………　088

4.2.5　大語言模型的能力湧現 ………　089

4.2.6　大語言模型的微調 ……………　089

4.2.7　提示工程 ………………………　090

4.3　生成式人工智能——圖像生成…　091

4.3.1　圖像生成之擴散模型 …………　091

4.3.2　圖像生成技術在藝術創作中的應用 ……………………………　092

4.4　大模型預訓練方法未來的發展 ……………………………　093

思考題　…………………………………　094

第　5 章 任務驅動的人工智能應用

5.1　視覺任務…………………………　096

5.1.1　圖像分類與識別 ………………　097

5.1.2　圖像分割 ………………………　098

5.1.3　目標檢測 ………………………　100

5.1.4　視頻分析 ………………………　101

5.1.5　視覺任務中的大模型 …………　103

5.2　自然語言處理……………………　105

5.2.1　機器翻譯 ………………………　105

5.2.2　自動文本摘要 …………………　108

5.2.3　對話系統 ………………………　110

5.2.4　大語言模型解決自然語言處理問題 ……………………………　112

5.3　博弈與自動駕駛…………………　113

5.3.1　棋類遊戲 ………………………　113

5.3.2　自動駕駛 ………………………　114

思考題　…………………………………　115

第　6 章 人工智能計算平臺基礎

6.1　深度學習的基礎算力……………　117

6.1.1　用於深度學習的服務器結構 …　117

6.1.2　用於深度學習的雲計算平臺 …　121

6.1.3　算力網絡 ………………………　122

*6.2　深度學習模型的效能……………　123

6.2.1　深度學習模型的縮放率 ………　123

6.2.2　深度學習模型與計算資源 ……　124

6.2.3　深度學習模型與訓練時間 ……　125

6.2.4　加速大規模深度學習模型訓練 ……………………………　125

*6.3　人工智能高效計算趨勢…………　129

6.3.1　專家混合模型 …………………　129

6.3.2　深度學習光學芯片 ……………　129

6.3.3　量子計算 ………………………　130

思考題　…………………………………　130

第　7 章 人工智能驅動的科學研究

7.1　引言………………………………　132

7.2　範式與科學發展範式……………　132

7.2.1　科學革命的基本範式 …………　132

7.2.2　人工智能驅動的科學研究 ……　133

7.3　科學智能的交叉融合發展………　134

7.3.1　科學智能的交叉發展格局 ……　135

7.3.2　科學智能的發展階段 …………　135

*7.4　人工智能驅動科學研究領域示例………………………………　136

7.4.1　人工智能與現代數學 …………　136

7.4.2　人工智能與氣象預測 …………　138

7.4.3　人工智能與生命科學 …………　144

7.4.4　人工智能與化學研究 …………　147

思考題　…………………………………　150

第　8 章 人工智能的社會角色

8.1　隱私計算與聯邦學習……………　152

*8.2　人工智能的模型安全……………　153

8.2.1　破壞模型完整性 ………………　153

8.2.2　破壞模型可用性 ………………　157

8.2.3　破壞模型機密性 ………………　157

8.2.4　模型水印 ………………………　159

8.2.5　人工智能決策安全與可解釋 …　159

*8.3　網絡安全領域的人工智能應用…　161

8.3.1　人工智能在網絡安全領域的一些主要應用 …………………　161

8.3.2　黑客利用人工智能開展的網絡行為 ……………………………　162

8.4　人工智能與社會倫理……………　162

8.4.1　人工智能時代下的倫理問題 …　163

8.4.2　人工智能倫理問題產生的原因 ……………………………　164

8.4.3　人工智能倫理問題的影響 ……　165

8.5　人工智能倫理問題的解決方案…　166

8.5.1　國家層面的解決方案 …………　166

8.5.2　企業層面的解決方案 …………　167

8.5.3　技術層面的解決方案 …………　168

8.5.4　以人為本，智能向善 …………　169

8.6　人工智能與教育…………………　170

8.6.1　人工智能賦能教育轉型 ………　170

8.6.2　學生人工智能能力框架 ………　170

8.7　人工智能與社會發展……………　174

思考題　…………………………………　176

附錄　A 人工智能簡史

A.1　人工智能的誕生 ………………　178

A.1.1　控制論與早期神經網絡 ………　178

A.1.2　棋類遊戲人工智能 ……………　178

A.1.3　圖靈測試 ………………………　178

A.1.4　符號推理與“邏輯理論家”程序 ……………………………　179

A.2　人工智能的第 一次浪潮 ………　179

A.2.1　搜索式推理 ……………………　180

A.2.2　語法分析和模式匹配 …………　180

A.2.3　微世界 …………………………　181

A.3　人工智能的第 一次低谷 ………　181

A.3.1　第 一次低谷時人工智能面臨的問題 ……………………………　181

A.3.2　簡約派：邏輯、Prolog語言和專家系統 ………………………　182

A.3.3　蕪雜派：框架和腳本 …………　182

A.4　人工智能的第二次浪潮 ………　183

A.4.1　專家系統 ………………………　183

A.4.2　知識革命 ………………………　183

A.4.3　連結主義的重生（Hopfield 網絡） …………………………　184

A.4.4　第二代神經網絡（MLP和CNN）…………………………　184

A.5　人工智能的第二次低谷 ………　185

A.5.1　第二次低谷時人工智能面臨的問題 ……………………………　185

A.5.2　人工智能的認知革命 …………　185

A.5.3　支持向量機 ……………………　186

A.6　人工智能的第三次浪潮 ………　186

A.6.1　AlphaGo ………………………　187

A.6.2　智能代理 ………………………　187

A.6.3　從人腦視覺原理到特征提取 …　187

A.6.4　深度學習 ………………………　188

A.6.5　數據挖掘 ………………………　189

A.7　通用人工智能和大模型 ………　190

A.7.1　ChatGPT ………………………　190

A.7.2　擴散模型 ………………………　191

A.7.3　神經輻射場 ……………………　191

附錄　B 人工智能學術前沿

B.1　人工智能的學術聖杯 …………　194

B.1.1　自然語言處理 …………………　194

B.1.2　計算機視覺 ……………………　194

B.1.3　智能機器人 ……………………　195

B.1.4　自動語音識別 …………………　196

B.2　國際學術組織 …………………　196

B.2.1　人工智能領域的主要國際學術組織 ……………………………　196

B.2.2　國際學術組織的作用與影響 …　197

B.2.3　國際學術組織面臨的挑戰與未來發展 ………………………　198

B.3　人工智能領域頂級會議與期刊　199

B.3.1　計算機視覺領域頂級會議 ……　199

B.3.2　機器學習領域頂級會議 ………　199

B.3.3　自然語言處理領域頂級會議 …　199

B.3.4　計算機圖形學與多媒體領域頂級會議 ………………………　200

B.3.5　人工智能綜合領域頂級會議 …　200

B.3.6　人工智能領域頂級期刊 ………　200

B.4　人工智能的科研路徑 …………　201

B.4.1　學術興趣和領域選擇 …………　201

B.4.2　學術素養和知識儲備 …………　202

B.4.3　學術交流與社區學習 …………　202

B.4.4　培養批判性思維和創新思維 …　203

參考文獻　…………………………　204