人工智能：是什麽？為什麽？怎麽做？

目錄

 

 

第1章人工智能3

1.1Artificial3

1.2圖靈測試4

1.3人類智能7

1.4一次會議8

1.5兩場棋局9

1.5.1Deep Blue與卡斯帕羅夫11

1.5.2AlphaGo與李世石11

1.6三門學派12

1.6.1無可奈何花落去——符號主義13

1.6.2似曾相識燕歸來——連接主義14

1.6.3小園香徑獨徘徊——行為主義15

1.7五個階段17

1.7.1記憶和計算18

1.7.2感知和認知18

1.7.3分析和推理20

1.7.4發明和創造20

1.7.5具有意識的機器20

1.8Singularity22

 

第2章編碼25

2.1馮·諾依曼體系結構25

2.2數字的編碼31

2.2.1數字系統31

2.2.2整數的編碼32

2.2.3實數的編碼32

2.3文字的編碼34

2.4圖像的編碼35〖1〗〖2〗人工智能： 是什麽？為什麽？怎麽做？〖1〗目錄2.5聲音的編碼38

2.6視頻的編碼39

2.7數據的組織40

2.8More Is Different41

2.9怎麽做42

2.9.1二—十進制轉換42

2.9.2十六進制43

2.9.3補碼44

2.9.4浮點數編碼44

2.9.5數字的編碼45

2.9.6圖像的編碼45

2.9.7聲音的編碼46

 

第3章數學47

3.1高等數學48

3.1.1導數48

3.1.2Sigmoid()函數49

3.1.3梯度下降算法50

3.2概率論54

3.2.1合取謬誤54

3.2.2星期二男孩54

3.2.3蒙特卡羅算法56

3.2.4三門問題56

3.2.5信息論58

3.3線性代數64

3.3.1向量65

3.3.2矩陣66

3.3.3維數67

3.3.4距離70

3.3.5奇異值分解74

3.4Concrete Mathematics76

3.5怎麽做78

3.5.1繪制曲線和曲面圖78

3.5.2梯度下降算法79

3.5.3蒙特卡羅算法82

3.5.4奇異值分解83第二部分經典人工智能

第4章算法87

4.1算法概述88

4.2笨AI與聰明AI89

4.3算法復雜度91

4.3.1大O表示法91

4.3.2常見復雜度93

4.4如何描述問題97

4.4.1樹97

4.4.2用樹描述問題98

4.4.3遞歸100

4.4.4圖101

4.4.5用圖描述問題103

4.5無指導信息搜索106

4.5.1深度優先搜索106

4.5.2寬度優先搜索109

4.5.3搜索評價110

4.6有指導信息搜索111

4.6.1迪傑斯特拉算法111

4.6.2啟發式112

4.6.3A搜索算法113

4.7路徑無關搜索115

4.7.1最優化搜索115

4.7.2約束滿足問題116

4.7.3對抗搜索118

4.8遺傳算法118

4.9推薦算法123

4.10Alchemy and Artificial Intelligence125

4.11怎麽做126

4.11.1算法入門126

4.11.2遞歸算法127

4.11.3無指導信息搜索127

4.11.4有指導信息搜索128

4.11.5路徑無關搜索133

4.11.6遺傳算法134

4.11.7推薦算法138

 

第5章博弈140

5.1棋類游戲框架140

5.2對抗搜索142

5.2.1博弈樹142

5.2.2靜態估值143

5.2.3minimax算法144

5.2.4negamax算法147

5.2.5alphabeta剪枝147

5.3其他棋類游戲148

5.3.1人機博弈小史148

5.3.2棋類軟件設計技巧149

5.3.3AlphaGo簡介150

5.4Game Theory151

5.5怎麽做153

5.5.1棋類游戲框架153

5.5.2negamax算法155

5.5.3alphabeta剪枝算法156

 

第6章知識169

6.1邏輯169

6.1.1命題邏輯170

6.1.2一階邏輯173

6.1.3高階邏輯175

6.1.4邏輯推理175

6.1.5邏輯編程177

6.2專家系統179

6.2.1專家系統概述179

6.2.2專家系統構建180

6.2.3典型專家系統186

6.3知識圖譜191

6.3.1概述191

6.3.2知識從哪裡來192

6.3.3知識如何表示198

6.3.4知識如何推理204

6.3.5知識如何存儲208

6.3.6知識如何應用212

6.4Wir müssen wissen，Wir werden wissen216

6.4.1希爾伯特216

6.4.2哥德爾217

6.5怎麽做220

6.5.1邏輯編程220

6.5.2專家系統222

6.5.3知識圖譜223

6.5.4哥德爾數224

 

第7章行為227

7.1機器人227

7.1.1SHRDLU227

7.1.2SHAKEY229

7.1.3機器人與電腦230

7.2新範式231

7.3基於行為的人工智能233

7.3.1SPA體系結構233

7.3.2包容式體系結構233

7.3.3更多體系結構235

7.3.4設計自己的體系結構237

7.4智能體概述238

7.4.1只有行為不夠238

7.4.2智能體238

7.4.3多智能體241

7.5Birds and Frogs246

7.6怎麽做248

7.6.1智能體博弈248

7.6.2Boids模擬249

第三部分機器學習技術

第8章機器學習（一）253

8.1機器學習概述253

8.1.1學習範式253

8.1.2機器學習過程254

8.1.3機器學習分類255

8.2最簡單的機器學習——線性回歸256

8.2.1線性回歸256

8.2.2誤差函數259

8.3多元回歸分析261

8.4嶺回歸和LASSO回歸263

8.5過擬合與欠擬合264

8.6訓練集、測試集和驗證集265

8.6.1訓練集與測試集265

8.6.2驗證集與交叉驗證266

8.7有監督和無監督學習267

8.8回歸結果評估267

8.9Why268

8.9.1因果性268

8.9.2相關性不等於因果性269

8.9.3統計數據會說謊269

8.9.4如何計算因果？271

8.10怎麽做276

8.10.1動物體重壽命分析276

8.10.2回歸分析277

附註279

 

第9章機器學習（二）280

9.1分類280

9.1.1從回歸到分類280

9.1.2分類結果評估281

9.2既無邏輯又不回歸——邏輯回歸285

9.2.1邏輯回歸思想285

9.2.2交叉熵損失函數286

9.2.3梯度下降求解287

9.3一堆IFELSE——決策樹288

9.3.1決策樹思想288

9.3.2劃分選擇290

9.3.3決策樹的剪枝295

9.3.4連續型數據的處理298

9.4曾經的王者——SVM300

9.4.1SVM概述300

9.4.2支持向量與最優劃分301

9.4.3核函數與高維映射302

9.5學習的本質——貝葉斯304

9.5.1貝葉斯思想304

9.5.2樸素貝葉斯306

9.5.3樸素貝葉斯的應用308

9.6懶惰學習的代表——kNN309

9.7臭皮匠變諸葛亮——集成學習310

9.7.1集成思想310

9.7.2Boosting家族311

9.7.3Bagging家族315

9.8Occams razor316

9.9怎麽做317

9.9.1分類結果評估317

9.9.2鳶尾花數據分析318

9.9.3不難，也不簡單324

附註324

 

第10章機器學習（三）326

10.1聚類326

10.1.1聚類其實是聚簇326

10.1.2簡單實用的聚類： kmeans327

10.1.3聚類結果評估333

10.2降維335

10.2.1維數詛咒335

10.2.2PCA降維336

10.3Complexity340

10.3.1蝴蝶效應340

10.3.2復雜性度量341

10.4怎麽做343

10.4.1聚類343

10.4.2降維347

附註348

第四部分神經網絡與深度學習

第11章神經網絡351

11.1概述351

11.2神經元353

11.2.1激活函數353

11.2.2單個神經元354

11.3構建神經網絡355

11.3.1把神經元連接起來355

11.3.2反向傳播357

11.3.3梯度下降359

11.4初見Mnist360

11.5改進神經網絡361

11.5.1換一個激活函數361

11.5.2再探反向傳播364

11.5.3增加bias366

11.6神經網絡存在的問題368

11.7Connection370

11.7.1從圖到網絡370

11.7.2六度分割372

11.7.3冪率分佈373

11.8怎麽做374

11.8.1前饋計算374

11.8.2Mnist374

11.8.3新的損失函數和激活函數379

11.8.4帶bias的神經網絡381

11.8.5識別自己的手寫體383

11.8.6隨機網絡、無標度網絡383

 

第12章深度學習385

12.1準備知識386

12.1.1二見Mnist386

12.1.2更多激活函數389

12.1.3更多優化算法393

12.2捲積神經網絡401

12.2.1再見Mnist401

12.2.2生物的視覺系統402

12.2.3捲積神經網絡404

12.3長短期記憶網絡408

12.3.1序列數據408

12.3.2循環神經網絡411

12.3.3長短期記憶網絡412

12.3.4結構分析415

12.3.5生物的記憶系統416

12.4強化學習418

12.4.1殺雞用牛刀418

12.4.2庖丁解牛422

12.4.3深度強化學習425

12.4.4生物的學習系統426

12.5生成對抗網絡427

12.5.1生成式模型427

12.5.2神經網絡的博弈428

12.5.3ArtificialMnist428

12.5.4結構分析431

12.6大模型433

12.6.1從名字說起433

12.6.2預訓練433

12.6.3Transformer435

12.7Intelligence445

12.7.1智能在哪裡446

12.7.2PeakEnd447

 

參考文獻449

 

中外文人名對照450

 

後記——書名也內捲456

第0篇什麽是人工智能1

0.1人工智能的誕生1

0.2人工智能的4個發展時代4

0.2.1初期時代4

0.2.2知識時代6

0.2.3特徵時代8

0.2.4數據時代11

0.3什麽是人工智能16

0.4圖靈測試與中文屋子問題19

0.4.1圖靈測試19

0.4.2中文屋子問題21

0.5第三代人工智能23

0.6總結27

 

第1篇神經網絡是如何實現的29

1.1從數字識別談起30

1.2神經元與神經網絡35

1.3神經網絡是如何訓練的39

1.4捲積神經網絡48

1.5梯度消失問題59

1.6過擬合問題69

1.7詞向量74

1.7.1詞的向量表示74

1.7.2神經網絡語言模型76

1.7.3word2vec模型82

1.7.4詞向量應用舉例85

1.8循環神經網絡88

1.9長短期記憶網絡96

1.10深度學習框架104

1.11總結104〖1〗〖2〗艾博士： 深入淺出人工智能〖1〗目錄第2篇電腦是如何學會下棋的106

2.1能窮舉嗎？107

2.2極小極大模型110

2.3αβ剪枝算法112

2.4蒙特卡洛樹搜索115

2.5AlphaGo是如何下棋的124

2.6圍棋中的深度強化學習方法132

2.6.1基於策略梯度的強化學習134

2.6.2基於價值評估的強化學習135

2.6.3基於演員評價方法的強化學習137

2.7AlphaGo Zero是如何自學成才的140

2.8總結147

 

第3篇電腦是如何找到最優路徑的149

3.1路徑搜索問題150

3.2寬度優先搜索算法152

3.3迪傑斯特拉算法155

3.4啟發式搜索157

3.4.1A算法157

3.4.2A算法164

3.4.3定義h函數的一般原則165

3.4.4h函數的評價168

3.4.5A算法存在的不足170

3.4.6單調的h函數172

3.4.7改進的A算法175

3.5深度優先搜索算法181

3.6迭代加深式搜索算法185

3.6.1迭代加深式寬度優先搜索算法186

3.6.2迭代加深式A算法188

3.7動態規劃與Viterbi算法189

3.8拼音輸入法問題191

3.9總結197

 

第4篇如何用隨機算法求解組合優化問題200

4.1組合優化問題201

4.2局部搜索算法203

4.3局部搜索算法存在的問題211

4.4退火過程及分析216

4.4.1退火現象216

4.4.2退火過程分析217

4.5模擬退火算法224

4.6模擬退火算法的參數選擇229

4.6.1起始溫度t0的選取230

4.6.2溫度的下降方法232

4.6.3每一溫度下的停止準則234

4.6.4算法的終止原則235

4.7模擬退火算法應用舉例238

4.8遺傳算法243

4.9遺傳算法應用舉例253

4.10遺傳算法的實現問題258

4.10.1編碼問題258

4.10.2二進制編碼的交叉操作規則262

4.10.3整數編碼的交叉操作規則264

4.10.4變異規則268

4.10.5適應函數270

4.10.6遺傳算法的停止準則274

4.11用遺傳算法求解旅行商問題276

4.12性能評價問題277

4.13模擬退火算法與遺傳算法的對比279

4.14總結281

 

第5篇統計機器學習方法是如何實現分類與聚類的283

5.1統計學習方法284

5.2樸素貝葉斯方法289

5.3決策樹297

5.3.1決策樹算法——ID3算法299

5.3.2決策樹算法——C4.5算法313

5.3.3過擬合問題與剪枝320

5.3.4隨機森林算法327

5.4k近鄰方法330

5.5支持向量機333

5.5.1什麽是支持向量機333

5.5.2線性可分支持向量機339

5.5.3線性支持向量機352

5.5.4非線性支持向量機356

5.5.5核函數與核方法359

5.5.6支持向量機用於多分類問題364

5.6k均值聚類算法371

5.7層次聚類算法379

5.8DBSCAN聚類算法381

5.9驗證與測試問題384

5.10特徵抽取問題387

5.11總結392

 

第6篇專家系統是如何實現的395

6.1什麽是專家系統396

6.2推理方法399

6.3一個簡單的專家系統403

6.4非確定性推理409

6.4.1事實的表示410

6.4.2規則的表示410

6.4.3邏輯運算411

6.4.4規則運算413

6.4.5規則合成415

6.4.6置信度方法的理論根據420

6.5黑板模型423

6.6知識的結構化表示425

6.6.1語義網絡425

6.6.2框架429

6.7專家系統工具433

6.8專家系統的應用436

6.9專家系統的局限性437

6.10總結438

 

附錄ABP算法440

A.1求導數的鏈式法則440

A.2符號約定441

A.3對於輸出層的神經元442

A.4對於隱含層的神經元444

A.5BP算法——隨機梯度下降版446

 

附錄B序列最小最優化（SMO）算法448

B.1SMO算法的基本思想448

B.2SMO算法的詳細計算過程454

第1章深度學習環境搭建1

1.1深度學習典型應用1

1.1.1電腦視覺1

1.1.2自然語言處理3

1.1.3強化學習3

1.2Anaconda使用簡介4

1.2.1Anaconda的特點4

1.2.2Anaconda的下載及安裝4

1.2.3Python庫的導入與添加5

1.2.4conda命令簡介7

1.3TensorFlow使用簡介7

1.3.1TensorFlow的特點8

1.3.2CPU版TensorFlow環境搭建與調用8

1.3.3GPU版TensorFlow環境搭建與調用9

1.4Jupyter Notebook使用簡介15

1.4.1安裝Jupyter Notebook15

1.4.2運行Jupyter Notebook15

 

第2章基本流程——數據處理與模型加載17

2.1使用特徵列隊結構化數據進行分類: 預測心臟病17

2.1.1背景原理17

2.1.2安裝操作18

2.1.3代碼解析19

2.1.4訓練測試23

2.2回歸方法: 預測燃油效率24

2.2.1背景原理24

2.2.2安裝操作24

2.2.3代碼解析24

2.2.4訓練測試29

2.3過擬合與欠擬合: 不同模型選擇對結果的影響33

2.3.1背景原理33

2.3.2安裝操作34

2.3.3代碼解析34

2.3.4訓練測試39

2.4保存與加載預訓練模型42

2.4.1背景原理42

2.4.2安裝操作42

2.4.3代碼解析43

2.4.4訓練測試47

〖1〗〖2〗艾博士： 深入淺出人工智能〖1〗目錄

第3章圖像處理: 增廣與分類49

3.1數據增廣之圖像變換實戰49

3.1.1背景原理49

3.1.2安裝操作49

3.1.3代碼解析50

3.1.4訓練測試56

3.2在CIFAR10上應用VGGNet實現圖像分類60

3.2.1背景原理60

3.2.2安裝操作60

3.2.3代碼解析61

3.2.4訓練測試62

3.3圖像識別之貓狗分類63

3.3.1背景原理63

3.3.2安裝操作63

3.3.3代碼解析64

3.3.4訓練測試65

 

第4章圖像增強識別實戰67

4.1應用高階神經網絡提高圖像分辨率67

4.1.1背景原理67

4.1.2安裝操作67

4.1.3代碼解析68

4.1.4訓練測試70

4.2長短期記憶機器人識別色彩72

4.2.1背景原理72

4.2.2安裝操作72

4.2.3代碼解析73

4.2.4訓練測試75

4.3使用註意力機制給圖像取標題75

4.3.1背景原理75

4.3.2安裝操作76

4.3.3代碼解析76

4.3.4訓練測試82

 

第5章兩階段目標檢測實戰86

5.1基於RPN實現目標檢測86

5.1.1背景原理86

5.1.2安裝操作87

5.1.3代碼解析88

5.1.4訓練測試92

5.2應用MTCNN實現人臉目標檢測92

5.2.1背景原理92

5.2.2安裝操作93

5.2.3代碼解析93

5.2.4訓練測試95

 

第6章單階段目標檢測97

6.1應用單階段完成目標檢測之YOLOv497

6.1.1背景原理97

6.1.2安裝操作98

6.1.3代碼解析98

6.1.4訓練測試101

6.2應用錨定框完成目標檢測之SSD102

6.2.1背景原理102

6.2.2安裝操作103

6.2.3代碼解析103

6.2.4訓練測試111

6.3基於視頻流目標檢測之DarkFlow114

6.3.1背景原理115

6.3.2安裝操作115

6.3.3代碼解析116

6.3.4訓練測試118

6.4基於ResNet實現目標檢測121

6.4.1背景原理122

6.4.2安裝操作122

6.4.3代碼解析124

6.4.4訓練測試128

 

第7章實戰文本識別和圖像生成129

7.1應用捲積神經網絡識別手寫體文本129

7.1.1背景原理129

7.1.2安裝操作130

7.1.3代碼解析131

7.1.4訓練測試132

7.2應用自動編碼器識別手寫體文本133

7.2.1背景原理133

7.2.2安裝操作133

7.2.3代碼解析134

7.2.4訓練測試136

7.3應用變分自動編碼器重建服飾136

7.3.1背景原理136

7.3.2安裝操作137

7.3.3代碼解析137

7.3.4訓練測試140

 

第8章詞匯與音樂的星空——機器創作141

8.1創作鋼琴曲之Music Transformer141

8.1.1背景原理141

8.1.2安裝操作142

8.1.3代碼解析144

8.1.4訓練測試147

8.2應用循環神經網絡創作歌詞147

8.2.1背景原理147

8.2.2安裝操作148

8.2.3代碼解析148

8.2.4訓練測試153

8.3應用門控循環單元創作歌詞154

8.3.1背景原理154

8.3.2安裝操作156

8.3.3代碼解析156

8.3.4訓練測試158

8.4應用長短期記憶創作歌詞159

8.4.1背景原理159

8.4.2安裝操作161

8.4.3代碼解析161

8.4.4訓練測試162

8.5應用文本生成器創作古詩163

8.5.1背景原理164

8.5.2安裝操作164

8.5.3代碼解析165

8.5.4訓練測試168

 

第9章情感分類、翻譯、對話172

9.1使用雙向循環神經網絡對電影評論情感分類172

9.1.1背景原理172

9.1.2安裝操作173

9.1.3代碼解析173

9.1.4訓練測試175

9.2應用詞嵌入計算文本相關性175

9.2.1背景原理176

9.2.2安裝操作176

9.2.3代碼解析176

9.2.4訓練測試184

9.3中英翻譯機器人185

9.3.1背景原理185

9.3.2安裝操作186

9.3.3代碼解析186

9.3.4訓練測試192

9.4基於Seq2Seq中文聊天機器人實戰192

9.4.1背景原理192

9.4.2安裝操作193

9.4.3代碼解析193

9.4.4訓練測試197

 

第10章GAN及其變體的創作199

10.1GAN的原理與實戰199

10.1.1背景原理199

10.1.2安裝操作199

10.1.3代碼解析201

10.1.4訓練測試206

10.2應用生成對抗網絡Pix2Pix模仿歐式建築風格207

10.2.1背景原理207

10.2.2安裝操作207

10.2.3代碼解析208

10.2.4訓練測試212

10.3應用循環對抗網絡CycleGAN完成相似動物轉換212

10.3.1背景原理212

10.3.2安裝操作213

10.3.3代碼解析213

10.3.4訓練測試216

10.4WGANGP人臉生成實戰217

10.4.1背景原理217

10.4.2安裝操作218

10.4.3代碼解析219

10.4.4訓練測試225

 

第11章強化學習與遷移學習226

11.1強化學習之玩轉Flappy Bird226

11.1.1背景原理226

11.1.2安裝操作227

11.1.3代碼解析227

11.1.4訓練測試232

11.2使用TensorFlow Hub實現遷移學習預測影評分類232

11.2.1背景原理232

11.2.2安裝操作233

11.2.3代碼解析233

11.2.4訓練測試236

11.3使用預訓練的捲積神經網絡繪制油畫236

11.3.1背景原理236

11.3.2安裝操作237

11.3.3代碼解析237

11.3.4訓練測試244

 

結語248

 

參考文獻250