貝葉斯的博弈 : 數學、思維與人工智能

黃黎原（Lê Nguyên Hoang），瑞士洛桑聯邦理工學院科學信息與通信學院研究員，美國麻省理工學院博士後，加拿大蒙特利爾理工學校應用數學博士。設立多個科普網站、網絡視頻頻道及播客，著有多部數學、計算機理論著作。

目錄

第1章初始之旅1
學生問難1
走上貝葉斯主義的道路2
統一的知識哲學4
科學方法的替代6
客觀性的迷夢8
本書的目標11

第2章貝葉斯定理14
小孩謎題14
蒙蒂霍爾問題15
薩莉克拉克的審判17
被判非法的貝葉斯主義18
貝葉斯定理19
貝葉斯公式的組成部分21
貝葉斯主義對化驗結果的解讀22
貝葉斯主義對薩莉克拉克的辯護24
小孩謎題終於解決了！25
幾句鼓勵的話26

第3章從邏輯上來說…… 28
兩種思考模式28
邏輯的規則30
Q的背面都是藍色的嗎？32
量詞與謂詞33
重新解釋亞里士多德三段論34
公理化方法35
柏拉圖主義者對陣直覺主義者36
貝葉斯邏輯※ 37
超越真與假39
矛盾理論走向共存41

第4章必須（正確地）泛化！43
蘇格蘭的黑色綿羊43
認識論簡史44
行星研究簡史45
科學與波普爾背道而馳？46
頻率主義※ 47
反對p值的統計學家50
p值操控51
統計學課本講了什麼52
智慧方程53
漸進學習55
再談愛因斯坦56

第5章榮耀歸於偏見58
琳達問題58
用偏見解釋琳達問題※ 59
偏見是必要的61
xkcd的太陽62
用偏見解釋xkcd 63
用偏見為薩莉克拉克辯護64
用偏見對抗偽科學65
偏見拯救科學66
貝葉斯主義者對萬物均有偏見68
錯誤的偏見71
偏見與道德74

第6章貝葉斯主義的“先知” 76
一段起伏跌宕的歷史76
概率論的起源77
神秘的托馬斯貝葉斯78
拉普拉斯，貝葉斯主義之父79
拉普拉斯接續法則81
貝葉斯主義的寒冬84
貝葉斯主義拯救盟軍85
頻率主義海洋中的貝葉斯孤島88
被實幹者拯救的貝葉斯主義89
貝葉斯主義的勝利91
貝葉斯無處不在92

第7章所羅門諾夫妖93
非人類，也非機器93
算法基礎94
“模式”是什麼？96
所羅門諾夫複雜度97
算法與概率的聯姻100
所羅門諾夫的偏見※ 102
貝葉斯主義造就所羅門諾夫妖※ 103
所羅門諾夫完備性104
所羅門諾夫歸納法的不可計算性105
所羅門諾夫不完備性107
對實用的追求108

第8章保守秘密110
保密110
今天的密碼學111
用貝葉斯主義破譯密碼113
隨機調查問卷114
隨機調查的私密性116
差分隱私的定義※ 117
拉普拉斯型機制119
組合健壯性120
隱私損失的可加性121
在實踐中可行不通！122
同態加密123

第9章博弈已成定局125
“心計” 125
平分還是獨占127
貝葉斯式遊說128
謝林點131
混合均衡132
貝葉斯博弈134
貝葉斯機制設計※ 135
邁爾森的拍賣137
貝葉斯主義的社會影響138

第10章達爾文遇上貝葉斯140
倖存者偏差140
加利福尼亞的五彩蜥蜴141
洛特卡-沃爾泰拉動力學※ 142
遺傳算法144
構築自己的意見？145
單個科學家並不可靠146
訴諸權威148
科學共識150
“標題黨” 151
市場的預測能力152
金融泡沫155

第11章指數超乎直覺157
那些大得過分的數157
計算的“玻璃天花板” 159
指數爆炸160
印度-阿拉伯數字的魔法163
本福特定律164
對數尺度166
對數167
貝葉斯公式搶到了哥德爾獎168
貝葉斯主義者的度假方法170
技術奇點172

第12章揮動奧卡姆的剃刀174
上星期四…… 174
足球裡沒有命中註定176
過度詮釋的災難177
追尋簡單性的複雜旅程180
世事並非一貫簡單181
交叉驗證183
蒂布斯蘭尼正則化185
穩健優化186
用貝葉斯方法解決過度擬合※ 187
只有貝葉斯推斷才是可容許的※ 188
奧卡姆剃刀來自貝葉斯主義！189

第13章真相在撒謊191
公立醫院還是私人診所？191
相關並非因果193
尋找混雜因素195
回歸平均197
斯坦悖論198
內生分層的失效199
進行隨機化吧！201
蘇格蘭黑色綿羊的回歸203
貓是什麼？204
詩性自然主義206

第14章又快又（足夠）好208
素數的奧秘208
素數定理210
τ的近似211
漸近展開212
實用主義的限制213
圖靈的機器學習213
實用貝葉斯主義216
次線性算法218
思考的多種模式220
邁進後嚴謹階段！221
貝葉斯的近似222

第15章不走運導致的錯誤224
FiveThirtyEight與2016年美國總統大選224
量子力學是概率性的嗎？225
混沌理論228
無法預測的確定性自動機229
熱力學230
香農熵231
香農的最優壓縮233
香農冗餘度234
KL散度235
沃瑟斯坦度量236
生成式對抗網絡237

第16章記憶缺陷241
數據的價值241
數據氾濫242
廁所問題243
信息洪流的高速處理244
卡爾曼濾波器246
面對大數據的人類大腦247
擦除記憶創傷248
虛假回憶250
用貝葉斯幫助記憶252
短期記憶與長期記憶253
遞歸神經網絡254
應該學什麼，應該教什麼？256

第17章睡夢是你的顧問258
想法從何而來？258
人工智能的創新藝術259
隱含狄利克雷分佈260
向LDA施以援手的中餐館262
蒙特卡羅模擬263
隨機梯度下降法265
偽隨機數266
重要性抽樣267
重要性抽樣能助LDA一臂之力267
伊辛模型※ 269
玻爾茲曼機270
MCMC與穀歌的PageRank 272
梅特羅波利斯－黑廷斯抽樣273
吉布斯抽樣274
MCMC與認知偏差276
對比散度與夢278

第18章抽象方法超出常理的有效性280
深度學習，真的行！280
特徵學習282
單詞的向量表示283
指數式的表達能力※ 285
複雜性的湧現286
柯爾莫哥洛夫精緻度※ 287
精緻度就是所羅門諾夫的MAP估計！※ 288
本內特的邏輯深度290
數學的深度292
數學的簡潔性293
數學的模塊性294

第19章貝葉斯大腦297
大腦不可思議297
山峰還是山谷？299
視錯覺300
運動的感知301
貝葉斯抽樣302
歸納問題304
學習如何學習305
抽象的恩賜306
嬰兒都是天才308
語言308
學習計數310
心智理論311
先天還是後天？312

第20章一切都是虛構314
柏拉圖的洞穴314
反實在主義315
生命是否存在？316
貨幣是否存在？317
目的論，科學中的一條死路？320
關於現實，圖靈－丘奇論題有何說法？324
（工具主義的）非實在論有用嗎？325
大腦之外的世界是否存在？327
貓存在於二進制代碼中嗎？327
所羅門諾夫妖的非實在論329

第21章信念的起源330
發散級數的奇聞330
但那是錯的，不是嗎？332
軍官學生333
我的亞洲之旅335
都是因為魔鬼獲得了權力？336
故事比數字更有效果337
心理作用339
意識形態的達爾文式演化340
心理作用有用342
視頻網站的魔法344
旅途仍在繼續344

第22章超越貝葉斯主義346
貝葉斯不考慮道德哲學346
自然（選擇得到的）道德347
無意識的道德349
胡蘿蔔加大棒352
大多數人的道德？353
道德義務論355
知識是合理的目的嗎？357
效用主義359
貝葉斯結果論者361
結語363

致謝365
人名對照表366
註釋和推薦閱讀373