程序員的數學2 : 概率統計 程序员的数学2:概率统计

平岡和幸（作者）
  數理工程學博士，對機器學習興趣濃厚。
  喜歡Ruby，熱愛Scheme。
  被Common Lisp吸引，正在潛心研究。

堀玄（作者）
  數理工程學博士，主要從事腦科學與信號處理領域的研究。
  喜歡Ruby、JavaScript、PostScript等語言。
  正在研究基於統計學理論的語言處理。

部分聊聊概率這件事

章概率的定義3

1.1 概率的數學定義3

1.2 三扇門（蒙提霍爾問題） ——飛艇視角4

1.2.1 蒙提霍爾問題5

1.2.2 正確答案與常見錯誤6

1.2.3 以飛艇視角表述6

1.3 三元組（Ω, F, P） ——上帝視角9

1.4 變量13

1.5 概率分佈17

1.6 適於實際使用的簡記方式19

1.6.1 變量的表示方法19

1.6.2 概率的表示方法20

1.7 ?是幕後角色21

1.7.1 不必在意?究竟是什麼21

1.7.2 ?的習慣處理方式22

1.7.3 不含?（不含​​上帝視角）的概率論23

1.8 一些注意事項23

1.8.1 想做什麼23

1.8.2 因為是面積…… 24

1.8.3 解釋26

第2章多個變量之間的關係29

2.1 各縣的土地使用情況（面積計算的預熱） 29

2.1.1 不同縣、不同用途的統計（聯合概率與邊緣概率的預熱） 30

2.1.2 特定縣、特定用途的比例（條件概率的預熱） 31

2.1.3 倒推比例（貝葉斯公式的預熱） 32

2.1.4 比例相同的情況（獨立性的預熱） 34

2.1.5 預熱結束38

2.2 聯合概率與邊緣概率38

2.2.1 兩個變量38

2.2.2 三個變量41

2.3 條件概率42

2.3.1 條件概率的定義42

2.3.2 聯合分佈、邊緣分佈與條件分佈的關係45

2.3.3 即使條件中使用的不是等號也一樣適用50

2.3.4 三個或更多的變量51

2.4 貝葉斯公式55

2.4.1 問題設置56

2.4.2 貝葉斯的作圖曲57

2.4.3 貝葉斯公式61

2.5 獨立性63

2.5.1 事件的獨立性（定義） 64

2.5.2 事件的獨立性（等價表述） 67

2.5.3 變量的獨立性70

2.5.4 三個或更多變量的獨立性（需多加註意） 73

第3章離散值的概率分佈79

3.1 一些簡單的例子79

3.2 二項分佈82

3.2.1 二項分佈的推導82

3.2.2 補充：排列nPk、組合nCk 83

3.3 期望值85

3.3.1 期望值的定義85

3.3.2 期望值的基本性質87

3.3.3 期望值乘法運算的注意事項91

3.3.4 期望值不存在的情況93

3.4 方差與標準差99

3.4.1 即使期望值相同99

3.4.2 方差即“期望值離散程度”的期望值0

3.4.3 標準差2

3.4.4 常量的加法、乘法及標準化4

3.4.5 各項獨立時，和的方差等於方差的和8

3.4.6 平方的期望值與方差1

3.5 大數定律112

3.5.1 獨立同分佈114

3.5.2 平均值的期望值與平均值的方差116

3.5.3 大數定律117

3.5.4 大數定律的相關注意事項118

3.6 補充內容：條件期望與小二乘法120

3.6.1 條件期望的定義120

3.6.2 小二乘法121

3.6.3 上帝視角122

3.6.4 條件方差123

第4章連續值的概率分佈127

4.1 漸變色打印問題（密度計算的預熱） 128

4.1.1 用圖表描述油墨的消耗量（累積分佈函數的預熱） 128

4.1.2 用圖表描述油墨的打印濃度（概率密度函數預熱） 129

4.1.3 拉伸打印成品對油墨濃度的影響（變量變換的預熱） 133

4.2 概率為零的情況136

4.2.1 出現概率恰好為零的情況137

4.2.2 概率為零將帶來什麼問題139

4.3 概率密度函數140

4.3.1 概率密度函數140

4.3.2 均勻分佈146

4.3.3 概率密度函數的變量變換147

4.4 聯合分佈·邊緣分佈·條件分佈152

4.4.1 聯合分佈152

4.4.2 本小節之後的閱讀方式155

4.4.3 邊緣分佈155

4.4.4 條件分佈159

4.4.5 貝葉斯公式162

4.4.6 獨立性163

4.4.7 任意區域的概率·均勻分佈·變量變換166

4.4.8 實數值與離散值混合存在的情況174

4.5 期望值、方差與標準差174

4.5.1 期望值175

4.5.2 方差·標準差179

4.6 正態分佈與中心極限定理180

4.6.1 標準正態分佈181

4.6.2 一般正態分佈184

4.6.3 中心極限定理187

第5章協方差矩陣、多元正態分佈與橢圓195

5.1 協方差與相關係數196

5.1.1 協方差196

5.1.2 協方差的性質199

5.1.3 分佈傾向的明顯程度與相關係數200

5.1.4 協方差與相關係數的局限性206

5.2 協方差矩陣208

5.2.1 協方差矩陣=方差與協方差的一覽表208

5.2.2 協方差矩陣的向量形式表述209

5.2.3 向量與矩陣的運算及期望值212

5.2.4 向量值變量的補充說明215

5.2.5 協方差矩陣的變量變換217

5.2.6 任意方向的發散程度218

5.3 多元正態分佈220

5.3.1 多元標準正態分佈220

5.3.2 多元一般正態分佈223

5.3.3 多元正態分佈的概率密度函數228

5.3.4 多元正態分佈的性質230

5.3.5 截面與投影232

5.3.6 補充知識：卡方分佈239

5.4 協方差矩陣與橢圓的關係242

5.4.1 （實例一）單位矩陣與圓242

5.4.2 （實例二）對角矩陣與橢圓244

5.4.3 （實例三）一般矩陣與傾斜的橢圓247

5.4.4 協方差矩陣的局限性251

第2部分探討概率的應用

第6章估計與檢驗257

6.1 估計理論257

6.1.1 描述統計與推斷統計257

6.1.2 描述統計258

6.1.3 如何理解推斷統計中的一些概念260

6.1.4 問題設定264

6.1.5 期望罰款金額265

6.1.6 多目標優化266

6.1.7 （策略一）少候選項——小方差無偏估計267

6.1.8 （策略二）弱化優定義——似然估計269

6.1.9 （策略三）以單一數值作為評價基準—​​—貝葉斯估計272

6.1. 策略選擇的相關注意事項275

6.2 檢驗理論276

6.2.1 檢驗理論中的邏輯276

6.2.2 檢驗理論概述278

6.2.3 簡單假設279

6.2.4 複合假設282

第7章偽數285

7.1 偽數的基礎知識285

7.1.1 數序列285

7.1.2 偽數序列286

7.1.3 典型應用：蒙特卡羅方法287

7.1.4 相關主題：密碼理論中的偽數序列·低差異序列289

7.2 遵從特定分佈的數的生成291

7.2.1 遵從離散值分佈的數的生成292

7.2.2 遵從連續值分佈的數的生成293

7.2.3 遵從正態分佈的數的生成296

7.2.4 補充知識：三角形內及球面上的均勻分佈298

第8章概率論的各類應用305

8.1 回歸分析與多變量分析305

8.1.1 通過小二乘法擬合直線305

8.1.2 主成分分析312

8.2 過程319

8.2.1 遊走321

8.2.2 卡爾曼濾波器326

8.2.3 馬爾可夫鏈331

8.2.4 關於過程的一些補充說明342

8.3 信息論343

8.3.1 熵343

8.3.2 二元熵347

8.3.3 信源編碼349

8.3.4 信道編碼352

附錄A 本書涉及的數學基礎知識359

A.1 希臘字母359

A.2 數359

A.2.1 自然數·整數359

A.2.2 有理數·實數359

A.2.3 複數360

A.3 集合360

A.3.1 集合的表述方式360

A.3.2 無限集的大小361

A.3.3 強化練習361

A.4 求和符號? 362

A.4.1 定義與基本性質362

A.4.2 雙重求和364

A.4.3 範圍指定366

A.4.4 等比數列366

A.5 指數與對數368

A.5.1 指數函數368

A.5.2 高斯積分371

A.5.3 對數函數374

A.6 內積與長度377

附錄B 近似公式與不等式381

B.1 斯特林公式381

B.2 琴生不等式381

B.3 吉布斯不等式384

B.4 馬爾可夫不等式與切比雪夫不等式385