虛擬現實寶典：以人為本的VR設計

概述 1
0.1 本書涵蓋的內容 2
0.2 本書未涵蓋的內容 3
0.3 本書適合哪些讀者 3
0.4 如何閱讀本書 3
0.5 七部分內容的綜述 4
第一部分 簡介與背景
1 虛擬現實是什麽 7
1.1 虛擬現實的定義 7
1.2 虛擬現實是溝通 8
1.2.1 直接溝通 8
1.2.2 間接溝通 9
1.3 虛擬現實擅長什麽 9
2 虛擬現實的歷史 11
2.1 19世紀 11
2.2 20世紀 13
2.3 21世紀 20
3 各種現實的概述 21
3.1 “現實”的形式 21
3.2 現實系統 22
3.2.1 視覺顯示器 23
3.2.2 聲音 26
3.2.3 觸覺 27
3.2.4 運動平臺 29
3.2.5 跑步機 30
3.2.6 其他的感覺輸出 31
3.2.7 輸入 31
3.2.8 內容 31
4 沉浸感、臨場感和現實的權衡 32
4.1 沉浸感 32
4.2 臨場感 33
4.3 臨場感的錯覺 34
4.4 現實的權衡 36
4.4.1 恐怖谷 36
4.4.2 保真度連續集 37
*5 基本：設計指南 39
5.1 說明和背景（第一部分） 39
5.2 虛擬現實是溝通（1.2節） 39
5.3 對各種現實的概述（第3章） 40
5.4 沉浸感，臨場感和現實的權衡
（第4章） 40
第二部分 感知
6 主觀和客觀現實 44
6.1 現實是主觀的 44
6.2 感知錯覺 46
6.2.1 2D錯覺 46
6.2.2 邊界完成錯覺 47
6.2.3 盲點 48
6.2.4 深度錯覺 49
6.2.5 月亮錯覺 50
6.2.6 殘影 51
6.2.7 移動錯覺 52
7 感知模型和感知過程 54
7.1 遠端刺激和近端刺激 54
7.2 感覺和感知 55
7.2.1 整合 55
7.3 自下而上和自上而下的過程 55
7.4 傳入和傳出 56
7.5 迭代感知過程 56
7.6 潛意識和意識 58
7.7 本能的、行為的、反射的、情感的
過程 58
7.7.1 本能過程 59
7.7.2 行為過程 59
7.7.3 反射過程 59
7.7.4 情感過程 60
7.8 心智模型 60
7.9 神經語言規劃 61
7.9.1 NLP交流模型 62
7.9.2 外部刺激 62
7.9.3 過濾器 63
7.9.4 內部狀態 64
8 感知模態 65
8.1 看 65
8.1.1 視覺系統 65
8.1.2 亮度和明度 68
8.1.3 顏色 70
8.1.4 視敏度 71
8.1.5 眼動 73
8.1.6 視覺顯示 75
8.2 聽 76
8.2.1 聲音的屬性 76
8.2.2 雙耳信息 77
8.2.3 語音感知 78
8.3 觸摸 79
8.3.1 振動 79
8.3.2 紋理 80
8.3.3 被動觸摸與主動觸摸 80
8.3.4 疼痛 80
8.4 本體感覺 81
8.5 平衡和物理運動 81
8.6 嗅覺和味覺 82
8.7 多模態感知 83
8.7.1 視覺信息和前庭信息相互補充 84
9 空間與時間的感知 85
9.1 空間感知 85
9.1.1 外中心和自我中心判斷 86
9.1.2 分割我們周圍的空間 86
9.1.3 深度（景深）感知 87
9.1.4 測量深度感知 94
9.1.5 虛擬現實中空間感知的挑戰 94
9.2 時間感知 95
9.2.1 時間分析 95
9.2.2 大腦和時間 95
9.2.3 感受時間的流逝 96
9.2.4 閃爍 98
9.3 運動感知 98
9.3.1 生理 99
9.3.2 物體相對運動和主體相對運動 99
9.3.3 光流 100
9.3.4 運動感知因素 100
9.3.5 誘導運動 101
9.3.6 表觀運動 101
9.3.7 運動連貫性 103
9.3.8 運動拖影 103
9.3.9 生物運動 104
9.3.10 相對運動錯覺 104
10 知覺穩定性、註意力和行為 106
10.1 知覺恆常性 106
10.1.1 大小恆常性 107
10.1.2 形狀恆常性 107
10.1.3 位置恆常性 108
10.1.4 亮度和顏色恆常性 108
10.1.5 響度恆常性 109
10.2 適應 109
10.2.1 感官適應 109
10.2.2 知覺適應 109
10.2.3 負面後遺症 111
10.3 專註 111
10.3.1 有限的資源和過濾 112
10.3.2 引導註意 113
10.4 行為 116
10.4.1 行為與感知 116
10.4.2 鏡像神經元系統 117
10.4.3 導航 117
*11 感知：設計指南 119
11.1 主觀和客觀現實（第6章） 119
11.2 感知模型和感知過程（第7章） 119
11.3 感知模態（第8章） 120
11.4 空間與時間的感知（第9章） 120
11.5 知覺穩定性、註意力和行為
（第10章） 121
第三部分 健康危害
12 暈動症 125
12.1 場景移動 125
12.2 暈動症和相對運動錯覺 126
12.3 暈動症病理 126
12.3.1 感官沖突原理 126
12.3.2 進化理論 127
12.3.3 姿態不穩定理論 127
12.3.4 靜止參考系假設 128
12.3.5 眼動理論 129
12.4 暈動症的統一模型 130
12.4.1 世界的真實狀態 130
12.4.2 感官輸入 131
12.4.3 中央處理區 131
12.4.4 狀態判斷 131
12.4.5 動作 131
12.4.6 預判和反饋 131
12.4.7 運動的心理模型 132
13 視疲勞、痙攣和副作用 133
13.1 視覺輻輳調節沖突 133
13.2 遮蔽顯示沖突 133
13.3 閃爍 134
13.4 副作用 134
13.4.1 重新適應 134
14 硬件挑戰 136
14.1 身體疲勞 136
14.2 頭戴適配 137
14.3 受傷問題 137
14.4 衛生問題 138
15 延遲 140
15.1 延遲的負面作用 140
15.1.1 視敏度弱化 140
15.1.2 弱化表現 141
15.1.3 體驗感中斷 141
15.1.4 負面訓練效應 141
15.2 延遲閾值 141
15.3 感官延遲：暗適應的機能之一 142
15.4 延遲源 143
15.4.1 動作追蹤延遲 144
15.4.2 應用程序延遲 145
15.4.3 渲染延遲 145
15.4.4 顯示延遲 145
15.4.5 同步延遲 148
15.5 時間分析 148
15.5.1 延遲測量 149
16 度量不適感 150
16.1 肯尼迪模擬疾病問捲表 150
16.2 姿態穩定性 151
16.3 生理測量 151
17 導致負面作用的影響因素總結 152
17.1 系統因素 153
17.2 用戶個人因素 154
17.3 應用程序設計因素 157
17.4 沉浸感和暈動症 158
*18 減少不良影響的案例 159
18.1 適應優化 159
18.2 外界穩定信息 159
18.3 把世界場景當成一個物體來控制 160
18.4 先導標記 161
18.5 盡量減少視覺加速度和旋轉 161
18.6 棘輪轉動 162
18.7 延遲補償 162
18.7.1 預測 162
18.7.2 後期渲染技術 162
18.7.3 延遲補償的問題 163
18.8 運動平臺 163
18.9 舒緩猩猩臂 163
18.10 邊界警示網格和淡出 164
18.11 藥物 164
*19 減少健康危害的設計準則 165
19.1 硬件 165
19.2 系統校準 166
19.3 減少延遲 166
19.4 通用設計 167
19.5 運動設計 167
19.6 交互設計 168
19.7 使用 169
19.8 度量不適感 170
第四部分 內容創作
20 內容創作的高級概念 173
20.1 體驗故事 173
20.2 核心體驗 176
20.3 概念完整性 176
20.4 格式塔組織原則 177
20.4.1 分組法則 178
20.4.2 分割原則 181
21 環境設計 183
21.1 場景 183
21.2 色彩和光照 184
21.3 聲音 185
21.4 採樣和混疊 186
21.5 環境導航輔助 187
21.5.1 標記、軌跡和度量 189
21.6 真實世界內容 190
21.6.1 360°全景相機 190
21.6.2 光場及基於圖像的捕捉／渲染 191
21.6.3 真實三維捕捉 191

21.6.4 醫學數據和科學數據 192
22 影響行為 194
22.1 個人導航輔助 194
22.1.1 地圖 194
22.1.2 指南針 195
22.1.3 多重導航輔助 196
22.2 動作中心 196
22.3 視野 197
22.4 虛擬現實中的簡便與高端配置 197
22.4.1 有線虛擬現實和無線虛擬現實 197
22.4.2 移動便攜虛擬現實和固定位置
的虛擬現實 198
22.5 角色、虛擬形象、社交網絡 198
*23 過渡到虛擬現實的內容創作 201
23.1 從傳統開發到虛擬現實開發，
範式的轉換 201
23.2 復用現有內容 202
23.2.1 幾何細節 203
23.2.2 平視顯示器 203
23.2.3 瞄準網格線 204
23.2.4 手部模型／武器模型 204
23.2.5 縮放模式 205
*24 內容創作：設計準則 206
24.1 內容創作的高級概念
（第20章） 206
24.2 環境設計（第21章） 207
24.3 影響行為（第22章） 209
24.4 過渡到虛擬現實的內容創作
（第23章） 210
第五部分 交互
25 以人為本的交互 212
25.1 直覺性 212
25.2 Norman的交互設計原則 213
25.2.1 示能性 213
25.2.2 意符 214
25.2.3 約束限制 214
25.2.4 反饋 215
25.2.5 匹配 216
25.3 直接與間接的交互 217
25.4 交互循環 218
25.5 手 220
25.5.1 雙手交互 220
*26 虛擬現實的交互概念 222
26.1 交互保真度 222
26.2 本體感覺與以本體為中心的交互 224
26.2.1 混合本體中心與外部中心的
交互 224
26.3 參考系 224
26.3.1 虛擬世界的參考系 225
26.3.2 真實世界參考系 225
26.3.3 軀乾參考系 225
26.3.4 手部參考系 227
26.3.5 頭部參考系 227
26.3.6 眼部參考系 228
26.4 語音和姿態 228
26.4.1 姿態 229
26.4.2 語音識別 230
26.5 模式和流程 231
26.6 多模態技術 232
26.7 小心疾病和疲勞 233
26.8 視覺-物理沖突和感覺替代 233
*27 輸入設備 235
27.1 輸入設備特徵 235
27.1.1 尺寸和形狀 235
27.1.2 自由度 235
27.1.3 相對與絕對 236
27.1.4 分離與集成 236
27.1.5 等距與等壓 236
27.1.6 按鈕 237
27.1.7 無負擔輸入設備 237
27.1.8 與物理對象完全交互的能力 237
27.1.9 設備的可靠性 237
27.1.10 觸覺能力 238
27.2 手部輸入設備的分類 238
27.2.1 接地輸入設備 239
27.2.2 非跟蹤手持控制器 240
27.2.3 跟蹤手持控制器 241
27.2.4 手部穿戴設備 242
27.2.5 裸手控制器 243
27.3 非手部輸入設備的分類 243
27.3.1 頭部跟蹤輸入 243
27.3.2 眼動跟蹤輸入 244
27.3.3 麥克風 245
27.3.4 全身跟蹤 245
*28 交互模式和技術 246
28.1 選擇模式 248
28.1.1 手選模式 248
28.1.2 點選模式 249
28.1.3 圖像-平面選擇模式 251
28.1.4 基於體積的選擇模式 252
28.2 操作模式 253
28.2.1 手操模式 253
28.2.2 代理模式 254
28.2.3 3D工具模式 255
28.3 視點控制模式 256
28.3.1 行走模式 257
28.3.2 駕駛模式 258
28.3.3 3D多點觸控模式 259
28.3.4 自動模式 261
28.4 間接控制模式 262
28.4.1 窗口部件和麵板模式 263
28.4.2 非空間控制模式 266
28.5 復合模式 267
28.5.1 點選與手操結合模式 267
28.5.2 微縮世界模型模式 268
28.5.3 多模態模式 270
*29 交互：設計準則 272
29.1 以人為本的交互（第25章） 272
29.2 虛擬現實的交互概念（第26章） 274
29.3 輸入設備（第27章） 277
29.4 交互模式和技術（第28章） 278
第六部分 迭代設計
30 迭代設計的哲學 285
30.1 虛擬現實既是藝術，又是科學 285
30.2 以人為本的設計 285
30.3 通過迭代不斷發現問題 286
30.4 沒有一個過程是依賴於項目的 287
30.5 團隊 288
*31 定義階段 289
31.1 願景 290
31.2 問題 290
31.3 評估與可行性 292
31.4 高階設計註意事項 292
31.5 目標 293
31.6 關鍵參與者 293
31.7 時間與成本 294
31.8 風險 294
31.9 假設 296
31.10 項目約束 296
31.10.1 項目約束的類型 296
31.10.2 約束難題 297
31.11 人物角色 298
31.12 用戶故事 299
31.13 故事板 300
31.14 範圍 301
31.15 需求 301
31.15.1 質量要求 302
31.15.2 功能性需求 303
31.15.3 通用的虛擬現實需求 304
*32 製作階段 305
32.1 任務分析 305
32.1.1 何時進行任務分析 306
32.1.2 如何做任務分析 306
32.2 設計規範 308
32.2.1 草圖 308
32.2.2 框圖 309
32.2.3 使用案例 310
32.2.4 類 310
32.2.5 軟件設計模式 311
32.3 系統註意事項 312
32.3.1 系統權衡和做出決定 312
32.3.2 硬件支持 313
32.3.3 幀率和延遲 313
32.3.4 疾病指南 313
32.3.5 校準 314
32.4 模擬 314
32.4.1 分離模擬與渲染 314
32.4.2 與物理抗爭 314
32.4.3 抖動物體 315
32.4.4 飛行物體 315
32.5 網絡環境 315
32.5.1 理想的網絡環境 316
32.5.2 消息協議 317
32.5.3 網絡架構 317
32.5.4 決定論和局部估計 319
32.5.5 減少網絡堵塞 319
32.5.6 同時交互 320
32.5.7 網絡物理 320
32.6 原型 320
32.6.1 原型的形式 321
32.7 最終產品 322
32.8 交付 322
32.8.1 演示小樣 322
32.8.2 現場安裝 323
32.8.3 持續的交付 323
*33 學習階段 324
33.1 溝通與態度 325
33.1.1 虛擬現實創作者是特殊用戶 325
33.2 研究概念 326
33.2.1 數據收集 326
33.2.2 可靠性 327
33.2.3 有效性 327
33.2.4 靈敏度 331
33.3 構建主義方法 331
33.3.1 小型回顧 331
33.3.2 演示 331
33.3.3 訪談 332
33.3.4 調查問捲 332
33.3.5 小組座談 333
33.3.6 專家評估 334
33.3.7 行動後回顧 336
33.4 科學方法 336
33.4.1 實驗設計概述 337
33.4.2 真實實驗vs.準實驗 339
33.5 數據分析 339
33.5.1 瞭解數據 339
33.5.2 統計概念 340
*34 迭代設計：設計原則 344
34.1 迭代設計的哲學（第30章） 344
34.2 定義階段（第31章） 345
34.3 製作階段（第32章） 348
34.4 學習階段（第33章） 353
第七部分 未來從現在開始
35 虛擬現實的現在與未來 358
35.1 將虛擬現實售賣給大眾 358
35.2 虛擬現實社區文化 359
35.3 通信 359
35.3.1 新生代語言 359
35.3.2 符號化通信 360
35.3.3 用虛擬人類創造同情心 361
35.3.4 腦對腦通信 361
35.3.5 全神經輸入和輸出 362
35.4 標準和開源 363
35.4.1 開源 364
35.4.2 平臺特定/事實標準 364
35.4.3 開放標準 365
35.5 硬件 365
35.6 增強現實和虛擬現實的融合 366
*36 啟動 367