存儲漫談：Ceph 原理與實踐

中國移動雲能力中心，以“雲設施構建者、雲服務提供者、雲生態匯聚者”為定位，為中國移動通信集團內31個省公司和專業公司提供雲計算、大數據解決方案，並持續將自有核心能力輸出至政務、金融、教育、交通、醫療等各行各業，力爭3年內推動中國移動雲計算業務市場份額進入國內云服務商前列陣營。
中國移動雲能力中心雲存儲團隊是一支年輕、充滿活力的技術團隊，負責移動雲大雲天權存儲系統的研發，包括雲硬盤、對象存儲、文件存儲等重要的存儲產品，致力於打造行業內突出的數據存儲服務，為客戶提供安全、穩定的數據存儲能力。團隊技術底蘊深厚，多次獲得業內獎項。

第 一篇 理論篇
第 1章 分佈式存儲概述 3
1．1 存儲系統的架構演進 4
1．1．1 集中式存儲系統 6
1．1．2 分佈式存儲系統 7
1．2 各主流分佈式方案對比 10
1．2．1 有中心架構 11
1．2．2 無中心架構 12
1．3 Ceph的發展歷程 17
1．3．1 Ceph的起源與發展 17
1．3．2 Ceph的版本信息 18
1．4 小結 20
第 2章 Ceph架構 21
2．1 數據尋址方案 22
2．1．1 查表型尋址方式 22
2．1．2 計算型尋址方式 23
2．1．3 鹿死誰手，猶未可知 24
2．2 Ceph數據尋址 24
2．2．1 Ceph尋址流程 25
2．2．2 CRUSH算法因子 27
2．2．3 Bucket隨機選擇算法 33
2．3 Ceph的歸置組 39
2．3．1 PG數量的選擇 39
2．3．2 PG的狀態機 40
2．4 小結 45
第3章 接入層 46
3．1 塊存儲RBD 46
3．1．1 塊設備映射 46
3．1．2 快照與克隆 49
3．1．3 遠程複製 53
3．1．4 RBD Cache 58
3．1．5 QoS 62
3．1．6 Burst I/O 72
3．1．7 未來展望 74
3．2 對象存儲RGW 75
3．2．1 對象存儲和S3 75
3．2．2 RGW架構 79
3．2．3 I/O路徑 82
3．2．4 元數據/數據佈局 84
3．2．5 元數據/數據同步 100
3．2．6 未來展望 108
3．3 文件存儲CephFS 110
3．3．1 MDS設計原理 110
3．3．2 CephFS訪問方式 114
3．3．3 CephFS高級特性 118
3．3．4 未來展望 125
第4章 存儲層 127
4．1 Monitor 128
4．1．1 背景 128
4．1．2 具體實現 128
4．1．3 一致性算法與Paxos介紹 130
4．1．4 小結 138
4．2 OSD 138
4．2．1 單機存儲引擎 138
4．2．2 網絡通信機制 147
4．2．3 流控機制 153
4．2．4 安全性 154

第二篇 實踐篇
第5章 解決方案 159
5．1 集群管理與監控 160
5．1．1 當前Ceph存儲系統的故障抵禦能力 160
5．1．2 亞健康問題 161
5．1．3 服務器監控交換機異常 163
5．1．4 性能管理 164
5．2 性能與成本 165
5．2．1 低成本冷存儲 166
5．2．2 高性能存儲 170
5．2．3 緩存層 172
5．3 ARM服務器存儲集群調優實踐 179
5．3．1 華為泰山ARM服務器簡介 179
5．3．2 性能優化方向 179
5．3．3 小結 187
5．4 負載均衡方案 187
5．4．1 常用負載均衡方案介紹 187
5．4．2 負載均衡方案實踐 189
5．5 RGW GC回收與容量調度 191
5．5．1 概述 191
5．5．2 涉及的概念 191
5．5．3 垃圾回收調度的設計和實現 192
5．6 OpenStack-Cinder-Backup Driver優化 194
5．6．1 OpenStack-Cinder-Backup介紹 194
5．6．2 OpenStack-Cinder-Backup優化 195
5．6．3 小結 200
第6章 常見問題 201
6．1 集群容量問題 202
6．1．1 集群容量“丟失”問題 202
6．1．2 PG均衡問題 217
6．2 時間調整問題 222
6．2．1 時鐘同步要求 222
6．2．2 Ceph心跳檢測 223
6．2．3 管理系統時間同步邏輯 225
6．3 大規模應用場景參數配置問題 228
6．3．1 PG分裂問題 228
6．3．2 對象存儲元數據集群shard分片問題 230
6．3．3 BlueStore rocksdb slow disk space問題 235

附錄 技術術語表 239