深入淺出全鏈路壓測

吴骏龙

某大型互联网公司测试总监，腾讯云“价值专家”，曾任Wish中国测试总监、阿里巴巴本地生活高级测试经理；在软件质量体系建设、服务容量保障、服务稳定性建设、软件研发效能等领域深耕多年，善于通过创新手段解决工程难题，曾多次担任阿里巴巴本地生活“双11”活动全局容量保障负责人，也帮助过多家不同类型的企业实施和推动全链路压测的建设工作，积累了许多实践经验，拥有多项专利；多次受邀参加 QCon、QECon、CCF 等行业峰会，并进行演讲；《容量保障核心技术与实战》专栏的作者，《软件研发效能提升之美》的作者、《软件研发效能指南》的副主编。

第 1章　認識全鏈路壓測　001

1.1　全鏈路壓測概述　001

1.1.1　因特網服務的容量保障　001

1.1.2　全鏈路壓測的概念　003

1.1.3　全鏈路壓測的價值　004

1.1.4　全鏈路壓測的特點　005

1.2　全鏈路壓測的演進之路　006

1.2.1　基線容量測試　006

1.2.2　集群縮放壓測　007

1.2.3　流量回放　008

1.2.4　單鏈路壓測　008

1.3　全鏈路壓測的發展前景　010

1.4　本章小結　012

第 2章　全鏈路壓測的技術實現　014

2.1　壓測數據隔離　015

2.1.1　邏輯隔離　015

2.1.2　物理隔離　016

2.1.3　影子庫與影子表　018

2.1.4　邏輯隔離與物理隔離的對比　021

2.2　中間件改造和應用服務改造　021

2.2.1　中間件改造　022

2.2.2　應用服務改造　024

2.3　壓測模型構建　025

2.3.1　線上日誌回放　026

2.3.2　鏈路聚合技術　027

2.3.3　新場景的壓測模型構建　028

2.3.4　全鏈路壓測的服務範圍　030

2.4　壓測流量構造　032

2.4.1　壓測流量構造的成本權衡　032

2.4.2　壓測流量構造工具的技術選型　033

2.5　容量指標監控　034

2.5.1　資源類指標　035

2.5.2　應用類指標　036

2.5.3　網絡類指標　036

2.5.4　鏈路類指標　037

2.5.5　中間件指標　038

2.5.6　壓測端指標　038

2.5.7　輿情指標　039

2.5.8　容量指標監控原則　039

2.6　全鏈路壓測的實施流程　041

2.6.1　壓測方案設計　041

2.6.2　壓測方案評審　043

2.6.3　壓測準備　043

2.6.4　壓測執行　044

2.6.5　結果反饋　046

2.6.6　持續跟進　047

2.7　本章小結　047

第3章　全鏈路壓測的組織保障　049

3.1　全鏈路壓測需要什麽樣的團隊　049

3.1.1　運維驅動：GOC團隊的建立和意義　050

3.1.2　測試驅動：是否需要獨立的專項測試團隊　051

3.1.3　誰對服務容量負責　052

3.2　全鏈路壓測如何運營　053

3.2.1　Program機制　053

3.2.2　全鏈路壓測SOP　054

3.2.3　常態化執行制度和容量問題分級規範　055

3.2.4　激勵措施和競爭模式　057

3.3　中小型公司如何建設全鏈路壓測　058

3.3.1　粗放式建設　059

3.3.2　善用雲服務商的收費機制　060

3.3.3　用好開源工具　061

3.3.4　購買解決方案　062

3.4　本章小結　062

第4章　全鏈路壓測的工具建設　064

4.1　優秀開源工具精粹　064

4.1.1　鏈路追蹤工具　065

4.1.2　流量構造工具　067

4.1.3　容量監控工具　068

4.2　分佈式壓測平臺建設　072

4.2.1　架構設計　073

4.2.2　壓測狀態流轉　077

4.2.3　實時數據（熱數據） 　078

4.2.4　異步數據（冷數據） 　079

4.2.5　吞吐量限制與動態調節　081

4.2.6　壓測場景編排　082

4.2.7　監控模塊　084

4.3　全鏈路壓測管理平臺建設　085

4.3.1　全鏈路壓測管理平臺功能概覽　085

4.3.2　壓測鏈路與模型管理　087

4.3.3　壓測風險識別與結果跟進　089

4.4　無人值守全鏈路壓測的技術實現　089

4.4.1　自適應壓測策略　090

4.4.2　自動化風險管控　092

4.5　本章小結　094

第5章　微服務架構下的容量治理　095

5.1　微服務架構的特點和容量風險　095

5.1.1　微服務架構的特點　096

5.1.2　微服務架構的容量風險　097

5.2　容量指標分析實戰　098

5.2.1　響應時間應關註平均值，還是分位線？　099

5.2.2　響應時間一定越短越好嗎？　100

5.2.3　CPU利用率低，服務容量就一定沒有問題嗎？　101

5.2.4　“壓不上去”了，就是服務容量達到瓶頸了嗎？　103

5.2.5　容量指標只是偶爾“抖動”一下，要不要關註？　104

5.3　擴容：為服務增添“燃料” 　105

5.3.1　擴容方案　105

5.3.2　擴容註意點　109

5.4　限流：讓我“緩一緩” 　110

5.4.1　限流策略　110

5.4.2　限流位置　115

5.5　降級：棄車保帥　117

5.5.1　降級實現　117

5.5.2　降級策略和要點　119

5.6　熔斷：上游的服務，我們來保護你　121

5.7　容災：我還有“一條命” 　123

5.7.1　常見容災手段　124

5.7.2　容災衡量指標　125

5.7.3　兩地三中心　126

5.7.4　異地多活　127

5.8　預案建設：提前準備，胸有成竹　128

5.8.1　認識預案　129

5.8.2　預案演練　130

5.9　本章小結　132

第6章　容量規劃與容量預測　134

6.1　容量規劃的本質　135

6.2　容量規劃的系統化方法　135

6.2.1　容量測量　136

6.2.2　容量預測　137

6.2.3　資源部署　138

6.2.4　容量驗證　139

6.3　智能化容量預測　140

6.3.1　智能化容量預測過程　140

6.3.2　相關度分析與服務畫像　148

 

6.3.3　容量預測迭代與校準　153

6.3.4　警惕業務場景變化　154

6.4　淺談排隊論　156

6.4.1　排隊論基礎知識　156

6.4.2　排隊論應用策略：排隊模型與公式　158

6.4.3　排隊論應用案例　159

6.5　本章小結　162

第7章　全鏈路壓測實戰案例　164

7.1　某大型企業“雙11”大促活動容量保障案例　164

7.1.1　明確背景與目標　165

7.1.2　重點鏈路梳理　167

7.1.3　服務架構治理　169

7.1.4　大促流量預估　174

7.1.5　大促全鏈路壓測　176

7.1.6　大促活動容量保障體系　178

7.1.7　案例總結　180

7.2　某創業公司全鏈路壓測建設之路　181

7.2.1　全鏈路壓測的建設背景　181

7.2.2　全鏈路壓測的技術方案　182

7.2.3　全鏈路壓測的管理方案　184

7.2.4　案例總結　185

7.3　某商業銀行全鏈路壓測實踐案例　186

7.3.1　業務和技術背景　186

7.3.2　全鏈路壓測的技術方案　187

7.3.3　全鏈路壓測的實施效果　188

7.3.4　案例總結　189

7.4　全鏈路壓測與混沌工程的融合案例　190

7.4.1　異常場景下的全鏈路壓測　190

7.4.2　高負載下的故障模擬　193

7.4.3　全鏈路壓測與攻防演練的融合　194

7.4.4　案例總結　196

7.5　本章小結　196

第8章　全鏈路壓測快問快答　198

8.1　技術篇　198

8.1.1　統一基礎設施是實施全鏈路壓測的必要條件嗎？　198

8.1.2　完全依賴開源工具能夠實現全鏈路壓測嗎？　199

8.1.3　金融公司是否難以進行全鏈路壓測？　199

8.1.4　業務迭代速度較快，如何降低全鏈路壓測模型的更新成本？　199

8.1.5　業務技術團隊認為通過限流足以規避容量風險，不需要進行服務優化，是這樣嗎？　200

8.1.6　如何做到全鏈路壓測的常態化實施？　200

8.2　管理篇　201

8.2.1　我所在的公司沒有任何容量保障基礎，如何推動全鏈路壓測的建設？　201

8.2.2　全鏈路壓測適合自上而下推動，還是自下而上推動？　202

8.2.3　制定和推動全鏈路壓測流程規範時阻力重重，該怎麽辦？　202

8.2.4　業務技術團隊不認可全鏈路壓測的結果，該怎麽辦？　203

8.2.5　“大廠”的全鏈路壓測經驗，能夠復制到中小型企業嗎？　204

8.3　職業發展篇　204

8.3.1　是什麽契機讓你開始從事全鏈路壓測工作的？　204

8.3.2　你在實施全鏈路壓測的過程中遇到的最大困難是什麽？　205

8.3.3　從事全鏈路壓測工作，能為我的職業發展帶來什麽幫助？　205

8.3.4　執行全鏈路壓測非常辛苦，經常要熬夜，對此你有什麽建議嗎？　207

8.4　本章小結　207