微服務治理：體系、架構及實踐

李鑫

★具有多年大規模複雜系統架構經驗，在大規模分佈式應用及治理、
中間件雲化及服務化（PaaS）、APM監控、基礎開發平台、
主數據管理（MDM）、數據治理等領域有較深的理論研究和實戰經驗。

★目前在金融行業負責基金直銷平台的整體技術架構和研發團隊管理。
曾任華為六級技術專家，主導了華為軟件多款雲計算產品和服務的設計規劃和構建工作。
曾任運作產品平台技術負責人，負責電商倉儲、物流、客服等平台的整體技術架構和研發團隊管理。
更早之前曾在航空、導航、金融、電信等領域從事企業級應用的架構設計和技術管理工作。

★樂於分享技術，擁有一個分享技術文章的公眾號——“碼碼的土狼”，更新頻率很隨意。
曾在QCon、ArchSummit等技術大會上做技術演講，多次獲得“明星講師”及“優秀出品人”榮譽稱號。

●章服務及服務治理髮展簡介1
1.1IT治理與服務治理的關係1
1.2服務治理髮展歷史2
1.2.1單體架構及治理2
1.2.2企業SOA——EAI/ESB及治理8
1.2.3分佈式服務及治理17
1.2.4微服務及治理23
1.3微服務治理的範疇25
1.3.1微服務是一種研發模式25
1.3.2微服務的架構模式及治理26
1.3.3研發治理29
1.3. 4測試治理32
1.3.5運維治理34
1.3.6管理治理38

第2章微服務治理技術概述44
2.1微服務架構44
2.1.1代理模式45
2.1.2直連模式46
2.1.3邊車模式48
2.1.4直連模式的架構特點50
2.1.5微服務全生命週期整體架構54
2.2服務度量56
2.2.1服務開髮質量度量56
2.2.2服務測試質量度量65
2.2.3服務運維質量度量68
2.2.4服務線上性能度量69
2.3服務管控79
2.3.1微服務的內部管控79
2.3.2微服務生命週期管理81
2.4三位一體：通過度量、管控、管理實現微服務治理閉環87
2.4.1治理指標體系87
2.4.2治理度量與分析91
2.4.3通過管理將治理舉措落地99
2.4.4微服務治理整體架構100

第3章通過服務度量提供治理依據102
3.1線上微服務度量核心指標及分析手段102
3.1.1點：單次請求指標採集103
3.1.2線：單服務一分鐘指標疊加統計104
3.1.3面：單服務時間維度匯總統計106
3.1.4體：服務及資源指標聚合分析106
3.2服務關係維度108
3.2.1治理目標108
3.2.2服務基礎視圖108
3.2.3服務調用關係視圖111
3.3應用關係維度115
3.3.1治理目標115
3.3.2應用調用關係視圖116
3.3 .3以應用為中心的運維統一視圖118
3.4服務性能維度119
3.4.1治理目標119
3.4.2調用耗時分區分佈統計120
3.4.3調用耗時分時分佈統計121
3.4.4調用量/並發量分時分佈統計122
3.4.5性能橫比123
3.4.6性能縱比126
3.4.7綜合性能分析130
3.4.8容量規劃131
3.4.9動態閾值136
3.4.10趨勢預測138
3.5服務異常維度144
3.5.1治理目標145
3.5.2實時異常報表146
3.5.3異常分佈報表146
3.5.4異常列表及查詢149
3.5.5故障定界定位150
3.5.6智能根因分析152
3.5.7業務異常分析155
3.6資源維度157
3.6.1治理目標158
3.6.2網絡資源158
3.6.3數據庫資源159
3.6.4其他資源161
3.7服務綜合度量161
3.7.1服務重要性度量162
3.7.2服務健康度度量163

第4章通過服務管控實現治理閉環166
4.1分佈式服務魯棒性的架構保障166
4.1.1冗餘167
4.1.2彈性伸縮167
4.1.3單點無狀態168
4.1.4不可變基礎設施168
4.1.5故障傳導阻斷169
4.1.6基礎設施即代碼169
4.2服務負載170
4.2.1隨機策略170
4.2.2輪詢策略173
4.2.3近少訪問策略176
4.2.4黏滯策略177
4.2.5一致性Hash策略178
4.2.6組合策略179
4.3服務限流179
4.3.1概念180
4.3.2限流模式181
4.3.3限流的難點及注意事項186
4.4服務集群容錯187
4.4.1服務集群容錯的概念187
4.4. 2快速失敗188
4.4.3失敗安全189
4.4.4失敗轉移190
4.4.5失敗重試192
4.4.6聚合調用194
4.4.7廣播調用197
4.5服務降級198
4.5.1概念198
4.5.2屏蔽降級199
4.5.3容錯降級200
4.5.4Mock降級202
4.5.5熔斷降級203
4.5.6延伸閱讀：廣義降級操作206
4.6服務授權207
4.6.1自主授權207
4.6.2註冊中心授權210
4.6.3第三方服務授權211
4.7服務線上生命週期管理214
4.7.1微服務的部署214
4.7.2藍綠髮布219
4.7.3灰度發布220
4.8服務線上穩定性保障223
4.8.1應急預案223
4.8.2故障演練226
4.8.3混沌工程228

第5章APM及調用鏈跟踪236
5.1APM及調用鏈發展史236
5.2調用鏈跟踪原理238
5.2.1GoogleDapper238
5.2.2調用鏈跟踪的整體架構241
5.2.3Trace日誌埋點244
5.2.4日誌採集248
5.2 .5日誌收集250
5.2.6日誌存儲251
5.2.7告警252
5.3調用鏈跟踪實戰255
5.3.1基於調用鏈跟踪的服務調用瓶頸分析255
5.3.2基於調用鏈跟踪的服務故障定界定位256
5.3 .3從宏觀到微觀—APM的綜合應用258
5.3.4調用鏈的聚合分析261
5.3.5深入挖掘調用鏈潛力：通過調用鏈監控業務的健康狀態262
5.4APM及調用鏈落地策略265
5.4.1客戶端插碼策略265
5.4.2採樣策略266
5.4.3產品選型策略268

第6章微服務架構體系的深度治理270
6.1架構治理270
6.1.1治理目標271
6.1.2微觀架構治理271
6.1. 3宏觀架構治理276
6.2研發治理284
6.2.1治理目標284
6.2.2開髮質量治理284
6.2.3測試質量治理294
6.2.4綜合調測能力構建300
6.3運維治理306
6.3.1治理目標307
6.3.2多環境建設307
6.3.3通過DevOps為微服務架構提供工程能力保障313
6.4協同管理治理329
6.4.1治理目標329
6.4.2小步快跑，高頻發布330
6.4.3通過數據驅動的精益看板優化協同管理333
6.5業務治理345
6.5.1治理目標345
6.5.2業務指標採集框架346
6.5.3業務指標實時監控及分析347
6.5.4風控及反欺詐349
6.5.5通過數據稽核發現分佈式架構下的業務風險350

第7章構建輕量高效的指標採集能力358
7.1整體架構358
7.1.1功能架構358
7.1.2系統架構359
7.2指標採集360
7.2.1使用API接口採集服務性能指標360
7.2.2使用DAO採集數據庫訪問性能日誌363
7.2.3定時採集系統性能指標365
7.2.4自定義採集業務指標367
7.3日誌預處理371
7.3.1日誌緩存371
7.3.2指標預處理373
7.3.3定時指標發送375
7.4指標發送376
7.4.1基於Netty的NIO通道376
7.4.2消息發送378

第8章構建支持高並發的高效的指標收集及存儲能力379
8.1整體架構379
8.2數據接收381
8.2.1NIO服務器381
8.2.2消息接收384
8.2.3消息處理386
8.3擴展能力390
8.3.1數據定期統計匯總390
8.3.2服務監控台394

第9章指標可視化及度量能力構建395
9.1系統架構395
9.1.1整體架構395
9.1.2技術選型396
9.2服務監控399
9.2.1服務錯誤TopN監控399
9.2.2業務錯誤TopN監控401
9.2.3性能差TopN監控402
9.2.4調用次數多TopN監控404
9.2.5總資源佔用多TopN監控405
9.2 .6服務調用時間縱比406
9.3DAO監控408
9.3.1錯誤多TopN監控408
9.3.2性能差TopN監控409
9.3.3調用次數多TopN監控409
9.3.4總資源佔用TopN監控410
9.4系統監控411
9.4.1一小時系統負載變化曲線圖411
9.4.2一小時JVM使用內存變化曲線圖412
9.4.3系統時點指標監控413
9.4.4JVM垃圾收集統計415
9.5自定義業務監控416
9.5.1圖表配置416
9.5.2圖表展示417