網絡空間測繪 — 原理、技術與應用

楊家海

清華大學網絡科學與網絡空間研究院長聘教授、博士生導師、學術委員會主任，中關村實驗室雙聘研究人員。長期從事因特網體系結構、網絡管理與測量、網絡空間安全及態勢感知等方面的教學與科研工作。先後承擔30多項國家重點科研項目，作為主力成員獲得6項省部級科技進步獎和1項省部級技術發明獎。在國內外核心期刊及重要國際會議上發表論文200多篇，取得30多項國家授權發明專利，並擔任多個國際重要學術期刊的編委。

何林

清華大學網絡科學與網絡空間研究院助理研究員，中關村實驗室雙聘研究人員。主要研究方向包括網絡空間測繪、因特網體系結構、可編程網絡等。主持和參與多項國家重點科研項目，在國內外核心期刊及重要學術會議上發表論文40餘篇，申請發明專利30餘項。研究成果獲得NDSS 2023傑出論文獎。

李城龍

清華大學網絡科學與網絡空間研究院副研究員，中關村實驗室雙聘研究人員。曾任國家因特網應急中心正高級工程師。主要研究方向包括網絡測繪、態勢感知、物聯網安全、匿名通信系統等。作為負責人承擔多項國家重點研發計劃課題等。

第 1章 引言 1

1.1 因特網與網絡空間 1

1.1.1 因特網的概念與內涵 2

1.1.2 因特網的發展簡史 2

1.1.3 網絡空間的概念及演變 4

1.2 網絡測量與網絡空間測繪 8

1.2.1 網絡測量：用途與定義 9

1.2.2 網絡空間測繪 11

1.3 網絡空間測繪的研究內容和關鍵技術 13

1.3.1 網絡空間測繪的研究內容 14

1.3.2 資源探測技術 16

1.3.3 測繪分析與映射技術 19

1.3.4 繪制與可視化技術 20

1.3.5 網絡空間信息建模與資源表達 22

1.4 本章小結 25

參考文獻 25

 

第 2章 網絡空間表達模型與資源描述 27

2.1 地理空間及其表達 27

2.1.1 地理坐標系 28

2.1.2 投影坐標系及地圖投影 29

2.2 網絡空間及其與地理空間的關系 31

2.3 網絡空間資源標識方法 32

2.3.1 MAC 地址 34

2.3.2 IP 地址 34

2.3.3 自治系統號 34

2.3.4 埠號 35

2.4 網絡空間坐標表示與表達模型 35

2.4.1 基於網絡拓撲的網絡空間表達模型 36

2.4.2 基於地理信息系統的網絡空間表達模型 39

2.4.3 基於網絡空間坐標系的表達模型 42

2.5 本章小結 46

參考文獻 47

 

第3章 網絡空間資源探測、服務發現與識別 49

3.1 網絡空間資源與服務概述 49

3.2 主機存活性掃描 50

3.2.1 ICMP ECHO 請求 / 響應的基本原理 51

3.2.2 ICMP Sweep 掃描 51

3.2.3 ICMP 廣播掃描 52

3.2.4 基於其他 ICMP 報文類型的主機掃描 52

3.2.5 基於其他 ICMP 報文類型的 Sweep 掃描 54

3.2.6 基於其他 ICMP 報文類型的廣播掃描 55

3.2.7 利用 ICMP 錯誤報文進行主機檢測 55

3.2.8 基於 ICMP 的其他主機檢測 56

3.3 埠開放性掃描 62

3.3.1 埠掃描分類與基本原理 63

3.3.2 埠高速掃描 73

3.4 協議與服務識別 76

3.4.1 基於埠的服務識別 77

3.4.2 基於 Banner 信息的服務識別 77

3.4.3 基於指紋的服務識別 78

3.5 基於指紋的操作系統識別 82

3.5.1 經典的指紋識別方法 83

3.5.2 主動指紋識別技術 85

3.5.3 被動指紋識別技術 94

3.5.4 基於機器學習的指紋識別方法 96

3.6 服務掃描與識別基礎工具 107

3.6.1 Nmap 107

3.6.2 ZMap 112

3.6.3 Masscan 116

3.6.4 Xprobe/Xprobe2 117

3.6.5 Scapy 118

3.6.6 Unicornscan 120

3.6.7 NAST 120

3.6.8 Knocker 121

3.6.9 Blackwater 122

3.6.10 IP Scaner 123

3.6.11 p0f 124

3.7 國內外測繪平臺（項目）簡介 126

3.7.1 “藏寶圖計劃” 126

3.7.2 “X 計劃” 127

3.7.3 “SHINE 計劃” 128

3.7.4 Shodan 128

3.7.5 Censys 129

3.7.6 ZoomEye 130

3.7.7 FOFA 131

3.7.8 RaySpace 132

3.8 本章小結 132

參考文獻 133

 

第4章 網絡拓撲發現 137

4.1 拓撲發現概述 137

4.2 接口級拓撲發現 138

4.2.1 traceroute 139

4.2.2 traceroute 改進 142

4.3 路由器級拓撲發現 147

4.3.1 基於別名解析的路由器級拓撲發現 147

4.3.2 基於域內路由協議的路由器級拓撲發現 150

4.3.3 基於 SNMP 的路由器級拓撲發現 151

4.3.4 子網發現 152

4.4 PoP 級拓撲發現 154

4.4.1 traceroute 數據聚合 155

4.4.2 基於時延聚類 156

4.4.3 基於 ISP 公佈的信息 156

4.5 AS 級拓撲發現 156

4.5.1 基於 BGP 157

4.5.2 基於 traceroute 的間接映射 160

4.6 本章小結 162

參考文獻 163

 

第5章 面向 IPv6 的網絡空間測繪 165

5.1 IPv6 網絡空間測繪面臨的挑戰 165

5.2 活躍 IPv6 地址發現 166

5.2.1 開放數據提取 166

5.2.2 被動收集 177

5.2.3 主動探測 180

5.3 IPv6 拓撲發現 204

5.3.1 基於種子地址的 IPv6 接口級拓撲發現 204

5.3.2 基於 ICMP 限速的路由器別名解析 205

5.3.3 基於誘導分片的路由器別名解析 206

5.4 本章小結 207

參考文獻 208

 

第6章 IP 地理定位研究 211

6.1 IP 地理定位研究簡介 211

6.2 IP 地理定位技術研究 215

6.2.1 IP 地理定位技術的分類方法 215

6.2.2 客戶端獨立的 IP 地理定位技術 216

6.3 IP 地理定位地標挖掘與評估 247

6.4 IP 地理定位方法評估 250

6.4.1 IP 地理定位技術測量 250

6.4.2 影響 IP 地理定位精度的因素 253

6.5 IP 地理定位對其他應用的影響 254

6.6 IP 地理定位框架下的綜合性研究 255

6.7 本章小結 257

參考文獻 258

 

第7章 網絡空間測繪可視化 261

7.1 網絡空間測繪可視化概述 261

7.2 網絡空間資源要素可視化 263

7.2.1 海底光纜可視化 264

7.2.2 網站可視化 264

7.2.3 IP 地址資源可視化 267

7.2.4 域名資源可視化 269

7.2.5 有爭議的研究 272

7.3 網絡空間拓撲可視化 273

7.3.1 IP 級因特網拓撲可視化 273

7.3.2 AS 級因特網拓撲可視化 276

7.4 網絡空間事件可視化 279

7.4.1 網絡空間態勢感知和網絡事件可視化 279

7.4.2 網絡空間動態可視化及分析 282

7.4.3 網空戰地圖 285

7.5 新型網絡空間可視化技術 287

7.6 本章小結 290

參考文獻 290

 

第8章 網絡空間測繪應用 293

8.1 概述 293

8.2 網絡資產發現 294

8.2.1 背景意義 294

8.2.2 從網絡標識符發現網絡標識符 295

8.2.3 從網絡標識符發現網絡資產 297

8.2.4 從網絡資產發現網絡標識符 298

8.2.5 從網絡資產發現網絡資產 299

8.2.6 小結 299

8.3 暗網測繪 300

8.3.1 背景意義 300

8.3.2 Tor 橋節點發現 302

8.3.3 Tor 隱藏服務分析 305

8.3.4 小結 307

8.4 物聯網設備漏洞和弱點發現 307

8.4.1 背景意義 307

8.4.2 物聯網設備發現和識別 308

8.4.3 物聯網設備漏洞和弱點發現 309

8.4.4 小結 314

8.5 “掛圖作戰” 314

8.5.1 背景意義 314

8.5.2 “掛圖作戰”內涵分析 315

8.5.3 “掛圖作戰”應用探討 317

8.5.4 小結 318

8.6 網絡空間測繪應用案例 318

8.6.1 網絡空間資產導航地圖 318

8.6.2 物聯網安全治理 324

8.6.3 供應鏈安全管理 327

8.6.4 資產威脅精準定位和審查評估 330

8.7 本章小結 332

參考文獻 333

 

第9章 總結與展望 336

9.1 總結 336

9.1.1 資源探測層 336

9.1.2 資源表示層 338

9.1.3 映射與定位層 339

9.1.4 繪制與可視化層 340

9.2 未來研究展望 341