大數據安全治理與防範——網址反欺詐實戰

张凯，现任腾讯专家工程师。一直从事大数据安全方面的工作，积累了10多年的黑灰产对抗经验，主要参与过游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等项目。

牛亚峰，现任腾讯高级工程师。一直从事黑灰产对抗业务方面的工作，参与过反洗钱、支付反欺诈、电信反诈、网址反欺诈等项目。

张旭，现任腾讯高级工程师。主要从事大数据下黑灰产安全对抗业务、反诈骗对抗系统开发方面的工作。曾参与中国信息通信研究院《电话号码标记应用技术要求》行业标准制定，并为《电信网络诈骗治理与人工智能应用白皮书》提供行业技术支持。

甘晓华，现任腾讯高级工程师。主要从事金融风控、黑灰产对抗等业务安全方面的相关工作。

熊奇，现任腾讯专家工程师。一直从事业务安全方面的工作，先后参与过反诈骗、App安全、金融反诈和安全大数据合规与业务风控等项目，积累了15年的黑灰产对抗和安全系统架构的经验。

目 錄

第 1部分 網址大數據安全基礎

第 1章 緒論　2

1.1 萬維網的起源　2

1.1.1 萬維網的發明　3

1.1.2 萬維網的關鍵技術　3

1.1.3 萬維網的影響　6

1.2 萬維網的工作原理　6

1.2.1 網站開發　8

1.2.2 網站部署　9

1.2.3 網站解析　10

1.2.4 網站渲染　11

1.3 萬維網風控發展歷程　13

1.3.1 專家規則　14

1.3.2 機器學習模型　14

1.3.3 深度學習模型　14

1.3.4 圖神經網絡模型　15

1.4 萬維網安全風控架構　16

1.5 小結　18

第 2部分 黑灰產洞察

第 2章 網絡黑灰產及其危害　20

2.1 詐騙類網站　20

2.1.1 投資理財類　21

2.1.2 貸款、代辦信用卡類　24

2.1.3 刷單返利類　25

2.1.4 仿冒平臺類　26

2.1.5 虛假交易類　29

2.1.6 虛假徵信類　29

2.2 網絡賭博類網站　30

2.3 低俗色情類網站　32

2.4 盜號釣魚類網站　33

2.5 木馬病毒類網站　34

2.6 盜版侵權類網站　35

2.7 惡意刷量類網站　36

2.8 虛假廣告類網站　37

2.9 小結　38

第3部分 網址大數據治理與異常數據發現

第3章 網址數據治理與特徵工程　40

3.1 網址基礎數據　40

3.1.1 資源定位符信息　41

3.1.2 域名IP地址　42

3.1.3 Whois註冊　42

3.1.4 ICP備案　43

3.1.5 Alexa排名　43

3.1.6 跳轉關系　44

3.1.7 頁面內容　45

3.2 網址數據治理　45

3.2.1 數據採集　46

3.2.2 數據清洗　46

3.2.3 數據存儲　47

3.2.4 數據計算　48

3.3 網址特徵工程　49

3.3.1 特徵編碼與嵌入　49

3.3.2 特徵挖掘　50

3.3.3 特徵評估　51

3.4 小結　52

第4章 網址異常檢測體系　53

4.1 流量模型　54

4.2 傳播渠道模型　55

4.3 網站行為模型　57

4.4 時間序列模型　59

4.5 網址關系鏈模型　60

4.6 小結　62

第4部分 網址反欺詐檢測模型

第5章 網址結構檢測模型　64

5.1 網頁結構基礎　64

5.1.1 網頁核心構成　65

5.1.2 資源列表結構　69

5.1.3 網站目錄結構　71

5.1.4 惡意代碼片段　72

5.2 網頁指紋算法流程　75

5.3 生成網頁指紋　76

5.3.1 網頁預處理　76

5.3.2 指紋生成算法的選型　78

5.4 構建異常指紋庫　79

5.5 指紋相似度算法　81

5.6 小結　82

第6章 網址文本檢測模型　83

6.1 網址文本數據　83

6.2 常見惡意網址文本　86

6.3 敏感詞規則模型　88

6.3.1 敏感詞發現　90

6.3.2 敏感詞規則　91

6.4 文本聚類模型　92

6.4.1 惡意種子擴散案例　92

6.4.2 新型惡意網址發現案例　95

6.5 文本分類模型　97

6.5.1 文本二分類算法　99

6.5.2 文本多分類算法　101

6.6 小結　104

第7章 網址圖像檢測模型　105

7.1 圖像提取與預處理　105

7.1.1 圖像提取　106

7.1.2 圖像預處理　109

7.1.3 圖像數據集　111

7.2 圖像分類模型　112

7.2.1 數據準備　112

7.2.2 模型訓練　114

7.2.3 訓練加速　117

7.2.4 預測與可解釋性　118

7.3 圖像相似度方法　119

7.3.1 相似度計算　120

7.3.2 擴散方法　121

7.3.3 檢索方法　123

7.4 圖像目標檢測方法　124

7.4.1 模型訓練　124

7.4.2 模型預測　126

7.5 小結　129

第8章 網址復雜網絡檢測模型　130

8.1 網址復雜網絡的構建　130

8.1.1 網絡的節點　130

8.1.2 網絡的邊　134

8.2 網址復雜網絡的節點預測　138

8.2.1 預訓練文本模型對網絡節點的預測　139

8.2.2 預訓練圖像模型對網絡節點的預測　140

8.2.3 預訓練指紋模型對網絡節點的預測　141

8.2.4 預訓練DNN模型對網絡節點的預測　142

8.2.5 預訓練多模態模型對網絡節點的預測　143

8.3 網址復雜網絡的關系應用　144

8.3.1 歸屬與包含關系的應用　144

8.3.2 聚集關系的應用　145

8.3.3 引用關系的應用　147

8.3.4 跳轉關系的應用　149

8.4 網址復雜網絡的綜合應用　151

8.4.1 圖神經網絡算法　151

8.4.2 社區劃分算法　156

8.5 小結　158

第9章 網址多模態檢測模型　159

9.1 特徵融合　161

9.1.1 直接融合　161

9.1.2 無監督融合　164

9.1.3 有監督融合　167

9.2 決策融合　169

9.2.1 模型集成　169

9.2.2 分層篩選　170

9.3 協同訓練　172

9.4 小結　174

第5部分 網址運營與情報體系

第 10章 網址運營體系　176

10.1 穩定性運營　177

10.1.1 在線服務　177

10.1.2 網址黑庫　180

10.1.3 特徵模型　181

10.2 防誤報運營　182

10.2.1 白保護名單　182

10.2.2 防誤報監控　184

10.2.3 自動化處置　185

10.3 用戶反饋運營　186

10.3.1 網址申訴　187

10.3.2 網址舉報　188

10.3.3 故障反饋　189

10.4 分級告警體系　190

10.5 小結　190

第 11章 網址知識情報挖掘及應用　191

11.1 黑灰產團夥資源情報挖掘　191

11.1.1 網址類資源挖掘　191

11.1.2 賬號類資源挖掘　195

11.2 黑產入侵網站情報挖掘　196

11.2.1 HTML源文件分析法　196

11.2.2 網址關系鏈分析法　198

11.3 惡意網址服務商情報挖掘　200

11.3.1 內容服務商　200

11.3.2 支付服務商　201

11.4 小結　202