大數據安全治理與防範 — 反欺詐體系建設

张凯，现任腾讯专家工程师。一直从事大数据安全方面的工作，积累了10多年的黑灰产对抗经验，主要涉及游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等。

张旭，现任腾讯高级工程师。主要从事大数据下黑产安全对抗业务、反诈骗对抗系统开发方面的工作。曾参与中国信息通信研究院《电话号码标记应用技术要求》行业标准制定，并为《电信网络诈骗治理与人工智能应用白皮书》提供行业技术支持。

目 錄

第 1部分 大數據安全基礎

第 1章 緒論 2

1.1 大數據時代的興起 2

1.2 安全風控新挑戰 3

1.3 大數據安全治理架構 4

1.4 本章小結 7

第 2部分 黑灰產洞察

第 2章 黑產現狀與危害 10

2.1 電信網絡詐騙 10

2.1.1 詐騙的類型及危害 11

2.1.2 詐騙的特點 13

2.2 營銷欺詐 15

2.2.1 欺詐的類型及危害 15

2.2.2 欺詐的特點 17

2.3 金融欺詐 18

2.3.1 欺詐的類型及危害 18

2.3.2 欺詐的特點 19

2.4 其他類型 19

2.4.1 網絡色情 20

2.4.2 網絡賭博 20

2.4.3 誘導引流 21

2.4.4 網絡洗錢 22

2.5 本章小結 23

第3章 產業工具 24

3.1 養號工具 24

3.1.1 貓池 24

3.1.2 接碼平臺 26

3.1.3 打碼平臺 26

3.1.4 群控和雲控系統 27

3.2 設備工具 27

3.2.1 改機工具 28

3.2.2 多開軟件 29

3.2.3 虛擬定位工具 29

3.2.4 全息備份 30

3.3 IP工具 30

3.3.1 代理IP 31

3.3.2 秒撥IP 31

3.3.3 IP魔盒 32

3.4 自動化腳本工具 32

3.4.1 按鍵精靈 32

3.4.2 Auto.js 32

3.5 本章小結 33

第3部分 大數據基礎建設

第4章 大數據治理與特徵工程 36

4.1 大數據平臺 37

4.1.1 計算框架 38

4.1.2 存儲方式 39

4.1.3 計算模式 39

4.2 大數據治理 40

4.2.1 數據模型 40

4.2.2 元數據管理 41

4.2.3 數據質量管理 41

4.2.4 數據生命周期管理 42

4.2.5 數據安全 42

4.3 數據清洗 43

4.3.1 缺失值處理 43

4.3.2 異常值處理 43

4.3.3 歸一化與標準化 45

4.4 特徵工程 46

4.4.1 特徵提取和構建 46

4.4.2 特徵學習 46

4.4.3 特徵評估與選擇 49

4.5 本章小結 52

第4部分 大數據安全對抗技術與反欺詐實戰案例

第5章 基於流量的對抗技術 54

5.1 人機驗證 55

5.1.1 字符驗證碼 56

5.1.2 行為驗證碼 57

5.1.3 新型驗證碼 58

5.2 風險名單 59

5.2.1 風險名單的意義 59

5.2.2 風險名單的設計 59

5.2.3 風險名單的管理 61

5.3 規則引擎 61

5.3.1 基礎通用規則 62

5.3.2 業務定製規則 66

5.4 異常檢測模型 67

5.4.1 傳統統計檢驗 68

5.4.2 無監督模型 69

5.4.3 半監督模型 72

5.5 多模態集成模型 73

5.5.1 多模態子模型 73

5.5.2 多模態集成模型 74

5.6 新型對抗方案 75

5.6.1 小樣本場景問題 75

5.6.2 跨平臺聯防聯控問題 76

5.7 本章小結 79

第6章 基於內容的對抗技術 80

6.1 業務場景與風險 80

6.2 標簽體系 82

6.2.1 黑白標簽體系 82

6.2.2 類別細分體系 82

6.2.3 多標簽體系 83

6.3 文本內容對抗技術 83

6.3.1 文本預處理 86

6.3.2 文本無監督模型 89

6.3.3 文本監督模型 97

6.4 圖像內容對抗技術 103

6.4.1 圖像預處理 103

6.4.2 圖像半監督模型 109

6.4.3 圖像監督模型 114

6.4.4 主動學習 122

6.5 多模態內容對抗技術 124

6.5.1 多模態定義 124

6.5.2 模態融合 125

6.5.3 協同訓練 127

6.6 本章小結 128

第7章 基於復雜網絡的對抗技術 129

7.1 復雜網絡基礎 130

7.1.1 網絡分類 130

7.1.2 網絡表示 131

7.1.3 網絡存儲 133

7.1.4 網絡可視化 134

7.2 復雜網絡測度 135

7.2.1 度中心性 136

7.2.2 中介中心性 137

7.2.3 接近中心性 138

7.2.4 特徵向量中心性 139

7.2.5 PageRank 141

7.2.6 聚集性測度 142

7.3 復雜網絡傳播模型 145

7.3.1 懶惰隨機游走傳播 146

7.3.2 個性化PageRank傳播 150

7.3.3 異構網絡傳播 153

7.4 社區劃分 155

7.4.1 標簽傳播社區劃分 156

7.4.2 Louvain社區劃分 160

7.5 圖神經網絡 165

7.5.1 隨機游走圖嵌入 166

7.5.2 譜域圖神經網絡 169

7.5.3 空域圖神經網絡 173

7.6 本章小結 178

第8章 反欺詐實戰案例 179

8.1 婚戀交友反詐騙 179

8.1.1 風險場景 179

8.1.2 事前預防 180

8.1.3 事中攔截 185

8.1.4 事後回溯 188

8.1.5 時序聯合打擊 189

8.1.6 反詐對抗運營 190

8.2 營銷活動反作弊 191

8.2.1 場景案例 191

8.2.2 業務數據 193

8.2.3 人機驗證對抗 193

8.2.4 風險名單對抗 194

8.2.5 規則引擎對抗 194

8.2.6 多模態集成模型 196

8.2.7 團夥圖模型對抗 200

8.3 賭博網址檢測 204

8.3.1 網址信息 205

8.3.2 文本模型 205

8.3.3 圖像模型 207

8.3.4 多模態集成模型 209

8.3.5 異構圖神經網絡模型 210

8.4 惡意短文本識別 212

8.4.1 對抗流程 213

8.4.2 常規文本對抗 214

8.4.3 文字變形對抗 215

8.4.4 新類型對抗 216

8.4.5 穩定期對抗 217

8.4.6 內容對抗運營 218

8.5 本章小結 219

第5部分 反欺詐運營體系與情報系統

第9章 反欺詐運營體系 222

9.1 服務層 223

9.2 模型層 225

9.2.1 離線評估 225

9.2.2 線上監控 225

9.3 特徵層 229

9.3.1 穩定性監控 229

9.3.2 異常值監控 229

9.4 數據層 230

9.5 事故分級與告警 231

9.6 本章小結 232

第 10章 情報系統 233

10.1 體系架構 234

10.2 情報獲取 235

10.3 情報加工 235

10.4 情報分析 236

10.5 情報應用 237

10.6 本章小結 239