構建企業級推薦系統：算法、工程實現與案例分析

劉強
碩士學歷，09年畢業於中國科學技術大學數學系。有12年大數據與推薦系統實踐經驗，精通企業級推薦系統的構建。從零到一打造過千萬級DAU視頻APP的推薦系統，推薦系統產生的流量佔全APP流量的30%。
創建了“數據與智能”社區（包括同名的微信公眾號、視頻號、知乎、B站等自媒體平台號），聚焦於數據分析、大數據、推薦系統、機器學習、人工智能等領域的知識分享與傳播。
在過去的3年內為多家中小型互聯網公司(流媒體、在線教育、跨境電商等)提供技術諮詢，幫助他們從零到一構建推薦系統。

前 言
第一篇 推薦系統基礎認知
第1章 推薦系統介紹 2
1.1 推薦系統產生的背景 2
1.2 推薦系統解決什麼問題 3
1.3 推薦系統的應用領域 3
1.4 推薦系統的定義 4
1.5 常用的推薦算法 5
1.5.1 基於內容的推薦 5
1.5.2 協同過濾 5
1.5.3 基於模型的推薦 6
1.5.4 基於社交關係的推薦 6
1.6 構建推薦系統的阻礙與挑戰 6
1.7 推薦系統的價值 7
1.8 本章小結 8

第二篇 推薦系統基礎算法
第2章 推薦算法基礎 10
2.1 推薦系統範式 10
2.2 推薦算法3階段pipeline架構 14
2.3 推薦召回算法 15
2.3.1 完全非個性化範式 15
2.3.2 完全個性化範式 15
2.3.3 群組個性化範式 19
2.3.4 標的物關聯標的物範式 20
2.3.5 笛卡兒積範式 22
2.4 排序算法 22
2.4.1 logistic回歸模型 23
2.4.2 GBDT模型 24
2.4.3 Wide & Deep模型 24
2.5 推薦算法落地需要關注的幾個問題 24
2.5.1 推薦算法工程落地一定要用到排序模塊嗎 24
2.5.2 推薦算法服務於用戶的兩種形式 25
2.5.3 推薦系統評估 25
2.6 本章小結 25

第3章 基於內容的推薦算法 27
3.1 什麼是基於內容的推薦算法 27
3.2 基於內容的推薦算法的實現原理 28
3.2.1 基於用戶和標的物特徵為用戶推薦的核心思想 29
3.2.2 構建用戶特徵表示 29
3.2.3 構建標的物特徵表示 30
3.2.4 為用戶做個性化推薦 36
3.3 基於內容的推薦算法應用場景 39
3.4 基於內容的推薦算法的優缺點 40
3.4.1 優點 41
3.4.2 缺點 41
3.5 基於內容的推薦算法落地需要關注的問題 42
3.5.1 內容來源的獲取 42
3.5.2 怎麼利用負向反饋 43
3.5.3 興趣隨時間變化 44
3.5.4 數據清洗 44
3.5.5 加速計算與節省資源 44
3.5.6 解決基於內容的推薦越推越窄的問題 44
3.5.7 工程落地技術選型 45
3.5.8 業務的安全性 45
3.6 本章小結 45

第4章 協同過濾推薦算法 47
4.1 協同過濾思想簡介 47
4.2 協同過濾算法原理介紹 48
4.2.1 基於用戶的協同過濾 49
4.2.2 基於標的物的協同過濾 49
4.3 離線協同過濾算法的工程實現 49
4.3.1 計算topN相似度 50
4.3.2 為用戶生成推薦 52
4.4 近實時協同過濾算法的工程實現 54
4.4.1 獲取用戶在一個時間窗口內的行為 54
4.4.2 基於用戶行為記錄更新標的物關聯表CR 55
4.4.3 更新用戶的行為記錄HBase表：UAction 55
4.4.4 為用戶生成個性化推薦 55
4.5 協同過濾算法的應用場景 57
4.5.1 完全個性化推薦 57
4.5.2 標的物關聯標的物推薦 58
4.5.3 其他應用形式及場景 58
4.6 協同過濾算法的優缺點 58
4.6.1 優點 59
4.6.2 缺點 59
4.7 協同過濾算法落地到業務場景需要關注的問題 60
4.7.1 兩種協同過濾算法的選擇 60
4.7.2 對時間加權 60
4.7.3 關於用戶對標的物的評分 61
4.7.4 相似度計算 61
4.7.5 冷啟動問題 62
4.8 本章小結 63

第5章 基於樸素ML思想的協同過濾算法 65
5.1 基於關聯規則的推薦算法 65
5.2 基於樸素貝葉斯的推薦算法 67
5.3 基於聚類的推薦算法 70
5.3.1 基於用戶聚類的推薦 70
5.3.2 基於標的物聚類的推薦 71
5.4 YouTube基於關聯規則思路的視頻推薦算法 71
5.4.1 計算兩個視頻的相似度（關聯度） 72
5.4.2 基於單個種子視頻生成候選視頻集 72
5.4.3 基於用戶行為為用戶生成推薦候選集 72
5.4.4 推薦結果排序 73
5.5 Google News基於貝葉斯框架的推薦算法 74
5.5.1 基於用戶過去的行為來分析用戶的興趣點 75
5.5.2 利用貝葉斯框架來建模用戶的興趣 75
5.5.3 為用戶做個性化推薦 78
5.6 Google News基於用戶聚類的推薦算法 78
5.6.1 基於MinHash聚類 78
5.6.2 基於聚類為用戶做推薦 80
5.7 本章小結 80

第6章 矩陣分解推薦算法 83
6.1 矩陣分解推薦算法的核心思想 83
6.2 矩陣分解推薦算法的算法原理 84
6.3 矩陣分解推薦算法的求解方法 85
6.3.1 利用SGD來求解矩陣分解 85
6.3.2 利用ALS來求解矩陣分解 86
6.4 矩陣分解推薦算法的拓展與優化 87
6.4.1 整合偏差項 87
6.4.2 增加更多的用戶信息輸入 87
6.4.3 整合時間因素 88
6.4.4 整合用戶對評分的置信度 89
6.4.5 隱式反饋 89
6.4.6 整合用戶和標的物metadata信息 90
6.5 近實時矩陣分解算法 91
6.5.1 算法原理 92
6.5.2 工程實現 94
6.6 矩陣分解算法的應用場景 97
6.6.1 應用於完全個性化推薦場景 97
6.6.2 應用於標的物關聯標的物場景 98
6.6.3 應用於用戶及標的物聚類 98
6.6.4 應用於群組個性化場景 98
6.7 矩陣分解算法的優缺點 99
6.7.1 優點 99
6.7.2 缺點 100
6.8 本章小結 101

第7章 因子分解機 103
7.1 分解機簡單介紹 103
7.2 分解機參數預估與模型價值 105
7.2.1 分解機在稀疏場景下的參數估計 106
7.2.2 分解機的計算複雜度 106
7.2.3 分解機模型求解 107
7.2.4 模型預測 107
7.3 分解機與其他模型的關係 108
7.3.1 FM與矩陣分解的聯繫 108
7.3.2 FM與SVM的聯繫 108
7.4 分解機的工程實現 110
7.5 分解機的拓展 112
7.5.1 高階分解機 112
7.5.2 FFM 113
7.5.3 DeepFM 113
7.6 近實時分解機 114
7.7 分解機在推薦系統上的應用 114
7.7.1 用戶與標的物的交互行為信息 115
7.7.2 用戶相關信息 115
7.7.3 標的物相關信息 115
7.7.4 上下文信息 115
7.8 分解機的優勢 116
7.9 本章小結 117

第三篇 推薦系統進階算法
第8章 推薦系統冷啟動 120
8.1 冷啟動的概念 120
8.2 解決冷啟動面臨的挑戰 121
8.3 解決冷啟動的重要性 121
8.4 解決冷啟動的方法和策略 122
8.4.1 用戶冷啟動 123
8.4.2 標的物冷啟動 125
8.4.3 系統冷啟動 126
8.4.4 新的視角看冷啟動 126
8.5 不同推薦產品形態解決冷啟動的方案 128
8.6 設計冷啟動需要注意的問題 129
8.7 冷啟動的未來發展趨勢 130
8.8 本章小結 131

第9章 嵌入方法在推薦系統中的應用 132
9.1 嵌入方法簡介 132
9.2 嵌入方法應用於推薦系統的一般思路 133
9.2.1 學習標的物的嵌入表示 134
9.2.2 同時學習用戶和標的物的嵌入表示 135
9.3 用於推薦系統的嵌入方法的算法原理介紹 135
9.3.1 基於矩陣分解的嵌入 135
9.3.2 基於Word2vec的嵌入 136
9.3.3 基於有向圖的嵌入 137
9.3.4 基於深度神經網絡的嵌入 138
9.4 嵌入方法在推薦系統中的應用案例介紹 139
9.4.1 利用矩陣分解嵌入做推薦 139
9.4.2 利用Item2vec獲得標的物的嵌入做推薦 139
9.4.3 阿里盒馬的聯合嵌入推薦模型 140
9.4.4 基於圖嵌入的推薦算法 143
9.4.5 整合標的物多種信息的Content2vec模型 145
9.5 利用嵌入方法解決冷啟動問題 146
9.5.1 通過ID間的結構連接關係及特徵遷移解決冷啟動問題 146
9.5.2 通過圖片、文本內容嵌入解決冷啟動問題 148
9.6 本章小結 148

第10章 深度學習在推薦系統中的應用 151
10.1 深度學習介紹 152
10.2 利用深度學習技術構建推薦系統的方法和思路 153
10.2.1 從推薦系統中使用的深度學習技術角度看 154
10.2.2 從推薦系統的預測目標角度看 154
10.2.3 從推薦算法的歸類角度看 155
10.3 工業界幾個經典深度學習推薦算法介紹 156
10.3.1 YouTube的深度學習推薦系統 156
10.3.2 Google的Wide & Deep深度學習推薦模型 160
10.3.3 阿里基於興趣樹的深度學習推薦算法 163
10.3.4 Google的神經網絡協同過濾深度學習推薦算法 166
10.4 開源深度學習框架&推薦算法 168
10.4.1 TensorFlow（Keras） 168
10.4.2 PyTorch（Caffe） 169
10.4.3 MxNet 169
10.4.4 DeepLearning4j 170
10.4.5 百度的PaddlePaddle 170
10.4.6 騰訊的Angel 170
10.4.7 微軟開源的推薦算法庫recommenders 171
10.5 深度學習技術應用於推薦系統的優缺點及挑戰 171
10.5.1 優點 171
10.5.2 缺點與挑戰 172
10.6 深度學習推薦系統工程實施建議 174
10.6.1 深度學習的效果真的有那麼好嗎 174
10.6.2 團隊是否適合引入深度學習推薦技術 174
10.6.3 打通深度學習相關技術棧與團隊現有技術棧 175
10.6.4 從經典成熟的模型與跟公司業務接近的模型著手 175
10.7 深度學習推薦系統的未來發展 176
10.7.1 算法模型維度 176
10.7.2 工程維度 176
10.7.3 應用場景維度 177
10.7.4 數據維度 177
10.7.5 產品呈現與交互維度 178
10.8 本章小結 178

第11章 混合推薦系統介紹 182
11.1 什麼是混合推薦系統 182
11.2 混合推薦系統的價值 183
11.2.1 冷啟動問題 183
11.2.2 數據稀疏性問題 183
11.2.3 馬太效應 183
11.2.4 灰羊效應 183
11.2.5 投資組合效應 184
11.2.6 穩定性/可塑性問題 184
11.3 混合推薦系統的實現方案 185
11.3.1 單體的混合範式 185
11.3.2 並行的混合範式 186
11.3.3 流水線混合範式 187
11.4 工業級推薦系統與混合推薦 188
11.4.1 實時推薦系統與混合推薦 190
11.4.2 深度學習等複雜推薦模型整合多數據源和多模型 190
11.4.3 特殊情況下的處理策略 191
11.4.4 推薦數量不足的增補 191
11.4.5 通過混合策略解決用戶冷啟動 191
11.5 對混合推薦系統的思考 192
11.5.1 整合實時推薦中用戶的短期和長期興趣 193
11.5.2 利用單個複雜模型建模多源信息 193
11.5.3 多源的標的物混合 193
11.5.4 家庭場景中多人興趣的混合推薦 194
11.5.5 用戶在多APP場景下行為的混合 195
11.5.6 用戶多狀態（場景）的融合推薦 195
11.6 本章小結 195

第12章 構建可解釋性推薦系統 198
12.1 可解釋性推薦系統簡介 198
12.1.1 什麼是推薦解釋 198
12.1.2 推薦解釋的價值 199
12.1.3 互聯網推薦產品的推薦解釋模型 200
12.1.4 推薦解釋的形式 200
12.1.5 推薦解釋的現狀 200
12.2 構建可解釋性推薦系統的方法 201
12.2.1 基於用戶關係來做推薦解釋 201
12.2.2 基於標的物相似關係來做推薦解釋 203
12.2.3 基於標籤來做推薦解釋 203
12.2.4 其他推薦解釋方式 204
12.3 常用工業級推薦產品的推薦解釋 205
12.3.1 完全個性化範式的推薦解釋 205
12.3.2 標的物關聯標的物範式的推薦解釋 207
12.3.3 其他推薦範式的推薦解釋 208
12.4 做好推薦解釋需要關注的幾個問題 208
12.5 構建可解釋性推薦系統面臨的挑戰與機遇 210
12.5.1 混合推薦算法讓推薦解釋更加困難 210
12.5.2 設計實時個性化推薦解釋面臨的技術挑戰 211
12.5.3 企業管理者/數據產品經理更關注精準度而不是解釋性 211
12.5.4 黑盒推薦算法很難解釋 211
12.5.5 普適的推薦解釋框架 211
12.5.6 利用知識圖譜做解釋 211
12.5.7 生成對話式解釋 211
12.6 本章小結 212

第四篇 推薦系統評估與價值
第13章 推薦系統的評估 214
13.1 推薦系統評估的目的 214
13.2 評估推薦系統的常用指標 215
13.2.1 用戶的維度 215
13.2.2 平台方的維度 216
13.2.3 推薦系統自身的維度 216
13.2.4 標的物提供方的維度 217
13.3 推薦系統的評估方法 218
13.3.1 離線評估 219
13.3.2 在線評估第一階段 223
13.3.3 在線評估第二階段 224
13.3.4 主觀評估 225
13.4 推薦系統評估需要關注的問題 226
13.5 本章小結 227

第14章 推薦系統的商業價值 228
14.1 為什麼要關注推薦系統的商業價值 228
14.2 衡量推薦系統商業價值的維度 229
14.2.1 廣告變現 230
14.2.2 電商變現 231
14.2.3 增值服務變現 231
14.2.4 用戶增長 232
14.2.5 成本節省及效率提升 232
14.3 量化推薦系統商業價值的思路和方法 233
14.3.1 提升廣告的曝光與轉化 233
14.3.2 促進標的物提供方（即商家）生態繁榮 233
14.3.3 促進標的物售賣，獲取更多經濟收益 234
14.3.4 提升會員的轉化與留存 234
14.3.5 提升用戶留存率、活躍度和停留時長 234
14.3.6 節省人力成本 235
14.3.7 提升內容分發效率 235
14.4 提升推薦系統商業價值需要關注的問題及建議 235
14.5 本章小結 237

第五篇 推薦系統工程實現
第15章 推薦系統之數據與特徵工程 240
15.1 推薦算法建模的一般流程 240
15.2 推薦系統依賴的數據源介紹 241
15.2.1 根據數據來源來劃分 241
15.2.2 根據數據載體來劃分 243
15.2.3 根據數據組織形式來劃分 244
15.3 數據處理與特徵工程簡介 246
15.3.1 數據生成 246
15.3.2 數據預處理 248
15.3.3 特徵工程 250
15.4 常用推薦算法之數據與特徵工程 258
15.4.1 排行榜推薦 258
15.4.2 標的物關聯標的物推薦 259
15.4.3 個性化推薦 260
15.5 推薦系統數據與特徵工程的未來趨勢 262
15.5.1 融合更多的數據源來構建更複雜的推薦模型 262
15.5.2 深度學習等複雜技術可減少人工特徵工程的投入 262
15.5.3 實時數據處理與實時特徵工程 263
15.5.4 自動化特徵工程 263
15.6 本章小結 264

第16章 推薦系統的工程實現 266
16.1 推薦系統與大數據 266
16.2 推薦系統業務流及核心模塊 268
16.2.1 數據收集模塊 269
16.2.2 ETL模塊 269
16.2.3 特徵工程模塊 269
16.2.4 推薦算法模塊 270
16.2.5 推薦結果存儲模塊 270
16.2.6 Web服務模塊 271
16.3 推薦系統支撐模塊 272
16.3.1 評估模塊 272
16.3.2 調度模塊 272
16.3.3 監控模塊 272
16.3.4 審查模塊 273
16.4 推薦系統架構設計 273
16.5 推薦系統工程實現的設計哲學 279
16.5.1 什麼是好的推薦系統工程實現 280
16.5.2 推薦系統工程實現的原則 280
16.5.3 怎樣設計好的推薦系統工程架構 280
16.6 近實時個性化推薦 281
16.7 推薦系統業務落地需要關注的問題 282
16.8 推薦系統的技術選型 284
16.9 推薦系統工程的未來發展 285
16.10 本章小結 285

第17章 AB測試平台的工程實現 286
17.1 什麼是AB測試 286
17.2 AB測試的價值 287
17.3 什麼時候需要AB測試 288
17.4 AB測試的應用場景 289
17.5 AB測試平台的核心模塊 290
17.5.1 分組模塊 290
17.5.2 實驗管理模塊 291
17.5.3 業務接入模塊 291
17.5.4 行為記錄分析模塊 291
17.5.5 效果評估模塊 292
17.6 業界流行的AB測試架構實現方案 292
17.7 推薦系統業務AB測試實現方案 297
17.8 開發AB測試平台需要的資源及支持 301
17.9 構建AB測試平台需要關注的重要問題 302
17.10 本章小結 303

第18章 構建優質的推薦系統服務 304
18.1 推薦服務背景介紹 304
18.2 什麼是優質的推薦服務 306
18.2.1 高性能 306
18.2.2 高可用 306
18.2.3 可伸縮 306
18.2.4 可擴展 307
18.2.5 安全性 307
18.3 設計優質的推薦服務面臨的挑戰 307
18.3.1 需要存儲的數據量大 308
18.3.2 需要快速及時響應用戶請求 308
18.3.3 接口訪問並發量大 308
18.3.4 業務相對複雜 308
18.4 構建優質服務的一般原則 309
18.4.1 模塊化 309
18.4.2 數據存儲與數據緩存 309
18.4.3 負載均衡 309
18.4.4 異步調用 310
18.4.5 分佈式及去中心化 310
18.4.6 分層思想 310
18.5 設計優質推薦服務的可行策略 311
18.5.1 高性能 311
18.5.2 高可用 314
18.5.3 可伸縮 315
18.5.4 可擴展 316
18.5.5 安全性 317
18.6 本章小結 318

第19章 推薦系統提供Web服務 319
19.1 什麼是推薦系統Web服務 319
19.2 推薦系統提供Web服務的兩種方式 321
19.2.1 事先計算式Web服務 322
19.2.2 實時裝配式Web服務 324
19.3 兩種Web服務方式的優劣對比 326
19.3.1 事先計算式Web服務的優缺點 326
19.3.2 實時裝配式Web服務的優缺點 327
19.4 影響Web服務方式的因素及選擇原則 328
19.4.1 推薦產品形態的時效性對選擇推薦Web服務的影響 328
19.4.2 技術及架構複雜性對選擇推薦Web服務的影響 328
19.4.3 推薦階段對選擇推薦Web服務的影響 328
19.4.4 算法形態對選擇推薦Web服務的影響 329
19.5 本章小結 329

第20章 實時個性化推薦 331
20.1 實時推薦系統背景介紹 331
20.2 實時推薦系統的價值 333
20.3 實時推薦系統的應用場景 334
20.3.1 新聞資訊類 335
20.3.2 短視頻類 335
20.3.3 婚戀、陌生人社交類 336
20.3.4 直播類 336
20.3.5 電商類 337
20.3.6 音樂、電台類 337
20.4 實時推薦系統的整體架構 338
20.4.1 Lambda架構 339
20.4.2 Kappa架構 343
20.5 實時推薦系統的技術選型 345
20.5.1 離線部分算法的技術選型 345
20.5.2 實時部分算法的技術選型 345
20.6 實時推薦算法與工程實現 346
20.7 構建實時推薦系統面臨的困難和挑戰 347
20.8 實時推薦系統的未來發展 347
20.8.1 實時推薦是未來推薦發展的方向 348
20.8.2 每個人都有望擁有為自己服務的個性化算法 348
20.8.3 實時推薦應用場景的多樣性 349
20.8.4 實時交互方式趨於多元化 349
20.9 本章小結 350

第六篇 推薦系統產品與運營第21章 推薦系統產品 354
21.1 推薦產品簡介 354
21.2 推薦產品形態介紹 355
21.2.1 基於用戶維度的推薦 355
21.2.2 基於標的物維度的推薦 357
21.2.3 基於用戶和標的物交叉維度的推薦 359
21.3 推薦產品的應用場景 360
21.4 設計優質推薦產品的要點 361
21.5 本章小結 362

第22章 推薦系統的UI交互與視覺展示 363
22.1 信息獲取與推薦系統 363
22.2 交互設計的基本原則 365
22.3 推薦系統的UI交互 367
22.3.1 什麼是推薦系統的UI交互 367
22.3.2 設計好的UI交互的原則 368
22.3.3 UI交互在推薦系統中的價值 371
22.4 推薦系統的視覺展示 372
22.4.1 什麼是推薦系統的視覺要素 373
22.4.2 視覺要素展示的一般原則 373
22.4.3 視覺要素展示的價值 376
22.5 關於推薦系統UI交互和視覺展示的展望 376
22.6 本章小結 378

第23章 推薦系統與精細化運營 379
23.1 運營簡介 379
23.2 數據化運營 381
23.3 精細化運營 383
23.3.1 精細化運營的概念 383
23.3.2 精細化運營的特點 384
23.3.3 為什麼說現在進入了精細化運營時代 384
23.3.4 精細化運營面臨的挑戰 385
23.3.5 精細化運營的流程與方法 385
23.4 用戶畫像介紹 386
23.4.1 用戶畫像的概念 387
23.4.2 標籤的分類 387
23.4.3 用戶畫像構建流程 389
23.4.4 用戶畫像平台的基礎架構 390
23.4.5 用戶畫像的應用場景 391
23.5 推薦系統與精細化運營 394
23.5.1 推薦系統是精細化運營的形式 394
23.5.2 推薦系統與精細化運營的區別與聯繫 395
23.5.3 利用推薦系統的思路進行精細化運營 396
23.5.4 利用推薦系統的思路進行精細化運營面臨的困境 397
23.6 本章小結 398

第24章 推薦系統的人工調控策略 399
24.1 什麼是推薦系統的人工調控 399
24.2 為什麼要進行人工調控 400
24.2.1 用戶體驗 401
24.2.2 安全性 401
24.2.3 商業價值 402
24.2.4 運營需要 402
24.2.5 降低人力成本 403
24.3 怎樣進行人工調控 404
24.3.1 數據層面的人工調控 404
24.3.2 特徵層面的人工調控 405
24.3.3 模型層面的人工調控 406
24.3.4 結果層面的人工調控 407
24.3.5 展示層面的人工調控 407
24.3.6 效果層面的人工調控 409
24.4 怎樣評估人工調控的價值 409
24.5 人工調控面臨的挑戰 410
24.5.1 知識層面的脫節，溝通不暢 410
24.5.2 很難精確評估對推薦系統的影響範圍 410
24.5.3 為運營人員提供方便操控的界面是關鍵 411
24.6 人與機器的有效協作 411
24.7 本章小結 412

第七篇 推薦系統案例分析
第25章 從零開始構建企業級推薦系統 414
25.1 Why：你的產品為什麼需要推薦系統 414
25.2 Who：讓誰來搭建推薦系統 415
25.2.1 自建推薦系統 415
25.2.2 通過外包構建推薦系統 416
25.2.3 購買推薦系統雲服務 416
25.3 When：在產品的什麼階段搭建推薦系統 416
25.4 What、Where：搭建什麼樣的推薦系統 417
25.5 How：怎樣搭建推薦系統 418
25.5.1 產品起步階段的推薦 418
25.5.2 產品成長階段的推薦 420
25.6 How much：關於構建推薦系統的資源投入 420
25.6.1 人力投入 421
25.6.2 計算資源投入 421
25.7 How feel：對推薦系統價值的預期 422
25.8 從零搭建推薦系統必須做好的3件事 422
25.8.1 產品與算法 423
25.8.2 評估指標 423
25.8.3 AB測試 423
25.9 幾個具體實用的建議 424
25.10 本章小結 425

第26章 基於標籤的實時短視頻推薦系統 426
26.1 基於標籤的推薦算法應用場景 426
26.1.1 完全個性化推薦 427
26.1.2 標的物關聯標的物推薦 427
26.1.3 主題推薦 428
26.2 基於標籤的推薦算法原理 428
26.2.1 個性化推薦 428
26.2.2 視頻相似推薦 430
26.2.3 主題推薦 430
26.3 推薦產品的整體架構及工程實現 430
26.3.1 個性化推薦 432
26.3.2 相似視頻推薦 435
26.3.3 主題推薦 437
26.4 個性化推薦的召回與排序策略 438
26.4.1 召回策略 438
26.4.2 排序策略 439
26.4.3 電視貓個性化推薦實時更新策略 440
26.5 冷啟動策略 442
26.6 未來優化方向 442
26.6.1 增加模型排序模塊 442
26.6.2 對重複的節目做過濾 442
26.6.3 整合用戶負反饋 443
26.6.4 針對標籤的優化 443
26.7 本章小結 443

第27章 基於Erlang語言的視頻相似推薦 445
27.1 視頻相似推薦系統簡介 445
27.2 相似推薦算法原理及實現細節 447
27.2.1 年代 447
27.2.2 標題 448
27.2.3 地域 448
27.2.4 豆瓣評分 449
27.2.5 是否獲獎 449
27.3 實現視頻相似推薦系統的問題與難點 449
27.3.1 數據量大，增速快 449
27.3.2 需要實時計算 450
27.3.3 計算與某個視頻最相似的視頻需要遍歷所有視頻 450
27.3.4 需要更新已經計算視頻的相似度 450
27.4 為什麼要用Erlang語言開發 450
27.4.1 Erlang語言簡介 450
27.4.2 Erlang語言的特性 451
27.4.3 選擇Erlang語言開發視頻相似推薦系統的原因 452
27.5 系統架構與工程實現 453
27.5.1 Master節點模塊與功能 454
27.5.2 Slaver主要負責計算任務 456
27.5.3 Riak集群負責最終相似推薦結果的存儲 457
27.5.4 響應請求模塊會基於用戶請求給出推薦結果 457
27.6 相似推薦的核心亮點 458
27.7 未來的優化方向 459
27.8 本章小結 460
附錄A 推薦算法工程師的成長之道 461
附錄B 推薦算法團隊組成及目標定位 471