大模型推薦系統：算法原理、代碼實戰與案例分析

01 基礎知識 1
1.1 大模型相關資源 1
1.1.1 可用的模型及API 1
1.1.2 數據資源 3
1.1.3 軟件資源 5
1.1.4 硬件資源 5
1.2 大模型預訓練 5
1.2.1 數據收集與預處理 5
1.2.2 確定模型架構 7
1.2.3 確定目標函數及預訓練 9
1.2.4 解碼策略 10
1.3 大模型微調 13
1.3.1 微調原理 13
1.3.2 指令微調 14
1.3.3 對齊微調 17
1.4 大模型在線學習 21
1.4.1 提示詞 21
1.4.2 上下文學習 23
1.4.3 思維鏈提示詞 24
1.4.4 規劃 26
1.5 大模型推理 27
1.5.1 高效推理技術 28
1.5.2 高效推理軟件工具 29
1.6 總結 30
02 數據準備與開發環境準備 31
2.1 MIND數據集介紹 31
2.2 Amazon電商數據集介紹 34
2.3 開發環境準備 36
2.3.1 搭建CUDA開發環境 37
2.3.2 搭建MacBook 開發環境 40
2.4 總結 42
03 大模型推薦系統的數據來源、一般思路和4種範式 43
3.1 大模型推薦系統的數據來源 43
3.1.1 大模型相關的數據 44
3.1.2 新聞推薦系統相關的數據 44
3.1.3 將推薦數據編碼為大模型可用數據 45
3.2 將大模型用於推薦的一般思路 46
3.3 將大模型應用於推薦的4種範式 46
3.3.1 基於大模型的生成範式 47
3.3.2 基於PLM的預訓練範式 47
3.3.3 基於大模型的微調範式 48
3.3.4 基於大模型的直接推薦範式 49
3.4 總結 50
04 生成範式：大模型生成特徵、訓練數據與物品 51
4.1 大模型生成嵌入特徵 51
4.1.1 嵌入的價值 51
4.1.2 嵌入方法介紹 52
4.2 大模型生成文本特徵 57
4.2.1 生成文本特徵 57
4.2.2 生成文本特徵的其他方法 63
4.3 大模型生成訓練數據 66
4.3.1 大模型直接生成表格類數據 66
4.3.2 大模型生成監督樣本數據 67
4.4 大模型生成待推薦物品 69
4.4.1 為用戶生成個性化新聞 69
4.4.2 生成個性化的視頻 74
4.5 總結 77
05 預訓練範式：通過大模型預訓練進行推薦 78
5.1 預訓練的一般思路和方法 78
5.1.1 預訓練數據準備 78
5.1.2 大模型架構選擇 79
5.1.3 大模型預訓練 81
5.1.4 大模型推理（用於推薦） 82
5.2 案例講解 84
5.2.1 基於PTUM架構的預訓練推薦系統 84
5.2.2 基於P5的預訓練推薦系統 86
5.3 基於MIND數據集的代碼實戰 91
5.3.1 預訓練數據集準備 91
5.3.2 模型預訓練 98
5.3.3 模型推理與驗證 102
5.4 總結 104
06 微調範式：微調大模型進行個性化推薦 106
6.1 微調的方法 106
6.1.1 微調的價值 106
6.1.2 微調的步驟 107
6.1.3 微調的方法 111
6.1.4 微調的困難與挑戰 113
6.2 案例講解 114
6.2.1 TALLRec微調框架 114
6.2.2 GIRL：基於人類反饋的微調框架 117
6.3 基於MIND數據集實現微調 120
6.3.1 微調數據準備 120
6.3.2 模型微調 122
6.3.3 模型推斷 130
6.4 總結 134
07 直接推薦範式：利用大模型的上下文學習進行推薦 135
7.1 上下文學習推薦基本原理 135
7.2 案例講解 136
7.2.1 LLMRank實現案例 137
7.2.2 多任務實現案例 139
7.2.3 NIR實現案例 141
7.3 上下文學習推薦代碼實現 142
7.3.1 數據準備 142
7.3.2 代碼實現 145
7.4 總結 157
08 實戰案例：大模型在電商推薦中的應用 158
8.1 大模型賦能電商推薦系統 158
8.2 新的交互式推薦範式 161
8.2.1 交互式智能體的架構 161
8.2.2 淘寶問問簡介 162
8.3 大模型生成用戶興趣畫像 164
8.3.1 基礎原理與步驟介紹 164
8.3.2 數據預處理 165
8.3.3 代碼實現 168
8.4 大模型生成個性化商品描述信息 178
8.4.1 基礎原理與步驟介紹 178
8.4.2 數據預處理 179
8.4.3 代碼實現 184
8.5 大模型應用於電商猜你喜歡推薦 196
8.5.1 數據預處理 196
8.5.2 模型微調 199
8.5.3 模型效果評估 205
8.6 大模型應用於電商關聯推薦 209
8.6.1 數據預處理 209
8.6.2 多路召回實現 214
8.6.3 相似度排序實現 216
8.6.4 排序模型效果評估 219
8.7 大模型如何解決電商冷啟動問題 221
8.7.1 數據準備 221
8.7.2 利用大模型生成冷啟動商品的行為樣本 226
8.7.3 利用大模型上下文學習能力推薦冷啟動商品 228
8.7.4 模型微調 232
8.7.5 模型效果評估 232
8.8 利用大模型進行推薦解釋，提升推薦說服力 237
8.8.1 數據準備 237
8.8.2 利用大模型上下文學習能力進行推薦解釋 244
8.8.3 模型微調 248
8.8.4 模型效果評估 256
8.9 利用大模型進行對話式推薦 257
8.9.1 對話式大模型推薦系統的架構 257
8.9.2 數據準備 258
8.9.3 代碼實現 260
8.9.4 對話式推薦案例 268
8.10 總結 269
09 工程實踐：大模型落地真實業務場景 271
9.1 大模型推薦系統如何進行高效預訓練和推理 271
9.1.1 模型高效訓練 272
9.1.2 模型高效推理 273
9.1.3 模型服務部署 274
9.1.4 硬件選擇建議 275
9.2 大模型落地企業級推薦系統的思考 275
9.2.1 如何將推薦算法嵌入大模型框架 275
9.2.2 大模型特性給落地推薦系統帶來的挑戰 276
9.2.3 大模型相關的技術人才匱乏 276
9.2.4 大模型推薦系統與傳統推薦系統的關系 277
9.2.5 大模型推薦系統的投資回報率分析 277
9.2.6 大模型落地推薦場景的建議 277
9.3 總結 278
後記 279