DeepSeek原生應用與智能體開發實踐

目    錄

第 1 章　大模型時代 1

1.1  大模型的誕生與發展 1

1.1.1  大語言模型發展簡史與概念 2

1.1.2  大語言模型的生成策略 3

1.2  大語言模型發展的裏程碑 4

1.2.1  註意力機制是大模型發展的裏程碑 4

1.2.2  註意力機制的關鍵創新 5

1.2.3  註意力機制對語言建模的影響 7

1.2.4  大模型中的湧現與Scaling Law 10

1.2.5  大模型的訓練方法SFT與RLHF 12

1.3  大語言模型發展的“DeepSeek時刻” 13

1.3.1  重塑世界AI格局的DeepSeek-V3 14

1.3.2  推理能力大飛躍的DeepSeek-R1 16

1.4  大模型的應用與展望 18

1.4.1  大模型的實際應用 18

1.4.2  大模型發展面臨的展望 19

1.5  本章小結 20

第 2 章　DeepSeek開發環境配置與開放API使用 21

2.1  安裝Python開發環境 21

2.1.1  Miniconda的下載與安裝 21

2.1.2  PyCharm的下載與安裝 24

2.2  安裝DeepSeek開發框架 28

2.2.1  不同顯卡與運行庫的選擇 28

2.2.2  PyTorch GPU版本的安裝 28

2.2.3  測試PyTorch和CUDA安裝信息 30

2.3  在線DeepSeek應用配置詳解 31

2.3.1  DeepSeek簡介與免費使用 32

2.3.2  帶有特定格式的DeepSeek在線調用 33

2.3.3  帶有約束的DeepSeek在線調用 35

2.3.4  將DeepSeek與PyCharm相連 37

2.4  本章小結 39

第 3 章　提示工程與DeepSeek提示庫 40

3.1  提示工程Prompt詳解 40

3.1.1  什麼是提示工程 41

3.1.2  提示工程的關鍵要素與DeepSeek配置 41

3.1.3  DeepSeek提示工程化寫作技巧與示例 43

3.1.4  系統、上下文和角色提示的進階應用 44

3.2  DeepSeek中的提示庫 46

3.2.1  DeepSeek中提示庫介紹與基本使用 46

3.2.2  帶有系統提示的提示對話生成 50

3.3  本章小結 51

第 4 章　思維鏈與DeepSeek推理模型 52

4.1  思維鏈詳解 52

4.1.1  思維鏈應用場景 53

4.1.2  思維鏈的定義與分類 54

4.2  基於思維鏈的DeepSeek推理模型實戰 55

4.2.1  通過Prompt提示構建思維鏈 56

4.2.2  DeepSeek-Reasoner推理模型實戰 58

4.3  本章小結 60

第 5 章　基於DeepSeek的Agent開發詳解 61

5.1  Agent開發概述 62

5.1.1  Agent的定義與核心機制 62

5.1.2  API Agent與GUI Agent 63

5.2  基於DeepSeek的美妝GUI Agent實踐 65

5.2.1  GUI Agent庫的安裝與使用 66

5.2.2  使用DeepSeek自動化獲取網頁端天氣信息 68

5.2.3  根據天氣信息給出美妝建議 70

5.3  基於DeepSeek的體重管理API Agent實踐 72

5.3.1  API Agent的註冊與使用 73

5.3.2  實現卡路裏計算與運動建議的功能 76

5.4  本章小結 77

第 6 章　DeepSeek的Function Calling與MCP應用實戰 78

6.1  DeepSeek自帶的Function Calling詳解 78

6.1.1  Python使用工具的基本原理 79

6.1.2  DeepSeek工具使用詳解 80

6.1.3  DeepSeek工具箱的使用 83

6.1.4  DeepSeek工具調用判定依據 89

6.2  給大模型插上翅膀的MCP協議詳解 93

6.2.1  MCP協議目的、功能與架構詳解 94

6.2.2  MCP實戰1：本地工具服務端搭建 96

6.2.3  MCP實戰2：本地客戶端搭建與使用 98

6.3  在線MCP服務器的搭建與使用實戰 102

6.3.1  在線MCP服務器搭建 102

6.3.2  在線MCP服務的連接和使用 103

6.4  本章小結 105

第 7 章　大模型驅動的即時金融信息采集與分析平臺 106

7.1  網絡爬取工具Crawl4AI詳解 106

7.1.1  大模型傳遞數據的方式 107

7.1.2  服務於大模型的Crawl4AI 107

7.1.3  Crawl4AI的安裝與基本使用 108

7.2  DeepSeek驅動的即時金融信息采集與分析平臺實戰 109

7.2.1  使用Crawl4AI爬取金融網站 110

7.2.2  對鏈接內容進行解析 111

7.2.3  使用DeepSeek抽取和分析金融信息 113

7.2.4  實現DeepSeek驅動的即時金融信息采集與分析平臺 115

7.2.5  將DeepSeek設置不同的人設並對金融信息進行分析 115

7.3  本章小結 116

第 8 章　DeepSeek核心技術1： KV Cache加持的推理加速 117

8.1  自回歸生成模型中的資源計算 117

8.1.1  自回歸模型的計算量 118

8.1.2  自回歸模型的緩存優化 118

8.2  自回歸生成模型中的推理加速詳解 120

8.2.1  模型推理中的“貪心生成”與“采樣生成” 121

8.2.2  模型推理過程中的冗余計算問題解析 122

8.2.3  初識模型推理中的KV Cache與代碼實現 124

8.3  減少空間占用的自回歸模型代碼實現與詳解 126

8.3.1  經典自回歸模型詳解 126

8.3.2  能夠減少空間占用的自回歸模型代碼完整實現 128

8.3.3  緩存使用與傳遞過程詳解 132

8.4  減少空間占用的生成模型實戰與推理資源消耗量化對比 134

8.4.1  模型參數配置與訓練數據的準備 134

8.4.2  帶有緩存的生成模型訓練 136

8.4.3  未運行緩存的生成模型推理資源量化展示 137

8.4.4  在緩存的生成模型推理資源量化展示 139

8.4.5  使用細精度修正模型輸出 140

8.5  本章小結 140

第 9 章　DeepSeek核心技術2：MLA註意力機制 141

9.1  從推理角度詳解MLA註意力模型與代碼實現 142

9.1.1  大模型的推理過程 142

9.1.2  通用大模型的顯存占用量化計算 143

9.1.3  手把手MLA註意力公式的總體推導 145

9.2  從緩存角度詳解MLA註意力模型與代碼實現 146

9.2.1  優化的MLA模型實現1：壓縮低秩空間 147

9.2.2  優化的MLA模型實現2：核心註意力矩陣計算 148

9.2.3  優化的MLA模型實現3：對顯存KV Cache部分的壓縮 149

9.2.4  帶有緩存的MLA註意力模型完整實現 149

9.3  MLA註意力模型的完整補充講解 152

9.3.1  調參、記憶力以及矩陣計算優化 152

9.3.2  MLA、GQA以及MQA差異詳解 156

9.4  本章小結 157

第 10 章　DeepSeek核心技術3：MoE模型 158

10.1  MoE架構 158

10.1.1  MoE模型的基本結構 159

10.1.2  MoE模型中的“專家”與“調控”代碼實現 160

10.1.3  使用MoE模型還是經典的前饋層 163

10.2  基於MoE模型的情感分類實戰 164

10.2.1  基於MoE模型的評論情感分類實戰 164

10.2.2  MoE模型中負載平衡的實現 167

10.3  加載MoE架構的註意力模型 169

10.3.1  註意力機制中的前饋層不足 170

10.3.2  MoE可作為前饋層的替代 173

10.3.3  結合MoE的註意力機制 175

10.4  基於MoE與自註意力的圖像分類 175

10.4.1  基於註意力機制的ViT模型 176

10.4.2  Patch Embedding與Position Embedding 177

10.4.3  可視化的Vision-MoE的詳解 179

10.4.4  V-MoE模型的實現 182

10.4.5  基於圖像識別模型V-MoE的訓練與驗證 182

10.4.6  使用已有的庫實現MoE 184

10.5  本章小結 185

第 11 章　DeepSeek核心技術4：MTP與多組件優化 186

11.1  深度學習中的精度計算詳解與實戰 186

11.1.1  深度學習中的精度詳解 187

11.1.2  不同精度的相互轉換與混合精度 188

11.1.3  PyTorch中混合精度詳解 191

11.1.4  使用混合精度完成模型訓練與預測 192

11.2  生成模型的多詞元預測 196

11.2.1  MTP的經典架構設計與損失函數 196

11.2.2  DeepSeek中MTP架構 198

11.2.3  多詞元預測模型的完整實現 199

11.2.4  多詞元預測模型的訓練與推理 200

11.3  自回歸模型中的單分類與多分類激活函數 203

11.3.1  生成模型中的單分類激活函數 203

11.3.2  生成模型中的多分類激活函數 207

11.4  DeepSeek中的激活函數SwiGLU 209

11.4.1  SwiGLU激活函數詳解 209

11.4.2  SwiGLU的PyTorch實現 210

11.4.3  結合經典縮放的SwiGLU 211

11.5  本章小結 212

第 12 章　大模型微調技術與應用 213

12.1  什麼是模型微調 213

12.1.1  大模型微調的作用 213

12.1.2  大模型微調技術有哪些 214

12.1.3  參數高效微調詳解 215

12.2  大模型微調方法LoRA詳解 216

12.2.1  LoRA微調的優勢 216

12.2.2  LoRA基本公式推導 217

12.2.3  PyTorch獲取內部參數的方法 218

12.3  多模態DeepSeek大模型本地化部署與微調實戰 219

12.3.1  多模態DeepSeek大模型的本地化部署 219

12.3.2  微調的目的：讓生成的結果更聚焦於任務目標 221

12.3.3  適配DeepSeek微調的輔助庫PEFT詳解 224

12.3.4  基於本地化部署的DeepSeek微調實戰 226

12.4  本章小結 232

第 13 章　大模型蒸餾技術與應用 233

13.1  什麼是模型蒸餾 233

13.1.1  模型蒸餾的核心原理與應用價值 234

13.1.2  在線與離線大模型蒸餾的實施方法 234

13.2  基於在線DeepSeek大模型的離線蒸餾 235

13.2.1  模型蒸餾的前置準備 235

13.2.2  通過在線DeekSeek API進行蒸餾處理 236

13.3  基於物理信息神經網絡的在線蒸餾 238

13.3.1  在線蒸餾的損失函數與經典微分方程的求解方法 239

13.3.2  基於PINN蒸餾求解微分方程的實戰 240

13.4  本章小結 245

第 14 章　後訓練算法GRPO詳解與實戰 246

14.1  基於GRPO的平衡車自動控制實戰 247

14.1.1  CartPole強化學習環境設置 247

14.1.2  基於GRPO的CartPole模型訓練 248

14.1.3  基於GRPO後的CartPole模型演示 252

14.2  GRPO算法詳解 255

14.2.1  從PPO對比GRPO 256

14.2.2  GRPO核心原理與案例演示 258

14.2.3  GRPO原理的補充問答 259

14.2.4  平衡車中的GRPO控制詳解 261

14.3  本章小結 263

第 15 章　基於GRPO後訓練的智能醫療問診實戰 265

15.1  模型的後訓練與邏輯能力 265

15.1.1  大模型的後訓練概念與核心目標 266

15.1.2  結果獎勵與過程獎勵：獎勵建模詳解 267

15.2  帶推理的智能醫療問診實戰 269

15.2.1  推理醫療數據集的準備與處理 269

15.2.2  獎勵函數的完整實現 271

15.2.3  基於GRPO後訓練的智能醫療問診實戰 273

15.2.4  智能醫療問診模型的推理展示 276

15.3  本章小結 277

第 16 章　基於A2A、MCP與RAG的跨境電商智能客服實戰 278

16.1  基於A2A跨境電商智能客服基本架構設計 279

16.1.1  DTC模式的崛起與智能客服的新要求 279

16.1.2  跨境電商智能客服架構設計 280

16.1.3  用於復雜任務分配、解決與匯總的A2A架構 281

16.2  搭建具備商業問答功能的交流客服Agent 282

16.2.1  基於Qwen3的多語種智能客服基座模型簡介 283

16.2.2  真實客服數據集介紹與使用詳解 284

16.2.3  使用LoRA微調基座模型 285

16.2.4  使用微調後的智能客服基座模型完成推理 289

16.2.5  原生Qwen3多語種支持與跨境電商智能客服語言設置 290

16.3  給交流客服Agent註入垂直領域知識 292

16.3.1  給客服大模型直接添加知識的方法 293

16.3.2  更高精度的RAG詳解與使用示例 295

16.3.3  基於BM25算法的RAG實戰 296

16.3.4  基於Conan Embedding向量排序的RAG實戰 300

16.3.5  對於智能客服模型垂直領域知識註入的補充講解 305

16.4  搭建基於DeepSeek的調度Agent 308

16.4.1  使用MCP構建適配智能客服的工具集 308

16.4.2  基於在線DeepSeek的客戶意圖識別與工具調度Agent 312

16.5  水到渠成的A2A架構跨境電商智能客服實現 316

16.5.1  將交流客服Agent添加到客服工具集 316

16.5.2  客服化身銷售：將智能客服與商品推薦相結合 318

16.5.3  A2A與MCP的結合與展望 321

16.6  本章小結 323