LLaMA+ChatGLM大模型實戰

第1部分　基礎知識    001
第1章　大語言模型基礎    002
1.1　人工智能    003
1.1.1　人工智能的發展歷程    003
1.1.2　人工智能的研究領域    004
1.1.3　人工智能對人們生活的影響    004
1.2　大語言模型介紹    005
1.2.1　大語言模型的定義與發展歷程    005
1.2.2　大語言模型的核心功能與能力    005
1.2.3　大語言模型的典型應用場景    006
1.3　LLaMA與ChatGLM的基礎知識    007
1.3.1　LLaMA介紹    007
1.3.2　ChatGLM介紹    008
1.3.3　LLaMA與ChatGLM的生態與技術支持    009

第2章　模型構建與訓練基礎    011
2.1　數據準備    012
2.1.1　分詞    012
2.1.2　詞幹化    014
2.1.3　詞形還原    015
2.1.4　去除停用詞    016
2.1.5　數據清洗和處理    019
2.2　模型初始化    024
2.2.1　參數初始化    025
2.2.2　權重加載    025
2.3　常用的文本分類和情感分析模型    027
2.3.1　樸素貝葉斯分類器    027
2.3.2　支持向量機    028
2.3.3　隨機森林    030
2.3.4　卷積神經網絡（CNN）    031
2.3.5　循環神經網絡（RNN）    033
2.4　優化器    036
2.4.1　優化器的基本概念    036
2.4.2　SGD與動量優化器    036
2.4.3　Adam優化器及其變體    039
2.4.4　自適應優化器    042
2.5　LLaMA與ChatGLM的訓練架構共性分析    045
2.5.1　預訓練的流程    045
2.5.2　微調策略：LoRA與其他高效參數化方法    045
2.5.3　模型並行與分布式訓練    047

第3章　模型的部署與維護    049
3.1　大模型部署    050
3.1.1　部署前的準備工作    050
3.1.2　部署環境搭建與優化    051
3.2　大模型維護    052
3.2.1　模型監控與反饋機制    052
3.2.2　模型更新與疊代    053
3.3　推理優化    054
3.3.1　模型量化    054
3.3.2　模型剪枝    055
3.3.3　動態推理優化    056
3.4　交互接口開發：API與應用集成    057
3.4.1　模型API封裝    057
3.4.2　前後端交互    059
3.5　大模型部署實戰    060

第2部分　LLaMA深度解析    061
第4章　LLaMA的架構與技術分析    062
4.1　LLaMA的設計目標與演進歷史    063
4.1.1　LLaMA的起源與研發背景    063
4.1.2　LLaMA的發展歷程    064
4.2　獲取LLaMA    064
4.2.1　從Meta官網獲取模型並使用    064
4.2.2　從 Hugging Face獲取模型並使用    065
4.3　模型結構    066
4.3.1　多層Transformer架構解析    066
4.3.2　高效註意力機制    068
4.4　LLaMA的基本操作    070
4.4.1　微調    070
4.4.2　量化    073
4.4.3　提示工程    074
4.4.4　模型驗證    075
4.5　LLaMA的技術創新    076
4.5.1　推理優化    076
4.5.2　參數量控制策略：平衡性能與計算成本    083
4.6　LLaMA在多語言支持方面的技術解析    084
4.6.1　多語言支持的模型架構調整    084
4.6.2　數據集構建    087
4.6.3　LLaMA多語言推理性能分析與優化方向    089

第5章　LLaMA的開源生態與工具鏈    094
5.1　LLaMA社區與開源生態概述    095
5.1.1　LLaMA在開源社區中的定位與影響    095
5.1.2　主要貢獻者與相關研究團隊    095
5.1.3　開源生態的組成：模型、工具與資源    095
5.2　LLaMA的配套工具    095
5.2.1　LLaMA相關的數據集資源    095
5.2.2　常用訓練框架    095
5.2.3　推理工具和插件    095
5.3　使用Hugging Face與LangChain集成LLaMA    095
5.3.1　Hugging Face模型庫中的LLaMA支持    095
5.3.2　使用LangChain擴展LLaMA的任務能力    095
5.4　基於LLaMA 的多模式聊天機器人    095
5.4.1　商品銷售聊天機器人    095
5.4.2　基於Flask的聊天機器人    095
5.4.3　基於RAG的聊天機器人    095
5.4.4　基於WhatsApp API的聊天機器人    095

第6章　基於LLaMA的實戰應用    096
6.1　LLaMA微調實踐    097
6.1.1　內置微調技術    097
6.1.2　LoRA微調    104
6.1.3　QLoRA微調    110
6.2　RAG操作實踐    115
6.2.1　RAG介紹    115
6.2.2　LangChain介紹    116
6.2.3　基於RAG的法律法規解析系統    116

第3部分　ChatGLM深度解析    129
第7章　ChatGLM的架構與技術分析    130
7.1　ChatGLM的研發背景與項目初衷    131
7.2　獲取和調用ChatGLM    131
7.2.1　通過智譜AI開放平臺調用ChatGLM    132
7.2.2　從Hugging Face獲取模型並使用    135
7.3　ChatGLM的特點    136
7.3.1　雙語支持的技術實現    136
7.3.2　高效生成    137
7.3.3　面向對話的優化設計    140
7.4　推理優化    141
7.4.1　輕量化設計    141
7.4.2　低資源環境部署    142
7.4.3　推理加速工具：動態編譯與張量優化方法    145
7.5　ChatGLM在中文語境下的優勢    146
7.5.1　中文預訓練數據的質量與覆蓋範圍    146
7.5.2　中文分詞與語義理解的優化策略    147
7.5.3　在中文任務中的表現對比與優勢分析    147

第8章　ChatGLM的開發工具與生態支持    149
8.1　開源社區與使用文檔概覽    150
8.1.1　ChatGLM的開源發布與社區影響    150
8.1.2　官方文檔與使用指南的關鍵內容    150
8.2　模型訓練與推理    150
8.2.1　數據預處理    150
8.2.2　分布式訓練    150
8.2.3　高效微調    150
8.2.4　模型加速與優化    150
8.2.5　從開發環境到生產環境的遷移    150
8.3　常見問題與調優指南    150
8.3.1　ChatGLM在訓練和推理中的常見問題排查    150
8.3.2　性能調優    150
8.3.3　改進生成質量與適應新任務    150
8.3.4　用戶反饋與開發中的註意事項    150
8.4　LangChain對ChatGLM的支持    150
8.4.1　LangChain集成ChatGLM的技術方案    150
8.4.2　基於ChatGLM的簡易診斷系統    150

第9章　基於ChatGLM的實戰應用    151
9.1　ChatGLM微調實踐    152
9.1.1　P-tuning V2微調    152
9.1.2　QLoRA微調    156
9.1.3　LoRA微調    166
9.2　基於ChatGLM3的聊天系統    179
9.2.1　下載大模型    179
9.2.2　數據處理    179
9.2.3　微調模型    184
9.2.4　模型推理    189
9.2.5　對話調用的準備工作    190
9.2.6　實現對話    202

第4部分　綜合實戰    205
第10章　基於本地知識庫的自動問答系統（LangChain+ChatGLM+ModelScope/HuggingFace）    206
10.1　項目介紹    207
10.1.1　實現流程    207
10.1.2　核心技術棧    207
10.1.3　模塊結構    208
10.2　具體實現    209
10.2.1　系統配置    209
10.2.2　文本拆分    210
10.2.3　加載和使用大語言模型    211
10.2.4　構建和部署對話系統    216
10.2.5　實現Web端的問答系統    223
10.3　基於ModelScope的ChatGLM對話系統    232
10.3.1　基於ChatGLM-6B的語言生成器    232
10.3.2　嵌入模型包裝類    233
10.3.3　基於Gradio Web的問答系統    234
10.4　基於飛槳AI Studio的ChatGLM對話系統    239
10.4.1　基於PaddleNLP的聊天語言模型（LLM）    239
10.4.2　PaddleNLP嵌入包裝    240
10.4.3　基於命令行的對話程序    241
10.4.4　基於Gradio Web的問答系統    243

第11章　多NLP模型訓練和微調系統（LLaMA+Qwen+ChatGLM+Gradio）    247
11.1　項目介紹    248
11.2　數據集管理    248
11.2.1　數據集配置    248
11.2.2　監督微調數據集    250
11.2.3　獲取BELLE多輪對話數據集    253
11.2.4　預訓練數據集    254
11.3　模型處理    255
11.3.1　註意力機制配置    255
11.3.2　模型嵌入層的動態調整    257
11.3.3　梯度檢查點優化    257
11.3.4　LLaMA的註意力機制實現    260
11.3.5　預訓練模型處理    267
11.3.6　加載處理預訓練模型    268
11.3.7　模型和分詞器的補丁處理    271
11.3.8　模型微調    274
11.4　訓練模型    277
11.4.1　PPO訓練    278
11.4.2　DPO訓練    288
11.4.3　模型定制    292
11.4.4　模型訓練    294
11.4.5　監督微調    296
11.5　模型評估    300
11.5.1　評估模板    300
11.5.2　模型評估器    302
11.6　Web交互    304
11.6.1　模型管理引擎    304
11.6.2　Web接口    305
11.6.3　聊天界面    306
11.6.4　命令行操作接口    309