相關主題
商品描述
本書全面探討了大語言模型（通常可簡稱“大模型”）在應用開發中的核心技術與實現。內容涵蓋了大語言模型的基本原理、微調與優化技術、覆雜項目開發流程及高效實用的工程實踐案例，通過結構化的模塊設計和詳細的代碼解析，幫助讀者快速掌握相關技術並應用於真實場景，搭建從理論到實踐的完整知識體系。 本書分為四部分，共10章，系統梳理了大語言模型的核心架構與原理，深入講解了Transformer模型的構造與訓練機制，全面介紹了現代微調方法（如LoRA、P-Tuning等）以及模型量化、編譯與推理優化的關鍵技術。針對應用場景，本書結合多個企業級實際案例，包括電商智能客服平臺、編程輔助插件、尋人檢索數據庫和硬件開發工程師助理等，詳細展示了從需求分析、數據處理、模型選擇到上線部署的完整開發流程。這些案例不僅強調技術實現，還融入了工程實踐中常見的問題與解決方案，為讀者提供了豐富的參考資料。 本書適合對大語言模型感興趣的技術愛好者、希望深入研究模型微調與優化的科研人員、從事人工智能開發的工程師和產品經理，同時也適合高等院校相關專業學 語言模型的師生。同時，隨書附贈案例代碼、教學視頻及授課用PPT，讀者可通過掃封底二維碼獲取。無論是初學者學習理論基礎、學生探索前沿技術，還是工程師在一線工作中進行實踐開發，本書都能提供系統化的知識體系和實用的開發技能。
作者簡介
丁小晶 大模型AI應用技術專家與管理者，擁有超過15年計算機及AI領域經驗、5年團隊管理經驗的技術創新與項目管理覆合型人才，精通大模型技術及多語言編程，致力於AI大模型的應用和創新。 畢業於 計算技術研究所，從事高性能計算技術研究。先後在三星中國、百度等世界知名企業工作，有多年旅日工作經歷，屢獲百度榮譽並持多項專利。目前作為小度教育業務技術負責人及大模型應用專家，致力於研究基於大模型AI教育產品創新， 小度教育成為行業先鋒。 馬全一 華為技術有限公司開源運營總監；操作系統和Rust編程語言技術專家；Web3 Infrastructure Foundation創始人、獨立董事；黑龍江科技大學兼職教授；開放原子開源基金會開源項目導師。以“擁抱開源”為理念，致力於解決模型生態所遇到的挑戰，推動AI生態的發展和完善。 馮洋 南京大學計算機學院副教授，主要研究方向為覆雜軟件系統質量保障、大語言模型研究和應用開發，研究課題包括覆雜軟件系統的質量保障技術、大語言模型的微調與優化技術等。近年來發表包括ICSE、FSE、ASE、ISSTA、TSE、TOSEM等CCF-A類期刊與會議學術論文30余篇，並在2022年ASE、2023年FSE、2023年Internetware等大會獲傑出論文獎及華為火花獎等獎項。
目錄大綱
前言
部分理論基礎與開發準備
第1章 大語言模型基礎
1.1大語言模型概述
1.1.1大語言模型發展歷史
1.1.2大語言模型發展現狀
1.2模型的基本架構
1.2.1Transformer架構解析
1.2.2編碼器-解碼器
1.2.3註意力機制詳解
1.3大語言模型應用開發基礎
1.3.1與大語言模型相關的Python開發技術
1.3.2React開發框架
1.4大語言模型訓練原理簡介
1.4.1LoRA微調技術
1.4.2Prompt改進：P-Tuning
1.4.3人類反饋強化學習
第2章 大語言模型應用開發基礎
2.1CUDA並行編程技術
2.1.1CUDA編程模型與架構原理
2.1.2基於CUDA的矩陣運算與優化實現
2.1.3CUDA內核性能調優與工具使用
2.2基於PyTorch的大語言模型構建方法
2.2.1PyTorch核心模塊解析：數據加載與模型定義
2.2.2自動微分與優化器的實現原理
2.2.3多GPU分布式訓練與性能優化
2.3Nginx web服務器開發
2.3.1Nginx核心模塊與配置解析
2.3.2使用Nginx處理靜態與動態內容
2.3.3高並發場景下的性能調優
2.4Hugging Face的Transformer庫
2.4.1Transformer庫基礎：模型加載與簡單推理
2.4.2自定義微調流程：從數據準備到模型訓練
2.4.3模型導出與量化加速推理
2.5API開發與雲端部署
2.5.1FastAPI框架快速搭建RESTful接口
2.5.2部署深度學習模型服務：從本地到雲端
2.5.3接口性能監控與日誌管理工具開發
第二部分核心技術解析與優化
第3章 大語言模型微調與應用實戰
3.1基於LLaMA3模型的微調技術
3.1.1微調場景分析：任務分類、文本生成與問答
3.1.2微調數據準備與預處理
3.1.3微調過程實現：凍結層優化與增量學習
3.2基於GeMMA-7B模型的微調技術
3.2.1GeMMA-7B模型的任務適配：多任務微調方法
3.2.2數據增強技術在微調中的應用
3.2.3高效微調工具鏈：使用Hugging Face與PEFT方法
3.3案例實戰：企業文檔問答平臺
3.3.1企業文檔問答任務需求分析與功能模塊劃分
3.3.2構建企業文檔問答系統
3.3.3微調、部署與性能測試
第4章 模型量化、編譯與推理
4.1大語言模型量化原理
4.1.1模型量化技術簡介：從FP32到INT8的精度降低方法
4.1.2量化算法實現：動態量化與靜態量化的技術差異
4.1.3量化對推理性能的影響分析：速度提升與硬件加速
4.2基於LLaMA3模型的量化過程
4.2.1模型編譯
4.2.2模型加載
4.2.3模型量化與測試
4.2.4通過Nginx運行量化模型
4.3基於GeMMA-7B模型的量化過程
4.3.1模型編譯
4.3.2模型加載
4.3.3模型量化與測試
4.3.4通過Nginx運行量化模型
4.4量化模型與推理
4.4.1INT8推理框架對比：TensorRT與ONNX Runtime的應用
4.4.2量化模型的實時推理
第三部分行業應用開發與實戰
第5章 服務類應用開發：電商智能客服平臺
5.1客服平臺需求分析與功能規劃
5.1.1電商場景中的常見客服需求分析
5.1.2智能客服功能模塊分解：對話生成、問題匹配與用戶情緒檢測
5.1.3技術架構設計：對話模型與後端服務的集成
5.2數據收集與清洗：構建電商客服知識庫
5.2.1知識庫構建的流程與數據來源分析：商品信息與用戶問題整合
5.2.2數據清洗與分類技術：停用詞過濾、分詞與主題標簽提取
5.2.3數據增強與擴展方法：同義詞替換與多語言支持
5.3模型選擇與微調： 化客服模型開發
5.3.1選擇合適的預訓練模型：對比BERT、GPT與T5的適用場景
5.3.2微調對話生成模型：訓練FAQ匹配與上下文生成能力
5.3.3模型評估與優化：BLEU、ROUGE等指標的使用與調優
5.4聊天邏輯與上下文管理實現
5.4.1多輪對話上下文管理：用戶意圖識別與歷史對話跟蹤
5.4.2對話狀態追蹤與轉移：Slot Filling技術的應用
5.4.3自然對話中的中斷與恢覆邏輯處理
5.5實時問答API與平臺部署
5.5.1API設計與開發：實現多輪對話與知識檢索接口
5.5.2實時部署與性能優化：負載均衡與延遲優化
第6章 生產類應用開發：編程輔助插件
6.1編程輔助需求分析與插件架構設計
6.1.1需求分解：語法檢查、代碼生成與性能優化
6.1.2數據流、後端邏輯與UI組件分離
6.2編程語言模型微調：從代碼生成到Bug修覆
6.2.1代碼生成任務微調：從小樣本學習到語法生成
6.2.2錯誤檢測與修覆模型實現：代碼標註與錯誤模式學習
6.2.3生成式與判別式模型結合：從補全到建議
6.3插件開發框架：編輯器集成與插件編寫
6.3.1基於VS Code擴展API的插件基礎開發
6.3.2編寫代碼補全與重構功能模塊：結合語言服務器協議（LSP）
6.3.3插件與雲服務交互開發：代碼片段存儲與共享功能
6.4編程任務與語言支持擴展
6.4.1多語言代碼生成的實現與支持：基於CodeT5或Codex的擴展
6.4.2AST解析與覆雜度分析
第7章 RAG應用開發：覆雜場景下的尋人檢索數據庫
7.1RAG應用場景分析：尋人檢索需求與數據庫構建
7.1.1數據庫結構設計：基於向量化數據的檢索架構規劃
7.1.2尋人場景數據特點與多模態信息整合
7.2數據嵌入向量化與存儲：使用Milvus構建檢索索引
7.2.1數據向量化實現：結合Sentence-BERT生成嵌入向量
7.2.2Milvus數據庫的索引構建：從HNSW到IVF
7.3檢索模塊開發：從語義搜索到多模態查詢
7.3.1基於語義搜索的檢索：相似度匹配優化
7.3.2查詢結果的排序與過濾
7.3.3尋人檢索系統開發
第8章 LangChain應用開發：硬件開發工程師助理
8.1硬件工程需求分析與助手功能設計
8.1.1常見硬件開發流程分析：設計驗證與調試需求
8.1.2助理功能模塊設計：問題回答、文檔解析與設計建議
8.1.3技術架構選擇：結合LangChain模塊化開發的流水線設計
8.2硬件知識庫構建與預訓練模型微調
8.2.1構建面向硬件開發的高質量語料庫
8.2.2領域微調：適配硬件領域專有術語
8.2.3知識庫與語料庫的動態 新
8.3LangChain流水線開發：從知識檢索到問題解答
8.3.1基於LangChain的多步檢索與問答實現
8.3.2知識鏈與邏輯推理
8.3.3動態知識圖譜
8.4硬件設計工具集成與數據生成
8.4.1與EDA工具的接口開發與集成
8.4.2硬件設計數據生成器
第四部分 技術拓展與創新
第9章 Prompt生成：提示詞生成技術
9.1提示詞優化需求分析與生成技術簡介
9.1.1提示詞在大語言模型性能優化中的作用
9.1.2提示詞生成的技術原理與常用方法
9.1.3動態提示詞優化與自適應調整
9.2提示詞語料庫構建與分類方法
9.2.1構建提示詞庫：從文本生成到翻譯任務
9.2.2提示詞的聚類與分類實現：K-means與DBSCAN的使用
9.2.3提示詞的自動擴展與評價指標
9.3生成模型微調與Prompt優化技術實現
9.3.1使用生成模型實現提示詞優化：基於T5微調的示例
9.3.2Few-shot與Zero-shot場景下的提示詞生成
9.3.3提示詞對比學習的實現：監督與自監督
0章 智能體開發：文本文檔劃詞翻譯插件
10.1文檔翻譯場景分析與劃詞翻譯需求設計
10.1.1文檔翻譯的場景需求與技術分析
10.1.2劃詞翻譯實現
10.1.3翻譯智能體核心架構設計
10.1.4智能體逐模塊開發
10.1.5系統綜合開發完整代碼實現
10.2翻譯模型微調與多語言支持實現
10.2.1基於大語言模型的多語言翻譯
10.2.2對比基於詞典與語料的方法
10.2.3增強翻譯結果的流暢性與語義準確度
10.3插件開發與跨平臺兼容性優化
10.3.1瀏覽器插件API的開發
10.3.2文本編輯器劃詞翻譯插件開發
10.3.3響應速度優化與內存占用優化
10.4翻譯系統評估與用戶反饋疊代
10.4.1翻譯質量的評價指標與調優
10.4.2用戶行為數據采集與反饋機制
