LLM 工程師開發手冊 (LLM Engineer's Handbook: Master the art of engineering large language models from concept to production)

作者簡介

Paul Iusztin
資深機器學習與 MLOps 工程師，擁有七年以上開發生成式 AI、電腦視覺與 MLOps 解決方案的經驗。曾任職於 Metaphysic，為其核心工程團隊成員之一，負責將大型神經網路導入實際生產環境。其他工作經歷還包括 CoreAI、Everseen、Continental。他同時創立了教育平台 Decoding ML，透過文章與開源課程推廣實戰級機器學習系統知識。

Maxime Labonne
現任 Liquid AI 的後訓練部門主管（Head of Post-Training），擁有巴黎綜合理工學院（Institut Polytechnique de Paris）機器學習博士學位，亦為 Google Developer Expert in AI/ML。他長期活躍於開源社群，貢獻包括 LLM Course（GitHub）、LLM AutoEval、以及多個先進模型如 NeuralDaredevil。著有暢銷書《Hands-On Graph Neural Networks Using Python》。

譯者簡介

黃駿
於國立臺灣大學腦與心智科學研究所碩士班畢業後，曾擔任過行銷、產品設計等工作。有 Java 與 Python 程式語言基礎，對於科學與科技議題抱有高度興趣，隨後投入翻譯工作，目前譯有《無限的力量》《深度強化式學習》《深度學習的 16 堂課》《核心開發者親授！PyTorch 深度學習攻略》《Excel 儀表板與圖表設計 + Power BI 資料處理》《AI 必須！從做中學貝氏統計》《簡約的體開發思維》《生成式 AI 入門 – 揭開 LLM 潘朵拉的秘密》等，同時經營自己的英文部落格：Neurozo Innovation Blog。

目錄:

▌第 1 章 掌握 LLM 分身的概念與架構
1.1 認識 LLM 分身
1.2 規劃 LLM 分身的最簡可行產品
1.3 依循特徵/訓練/推論架構建立 ML 系統
1.4 設計 LLM 分身的系統架構
1.5 FTI 設計與 LLM 分身架構的回顧與反思
1.6 總結
1.7 參考資料

▌第 2 章 工具介紹與安裝
2.1 Python 開發環境的建置與專案安裝
2.2 MLOps 與 LLMOps 工具
2.3 儲存非結構化與向量資料的資料庫
2.4 準備使用 AWS
2.5 總結
2.6 參考資料

▌第 3 章 資料工程
3.1 設計 LLM Twin 資料搜集流程
3.2 資料搜集流程實作：ETL 架構
3.3 資料搜集流程實作：網路爬蟲
3.4 資料搜集流程實作：NoSQL 文檔類別
3.5 將原始資料搜集至資料倉儲中
3.6 總結
3.7 參考資料

▌第 4 章 RAG 特徵流程
4.1 認識 RAG
4.2 進階 RAG 概觀
4.3 探索 LLM Twin 的 RAG 特徵流程架構
4.4 實作 LLM Twin 的 RAG 特徵流程
4.5 總結
4.6 參考資料

▌第 5 章 監督式微調
5.1 建立指令資料集
5.2 認識 SFT 技術
5.3 實作微調程式
5.4 總結
5.5 參考資料

▌第 6 章 偏好對齊微調
6.1 認識偏好資料集
6.2 建立偏好資料集
6.3 偏好對齊
6.4 實作 DPO
6.5 總結
6.6 參考資料

▌第 7 章 評估 LLM
7.1 何謂模型評估
7.2 何謂 RAG 評估
7.3 實作模型評估程式
7.4 總結
7.5 參考資料

▌第 8 章 推論優化
8.1 模型優化策略
8.2 模型平行處理
8.3 模型量化
8.4 總結
8.5 參考資料

▌第 9 章 RAG 推論流程
9.1 了解 LLM Twin 的 RAG 推論流程
9.2 探索 LLM Twin 的進階 RAG 技術
9.3 實作 LLM Twin 的 RAG 推論流程
9.4 總結
9.5 參考資料

▌第 10 章 部署推論流程
10.1 選擇部署形式的標準
10.2 認識推論部署的形式
10.3 比較單體式與微服務架構
10.4 探索 LLM Twin 推論流程的部署策略
10.5 部署 LLM Twin 服務
10.6 以自動擴展應付使用高峰
10.7 總結
10.8 參考資料