買這商品的人也買了...
-
The Uvm Primer: A Step-By-Step Introduction to the Universal Verification Methodology (Paperback)$1,930$1,834 -
OpenWrt 智能路由系統開發 跟 hoowa 學智能路由$474$450 -
$505嚴肅的密碼學：實用現代加密術 -
$1,015電子數據取證 -
圖解 TensorFlow 2 初學篇：實作 tf.keras + Colab 雲端、深度學習、人工智慧、影像辨識$820$640 -
自然語言處理之 BERT 模型算法、架構和案例實戰$539$512 -
ChatGPT 指令大全與創新應用：GPT-4 搶先看、串接 API、客服機器人、AI英文家教，一鍵打造 AI智慧產品$680$530 -
ChatGPT 原理，從 PyTorch 中的 NLP 功能讓你一腳跨入自然語言$880$695 -
大話機器學習 — 原理|算法|建模|代碼 30講$714$678 -
$454矽基物語.AI大爆炸 -
AWS 雲端運算基礎與實作$650$507 -
ChatGPT 原理與實戰：大型語言模型的算法、技術和私有化$594$564 -
Deep Learning 4｜用 Python 進行強化學習的開發實作$680$537 -
$454從零開始大模型開發與微調：基於 PyTorch 與 ChatGLM -
自然語言處理與應用$534$507 -
最強 AI 投資分析：打造自己的股市顧問機器人，股票趨勢分析×年報解讀×選股推薦×風險管理$750$593 -
$505內容理解：技術、演算法與實踐 -
$403Llama 大模型實踐指南 -
$331LangChain編程：從入門到實踐 -
LLM 大型語言模型的絕世祕笈：27路獨步劍法，帶你闖蕩生成式 AI 的五湖四海 （iThome鐵人賽系列書）$650$507 -
$352大語言模型通識 -
$305大語言模型基礎（微課視頻版） -
自然語言處理——基於深度學習的理論和實踐（微課視頻版）$354$336 -
$454LangChain 大模型 AI 應用開發實踐 -
$407生成式AI實戰基於Transformer、Stable Diffusion、LangChain和AI Agent
相關主題
商品描述
本書講解ChatGPT及其相關技術。
全書共11章，第1章深入分析了大語言模型的技術演化、技術堆疊等。
第2章詳細闡述了Transformer模型的理論基礎和主要組件。
第3章深入解析了GPT的生成式預訓練的過程與原理。
第4章主要探討了GPT-2的層歸一化、正交初始化和可逆的分詞方法等技術，並詳細分析了GPT-2的自回歸生成過程。
第5章介紹了GPT-3的稀疏注意力模式、後設學習和基於內容的學習等技術，並對貝葉斯推論在概念分佈中的應用進行了深入討論。
第6章詳細介紹了大語言模型的預訓練資料集和資料處理方法，同時闡述了分散式訓練模式和技術路線。
第7章深入解析了PPO演算法的基本原理。
第8章主要闡述了人類回饋強化學習的微調資料集以及PPO在InstructGPT中的應用。
第9章深入探討了大語言模型在低算力環境的應用策略。
第10章主要介紹了在大語言模型開發中涉及的中間件程式設計技術。
第11章對大語言模型的發展趨勢進行了預測與展望。
目錄大綱
前言
第1章人工智慧的新里程碑－ChatGPT
1.1 ChatGPT的發展歷程
1.2 ChatGPT的能力
1.3 大語言模型的技術演化
1.3.1 從符號主義到連結主義
1.3.2 Transformer模型
1.3.3 無監督預訓練
1.3 .4 有監督微調
1.3.5 人類回饋強化學習
1.4 大語言模型的技術堆疊
1.5 大語言模型帶來的影響
1.6 大語言模型復現的壁壘
1.6.1 算力瓶頸
1.6.2 資料瓶頸
1.6.3 工程瓶頸
1.7 大語言模型的限制
1.8 小結
第2章深入理解Transformer模型
2.1 Transformer模型簡介
2.2 自註意力機制
2.2.1 自註意力機制的計算過程
2.2.2 自註意力機制的本質
2.2.3 自註意力機制的優勢與限制
2.3 多頭注意力機制
2.3.1 多頭注意力機制的實現
2.3.2 多頭注意力機制的作用
2.3.3 多頭注意力機制的優化
2.4 前饋神經網路
2.5 殘差連接
2.6 層歸一化
2.7 位置編碼
2.7.1 位置編碼的設計與實現
2.7.2 位置編碼的變體
2.7.3 位置編碼的優勢與局限性
2.8 訓練與優化
2.8.1 損失函數
2.8.2 優化器
2.8.3學習率調整策略
2.8.4 正規化
2.8.5 其他訓練與最佳化技巧
2.9 小結
第3章生成式預訓練
3.1 生成式預訓練簡介
3.2 GPT的模型架構
3.3 生成式預訓練流程
3.3.1 生成式預訓練的目標
3.3.2 生成式預訓練的誤差反向傳播過程
3.4 有監督微調
3.4.1 有監督微調的原理
3.4.2 有監督微調的特定任務
3.4.3 有監督微調的步驟
3.5 小結
第4章無監督多任務與零樣本學習
4.1 編碼器與解碼器
4.2 GPT-2的模型架構
4.2.1 層歸一化
4.2.2 正交初始化
4.2.3 可逆的分詞方法
4.2.4 可學習的相對位置編碼
4.3無監督多任務
4.4 多任務學習與零樣本學習的關係
4.5 GPT-2的自回歸生成過程
4.5.1 子詞單元嵌入
4.5.2 自回歸過程
4.6 小結
第5章稀疏注意力與基於內容的學習
5.1 GPT-3的模型架構
5.2 稀疏注意力模式
5.2.1 Sparse Transformer的特徵
5.2.2 局部帶狀注意力
5.2.3 跨層稀疏連接
5.3 元學習和基於內容的學習
5.3.1 元學習
5.3.2 基於內容的學習
5.4 概念分佈的貝葉斯推論
5.4.1 隱式微調
5.4.2 貝葉斯推論
5.5 思維鏈的推理能力
5.6 小結
第6章大語言模型的預訓練策略
6.1 預訓練資料集
6.2 預訓練資料的處理
6.3 分散式訓練模式
6.3.1 資料並行
6.3.2 模型並行
6.4 分散式訓練的技術路線
6.4.1 Pathways
6.4.2 Megatron-LM
6.4.3 ZeRO
6.5 訓練策略案例
6.5.1 訓練架構
6.5. 2 參數穩定性
6.5.3 訓練設定的調整
6.5.4 BF16最佳化
6.5.5 其他因素
6.6 小結
第7章近端策略最佳化演算法
7.1 傳統的策略梯度方法
7.1.1 策略梯度方法的基本原理
7.1.2 重要性取樣
7.1.3 優勢函數
7.2 Actor-Critic演算法
7.2.1 Actor-Critic演算法的基本步驟
7.2 .2 值函數與策略更新
7.2.3 Actor-Critic演算法的問題與挑戰
7.3 信任域策略最佳化演算法
7.3.1 TRPO演算法的目標
7.3.2 TRPO演算法的限制
7.4 PPO演算法的原理
7.5 小結
第8章人類回饋強化學習
8.1 強化學習在ChatGPT迭代中的作用
8.2 InstructGPT訓練資料集
8.2.1 微調資料集的來源
8.2.2 標註標準
8.2.3 資料分析
8.3 人類回饋強化學習的訓練階段
8.3.1 有監督微調階段
8.3.2 獎勵建模階段
8.3.3 強化學習階段
8.4 獎勵建模演算法
8.4.1 演算法思想
8.4.2 損失函數
8.5 PPO演算法在InstructGPT中的應用
8.6 多輪對話能力
8.7 人類回饋強化學習的必要性
8.8小結
第9章大語言模型的低算力領域遷移
9.1 指令自舉標註
9.2 人工智慧回饋
9.3 低秩自適應
9.3.1 模型訓練與部署
9.3.2 秩的選擇
9.4 量化：降低部署的算力要求
9.5 SparseGPT剪枝演算法
9.6 開源大語言模型的低算力遷移案例
9.6.1 基座模型
9.6.2 自舉指令微調的羊駝系列
9.6.3 中文解決方案
9.6.4 醫療領域的遷移實例
9.6.5 司法領域的遷移實例
9.7 小結
第10章中間件編程
10.1 補齊短板—LangChain恰逢其時
10.2 多模態融合中間件
10.2.1 任務規劃
10.2.2 模型選擇
10.2.3 任務執行
10.2.4 響應生成
10.3 AutoGPT自主代理與任務規劃
10.4 中間件框架的競品
10.5 小結
第11章大語言模型的未來之路
11.1 強人工智慧之路
11.2 資料資源枯竭
11.3 自回歸模型的
