大語言模型通識

前言
課程教學進度表
第1章 概述1
1.1 人工智慧基礎1
1.1.1 人工智慧的定義1
1.1.2 人工智慧的實現途徑2
1.1.3 機器學習與深度學習3
1.1.4 監督學習與無監督學習4
1.2 大語言模型的定義5
1.3 大語言模型形成基礎6
1.3.1 Blockhead思維實驗7
1.3.2 大模型的歷史基礎7
1.3.3 基於Transformer模型8
1.3.4 大模型的學習能力9
1.3.5 大模型的世界模型問題9
1.3.6 文化知識傳遞與語言支持10
1.4 通用人工智慧11
1.4.1 什麼是通用人工智慧11
1.4.2 大模型與通用人工智慧11
1.4.3 人工智慧生成內容12
【作業】13
【實踐與思考】了解典型的開源大語言模式14
第2章 大模型基礎17
2.1 什麼是語言模型17
2.1.1 語言模型的定義17
2.1.2 注意力機制18
2.1.3 開源還是閉源19
2.2 大模型發展三階段21
2.2.1 基礎模型階段21
2.2.2 能力探索階段21
2.2.3 突破發展階段22
2.3 Transformer模型22
2.3.1 Transformer過程22
2.3.2 Transformer結構25
2.3.3 Transformer模組26
2.4 生成式預訓練語言模型GPT27
2.5 大模型的結構28
2.5.1 LLaMA的模型結構28
2.5.2 LLaMA的注意力機制28
【作業】30
【實踐與思考】基於ChatGPT的免費工具：ChatAI小組件31
第3章 大模型的架構35
3.1 大模型生成原理35
3.1.1 上下文學習36
3.1.2 指令微調37
3.1.3 零樣本/少樣本37
3.1.4 深度學習架構37
3.1.5 訓練策略及最佳化技術38
3.2 多模態語言模型38
3.2.1 多模態指令微調39
3.2.2 多模態上下文學習39
3.2.3 多模態思維鏈40
3.2.4 大模型輔助視覺推理40
3.3 應用技術架構41
3.3.1 指令工程41
3.3.2 函數呼叫42
3.3.3 檢索增強產生42
3.3.4 微調42
3.4 OpenAI的Sora大模型42
3.4.1 Sora技術報告分析43
3.4.2 Sora主要技術特性43
3.4.3 Sora的模型訓練過程43
3.5 谷歌的新款大模型頻傳44
3.5.1 Gemini 1.0大機型44
3.5.2 Gemini 1.5多模態大模型45
3.5.3 Gemma開源大模型48
3.5.4 Genie基礎世界模型48
3.5.5 什麼是世界模型48
【作業】49
【實踐與思考】熟悉阿里雲大模型—通義千問51
第4章 資料標註54
4.1 知識與知識表示54
4.1.1 知識的概念54
4.1.2 知識表示方法56
4.1.3 表示方法的選擇57
4.2 什麼是資料標註59
4.3 資料標註的分類60
4.3.1 圖像標註60
4.3.2 語音標註61
4.3.3 3D點雲標註61
4.3.4 文本標註62
4.4 制定標註規則62
4.5 執行數據標註63
4.6 標註團隊管理65
【作業】66
【實踐與思考】熟悉百度大模型—文心一言68
第5章 大模型預訓練資料72
5.1 資料來源72
5.1.1 通用數據72
5.1.2 專業數據73
5.2 數據處理74
5.2.1 質量過濾74
5.2.2 冗餘去除75
5.2.3 隱私消除75
5.2.4 詞元切分75
5.3 數據影響分析76
5.3.1 資料規模77
5.3.2 數據品質77
5.4 典型的開源資料集78
5.4.1 Pile78
5.4.2 ROOTS79
5.5 資料集面臨的挑戰81
5.5.1 資料集規模與品質待提升81
5.5.2 大模型與資料集相輔相成81
5.5.3 資料集標準規範需健全82
5.5.4 資料儲存效能待提高83
【作業】83
【實踐與思考】熟悉Globe Explorer智慧搜尋引擎86
第6章 大模型的開發組織88
6.1 大模型開發流程88
6.2 大模型的資料組織90
6.2.1 數據採集91
6.2.2 資料清洗與預處理91
6.2.3 數據標註92
6.2.4 資料集劃分93
6.2.5 模型設計93
6.2.6 模型初始化94
6.2.7 模型訓練94
6.2.8 模型驗證95
6.2.9 模型保存95
6.2.10 模型測試96
6.2.11 模型部署96
6.3 訓練集、驗證集、測試集的差異97
6.3.1 目的與功能不同97
6.3.2 數據交互頻率不同97
6.3.3 資料劃分與比例不同98
6.3.4 使用時機不同98
6.4 訓練集、驗證集、測試集的相似之處98
6.4.1 資料來源一致99
6.4.2 相似的資料預處理99
6.4.3 目標一致，各獨立性99
6.4.4 保證資料品質和代表性99
【作業】100
【實踐與思考】熟悉科大訊飛大模式—訊飛星火認知102
第7章 分散式訓練106
7.1 分而治之106
7.1.1 訊息傳遞介面MPI107
7.1.2 MapReduce107
7.1.3 批次和流處理108
7.2 什麼是分散式處理109
7.2.1 分散式處理的特性109
7.2.2 分散式處理的發展過程110
7.2.3 分散式構成方式110
7.2.4 分散式處理系統111
7.3 分佈式訓練概述111
7.4 分散式平行訓練策略112
7.4.1 數據並行性113
7.4.2 模型並行性114
7.4.3 流水線並行性115
7.4.4 混合並行115
7.5 分散式訓練的群集架構116
【作業】117
【實踐與思考】大模型背後的「晶片產業巨擘」—英偉達119
第8章 提示工程與微調121
8.1 什麼是提示工程121
8.1.1 提示工程的本質121
8.1.2 提示工程的原理122
8.1.3 提示工程應用技術123
8.1.4 提示的通用技巧124
8.2 大模型為什麼要微調125
8.3 提示學習和語境學習126
8.3.1 提示學習126
8.3.2 語境學習127
8.4 上下文視窗擴充128
8.5 指令資料的建構128
8.5.1 手動建構指令128
8.5.2 自動建置指令128
8.5.3 開源指令資料集130
8.6 微調及其PEFT流行方案130
8.6.1 微調技術路線130
8.6.2 提示微調130
8.6.3 前綴微調131
8.6.4 LoRA131
8.6.5 QLoRA131
【作業】131
【實踐與思考】熟悉文生圖大模型—Midjourney133
第9章 強化學習方法136
9.1 什麼是強化學習136
9.1.1 強化學習的定義136
9.1.2 強化學習的發展史137
9.2 強化學習與監督與無監督學習的 比較138
9.2.1 與監督和無監督學習的不同138
9.2.2 大模型環境下的強化學習139
9.2.3 學習方式不同140
9.2.4 先驗知識與標註資料141
9.3 強化學習的基礎141
9.3.1 基於模型與免模型環境141
9.3.2 探索與利用142
9.3.3 片段還是連續性任務143
9.3.4 網路模型設計143
9.3.5 資料依賴性145
9.4 強化學習分類146
9.4.1 從獎勵學習146
9.4.2 被動強化學習147
9.4.3 主動強化學習147
9.4.4 強化學習中的泛化147
9.4.5 學徒學習147
【作業】148
【實踐與思考】熟悉文生影片大模型—Sora149
第10章 基於大模型的智能體154
10.1 智能體與環境154
10.2 智能體的良好行為155
10.2.1 性能度量155
10.2.2 理性156
10.2.3 全知、學習與自主156
10.3 環境的本質157
10.3.1 指定任務環境157
10.3.2 任務環境的屬性158
10.4 智能體的結構160
10.4.1 智能體程式160
10.4.2 學習型智能體161
10.4.3 智能體組件的工作163
10.5 建構大模型智能體164
10.5.1 基於大模型的智能體164
10.5.2 觀測與感知164
10.5.3 記憶與檢索165
10.5.4 推理與規劃166
10.5.5 行動和執行167
【作業】168
【實踐與思考】人形機器人創業獨角獸Figure AI170
第11章 大模型應用架構172
11.1 大模型哲學問題172
11.1.1 組成性172
11.1.2 天賦論與語言習得173
11.1.3 語言理解與基礎173
11.1.4 世界模型174
11.1.5 知識傳遞與語言支援175
11.2 大模型的建置流程175
11.2.1 確定需求大小176
11.2.2 資料收集176
11.2.3 資料預處理177
11.2.4 大模型預訓練177
11.2.5 任務微調178
11.2.6 模型部署178
11.3 大模型的應用場景178
11.3.1 機器翻譯、文本理解與分析179
11.3.2 惡意軟體分析179
11.3.3 自然語言生成179
11.3.4 搜尋與知識提取180
11.3.5 程式碼開發181
11.3.6 偵測和預防網路攻擊181
11.3.7 虛擬助理和客戶支援181
11.3.8 轉錄181
11.3.9 市場調查181
11.3.10 SEO關鍵字優化181
11.4 案例：Magic突破Q演算法182
【作業】183
【實踐與思考】精通垃圾分類的ZenRobotics機器人185
第12章 技術倫理與限制187
12.1 人工智慧面臨的倫理挑戰187
12.1.1 人工智慧與人類的關係187
12.1.2 人與智慧機器的溝通188
12.2 大數據倫理問題189
12.2.1 資料主權與資料權問題189
12.2.2 隱私權和自主權問題190
12.2.3 數據利用失衡問題190
12.3 大模型的智慧財產權保護190
12.3.1 大模型的訴訟案例191
12.3.2 大模型生成內容的智慧財產權保護194
12.3.3 尊重隱私，保障安全，促進開放194
12.3.4 邊緣群體的數字平等195
12.4 算法歧視195
12.4.1 演算法透明之爭195
12.4.2 演算法透明的實踐197
12.4.3 演算法透明的演算法說明198
12.4.4 演算法公平的保障措施199
【作業】200
【實踐與思考】完全由人工智慧生成的視覺藝術品無法取得版權201
第13章 大模型的評估204
13.1 模型評估概述204
13.2 大模型評估體系205
13.2.1 知識與能力205
13.2.2 倫理與安全207
13.2.3 垂直領域評估209
13.3 大模型評估方法210
13.3.1 評估指標210
13.3.2 評估方法211
13.4 大模型評估實務212
13.4.1 基礎模型評估212
13.4.2 監督學習和強化學習的模型評估214
【作業】215
【實踐與思考】開展典型大模型評估
實踐217
第14章 大模型的健康未來220
14.1 人工智慧新發展220
14.1.1 「人工智慧」成為新質生產力重要引擎220
14.1.2 人工智慧改變自動駕駛未來221
14.1.3 重視人工智慧治理政策222
14.1.4 人工智慧音樂的立法實踐222
14.1.5 防止人工智慧誤導民眾223
14.1.6 生成式人工智慧產出的版權224
14.2 資料隱私保護對策225
14.2.1 建構隱私權保護倫理準則225
14.2.2 注重隱私權保護倫理教育226
14.2.3 健全道德倫理約束機制226
14.3 人工智慧倫理原則226
14.3.1 職業倫理準則的目標227
14.3.2 創新發展道德倫理宣言227
14.3.3 百度四大倫理原則229
14.3.4 歐盟可信賴的倫理準則229
14.4 大模型的大趨勢230
14.5 通用人工智慧湧現231
【作業】232
【課程學習與實作總結】234
附錄 作業參考答案238
參考文獻241