深度學習預訓練語言模型（案例篇）

目錄

第1章預訓練模型與金融文本情緒分類任務

1．1金融文本情緒分類任務的挑戰

1．2發展現狀與任務意義

1．2．1預訓練模型發展現狀

1．2．2金融文本情緒分類任務意義

1．3情緒分類

1．3．1文本情緒分類

1．3．2金融文本情緒分類

1．3．3基於非預訓練模型情緒分類的證券市場分析

1．4預訓練語言模型

1．4．1預訓練語言模型的演進

1．4．2基於BERTology擴展的預訓練模型

1．5基於預訓練模型的金融文本情緒分類任務

1．5．1金融文本情緒分類預訓練模型

1．5．2基於預訓練模型情緒分類的證券市場分析

第2章預訓練語言模型關鍵技術

2．1預訓練方法

2．2上下文感知的語言表徵學習

2．3高效的特徵提取器

2．3．1神經註意力機制

2．3．2序列到序列的註意力模型

2．3．3變換器模型

2．3．4“Xformer”改進模型

2．4自監督學習

2．5遷移學習技巧方法

2．6BERT預訓練語言模型

小結

第3章面向中文金融文本情緒分類的預訓練模型對比

3．1模型對比目的

3．2項目技術原理

3．3對比實現方法

3．4標準流程步驟

3．5自建(評測)標註語料庫

3．6數據集劃分

3．7描述統計分析

3．7．1語料庫統計量描述

3．7．2訓練集和測試集統計量描述

3．7．3統計分析

3．8對比模型

3．9模型實現

3．10運行環境

3．11模型加載

3．12微調策略

3．12．1情緒分類任務微調

3．12．2分類器超參數調試

3．13數據預處理

3．13．1數據讀取、轉換和清洗

3．13．2分詞、填充和其他

3．14評估指標

3．14．1混淆矩陣

3．14．2準確度、精確度、召回度和F1分數

3．14．3損失值

3．15模型評測

3．16輸出過程

3．17結果匯總

3．18模型對比項目結論

小結

第4章FinWoBERT： 中文金融領域增強預訓練模型

4．1領域增強目的

4．2領域增強原理

4．3領域增強實現方法

4．4領域增強操作步驟

4．5自建(預訓練)未標註詞庫

4．6自建(預訓練)未標註語料庫

4．7描述統計分析

4．7．1未標註詞庫統計量描述

4．7．2未標註語料庫統計量描述

4．7．3未標註語料庫與標註語料庫的TFIDF

4．7．4統計分析

4．8定義FinWoBERT模型

4．9建立FinWoBERT模型

4．10訓練FinWoBERT模型

4．11領域後訓練和領域微調策略

4．12評估FinWoBERT模型

4．13評測結果匯總

4．14領域增強項目結論

小結

第5章GANFinWoBERT： 對抗訓練的中文金融預訓練模型

5．1對抗訓練目的

5．2對抗訓練原理

5．3對抗訓練實現方法

5．4定義GANFinWoBERT模型

5．5建立GANFinWoBERT模型

5．6訓練GANFinWoBERT模型

5．7對抗訓練項目結論

小結

第6章FinWoBERT+ConvLSTM： 基於投資者情緒權重的科創50指數預測

6．1預測實戰設計

6．2數據準備

6．2．1行情數據集

6．2．2評論數據集

6．3定義預測模型

6．4情緒權重

6．4．1情緒分類

6．4．2權重計算

6．5預測模型評估指標

6．6預測實驗結果對比

6．7預測實戰項目結論

小結

第7章總結與展望

7．1我們學到了什麽

7．2未來的方向

附錄A語料庫/詞庫樣本示例

參考文獻