情感分析進階

目錄
前言
第一部分
第1章概述2
1.1文本情感分析相關概念2
1.2文本情感分析方法4
1.2.1基於知識庫的方法4
1.2.2基於機器學習的方法4
1.2.3基於深度學習的方法5
1.3情感分析的應用5
1.3.1商業領域5
1.3.2文化領域6
1.3.3社會管理7
1.3.4信息預測7
1.3.5情緒管理8
1.3.6智能客服8
1.4情感分析面臨的困難9
1.5機遇和挑戰9
1.6本章小結10
第2章文本情感分析基礎13
2.1有監督學習13
2.2無監督學習13
2.3半監督學習14
2.4詞向量14
2.4.1詞向量表示的演化過程14
2.4.2詞嵌入方法15
2.5卷積神經網絡18
2.5.1卷積層19
2.5.2激活函數層20
2.5.3池化層21
2.5.4全連接層22
2.6循環神經網絡22
2.7記憶網絡24
2.8預訓練模型25
2.8.1模型結構25
2.8.2預訓練任務27
2.9本章小結27
第二部分
第3章基於文本片段不一致性的諷刺
檢測模型32
3.1任務與術語32
3.2片段不一致性32
3.3自註意力機制33
3.4模型框架33
3.4.1總體框架33
3.4.2輸入模塊34
3.4.3卷積模塊34
3.4.4重要性權重模塊34
3.4.5注意力機制模塊35
3.4.6輸出模塊35
3.4.7訓練目標36
3.5實驗設計和結果分析36
3.5.1數據集介紹36
3.5.2實驗環境和設置37
3.5.3基線模型37
3.5.4對比實驗結果37
3.5.5消融實驗結果39
3.5.6模型分析39
3.6應用實踐41
3.7本章小結42
第4章基於常識知識的諷刺檢測
44
4.1任務與術語44
4.2常識知識資源44
4.3知識生成方法45
4.4知識選擇方法45
4.5知識融合方法46
4.6模型框架47
4.7實驗設計和結果分析47
4.7.1數據集介紹47
4.7.2實驗環境和設置48
4.7.3基線模型48
4.7.4對比實驗結果48
4.7.5消融實驗結果50
4.7.6模型分析50
4.8應用實踐52
4.9本章小結53
第5章基於多模態數據的諷刺檢測
55
5.1任務與術語55
5.2模態內註意力55
5.3模態間注意力56
5.4模型框架57
5.5實驗設計和結果分析57
5.5.1數據集介紹57
5.5.2實驗環境和設置58
5.5.3基線模型58
5.5.4對比實驗結果59
5.5.5消融實驗結果59
5.5.6模型分析60
5.6應用實踐61
5.7本章小結63
第三部分
第6章基於用戶建模的對話情緒分析
66
6.1任務與術語66
6.2層級Transformer和Mask機制
69
6.3自己-自己關係建模71
6.4自己-其他關係建模72
6.5用戶關係權重選擇72
6.6模型框架73
6.7應用實踐76
6.7.1常用數據集76
6.7.2其他對話用戶關係建模模型
76
6.7.3實驗結果77
6.8本章小結80
第7章基於過去、現在和未來的對話
情緒分析84
7.1任務與術語84
7.2常識知識庫85
7.2.1ATOMIC常識知識庫86
7.2.2COMET知識生成模型87
7.2.3COMETATOMIC2020知識生成
模型88
7.3圖神經網絡88
7.4基於知識的情緒預測92
7.4.1知識增強的Transformer93
7.4.2COSMIC情緒預測模型94
7.5對話上下文交互圖構建95
7.6模型框架97
7.7應用實踐98
7.8本章小結99
第8章基於平衡特徵空間的不平衡
情緒分析102
8.1情緒分析中的不平衡問題102
8.2基於重採樣的平衡策略103
8.3基於重權重化的平衡策略104
8.3.1類別平衡損失函數104
8.3.2標籤分佈感知的間隔損失函數
106
8.4基於數據增強的平衡策略107
8.4.1計算機視覺中的基於數據增強
的平衡策略107
8.4.2自然語言處理中的數據增強方法
108
8.5Focal損失函數108
8.6自我調整的Dice損失函數109
8.7中心損失函數110
8.8三元組中心損失函數110
8.9馬氏分佈中心111
8.10特徵空間平衡損失函數112
8.11應用實踐113
8.11.1代碼實現113
8.11.2實驗性能115
8.12本章小結117
第四部分
第9章基於語義-情緒知識的跨目標
立場檢測122
9.1任務描述122
9.2立場檢測基礎模型123
9.3語義知識和情緒知識123
9.4模型框架124
9.5語義-情緒圖建模125
9.6知識增強的BiLSTM網絡125
9.7立場檢測分類器127
9.8模型應用127
9.8.1實驗說明127
9.8.2實驗結果與分析128
9.9本章小結129
第10章基於元學習的跨領域立場檢測
131
10.1元學習概念131
10.2有監督元學習131
10.2.1基於度量的元學習方法131
10.2.2基於模型的元學習方法133
10.2.3基於優化的元學習方法135
10.3MAML算法136
10.4基於元學習的立場檢測模型
137
10.5應用實踐138
10.5.1數據集介紹138
10.5.2實驗細節139
10.5.3對比模型139
10.5.4實驗結果139
10.5.5核心代碼140
10.6本章小結142
第11章知識增強的零樣本和小樣本
立場檢測144
11.1任務與術語144
11.2概念知識圖145
11.3多關係圖神經網絡146
11.4基於多關係圖神經網絡的
知識圖編碼147
11.5知識增強的立場檢測模型
147
11.6應用實踐149
11.6.1實驗設置149
11.6.2核心代碼149
11.6.3對比方法152
11.6.4實驗結果與分析152
11.7本章小結154
第五部分
第12章面向情感分類的對抗攻擊
158
12.1對抗樣本的概念158
12.1.1對抗樣本的提出158
12.1.2對抗樣本的定義159
12.2擾動控制160
12.2.1編輯距離160
12.2.2歐氏距離160
12.2.3餘弦距離161
12.2.4Jaccard相似係數161
12.2.5單詞移動距離161
12.2.6各種指標的應用161
12.3白盒攻擊與黑盒攻擊162
12.4目標攻擊與非目標攻擊162
12.5字符級對抗攻擊方法162
12.5.1白盒攻擊場景下的字符級
對抗攻擊方法163
12.5.2黑盒攻擊場景下的字符級
對抗攻擊方法164
12.5.3基於重要性的黑盒字符級
攻擊方法165
12.6詞語級對抗攻擊方法166
12.6.1白盒攻擊場景下的詞語級
對抗攻擊方法166
12.6.2黑盒攻擊場景下的詞語級
對抗攻擊方法168
12.7句子級對抗攻擊方法168
12.7.1白盒攻擊場景下的句子級
對抗攻擊方法168
12.7.2黑盒攻擊場景下的句子級
對抗攻擊方法169
12.8本章小結169
第13章基於前置檢測的情感分類防禦
171
13.1任務與術語171
13.1.1任務描述171
13.1.2相關術語171
13.2魯棒單詞識別模型172
13.3兩步拼寫校正模型173
13.3.1模型簡介173
13.3.2兩步拼寫校正模式174
13.3.3誤拼寫單詞探測器174
13.3.4誤拼寫單詞校正器176
13.4應用實踐176
13.4.1核心代碼176
13.4.2實驗設置179
13.4.3實驗分析182
13.5本章小結188
第14章基於數據優化的情感分類
防禦189
14.1任務與術語189
14.2數據增強方法189
14.3對抗訓練方法190
14.4錯別字魯棒編碼191
14.5同義詞編碼192
14.6本章小結194
第15章基於可驗證區域的情感分類
防禦195
15.1任務與術語195
15.2可驗證區域195
15.2.1隨機平滑195
15.2.2可驗證魯棒性196
15.3基於多跳鄰居的擾動分佈197
15.3.1多跳鄰居197
15.3.2擾動分佈198
15.4大化可驗證區域198
15.4.1訓練平滑分類器198
15.4.2大化可驗證區域199
15.5可驗證區域的估計199
15.6應用實踐200
15.6.1實驗代碼200
15.6.2實驗設置203
15.6.3評價指標204
15.6.4模型參數設置204
15.6.5基線模型設置204
15.7實驗分析205
15.7.1主實驗結果205
15.7.2消融實驗205
15.7.3關鍵參數影響實驗206
15.7.4可視化實驗207
15.7.5詞向量可視化208
15.8本章小結209