基於深度學習的自然語言處理

第1章自然語言處理與深度學習概述1

1.1自然語言處理的概況1

1.2第一大浪潮：理性主義2

1.3第二大浪潮：經驗主義4

1.4第三大浪潮：深度學習7

1.5從現在到未來的轉變11

1.5.1從經驗主義到深度學習的變革11

1.5.2當前深度學習技術的限制12

1.6自然語言處理未來的發展方向13

1.6.1神經符號集成(NeuralSymbolic Integration)13

1.6.2結構、記憶和知識15

1.6.3無監督和生成式深度學習15

1.6.4多模式和多任務深度學習16

1.6.5元學習17

1.7結論18第2章基於深度學習的對話語言理解20

2.1引言20

2.2歷史性視角22

2.3主要的語言理解任務24

2.3.1域檢測和意圖識別24

2.3.2填槽24

2.4提升技術水平：從統計建模到深度學習25

2.4.1域檢測和意圖識別25

2.4.2填槽28

2.4.3聯合多任務多域模型35

2.4.4上下文理解37

2.5結論40第3章基於深度學習的語音與文本對話系統43

3.1引言43

3.2系統組件的學習方法46

3.2.1判別性方法47

3.2.2生成性方法48

3.2.3決策性方法49

3.3目標導向型神經對話系統49

3.3.1神經語言理解49

3.3.2對話狀態追蹤器50

3.3.3深度對話管理器51

3.4基於模型的用戶模擬器53

3.5自然語言生成54

3.6基於端到端深度學習構建對話系統57

3.7面向開放式對話系統的深度學習59

3.8對話建模的數據集60

3.8.1卡內基·梅隆傳播語料庫60

3.8.2ATIS：航空旅行信息系統飛行員語料庫60

3.8.3對話狀態追蹤挑戰數據集60

3.8.4Maluuba框架數據集61

3.8.5Facebook對話數據集62

3.8.6Ubuntu對話語料庫63

3.9開源對話軟件63

3.10對話系統評估65

3.11結論67第4章基於深度學習的詞法分析和句法分析68

4.1引言68

4.2典型的詞法分析和句法分析任務69

4.2.1分詞69

4.2.2詞性標註70

4.2.3句法分析70

4.2.4結構化預測問題72

4.3結構化預測74

目錄4.3.1基於圖的方法75

4.3.2基於轉移的方法77

4.4基於神經圖的方法82

4.4.1神經條件隨機場82

4.4.2基於圖的神經依存句法分析84

4.5基於神經轉移的方法86

4.5.1貪婪移位減少依存句法分析86

4.5.2貪婪序列標註90

4.5.3全局優化模型94

4.6結論101第5章基於深度學習的知識圖譜102

5.1引言102

5.1.1基本概念103

5.1.2典型的知識圖譜103

5.2知識表徵學習107

5.3神經關系抽取109

5.3.1語句級NRE109

5.3.2文檔級NRE115

5.4知識與文本的橋梁:實體連接116

5.4.1實體連接框架117

5.4.2用於實體連接的深度學習120

5.5結論127第6章基於深度學習的機器翻譯129

6.1引言129

6.2統計機器翻譯及其面對的挑戰130

6.2.1基本原理130

6.2.2統計機器翻譯所面對的挑戰133

6.3基於組件深度學習的機器翻譯134

6.3.1用於詞對齊的深度學習與基於深度學習的詞對齊134

6.3.2用於翻譯規則概率估計的深度學習137

6.3.3用於短語調序的深度學習140

6.3.4用於語言建模的深度學習142

6.3.5用於特徵組合的深度學習143

6.4基於端到端深度學習的機器翻譯146

6.4.1編碼器解碼器框架146

6.4.2機器翻譯的神經註意力148

6.4.3處理大詞匯量的技術挑戰150

6.4.4使用端到端訓練直接優化評估指標152

6.4.5結合先驗知識153

6.4.6低資源語言翻譯156

6.4.7神經機器翻譯中的網絡結構158

6.4.8SMT和NMT的結合159

6.5結論161第7章基於深度學習的問答系統163

7.1引言163

7.2基於深度學習的KBQA164

7.2.1信息提取範式165

7.2.2語義分析範式169

7.2.3對比信息提取範式與語義分析範式174

7.2.4數據集174

7.2.5挑戰176

7.3基於深度學習的機器閱讀理解177

7.3.1任務描述177

7.3.2基於特徵工程的方法182

7.3.3基於深度學習的方法186

7.4結論191第8章基於深度學習的情感分析194

8.1引言194

8.2特殊情感詞嵌入196

8.3語句級情感分類201

8.3.1捲積神經網絡202

8.3.2循環神經網絡204

8.3.3遞歸神經網絡207

8.3.4整合外部資源209

8.4文檔級情感分類210

8.5細粒度情感分析213

8.5.1意見挖掘214

8.5.2針對特定目標的情感分析215

8.5.3方面級情感分析218

8.5.4立場檢測221

8.5.5諷刺識別222

8.6結論223第9章基於深度學習的社會計算224

9.1引言224

9.2基於深度學習對用戶生成內容進行建模228

9.2.1傳統的語義表徵方法229

9.2.2基於淺層嵌入技術的語義表徵229

9.2.3基於深度神經網絡的語義表徵232

9.2.4運用註意力機制增強語義表徵236

9.3基於深度學習建立社會聯系模型237

9.3.1社交媒體中的社交聯系237

9.3.2建模社會關系的網絡表徵學習方法238

9.3.3基於淺層嵌入的模型239

9.3.4基於深度神經網絡的模型243

9.3.5網絡嵌入的應用244

9.4基於深度學習的推薦系統245

9.4.1社交媒體中的推薦系統245

9.4.2傳統推薦算法246

9.4.3基於淺層嵌入的模型246

9.4.4基於深度神經網絡的模型248

9.5結論254第10章基於深度學習的圖像描述255

10.1引言255

10.2背景介紹256

10.3圖像描述的深度學習框架257

10.3.1端到端框架257

10.3.2組合框架260

10.3.3其他框架262

10.4評估指標和基準263

10.5圖像描述的工業部署264

10.6示例：圖像中的自然語言描述265

10.7從圖像生成文體自然語言的研究進展268

10.8結論270第11章後記：深度學習時代下自然語言處理的前沿研究271

11.1引言271

11.2兩個新視角272

11.2.1以任務為中心的視角273

11.2.2以表徵為中心的視角274

11.3基於深度學習的NLP的最新研究進展與熱點276

11.3.1組合性泛化276

11.3.2NLP中的無監督學習277

11.3.3NLP中的強化學習278

11.3.4NLP中的元學習280

11.3.5弱可解釋性與強可解釋性282

11.4結論284附錄參考答案288術語表360