文本數據挖掘基於R語言

黃天元

復旦大學理學博士。
熱愛數據科學與開源工具，致力於利用數據科學迅速積累行業經驗優勢和科學知識發現，
研究領域包括但不限於信息計量、機器學習、數據可視化、應用統計建模、知識圖譜等。
在CRAN上維護了3個下載量破萬的R包（akc、tidyfst、tidyft），著有《R語言高效數據處理指南》一書，
並設有知乎專欄“R語言數據挖掘”，關註人數9000 。

目錄

前言
第1章走進文本數據挖掘1
1.1什麼是文本數據挖掘1
1.2為什麼要做文本數據挖掘2
1.3如何進行文本數據挖掘2
1.3.1文本數據挖掘的流程2
1.3.2文本數據挖掘的基本任務及方法4
1.4文本數據挖掘軟件工具概覽5

第2章文本數據挖掘利器—R語言7
2.1開發環境配置7
2.1.1下載並安裝R軟件7
2.1.2包的管理8
2.1.3版本升級9
2.1. 4集成開發環境10
2.2 R的基本數據類型11
2.2.1數值型12
2.2.2邏輯型12
2.2.3字符型12
2.2.4因子型13
2.3 R的常用數據結構13
2.3.1向量13
2.3. 2矩陣14
2.3.3列表14
2.3.4數據框15
2.4 R的基礎編程知識15
2.4.1賦值15
2.4.2函數16
2.4.3強制類型轉換16
2.4.4條件判斷17
2.4.5循環操作17
2.5數據操作入門19
2.5.1文件讀寫19
2.5.2數據框的檢視25
2.5.3單表操作28
2.5.4多表操作37
2.5.5缺失值處理42
2.5.6長寬數據轉換46

第3章從基礎做起1—字符串的基本處理51
3.1字符串的構造51
3.2字符串的辨識、計數與定位52
3.3字符串的提取53
3.4字符串的定製化輸出54
3.5字符串的替換與刪除56
3.6字符串的拼接與拆分57
3.7字符串的排序57

4章從基礎做起2—用好正則表達式59
4.1通配符解析59
4.1.1點運算符（“.”）60
4.1.2字符集（“ ”）61
4.1.4出現0次或更多（“”）61
4.1.5出現1次或更多（“ ”）62
4.1.6出現0次或1次（“?”）62
4.1.7出現次數範圍限制（“{}”）62
4.1.8特徵標群（“(...)”）62
4.1.9或運算符（“|”）63
4.1.10轉義字符（“\\\\ ”）63
4.1.11匹配開頭部分（“^”）63
4.1.12匹配結尾部分（“$”）64
4.2反向引用64
4.3簡寫字符集65
4.4貪婪匹配與惰性匹配66
4.5零寬斷言67
4.5.1正先行斷言（“?=...”）67
4.5.2負先行斷言（“?!...”）68
4.5 .3正後發斷言（“?<= ...”）68
4.5.4負後發斷言（“? 4.5.5提取括號中的內容68

第5章步入正題—導入各類文本數據70
5.1 readtext包簡介70
5.2不同格式文本文件的導入70
5.2.1讀取txt文件71
5.2.2讀取csv/tsv文件72
5.2.3讀取json文件74
5.2.4讀取pdf文件74
5.2.5讀取Word文件75
5.2.6讀取文件75
5.2.7讀取壓縮包75
5.3讀入不同編碼格式的文檔76
5.4文件數據結構的轉化77

第6章更進一步—對各類文本數據進行預處理79
6.1拼寫糾錯79
6.2文本切分80
6.2.1段落切分81
6.2.2句子切分82
6.2.3詞語切分82
6.2.4 n元切分85
6.2.5字符切分85
6.3去除標點86
6.4去除停用詞86
6.5擴展縮寫87
6.6詞幹提取87
6.7詞形還原與詞性標註88
6.8批量文檔預處理90

第7章上手文本數據挖掘—文本特徵提取的4種方法92
7.1基本特徵提取92
7.2基於TF-IDF的特徵提取94
7.3詞嵌入96
7.3.1基於BOW96
7.3.2基於word2vec98
7.3.3基於GloVe100
7.3.4基於fastText101
7.4文檔向量化：doc2vec102

第8章文本分類—基於機器學習的方法105
8.1無監督分類105
8.1.1基於文本相似度的聚類105
8.1.2基於網絡集群識別的自動化聚類120
8.1.3基於主題模型的分類125
8.2有監督分類129
8.2.1二分類129
8.2 .2多分類136

第9章深入理解文本內涵—文本情感分析142
9.1英文情感分析142
9.1.1 RSentiment143
9.1.2 sentimentr144
9.1.3 SentimentAnalysis145
9.1.4 meanr147
9.1.5 sentometrics148
9.2中文情感分析151
9.2.1環境與數據準備151
9.2.2情感詞典準備151
9.2.3中文分詞152
9.2.4分值計算152
9.2.5小結152

第10章文本數據的直觀表達—文本可視化153
10.1條形圖153
10.2克利夫蘭點圖155
10.3矩形樹狀圖156
10.4詞雲157
10.5詞彙位置分佈圖159
10.6網絡圖164
10.7雙文檔對比可視化167

第11章舉一反三—文本數據挖掘項目實踐170
11.1情感分析案例：量化中文新聞報導中的情感走勢170
11.2文本分類案例：基於詞袋模型對英文期刊摘要來源進行分類176
11.3關鍵詞提取案例：根據CRAN的介紹文本提取R包關鍵字181