大數據技術原理與應用 — 概念、存儲、處理、 分析與應用, 3/e

林子雨（1978－），男，博士，國內高校知名大數據教師，廈門大學計算機科學系副教授，廈門大學云計算與大數據研究中心創始成員，廈門大學數據庫實驗室負責人，中國計算機學會數據庫專委會委員，中國計算機學會信息系統專委會委員，中國高校*個“數字教師”提出者和建設者。
2013年開始在廈門大學開設大數據課程，建設了國內高校*個大數據課程公共服務平台，平台累計網絡訪問量超過700萬次，成為全國高校大數據教學知名牌，並榮獲“2018年福建省教學成果二等獎”，主持的課程《大數據技術原理與應用》獲評“2018年國家精品在線開放課程”。
主講課程：《大數據技術原理與應用》《大數據處理技術》《大數據導論》。
個人主頁：http://dblab.xmu.edu.cn/post/linziyu。E-mail: ziyulin@xmu.edu.cn。
數據庫實驗室網站：http://dblab.xmu.edu.cn。
建設了高校大數據課程公共服務平台（http://dblab.xmu.edu.cn/post/bigdata-teaching- platform/），為教師教學和學生學習大數據課程提供包括教學大綱、講義PPT、學習指南、備課指南、實驗指南、上機習題、授課視頻、技術資料等全方位、一站式服務，平台每年訪問量超過200萬次，累計訪問量超過750萬次，同時提供面向高校的大數據實驗平台建設方案和大數據課程師資培訓服務。

目錄

1章大數據技術概述/1
1.1大數據時代/11.2大數據關鍵技術/2
1.3大數據軟件/3
1.3.1Hadoop/ 4
1.3.2Spark/5
1.3.3SQL數據庫/5
1.4內容安排/6
1.5在線資源/8
1.6本章小結/10

2章Linu系統的安裝和使用/11
2.1Linu系統簡介/11
2.2Linu系統安裝/11
2.2 .1下載安裝文件/12
2.2.2Linu系統的安裝方式/12
2.2.3安裝Linu虛擬機/13
2.2.4生成Linu虛擬機鏡像文件/35
2.3Linu系統及相關軟件的基本使用方法/36
2.3. 1Shell/36
2.3.2root用戶/37
2.3.3創建普通用戶/37
2.3.4sudo命令/38
2.3.5常用的Linu系統命令/38
2.3.6文件解壓縮/39
2.3.7常用的目錄/39
2.3.8目錄的權限/40
2.3.9更新APT/40
2.3.10切換中英文輸入法/ 42
2.3.11vim編輯器的使用方法/42
2.3.12在Windows系統中使用SSH方式登錄Linu系統/43
2.3.13在Linu系統中安裝Eclipse/46
2.3.14其他使用技巧/47
2.4關於本書內容的一些約定/47
2.5本章小結/48

3章Hadoop的安裝和使用/49
3.1Hadoop簡介/49
安裝Hadoop前的準備工作/49
3.2.1創建hadoop用戶/50
3.2.2更新APT/50
3.2.3安裝SSH/50
3.2.4安裝Java環境/51
3.3安裝Hadoop/52
3.3.1下載安裝文件/53
3.3.2單機模式配置/53
3.3.3偽分佈式模式配置/54
3.3.4分佈式模式配置/61
3.4本章小結/70

4章HDFS作方法和基礎編程/71
4.1HDFS作常用的Shell命令/71
4.1.1查看命令的用法/71
4.1.2HDFS作/73
4.2利用HDFS的Web管理界面/75
4.3HDFS編程實踐/75
4.3.1在Eclipse中創建項目/75
4.3.2為項目添加需要用到的JAR包/76
4.3.3編寫Java應用程序/79
4.3. 4編譯運行程序/82
4.3.5應用程序的部署/83
4.4本章小結/86

5章HBase的安裝和基礎編程/88
5.1安裝HBase/88
5.1.1下載安裝文件/88
5.1.2配置環境變量/ 89
5.1.3添加用戶權限/89
5.1.4查看HBase版本信息/89
5.2HBase的配置/90
5.2.1單機模式配置/90
5.2.2偽分佈式模式配置/92
5.3HBase常用的Shell命令/94
5.3.1在HBase中創建表/94
5.3.2添加數據/94
5.3.3查看數據/95
5.3.4刪除數據/96
5.3.5刪除表/97
5.3.6查詢歷史數據/97
5.3.7出HBase數據庫/97
5.4HBase編程實踐/98
5.4.1在Eclipse中創建項目/98
5.4.2為項目添加需要用到的JAR包/100
5.4.3編寫Java應用程序/102
5.4.4編譯運行程序/105
5.5本章小結/106

6章典型SQL數據庫的安裝和使用/108
6.1Redis的安裝和使用/108
6.1.1Redis簡介/108
6.1.2安裝Redis/108
6.1.3Redis實例演示/110
6.2MongoDB的安裝和使用/111
6.2.1MongDB簡介/111
6.2.2安裝MongoDB/112
6.2.3使用Shell命令作MongoDB/113
6.2.4Java API編程實例/118
6.3本章小結/122

7章MapReduce基礎編程/123
7.1詞頻統計任務要求/123
7.2MapReduce程序編寫方法/124
7.2.1編寫Map處理邏輯/124
7.2.2編寫Reduce處理邏輯/124
7.2.3編寫main方法/125
7.2.4完整的詞頻統計程序/126
7.3編譯打包程序/127
7.3.1使用命令行編譯打包詞頻統計程序/128
7.3.2使用Eclipse編譯打包詞頻統計程序/128
7.4運行程序/136
7.5本章小結/139

8章數據倉庫Hive的安裝和使用/140
8.1Hive的安裝/140
8.1.1下載安裝文件/140
8.1.2配置環境變量/141
8.1.3修改配置文件/141
8.1.4安裝並配置MySQL/142
8.2Hive的數據類型/144
8.3Hive基本作/145
8.3.1創建數據庫、表、視圖/145
8.3 .2刪除數據庫、表、視圖/146
8.3.3修改數據庫、表、視圖/147
8.3.4查看數據庫、表、視圖/148
8.3.5描述數據庫、表、視圖/148
8.3.6向表中裝載數據/149
8.3.7查詢表中數據/149
8.3.8向表中插入數據或從表中導出數據/149
8.4Hive應用實例: WordCount/150
8.5Hive編程的優勢/151
8.6本章小結/151

9章Spark的安裝和基礎編程/152
9.1基礎環境/152
9.2安裝Spark/152
9.2.1下載安裝文件/152
9.2.2配置相關文件/153
9.3使用Spark Shell編寫代碼/154
9.3.1啟動Spark Shell/154
9.3.2讀取文件/155
9.3.3編寫詞頻統計程序/156
9.4編寫Spark獨立應用程序/157
9.4.1用Scala語言編寫Spark獨立應用程序/157
9.4.2用Java語言編寫Spark獨立應用程序/161
9.5本章小結/164

10章Flink的安裝和基礎編程/165
10.1安裝Flink/165
10.2編程實現WordCount程序/167
10.2.1安裝Maven/167
10.2.2編寫代碼/167
10.2.3使用Maven打包Java程序/171
10.2.4通過flink run命令運行程序/172
10.3本章小結/172

11章典型可視化工具的使用方法/173
11.1D3可視化庫的使用方法/173
11.1 .1D3可視化庫的安裝/173
11.1.2基本作/174
11.2使用ECharts製作圖表/182
11.2.1ECharts簡介/182
11.2.2ECharts圖表製作方法/182
11.3本章小結/185

12章數據採集工具的安裝和使用/186
12.1Kafka/186
12.1.1Kafka相關概念/186
12.1.2安裝Kafka/186
12.1.3一個實例/187
12.2實例:編寫Spark程序使用Kafka數據源/188
12.2.1Kafka準備工作/188
12.2.2Spark準備工作/190
12.2.3編寫Spark程序使用Kafka數據源/191
12.3本章小結/197

13章大數據課程綜合實驗案例/198
13.1案例簡介/198
13.1.1案例目的/198
13.1.2適用對象/198
13.1.3時間安排/198
13.1.4預備知識/198
13.1.5硬件要求/199
13.1.6軟件工具/199
13.1.7數據集/199
13.1.8案例任務/199
13.2實驗環境搭建/200
13.3實驗步驟概述/200
13.4本地數據集上傳到數據倉庫Hive/201
13.4.1實驗數據集的下載/201
13.4.2數據集的預處理/203
13.4.3導入數據庫/206
13.5Hive數據分析/209
13.5.1簡單查詢分析/209
13.5.2查詢條數統計分析/211
13.5.3關鍵字條件查詢分析/213
13.5.4根據用戶行為分析/214
13.5.5用戶實時查詢分析/215
13.6Hive、MySQL、HBase數據互導/ 216
13.6.1Hive預作/216
13.6.2使用Java API將數據從Hive導入MySQL/217
13.6.3使用HBase Java API把數據從本地導入HBase中/222
13.7使用R進行數據可視化分析/229
13.7.1安裝R/229
13.7.2安裝依賴庫/230
13.7.3可視化分析/232
13.8本章小結/236

14章實驗/237
14.1實驗一：熟悉常用的Linu作和Hadoop作/237
14.1.1實驗目的/237
14.1.2實驗平台/237
14.1.3實驗步驟/237
14.1.4實驗報告/239
14.2實驗二:熟悉常用的HDFS作/239
14.2.1實驗目的/239
14.2.2實驗平台/239
14.2.3實驗步驟/240
14.2.4實驗報告/240
14.3實驗三:熟悉常用的HBase作/241
14.3 .1實驗目的/241
14.3.2實驗平台/24
14.3.3實驗步驟/241
14.3.4實驗報告/242
14.4實驗: SQL和關係數據庫的作比較/243
14.4.1實驗目的/243
14.4.2實驗平台/243
14.4.3實驗步驟/243
14.4.4實驗報告/246
14.5實驗五: MapReduce初級編程實踐/247
14.5.1實驗目的/247
14.5.2實驗平台/247
14.5.3實驗步驟/247
14.5.4實驗報告/249
14.6實驗六:熟悉Hive的基本作/250
14.6.1實驗目的/250
14.6.2實驗平台/250
14.6.3數據集/250
14.6.4實驗步驟/250
14.6.5實驗報告/251
14.7實驗七: Spark初級編程實踐/252
14.7.1實驗目的/252
14.7.2實驗平台/252
14.7. 3實驗步驟/252
14.7.4實驗報告/254
14.8實驗八: Flink初級編程實踐/254
14.8.1實驗目的/254
14.8.2實驗平台/254
14.8.3實驗步驟/254
14.8.4實驗報告/255

附錄A實驗參考答案/256
A.1“實驗一:熟悉常用的Linu作和Hadoop作”實驗步驟/256
A.2“實驗二:熟悉常用的HDFS作”實驗步驟/261
A.3“實驗三:熟悉常用的HBase作”實驗步驟/280
A.4“實驗: SQL和關係數據庫的作比較”實驗步驟/289
A.5“實驗五: MapReduce初級編程實踐”實驗步驟/306
A.6“實驗六:熟悉Hive的基本作”實驗步驟/315
A.7“實驗七: Spark初級編程實踐”實驗步驟/319
A.8“實驗八: Flink初級編程實踐”實驗步驟/325

附錄BLinu系統中的MySQL安裝及常用作/343
B.1安裝MySQL/ 343
B.2MySQL常用作/346

參考文獻/350