雲計算與大數據技術

華育興業科技有限公司是集技術開發、教育產品設計、計算機技術培訓為一體的科技型教育企業。
公司作為“甲骨文WDP中國區運營中心”，專注於IT技術培訓，開設大數據、java、WEB全棧開發、python+人工智能、全棧UI設計等培訓課程。
它還進行國家協同育人項目申辦、高校新工科大數據專業共建、大數據實驗室建設等完整大數據教育產品提供，創辦13年來，死磕IT教育，已與國內上百家高校建立了合作關係，與上千家IT相關企業建立了高端雇主聯盟。

一部分  平台基礎
1章　雲計算與大數據運維概論　2
1.1　雲計算產生背景　2
1.2　雲計算的基本概念　4
1.2.1　雲計算定義　4
1.2.2　雲能力類型　4
1.2.3　雲服務類別　4
1.2.4　典型雲計算部署模式　5
1.2.5　雲計算基本特徵　7
1.3　雲計算技術　8
1.3.1　雲計算的發展現狀　8
1.3.2　雲計算技術發展特點　9
1.3.3　雲計算架構　10
1.3.4　雲計算網絡與安全　12
1.4　雲存儲　12
1.4.1　數據中心構建與管理　12
1.4.2　虛擬化技術　13
1.5　雲計算與大數據的關係　15
1.5.1　雲計算與大數據的聯繫　15
1.5.2　雲計算與大數據的區別　15
1.6　大數據的基本概念　15
1.6.1　什麼是數據　15
1.6.2　大數據的定義　16
1.6.3　大數據的基本特徵　16
1.7　大數據技術　17
1.7.1　大數據採集　17
1.7.2　大數據存儲　17
1.7.3　大數據計算　17
1.7.4　大數據分析　18
1.7.5　大數據可視化　18
1.7.6　大數據平台監控　19
1.7.7　大數據平台運維　19
1.8　應用場景介紹　19
1.9　本章小結　20
1.10　習題　20

2章　Linu作系統　21
2.1　Linu作系統的安裝與配置　21
2.1.1　作系統的作用　21
2.1.2　Linu作系統　22
2.1.3　實踐任務：CenOS 7的安裝與配置　24
2.1.4　磁盤分區　27
2.1.5　交換分區　28
2.2　Linu用戶與組的管理　29
2.2.1　Linu用戶和用戶組的概念　29
2.2.2　實踐任務：Linu用戶的管理　30
2.2.3　實踐任務：Linu用戶組的管理　32
2.3　Linu文件管理　33
2.3.1　Linu文件的概念　33
2.3.2　Linu文件類型與權限　35
2.3.3　實踐任務：文件系統的命令　37
2.3.4　實踐任務：文件的壓縮與打包　40
2.3.5　實踐任務：軟件包的管理　42
2.4　Shell的運用　45
2.4.1　文本編輯器　46
2.4.2　Shell腳本介紹　49
2.4.3　實踐任務：Shell腳本常用命令　50
2.5　Linu進程管理　53
2.5.1　Linu進程簡介　53
2.5.2　實踐任務：進程管理　54
2.6　Linu網絡管理　57
2.6.1　網絡的基本概念　57
2.6.2　網絡設備的作用　58
2.6.3　網絡配置　58
2.6.4　實踐任務：網絡作與測試命令　60
2.7　本章小結　62
2.8　習題　62

*二部分　虛擬化技術
3章　OpenStack部署與運維　66
3.1　OpenStack概述　67
3.1.1　OpenStack的產生　67
3.1.2　OpenStack簡介　68
3.1.3　OpenStack的特點　69
3.1.4　OpenStack的架構　69
3.2　OpenStack的服務　71
3.2.1　身份認證服務　71
3.2.2　鏡像服務　72
3.2.3　計算服務　72
3.2.4　網絡服務　73
3.2.5　對象存儲服務　74
3.2.6　塊存儲服務　74
3.2.7　界面服務　75
3.3　OpenStack的安裝與部署　75
3.3.1　基本環境配置　76
3.3.2　OpenStack軟件的安裝　76
3.3.3　Keystone的安裝　83
3.3.4　Glance的安裝　90
3.3.5　va的安裝　96
3.3.6　Neutron的安裝　111
3.3.7　Horizon的安裝　124
3.4　本章小結　127
3.5　習題　128

4章　Docker容器虛擬化技術　129
4.1　Docker概述　130
4.1.1　Docker技術的產生　130
4.1.2　Docker的定義　131
4.1.3　Docker的工作原理　132
4.1.4　Docker與OpenStack的區別　133
4.1.5　Docker容器與虛擬機的關係　134
4.2　Docker的安裝與配置　134
4.2.1　Docker的安裝環境　134
4.2.2　Docker的目錄結構　137
4.2.3　Docker的基本信息查看　138
4.3　Docker的鏡像管理　139
4.3.1　獲取鏡像　139
4.3.2　查看鏡像　141
4.3.3　查找鏡像　141
4.3.4　上傳鏡像　142
4.3.5　刪除鏡像　142
4.3.6　創建鏡像　143
4.4　Docker的容器管理　144
4.4.1　啟動容器　144
4.4.2　終止容器　146
4.4.3　刪除容器　146
4.4.4　進入容器　146
4.4.5　導出和導入容器　148
4.4.6　Docker容器的Web界面管理　149
4.5　案例分析：在Linu作系統中安裝Docker並部署MySQL鏡像　151
4.6　本章小結　154
4.7　習題　154

三部分　大數據運維與監控
5章　大數據運維導論　156
5.1　大數據運維概述　156
5.2　大數據運維主流工具簡介　159
5.2.1　大數據系統技術方案　159
5.2.2　Hadoop原理簡介　159
5.2.3　ZooKeeper原理簡介　161
5.2.4　HBase原理簡介　161
5.2.5　Spark原理簡介　166
5.2.6　Hive原理簡介　167
5.2.7　MongoDB原理簡介　168
5.2.8　Kafka原理簡介　170
5.2.9　Storm原理簡介　172
5.2.10　Flume原理簡介　174
5.3　本章小結　177
5.4　習題　177

6章　大數據運維實　178
6.1　Hadoop安裝及配置　178
6.1.1　配置3台服務器間SSH免密遠程登錄　178
6.1.2　配置Java環境　181
6.1.3　Hadoop分佈式文件系統集安裝及配置　182
6.2　ZooKeeper安裝及配置　189
6.3　HBase安裝及配置　197
6.3.1　HBase完全分佈環境搭建　197
6.3.2　HBase基本作實例　203
6.4　Spark安裝及配置　206
6.5　Hive安裝及配置　211
6.5.1　安裝配置MySQL　211
6.5.2　Hive本地模式安裝配置　213
6.6　MongoDB安裝及配置　223
6.7　Kafka安裝及配置　226
6.7.1　Kafka安裝　226
6.7.2　Kafka啟動　226
6.8　Storm安裝及配置　230
6.8.1　Storm環境搭建　230
6.8.2　安裝IDEA編程環境及配置Maven環境　233
6.8.3　IDEA下創建Maven項目　235
6.9　Flume安裝及配置　248
6.10　本章小結　252
6.11　習題　252

7章　大數據運維監控　253
7.1　使用Hadoop實現運維監控　254
7.1.1　使用Shell命令查看Hadoop運行情況　254
7.1.2　通過瀏覽器監控Hadoop運行情況　255
7.2　使用Nagios工具實現運維監控　257
7.2.1　Nagios簡介　257
7.2.2　Nagios監控安裝配置　259
7.3　使用Ganglia實現對Hadoop和HBase集的運維監控　270
7.3.1　Ganglia簡介　270
7.3.2　Ganglia安裝環境準備　271
7.3.3　Ganglia安裝　271
7.3.4　服務器端配置　275
7.3.5　客戶機端配置　279
7.3.6　啟動各個服務及監控進程　279
7.3.7　查看監控　280
7.4　本章小結　283
7.5　習題　283
參考文獻　284