雲計算技術與實踐（微課版）

目錄

第1章雲計算概述1

1.1雲計算的產生背景1

1.1.1雲計算的實現原理1

1.1.2雲計算的定義和特點3

1.1.3雲計算的必要性7

1.2雲計算的體系結構和關鍵技術9

1.2.1雲計算的體系結構9

1.2.2雲計算的核心技術10

1.3雲計算的資源封裝層次11

1.3.1IaaS13

1.3.2PaaS14

1.3.3SaaS14

1.4雲計算的部署模式16

1.5雲計算相關技術及應用16

1.5.1雲計算與大數據17

1.5.2集群18

1.5.3邊緣計算19

1.5.4雲計算的應用領域21

習題22第2章虛擬化技術24

2.1虛擬化技術概述24

2.1.1虛擬化技術的發展歷史24

2.1.2虛擬化技術的層次25

2.1.3常用的虛擬機軟件27

2.1.4虛擬化和雲計算的關系28

2.2系統虛擬化29

2.2.1系統虛擬化的原則29

2.2.2原生虛擬化與寄宿虛擬化29

2.2.3系統虛擬化的特性31

2.3系統虛擬化的技術實現33

2.3.1CPU指令類型和運行模式33

2.3.2CPU的指令分級35

2.3.3CPU虛擬化36

2.3.4內存虛擬化38

2.3.5設備與I/O虛擬化41

2.3.6GPU虛擬化42

2.4網絡虛擬化42

2.4.1網絡虛擬化基本原理42

2.4.2軟件定義網絡43

2.4.3OpenFlow協議45

2.5虛擬機軟件的使用47

2.5.1VirtualBox的基本操作47

2.5.2虛擬機的網絡連接方式50

2.5.3物理計算機訪問虛擬機的方式52

2.5.4SSH軟件的使用54

2.5.5配置SSH免密登錄56

習題58第3章Linux操作系統60

3.1Linux概述60

3.1.1Linux系統的構成61

3.1.2Linux的安裝61

3.1.3Linux的文件系統結構61

3.1.4Linux的終端62

3.2Linux的常用命令62

3.2.1文件目錄類命令62

3.2.2用戶管理類命令65

3.2.3文件權限類命令66

3.2.4系統管理類命令68

3.2.5安裝軟件類命令68

3.3Shell腳本使用基礎68

3.3.1Shell腳本的編寫和運行69

3.3.2Shell腳本變量70

習題70第4章Docker容器技術72

4.1Docker概述72

4.1.1容器技術的由來72

4.1.2容器與虛擬機73

4.1.3Docker的應用領域74

4.2Docker的底層實現技術75

4.2.1Docker的系統架構75

4.2.2Docker的核心概念76

4.2.3Docker文件系統78

4.2.4Docker容器數據卷78

4.3Docker的安裝和使用79

4.3.1Docker的安裝80

4.3.2Docker的基本命令和操作82

4.3.3Docker部署LNMP環境85

4.4Dockerfile構建鏡像87

4.4.1Dockerfile常用命令87

4.4.2Dockerfile的構建與編譯89

4.4.3用Dockerfile構建Web項目鏡像90

4.5Docker Compose容器編排技術91

4.5.1Docker Compose的安裝91

4.5.2Docker Compose的使用92

習題95第5章Kubernetes97

5.1Kubernetes概述97

5.1.1容器編排工具97

5.1.2Kubernetes解決的問題98

5.1.3雲原生與微服務架構100

5.1.4Kubernetes的體系結構102

5.2Pod104

5.2.1Pod的使用方式104

5.2.2Pod的資源共享104

5.2.3Pod的存儲共享機制105

5.2.4Pod的網絡共享機制106

5.2.5Pod與Service107

5.3Kubernetes的安裝配置108

習題111第6章OpenStack113

6.1什麼是OpenStack113

6.1.1OpenStack項目構成114

6.1.2OpenStack的版本演變115

6.2OpenStack的組成模塊115

6.2.1計算服務模塊Nova115

6.2.2網絡服務模塊Neutron117

6.2.3塊存儲服務模塊Cinder118

6.2.4對象存儲服務模塊Swift120

6.2.5鏡像服務模塊Glance120

6.2.6身份認證服務模塊Keystone122

6.3OpenStack的通信協議123

6.3.1RESTful API架構123

6.3.2RabbitMQ協議124

6.4OpenStack的部署、安裝和二次開發126

6.4.1OpenStack的部署工具126

6.4.2OpenStack的安裝過程128

6.4.3OpenStack的二次開發132

習題133第7章Hadoop135

7.1Hadoop概述135

7.1.1Hadoop的起源135

7.1.2Hadoop的版本136

7.1.3Hadoop的設計思想和特點137

7.2Hadoop生態系統組件138

7.2.1Hadoop組件概述138

7.2.2YARN資源管理器140

7.2.3ZooKeeper141

7.3Hadoop的安裝142

7.3.1安裝JDK142

7.3.2單機模式的安裝143

7.3.3偽分布式模式的安裝145

7.3.4完全分布式模式的安裝150

習題154第8章雲存儲技術155

8.1雲存儲的核心技術155

8.1.1分布式存儲技術155

8.1.2存儲虛擬化技術157

8.1.3數據容錯158

8.2對象存儲技術159

8.2.1對象存儲概述159

8.2.2對象存儲中的數據組成160

8.2.3對象存儲系統架構和原理161

8.2.4分布式存儲系統Ceph162

8.2.5Ceph的架構163

8.3分布式文件系統HDFS164

8.3.1HDFS的架構165

8.3.2HDFS讀取和寫入文件169

8.3.3HDFS數據容錯171

8.3.4HDFS HA171

8.3.5HDFS命令行接口172

8.4分布式數據庫HBase174

8.4.1HBase的概念模型174

8.4.2HBase的物理模型175

8.4.3HBase數據庫的架構176

8.4.4HRegionServer的工作原理178

8.4.5HBase的安裝和使用179

8.5NoSQL數據庫183

8.5.1關系數據庫的性能問題183

8.5.2常見的NoSQL數據庫184

習題185第9章分布式計算框架187

9.1分布式計算框架概述187

9.1.1基於計算切分的分布式計算187

9.1.2基於數據切分的分布式計算188

9.2MapReduce編程框架189

9.2.1MapReduce的編程思想189

9.2.2MapReduce的4個階段191

9.2.3MapReduce的體系架構194

9.2.4MapReduce程序的編寫步驟197

9.2.5編譯並運行MapReduce程序200

9.3MapReduce編程實例201

9.3.1數據排序201

9.3.2數據去重202

9.3.3自然連接203

9.4Spark內存計算框架206

9.4.1Spark的特點206

9.4.2Spark的生態系統207

9.4.3Spark的核心概念207

9.4.4Spark的運行架構210

9.5Storm流計算框架212

9.5.1Storm的設計思想212

9.5.2Storm的框架214

9.5.3Storm的工作流程215

9.5.4Storm WordCount編程實例216

習題217第10章雲安全技術219

10.1雲計算安全概述219

10.1.1雲計算的安全需求219

10.1.2安全威脅與安全要素219

10.1.3信息安全要素221

10.1.4雲計算安全的體系結構222

10.2虛擬機面臨的安全威脅225

10.2.1虛擬機逃逸225

10.2.2虛擬機跳躍227

10.2.3虛擬機蔓延227

10.2.4VMBR攻擊228

10.3Hypervisor面臨的安全威脅228

10.3.1Hypervisor的安全性229

10.3.2Hypervisor的防禦方法230

10.3.3虛擬機自省框架231

10.4雲數據安全231

10.4.1代理重加密算法231

10.4.2同態加密算法233

10.4.3屬性加密算法234

10.4.4雲授權管理和訪問控制235

10.5HDFS透明加密的配置235

10.5.1透明加密概述235

10.5.2KMS配置237

習題239附錄A實驗240

實驗1: 安裝Ubuntu 16.04並上傳文件到虛擬機240

實驗2: Linux操作命令240

實驗3: Docker的安裝和基本操作241

實驗4: Dockerfile和Docker Compose的使用241

實驗5: Hadoop單機模式的安裝241

實驗6: Hadoop偽分布式模式的安裝242

實驗7: 編譯和運行MapReduce程序242

實驗8: Hadoop完全分布式模式的安裝243

實驗9: HBase的安裝和使用243參考文獻244