精通 Hadoop 3

目    錄

第1部分  Hadoop 3簡介

第1章  Hadoop 3簡介 3

1.1  Hadoop起源和時間軸 3

1.1.1  Hadoop的起源 4

1.1.2  時間軸 5

1.2  Hadoop 3及其特性 7

1.3  Hadoop邏輯視圖 8

1.4  Hadoop發行版本 10

1.4.1  本地版本 11

1.4.2  雲版本 11

1.5  回顧 12

1.6  本章小結 12

第2章  深入理解Hadoop分佈式文件系統 13

2.1  技術需求 13

2.2  定義HDFS 13

2.3  深入研究HDFS體系結構 14

2.3.1  HDFS邏輯結構 15

2.3.2  數據分組的概念 18

2.3.3  HDFS通信體系結構 19

2.4  NameNode內部機制 21

2.5  數據本地性和機架感知 22

2.6  DataNode內部機制 24

2.7  Quorum Journal Manager（QJM） 25

2.8  Hadoop 3.x中的高可用性 26

2.9  數據管理 27

2.9.1  元數據管理 28

2.9.2  使用二級NameNode的檢查點 31

2.9.3  數據集成 32

2.9.4  HDFS快照 32

2.9.5  數據平衡機制 33

2.9.6  均衡器的最佳應用方案 35

2.10  HDFS寫入、讀取操作 36

2.10.1  寫入工作流 36

2.10.2  讀取工作流 38

2.10.3  短路讀取 40

2.11  管理Hadoop 3.x中的磁盤傾斜數據 41

2.12  HDFS中的延遲持久化寫入操作 42

2.13  Hadoop 3.x中的糾刪碼 43

2.13.1  糾刪碼的優點 45

2.13.2  糾刪碼的缺點 45

2.14  HDFS公共接口 45

2.14.1  HDFS讀取操作 46

2.14.2  HDFS寫入操作 48

2.14.3  HDFSFileSystemWrite.java文件 49

2.14.4  HDFS刪除操作 50

2.15  HDFS命令參考 50

2.15.1  文件系統命令 50

2.15.2  分佈式復制 52

2.15.3  管理命令 53

2.16  回顧 54

2.17  本章小結 54

第3章  YARN資源管理器 55

3.1  YARN體系結構 55

3.1.1  資源管理器組件 58

3.1.2  節點管理器核心 60

3.2  YARN作業調度機制簡介 60

3.3  FIFO調度器 61

3.4  計算能力調度器 61

3.5  公平調度器 63

3.5.1  調度隊列 63

3.5.2  配置公平調度器 64

3.6  資源管理器的高可用性 65

3.6.1  資源管理器高可用性的體系結構 66

3.6.2  配置資源管理器高可用性 67

3.7  節點標記 69

3.8  Hadoop 3.x中的YARN時間軸服務器 75

3.9  Hadoop 3.x中的機會型容器 77

3.10  YARN中的Docker容器 79

3.10.1  配置Docker容器 80

3.10.2  運行Docker鏡像 80

3.10.3  運行容器 80

3.11  YARN REST API 81

3.11.1  資源管理API 81

3.11.2  節點管理器REST API 85

3.12  YARN命令參考 86

3.12.1  用戶命令 87

3.12.2  應用程序命令 87

3.12.3  日誌命令 88

3.12.4  管理員命令 89

3.13  本章小結 90

第4章  MapReduce內部機制 91

4.1  技術需求 91

4.2  深入瞭解Hadoop MapReduce框架 91

4.3  YARN和MapReduce 95

4.4  Hadoop框架中的MapReduce工作流 97

4.5  常見的MapReduce模式 100

4.5.1  求和模式 100

4.5.2  過濾模式 112

4.5.3  連接模式 116

4.5.4  復合連接 123

4.6  MapReduce用例 126

4.6.1  MovieRatingMapper 127

4.6.2  MovieRatingReducer 128

4.6.3  MovieRatingDriver 128

4.7  優化MapReduce 130

4.7.1  硬件配置 130

4.7.2  操作系統調試 131

4.7.3  優化技術 132

4.7.4  運行期配置 133

4.7.5  文件系統優化 133

4.8  本章小結 134

第2部分  Hadoop生態圈

第5章  Hadoop中的SQL 137

5.1  技術需求 137

5.2  Presto 137

5.2.1  Presto體系結構 138

5.2.2  安裝Presto並執行基本的查詢操作 139

5.2.3  函數 142

5.2.4  Presto連接器 144

5.3  Hive 147

5.3.1  Apache Hive體系結構 148

5.3.2  安裝和運行Hive 149

5.3.3  Hive查詢 150

5.3.4  選擇文件格式 154

5.3.5  HCatalog簡介 156

5.3.6  HiveServer2簡介 157

5.3.7  Hive UDF 157

5.3.8  理解Hive中的ACID 161

5.3.9  分區機制和分桶機制 166

5.3.10  最佳實踐 167

5.4  Impala 168

5.4.1  Impala體系結構 168

5.4.2  瞭解Impala接口和查詢 170

5.4.3  Impala實戰 171

5.4.4  加載CSV文件中的數據 173

5.4.5  最佳實踐方案 175

5.5  本章小結 176

第6章  實時處理引擎 177

6.1  技術需求 177

6.2  Spark 177

6.2.1  Apache Spark內部機制 178

6.2.2  彈性分佈式數據集 180

6.2.3  安裝並運行第一個Spark作業 182

6.2.4  累加器和廣播變量 188

6.2.5  理解數據框和數據集 189

6.2.6  Spark集群管理器 192

6.2.7  最佳實踐 193

6.3  Apache Flink 195

6.3.1  Flink體系結構 195

6.3.2  Apache Flink生態圈組件 196

6.3.3  數據流和數據集API 198

6.3.4  表API 201

6.3.5  最佳實踐 203

6.4  Storm/Heron 204

6.4.1  Storm/Heron體系結構 205

6.4.2  理解Storm Trident 210

6.4.3  Storm集成 211

6.4.4  最佳實踐 212

6.5  本章小結 212

第7章  Hadoop生態圈組件 213

7.1  技術需求 213

7.2  Pig 213

7.2.1  Apache Pig體系結構 214

7.2.2  安裝並運行Pig 216

7.2.3  Pig Latin和Grunt 217

7.2.4  編寫Pig中的UDF 218

7.2.5  Pig和Hive 221

7.2.6  最佳實踐 222

7.3  HBase 222

7.3.1  HBase體系結構及其概念 223

7.3.2  CAP理論 225

7.3.3  HBase操作機器示例 227

7.3.4  安裝 230

7.3.5  最佳實踐 232

7.4  Kafka 233

7.4.1  Apache Kafka體系結構 234

7.4.2  安裝和運行Apache Kafka 236

7.4.3  生產者和使用者的內部機制 238

7.4.4  編寫生產者和使用者應用程序 241

7.4.5  Kafka的ETL連接 244

7.4.6  最佳實踐 248

7.5  Flume 249

7.5.1  Apache Flume體系結構 249

7.5.2  深入理解源、通道和接收器 251

7.5.3  Flume攔截器 265

7.5.4  用例—Twitter數據 271

7.5.5  最佳實踐 273

7.6  本章小結 274

第3部分  Hadoop的實際應用

第8章  定義Hadoop中的應用程序 277

8.1  技術需求 277

8.2  文件格式 277

8.2.1  瞭解文件格式 278

8.2.2  文本 279

8.2.3  序列文件 279

8.2.4  Avro 282

8.2.5  優化的行和列（ORC） 284

8.2.6  Parquet 285

8.3  數據壓縮 285

8.3.1  Hadoop中的數據壓縮類型 286

8.3.2  壓縮格式 289

8.4  序列化 290

8.5  數據攝取 290

8.5.1  批量攝取 291

8.5.2  宏批處理攝取 292

8.5.3  實時攝取 293

8.6  數據處理 294

8.6.1  批處理 294

8.6.2  微批處理 296

8.6.3  實時處理 297

8.7  常見的批處理模式 298

8.7.1  緩時變維度 298

8.7.2  重復記錄和小型文件 300

8.7.3  實時查找 301

8.8  針對編排的Airflow 302

8.9  數據治理 303

8.9.1  數據治理的主要內容 303

8.9.2  元數據管理 304

8.9.3  數據生命周期管理 305

8.9.4  數據分類 306

8.10  本章小結 307

第9章  Hadoop中的實時流處理 309

9.1  技術需求 309

9.2  流式數據集 309

9.3  流數據攝取 310

9.3.1  Flume中基於事件的數據攝取 310

9.3.2  Kafka 311

9.4  常見的流數據處理模式 313

9.5  流式設計 314

9.5.1  延遲 315

9.5.2  數據可用性、一致性和安全性 315

9.5.3  無界數據源 316

9.5.4  數據查找 316

9.5.5  數據格式 317

9.5.6  序列化數據 317

9.5.7  並行處理機制 317

9.5.8  無序事件 318

9.5.9  消息傳遞語義 318

9.6  微批處理用例 319

9.7  實時處理案例 328

9.7.1  主代碼 333

9.7.2  執行代碼 344

9.8  本章小結 345

第10章  Hadoop中的機器學習 347

10.1  技術需求 347

10.2  機器學習步驟 347

10.3  常見的機器學習挑戰 348

10.4  Spark機器學習 349

10.4.1  轉換器函數 350

10.4.2  評估器 351

10.4.3  Spark ML管線 351

10.5  Hadoop和R 352

10.6  Mahout 353

10.7  Spark中的機器學習案例 354

10.8  本章小結 358

第11章  雲端中的Hadoop 359

11.1  技術需求 359

11.2  雲端Hadoop的邏輯視圖 359

11.3  網絡 361

11.3.1  區域和可用區 361

11.3.2  VPC和子網 362

11.3.3  安全組和防火牆規則 363

11.3.4  AWS操作示例 364

11.4  管理資源 370

11.5  數據管線 374

11.5.1  Amazon數據管線 375

11.5.2  Airflow 375

11.5.3  Airflow組件 376

11.5.4  數據管線的DAG示例 376

11.6  高可用性（HA） 379

11.6.1  服務器故障 379

11.6.2  雲存儲高可用性 381

11.7  本章小結 382

第12章  Hadoop集群分析 383

12.1  基準測試和分析簡介 383

12.2  HDFS 385

12.3  NameNode 386

12.3.1  NNBench 386

12.3.2  NNThroughputBenchmark 387

12.3.3  合成加載生成器 389

12.4  YARN 392

12.5  Hive 393

12.5.1  TPC-DS 393

12.5.2  TPC-H 394

12.6  混合工作負載 395

12.6.1  Rumen 395

12.6.2  Gridmix 396

12.7  本章小結 397

第4部分  Hadoop的安全機制

第13章  Hadoop中的角色及其執行內容 401

13.1  Hadoop安全問題的各種因素 401

13.2  系統安全 402

13.3  Kerberos驗證機制 403

13.3.1  Kerberos的優點 404

13.3.2  Kerberos驗證流 404

13.4  用戶權限 406

13.4.1  Ranger 407

13.4.2  Sentry 408

13.5  Hadoop 3.0中的安全特徵列表 409

13.6  本章小結 411

第14章  網絡和數據安全 413

14.1  Hadoop網絡安全 413

14.1.1  隔離不同類型的網絡 413

14.1.2  網絡防火牆 415

14.1.3  Hadoop服務的網絡邊界安全工具 415

14.2  加密技術 417

14.2.1  傳輸數據加密 417

14.2.2  靜態數據加密 418

14.3  數據屏蔽機制 419

14.4  過濾機制 420

14.4.1  行級別過濾機制 420

14.4.2  列級別過濾機制 421

14.5  本章小結 421

第15章  監測Hadoop 423

15.1  通用監測機制 423

15.1.1  HDFS指標 423

15.1.2  YARN指標 425

15.1.3  ZooKeeper指標 426

15.1.4  Apache Ambari 426

15.2  安全監測機制 427

15.2.1  安全信息和事件管理 427

15.2.2  SIEM的工作方式 428

15.2.3  入侵檢測系統 429

15.2.4  入侵預防系統 430

15.3  本章小結 430