Kafka 基礎架構與設計

智酷道捷是中關村智酷雙創人才服務股份有限公司下屬高科技教育企業。
旨在打造“產、學、研、用”雙創一體化深度融合的智能化泛IT產教綜合服務平臺。
是一家專註於面向高校提供“產、學、研、用”一體化雙創實踐性教學解決方案，面向高新技術職業技能持續培育的創新型科技教育企業。
公司專註於前沿技術——基於雲計算、大數據、以及智能化控制等高新技術開發的全新資源與服務平臺。
公司借鑒發達國家先進的技術應用教學經驗並結合中國國情，創新提出“雙創雙元、雙元雙通”理論模型，
通過“工程實踐中心”這一創新載體，整合高校教育與產業實踐應用，基於雲平臺的大數據反饋和自適應機制，
打造形成以產業應用需求為引#領，以崗位技能能力圖表為核心線索的智能化課程研發體系，
將產業應用需求、高校教育過程以及課程研發機制、產教協同育人進行一體化聯動和融合，
實現雙創實踐性應用人才智能化、生態化、個性化、本地化培育，為地方企業和高校提供優質的實踐性課程與人才服務。

第1章 Kafka入門與基礎
1.1 Kafka初識
1.1.1 Kafka的官方解釋
1.1.2 Kafka的整體架構
1.1.3 消息系統
1.1.4 常見的消息系統
1.1.5 Kafka的設計理念
1.1.6 Kafka的設計要點
1.1.7 Kafka的應用場景
1.2 Kafka的基本術語
1.2.1 Kafka的主要術語
1.2.2 Kafka的第一類基本術語
1.2.3 Kafka的第二類基本術語
1.3 Kafka的安裝與部署
1.3.1 Kafka的環境準備
1.3.2 Kafka在Linux上的安裝
1.3.3 Kafka集群安裝的操作步驟
1.4 Kafka的集群規劃
1.4.1 Kafka的集群考慮
1.4.2 Kafka服務端的主要參數
小結
習題
第2章 Kafka的生產者
2.1 Kafka生產者初識
2.1.1 主題的基本操作
2.1.2 Kafka發送消息的流程
2.1.3 Kafka的內部流程
2.1.4 生產者的基本操作
2.2 生產者的基本開發
2.2.1 Kafka生產者客戶端支持的語言
2.2.2 Kafka生產者的開發流程
2.2.3 Kafka生產者分區策略
2.3 生產者發送消息的方式
2.3.1 Kafka消息發送的方式
2.3.2 Kafka的異常
2.3.3 Kafka的生產者重要配置
2.4 生產者的多線程開發
2.4.1 Kafka的多線程使用場景
2.4.2 Kafka的多線程開發方式
小結
習題
第3章 Kafka的消費者
3.1 生產者的自定義組件
3.1.1 消息的發送流程
3.1.2 Kafka的自定義組件開發
3.2 Kafka消費者初識
3.2.1 Kafka消費者概述
3.2.2 消費者與分區的關系
3.2.3 消費者的基本操作
3.2.4 消費者offset
3.3 消費者開發入門
3.4 消費者的自定義組件
小結
習題
第4章 深入Kafka消費者
4.1 序列化和反序列化
4.1.1 認識Protobuf
4.1.2 Protobuf的安裝和序列化方法
4.1.3 Protobuf開發序列化和反序列化器
4.2 Kafka自動提交
4.2.1 Kafka的位移提交以及版本存在的問題
4.2.2 Kafka的消息重覆和消息丟失
4.2.3 Kafka消費的位移管理
4.2.4 Kafka的位移提交方式
4.3 Kafka手動提交
4.3.1 Kafka的手動提交方式和參數
4.3.2 Kafka的同步提交
4.3.3 同步提交和異步提交的差異
4.3.4 Kafka的異步提交
4.4 Kafka控制消費者
小結
習題
第5章 Kafka的再均衡與分區分配
5.1 Kafka特定位移消費
5.1.1 Kafka的消費者位移重置
5.1.2 Kafka的指定偏移量開發流程
5.2 Kafka的再均衡
5.2.1 Kafka的再均衡和觸發條件
5.2.2 Kafka再均衡的generation和監聽器
5.3 Kafka的分區策略
5.3.1 Kafka的分區分配策略
5.3.2 Kafka的RangAssignor
5.3.3 Kafka的RoundRobinAssignor
5.3.4 Kafka的StickyAssignor
5.3.5 Kafka的自定義分區策略
小結
習題
第6章 Kafka的日誌與事務
6.1 Kafka日誌存儲
6.1.1 Kafka的日誌
6.1.2 Kafka的日誌格式
6.1.3 日誌文件的存儲關系
6.1.4 Kafka的日誌回滾
6.1.5 Kafka的日誌查找
6.1.6 Kafka的日誌清理
6.2 Kafka的可靠性
6.2.1 Kafka的可靠性機制
6.2.2 LEO和HW的更新機制
6.2.3 Kafka的HW與LEO更新流程
6.3 Kafka的冪等性
6.3.1 Kafka的消息語義
6.3.2 Kafka的冪等性原理
6.4 Kafka的事務
6.4.1 Kafka的事務概念
6.4.2 生產者和消費者並存的事務場景
小結
習題
第7章 Spark基礎
7.1 Spark基礎知識
7.1.1 Spark應用
7.1.2 Spark的核心抽象
7.1.3 Spark的核心抽象與各組件關系
7.1.4 理解RDD編程
7.1.5 Spark的術語
7.1.6 Spark的運行原理
7.1.7 WordCount任務劃分
7.1.8 Spark的運行架構
7.1.9 Spark的下載
7.1.10 Spark的源碼編譯
7.2 SparkStreaming
7.2.1 SparkStreaming基礎
7.2.2 Scala連接MySQL
小結
習題
第8章 Kafka與Spark的集成及應用
8.1 Kafka集成sparkStreaming
8.1.1 Kafka與SparkStreaming的集成方式
8.1.2 SparkStreaming獲取Kafka數據的方式
8.1.3 SparkStreaming與Kafka的集成
8.2 Kafka集成StructStreaming
8.2.1 StructStreaming和SparkStreaming的對比
8.2.2 stmctstreaming基於sparksql引擎
8.2.3 StmctStreaming編程模型
8.2.4 Micro Batch和Continuous Processing
8.2.5 StmctStreaming基礎
8.2.6 StructStreaming的Output Modes
8.2.7 StructStreaming與Kafka
小結
習題
練一練參考答案
習題參考答案