Doris實時數據倉庫理論與實戰

吳百豹，從事大數據研發多年，負責項目需求分析，平臺搭建，業務開發流程設計，項目整體管理把控等工作。精通Hadoop、Spark、Flink等大數據技術棧各類技術實戰應用，精通大數據離線、實時數倉架構、中臺方法論及實戰設計，對分佈式集群技術選型、離線、實時處理場景架構設計、機器學習算法有深入研究。主導開發國家水資源大數據平臺、中國銀行風控數據中心等大型國家級項目。
 

第1章初識Doris
1.1 Doris概述
1.2 Doris的應用情境
1.2.1 報表分析
1.2.2 即席查詢（Ad-Hoc Query）
1.2.3 統一數倉建構
1.2.4 資料湖聯邦查詢
1.3 Doris的架構原理
1.4 Doris的特色
1.4.1 支援標準SQL接口
1.4.2 列式儲存引擎
1.4.3 支援豐富的索引結構
1.4.4 支援多下冊種儲存模型
1.4.5 支援物化視圖
1.4.6 MPP架構設計
1.4.7支援向量化查詢引擎
1.4.8 動態調整執行計劃
1.4.9 採用CBO和RBO查詢優化器
1.5 Doris部署
1.5.1 開發測試環境/生產配置建議
1.5.2 Broker部署介紹
1.5.3 作業系統安裝需求
1.5. 4 網絡需求
1.6 Doris分散部署
1.6.1 Doris下載
1.6.2 節點劃分
1.6.3 節點配置
1.6.4 FE部署與啟動
1.6.5 FE擴縮容
1.6.6 BE部署及啟動
1.6.7 BE擴縮容容
1.6.8 Broker部署（可選）
1.6.9 Doris群集啟動停止腳本
第2章Doris資料表設計
2.1 Doris簡單使用
2.1.1 建立使用者
2.1.2 建立數據庫
2.1.3 帳號賦權
2.1.4 建立資料表
2.1.5 查詢資料表
2.2 DOH's基礎
2.2.1 建表語法及參數解釋
2.2.2 資料類型
2.3 資料儲存模型基礎
2.3.1 Aggregate資料儲存模型
2.3.2 Unique資料儲存模型
2.3.3 Duplicate資料儲存模型
2.3.4 聚合模型的限制
213.5 資料模型的選擇建議
2.4 列定義建議
2.5 分區與分桶基礎
2.5.1 分區
2.5.2 分桶
2.5.3 複合分區使用情境
2.6 Properties配置項目
2.7 關於ENGINE
2.8 Doris索引
2.8.1 前綴索引
2.8.2 Bitmap索引
2.8.3 Bloom Filter索引
2.9 Rollup物化索引
2.9.1 Rollup物化索引的建立與操作
2.9.2 Rollup物化索引的作用
第3章Doris資料導入
3.1 Insert Into
3.1.1語法及參數
3.1.2 案例
3.2 Binlog Load
3.2.1 基本原理
3.2.2 canal原理與配置
3.2.3 Doris同步MySQL資料案例
3.2.4 註意事項
3.3 Broker Load
3.3.1 基本原理
3.3.2 Broker Load 語法
3.3 .3 案例
3.3.4 註意事項
3.4 HDFS Load
3.5 Spark Load
3.5.1 基本原理
3.5.2 Spark集群搭建
3.5.3 Doris配置Spark與Yam
3.5.4 Doris創建Spark Resource
3.5.5 Spark Load語法和結果
3.5. 6 Spark Load導入HDFS資料
3.5.7 使用Spark Load導入Hive資料
3.5.8 註意事項
3.6 Routine Load
3.6.1 Routine Load語法
3.6.2 嚴格模式
3.6.3 案例
3.6.4 註意事項
3.7 Stream Load
3.7.1 基本原理
3.7.2 語法與結果
3.7.3 開啟Steam Load記錄
3.7.4 案例
3.7.5 註意事項
3.8 透過外部表同步資料到Doris
3.9 總結
第4章Doris資料匯出及資料管理
4.1 Export匯出
4.1.1 匯出原理
4.1.2 Export語法與結果
4.1.3 Doris資料匯出至HDFS案例
4.1.4 註意事項
4.2 Select…into outfile匯出
4.2.1 Select…into outfile語法與結果
4.2 .2 Doris資料匯出至HDFS案例
4.2.3 Doris資料匯出至本機案例
4.2.4 註意事項
4.3 MySQL dump匯出
4.3.1 dump匯出案例
4.3.2 註意事項
4.4 BACKUP資料備份
4.4.1 BACKUP原理
4.4.2 BACKUP語法
4.4.3 BACKUP資料備份案例
4.4.4 註意事項
4.5 RESTORE資料復原
4.5.1 RESTORE資料復原原理
4.5.2 RESTORE資料復原語法
4.5.3 RESTORE資料復原案例
4.5.4 註意事項
4.6 RECOVER資料刪除復原
4.6. 1 RECOVER語法
4.6.2 資料復原案例
第5章Doris資料更新與刪除
5.1 Update資料更新
5.1.1 Update原理
5.1.2 Update資料更新案例
5.1.3 Update使用註意事項
5.2 Delete資料刪除
5.2.1 Delete語法
5.2 .2 Delete刪除回傳結果
5.2.3 Delete刪除案例
5.2.4 Delete相關配置
5.3 Sequence列
5.3.1 基本原理
5.3.2 使用語法
5.3.3 Sequence列使用案例
5.4 批次刪除
5.4.1 批次刪除原理
5.4.2批次刪除案例
第6章Doris進階
6.1 表結構變更
6.1.1 Schema Change
6.1.2 取代表
6.2 動態分區
6.2.1 動態分區使用及參數
6.2.2 建立歷史分區規則
6.2.3 動態分區案例
6.2.4檢視動態分區表調度
6.2.5 動態分區註意點
6.3 資料快取
6.3.1 SQLCache
6.3.2 PartitionCache
6.3.3 快取使用方式
6.3.4 最佳化參數