Doris實時數據倉庫理論與實戰
吳百豹
買這商品的人也買了...
相關主題
商品描述
本書系統性地介紹了Doris的核心概念、架構原理和各項功能。
全書共7章。第1章對Doris做了初步介紹。
第2章重點介紹了Doris的資料表設計。
第3章聚焦於Doris的資料導入。
第4章介紹了Doris的資料匯出與資料管理。
第5章討論了Doris中的資料更新和刪除操作。
第6章將讀者帶入Doris的進階使用領域。
第7章展示了Doris的生態擴展。
透過本書的學習,讀者可以全面且深入地瞭解運用Doris建構高效、
可擴展、即時資料倉庫系統的方法,從理論到實踐,從基礎到進階。
本書適用於Doris開發人員和資料工程師,或有志從事資料倉庫開發的技術人員。
目錄大綱
第1章初識Doris
1.1 Doris概述
1.2 Doris的應用情境
1.2.1 報表分析
1.2.2 即席查詢(Ad-Hoc Query)
1.2.3 統一數倉建構
1.2.4 資料湖聯邦查詢
1.3 Doris的架構原理
1.4 Doris的特色
1.4.1 支援標準SQL接口
1.4.2 列式儲存引擎
1.4.3 支援豐富的索引結構
1.4.4 支援多下冊種儲存模型
1.4.5 支援物化視圖
1.4.6 MPP架構設計
1.4.7支援向量化查詢引擎
1.4.8 動態調整執行計劃
1.4.9 採用CBO和RBO查詢優化器
1.5 Doris部署
1.5.1 開發測試環境/生產配置建議
1.5.2 Broker部署介紹
1.5.3 作業系統安裝需求
1.5. 4 網絡需求
1.6 Doris分散部署
1.6.1 Doris下載
1.6.2 節點劃分
1.6.3 節點配置
1.6.4 FE部署與啟動
1.6.5 FE擴縮容
1.6.6 BE部署及啟動
1.6.7 BE擴縮容容
1.6.8 Broker部署(可選)
1.6.9 Doris群集啟動停止腳本
第2章Doris資料表設計
2.1 Doris簡單使用
2.1.1 建立使用者
2.1.2 建立數據庫
2.1.3 帳號賦權
2.1.4 建立資料表
2.1.5 查詢資料表
2.2 DOH's基礎
2.2.1 建表語法及參數解釋
2.2.2 資料類型
2.3 資料儲存模型基礎
2.3.1 Aggregate資料儲存模型
2.3.2 Unique資料儲存模型
2.3.3 Duplicate資料儲存模型
2.3.4 聚合模型的限制
213.5 資料模型的選擇建議
2.4 列定義建議
2.5 分區與分桶基礎
2.5.1 分區
2.5.2 分桶
2.5.3 複合分區使用情境
2.6 Properties配置項目
2.7 關於ENGINE
2.8 Doris索引
2.8.1 前綴索引
2.8.2 Bitmap索引
2.8.3 Bloom Filter索引
2.9 Rollup物化索引
2.9.1 Rollup物化索引的建立與操作
2.9.2 Rollup物化索引的作用
第3章Doris資料導入
3.1 Insert Into
3.1.1語法及參數
3.1.2 案例
3.2 Binlog Load
3.2.1 基本原理
3.2.2 canal原理與配置
3.2.3 Doris同步MySQL資料案例
3.2.4 註意事項
3.3 Broker Load
3.3.1 基本原理
3.3.2 Broker Load 語法
3.3 .3 案例
3.3.4 註意事項
3.4 HDFS Load
3.5 Spark Load
3.5.1 基本原理
3.5.2 Spark集群搭建
3.5.3 Doris配置Spark與Yam
3.5.4 Doris創建Spark Resource
3.5.5 Spark Load語法和結果
3.5. 6 Spark Load導入HDFS資料
3.5.7 使用Spark Load導入Hive資料
3.5.8 註意事項
3.6 Routine Load
3.6.1 Routine Load語法
3.6.2 嚴格模式
3.6.3 案例
3.6.4 註意事項
3.7 Stream Load
3.7.1 基本原理
3.7.2 語法與結果
3.7.3 開啟Steam Load記錄
3.7.4 案例
3.7.5 註意事項
3.8 透過外部表同步資料到Doris
3.9 總結
第4章Doris資料匯出及資料管理
4.1 Export匯出
4.1.1 匯出原理
4.1.2 Export語法與結果
4.1.3 Doris資料匯出至HDFS案例
4.1.4 註意事項
4.2 Select…into outfile匯出
4.2.1 Select…into outfile語法與結果
4.2 .2 Doris資料匯出至HDFS案例
4.2.3 Doris資料匯出至本機案例
4.2.4 註意事項
4.3 MySQL dump匯出
4.3.1 dump匯出案例
4.3.2 註意事項
4.4 BACKUP資料備份
4.4.1 BACKUP原理
4.4.2 BACKUP語法
4.4.3 BACKUP資料備份案例
4.4.4 註意事項
4.5 RESTORE資料復原
4.5.1 RESTORE資料復原原理
4.5.2 RESTORE資料復原語法
4.5.3 RESTORE資料復原案例
4.5.4 註意事項
4.6 RECOVER資料刪除復原
4.6. 1 RECOVER語法
4.6.2 資料復原案例
第5章Doris資料更新與刪除
5.1 Update資料更新
5.1.1 Update原理
5.1.2 Update資料更新案例
5.1.3 Update使用註意事項
5.2 Delete資料刪除
5.2.1 Delete語法
5.2 .2 Delete刪除回傳結果
5.2.3 Delete刪除案例
5.2.4 Delete相關配置
5.3 Sequence列
5.3.1 基本原理
5.3.2 使用語法
5.3.3 Sequence列使用案例
5.4 批次刪除
5.4.1 批次刪除原理
5.4.2批次刪除案例
第6章Doris進階
6.1 表結構變更
6.1.1 Schema Change
6.1.2 取代表
6.2 動態分區
6.2.1 動態分區使用及參數
6.2.2 建立歷史分區規則
6.2.3 動態分區案例
6.2.4檢視動態分區表調度
6.2.5 動態分區註意點
6.3 資料快取
6.3.1 SQLCache
6.3.2 PartitionCache
6.3.3 快取使用方式
6.3.4 最佳化參數