大數據科技與應用

序一
序二
前言
第1 章　大數據時代的形成與發展/ 001
1.1　大數據發展歷程/ 001
1.1.1　大數據的起源/ 001
1.1.2　全球大數據發展歷程/ 001
1.1.3　我國大數據發展歷程/ 002
1.2　大數據的定義與徵/ 003
1.2.1　什麼是資料/ 003
1.2.2　大數據的定義/ 004
1.2.3　大數據的單位/ 005
1.2.4　大數據的5 V 徵/ 005
1.3　大數據技術/ 006
1.3.1　大數據關鍵技術/ 006
1.3.2　大數據技術體系分析/ 007
1.3.3　大數據技術細分領域/ 009
1.4　大數據政策及法規/ 010
1.4.1　國外的大數據政策及法規/ 010
1.4.2　我國的大數據政策及法規/ 014
第2 章　大數據核心發展理念/ 018
2.1　大數據新發展觀/ 018
2.1.1　大數據理論組成/ 018
2.1.2　資料的資源屬性/ 019
2.1.3　資料生產要素/ 021
2.1.4　資料要素值化/ 022
2.1.5　資料要素值實現途徑/ 023
2.2　數位經濟/ 025
2.2.1　資料成為數位經濟時代關鍵生產要素/ 025
2.2.2　數位經濟的發展歷程/ 025
2.2.3　數位經濟的概念與徵/ 026
2.2.4　數位經濟新業態、新模式/ 031
2.2.5　數位轉型與數位經濟/ 033
2.3　資料要素/ 035
2.3.1　資料治理與資料治理/ 035
2.3.2　數位治理體系與數位規則/ 037
2.3.3　依法數位治理/ 040
2.3.4　數位經濟治理/ 040
2.3.5　數位治理與數位轉型/ 041
2.4　資料基礎設施/ 042
2.4.1　算力新基建/ 042
2.4.2　資料新型基礎設施/ 045
2.4.3　「東數西算」打造資料基礎設施/ 047
第3 章　大數據儲存/ 050
3.1　儲存技術基礎/ 050
3.1.1　資料儲存發展史/ 050
3.1.2　儲存系統的類型/ 051
3.1.3　儲存架構/ 053
3.1.4　高速儲存技術/ 054
3.2　大數據儲存架構及技術/ 056
3.2.1　分散式儲存/ 056
3.2.2　分散式儲存架構/ 057
3.2.3　Google 分散式儲存系統GFS / 059
3.2.4　大數據平台Hadoop 儲存系統HDFS / 060
3.3　儲存技術發展趨勢/ 063
3.3.1　軟體定義儲存/ 064
3.3.2　融合基礎架構/ 067
3.3.3　下一代儲存關鍵技術演進/ 068
3.4　資料儲存技術賦能社會經濟數位轉型/ 071
3.4.1　異質資料管理加速資料湖/ 071
3.4.2　多級儲存媒體輔助即時分析建置/ 072
3.4.3　雲端儲存備份簡化資料實踐路徑/ 073
第4 章　大數據計算/ 074
4.1　大數據計算技術/ 074
4.1.1　資料計算技術發展歷程/ 074
4.1.2　大規模分散式計算/ 076
4.2　大數據計算主流技術/ 077
4.2.1　大數據計算模式/ 077
4.2.2　批次計算MapReduce / 078
4.2.3　記憶體計算Spark / 080
4.2.4　流計算Flink / 081
4.2.5　其他計算模型/ 083
4.3　算力重建大數據計算/ 083
4.3.1　資料處理單元/ 084
4.3.2　算存一體/ 085
4.3.3　算網一體/ 088
4.3.4　智算中心/ 090
4.4　隱私計算/ 091
4.4.1　隱私計算介紹/ 091
4.4.2　隱私運算架構/ 092
4.4.3　隱私計算關鍵技術/ 094
第5 章　大數據管理/ 095
5.1　大數據管理技術/ 095
5.1.1　大資料結構類型/ 095
5.1.2　CAP 定理/ 097
5.1.3　資料管理系統/ 098
5.2　資料庫/ 099
5.2.1　資料庫的發展歷程/ 099
5.2.2　資料庫管理系統架構/ 103
5.2.3　資料庫關鍵技術/ 103
5.3　非關係型資料庫/ 105
5.3.1　NoSQL 基本原理/ 106
5.3.2　NoSQL 關鍵技術/ 106
5.3.3　NoSQL 的資料庫類型/ 109
第6 章　大數據與治理/ 114
6.1　資料與治理/ 114
6.1.1　資訊/ 114
6.1.2　網路/ 115
6.1.3　資料/ 117
6.1.4　資料治理/ 118
6.2　大數據/ 120
6.2.1　大數據技術/ 120
6.2.2　大數據平台/ 121
6.2.3　大數據技術/ 122
6.2.4　隱私護/ 123
6.3　大數據護/ 124
6.3.1　大資料護目標/ 124
6.3.2　大數據護理觀念/ 125
6.3.3　大資料護框架/ 126
6.3.4　大資料護體系/ 128
6.4　大數據關鍵技術/ 129
6.4.1　風險識別/ 130
6.4.2　護/ 130
6.4.3　檢測/ 132
6.4.4　響應/ 133
6.4.5　恢復/ 134
6.4.6　反制/ 134
6.5　大數據治理/ 135
6.5.1　資料治理的概念/ 135
6.5.2　資料治理的內容/ 136
6.5.3　資料治理實務過程/ 142
第7 章　大數據資產管理與流通/ 149
7.1　資料與資產/ 149
7.1.1　資產與無形資產/ 149
7.1.2　資料值表現形式/ 150
7.1.3　資料資產概念/ 150
7.1.4　資料資產徵與屬性/ 153
7.2　大數據資產管理/ 154
7.2.1　資料資產管理發展歷程/ 154
7.2.2　大數據資產與管理/ 155
7.2.3　大數據資產管理困難/ 157
7.2.4　大數據資產管理發展趨勢/ 158
7.3　大數據資產管理體系/ 161
7.3.1　大數據資產管理體系構成/ 161
7.3.2　大數據資產管理活動/ 162
7.3.3　大數據資產管理法則/ 163
7.3.4　大數據資產營運支援體系/ 166
7.4　大數據資產流通/ 169
7.4.1　資料要素流通/ 169
7.4.2　資料要素市場/ 171
7.4.3　資料確權/ 172
7.4.4　資料評估/ 173
7.4.5　資料交易/ 175
7.4.6　大數據資產流通挑戰與發展/ 176
第8 章　大數據分析/ 178
8.1　大數據分析基本概念/ 178
8.1.1　資料分析與挖掘/ 178
8.1.2　什麼是大數據分析/ 180
8.1.3　大數據分析與機器學/ 181
8.1.4　大數據分析與資料科學典範/ 182
8.2　大數據分析流程與架構/ 183
8.2.1　大數據分析流程/ 184
8.2.2　業務理解/ 185
8.2.3　資料理解/ 186
8.2.4　資料準備/ 187
8.2.5　資料建模/ 188
8.2.6　模型驗證與評估/ 190
8.2.7　模型署/ 192
8.3　大資料分析模型與分析方法/ 193
8.3.1　資料清洗與資料探索/ 194
8.3.2　分類與迴歸/ 200
8.3.3　聚類分析/ 202
8.3.4　關聯分析/ 203
8.3.5　時間序列分析/ 204
8.4　大數據分析關鍵技術/ 205
8.4.1　資料標註/ 205
8.4.2　大數據視覺化技術/ 206
8.4.3　時序模式分析技術/ 206
8.4.4　多源資料融合技術/ 206
8.5　大數據分析典型應用/ 207
8.5.1　自然語言處理/ 207
8.5.2　AI 大模型/ 208
8.5.3　生成式人工智慧/ 210
8.5.4　知識圖譜/ 212
第9 章　大數據平台/ 213
9.1　大數據平台發展歷程/ 213
9.1.1　資料平台的變遷/ 213
9.1.2　什麼是大數據平台/ 214
9.1.3　大數據平台的發展/ 215
9.2　湖倉一體技術/ 217
9.2.1　資料倉儲/ 217
9.2.2　資料湖/ 217
9.2.3　湖倉一體化/ 219
9.3　資料中台/ 220
9.3.1　資料中台的概念/ 220
9.3.2　資料中台建置條件/ 222
9.3.3　資料中台核心/ 223
9.3.4　大數據與資料湖、資料中台的差異/ 224
9.4　典型開源大數據平台/ 224
9.4.1　大數據平台核心功能/ 225
9.4.2　開源大數據平台Hadoop系統架構/ 225
9.4.3　城市大數據平台/ 228
第10 章　大數據產業與應用/ 232
10.1　大數據產業/ 232
10.1.1　大數據產業基本概念/ 232
10.1.2　大數據產業組成/ 233
10.1.3　大數據產業現況/ 234
10.2　大數據產業商業模式/ 236
10.2.1　大數據產業鏈/ 236
10.2.2　大數據商業模式/ 237
10.3　大數據應用/ 238
10.3.1　資料應用發展歷程/ 238
10.3.2　大數據應用賦能新質生產力/ 239
10.3.3　大數據應用現況/ 243
10.3.4　大數據應用的困難與挑戰/ 244
10.3.5　大數據與實體經濟融合應用/ 244
10.4　大數據應用案例/ 245
10.4.1　產業大數據/ 245
10.4.2　地球大數據/ 246
10.4.3　工業大數據/ 249
參考文獻/ 258