數據思維與大數據基礎
陳華 柳毓松 阮宗利
- 出版商: 人民郵電
- 出版日期: 2025-09-01
- 售價: $359
- 語言: 簡體中文
- ISBN: 7115679762
- ISBN-13: 9787115679765
-
相關分類:
大數據 Big-data
下單後立即進貨 (約4週~6週)
商品描述
本書是面向大數據人才培養的高等學校數據科學與大數據技術專業系列教材中的一本，通過把數據思維融入全書各章，並通過 Python 實現相關案例，使抽象的數據思維具體化，從而加深讀者對數據的感性認識，提高讀者對數據思維的理解能力。本書首先介紹了大數據相關的概念，然後根據數據處理流程的邏輯順序，對大數據平臺和大數據開發進行了深入介紹。考慮到數據的價值化發展趨勢，本書也討論大數據倫理與法規、大數據與人工智能大模型和數據資產與交易流通等內容的討論。最後給出了基於競賽的大數據綜合案例實踐。另外，本書免費提供配套PPT、實驗及程序及其講解視頻等基本教學資料。
本書可作為理工類、經管類等專業學生學習大數據知識的基礎教材，也可供科技工作者參考。
作者簡介
陳華 青島市西海岸大數據智庫專家，全國高校人工智能與大數據創新聯盟理事，山東省大數據研究會理事，現任中國石油大學（華東）數據科學與統計系主任，數據科學與大數據技術專業負責人。目前主要從事地球物理數據處理與分析、多核計算、智能算法等方面的教學和科研工作。先後主持和參與國家自然科學基金、山東省自然科學基金等縱向課題8項和其它橫向課題10余項。在國內外期刊發表教學和科研論文30余篇，軟件著作權4項，教材4部。
目錄大綱
第1章 大數據概述 1
1.1 數據 1
1.2 大數據 5
1.3 大數據發展歷史 8
1.4 大數據研究內容 9
1.5 大數據應用場景與領域 11
第2章 大數據思維 15
2.1 數據科學 15
2.2 數據全生命周期管理 18
2.3 數據思維 26
2.4 數據範式 28
2.5 大數據思維 29
2.6 常見的大數據思維方式 29
2.7 案例 30
第3章 大數據平臺 34
3.1 大數據與雲計算關系 34
3.2 Hadoop平臺 34
3.2.1 Hadoop簡介 34
3.2.2 HDFS工作機制 36
3.2.3 HDFS命令 40
3.2.4 分布式並行計算框架MapReduce 40
3.3 Spark平臺 43
3.3.1 Spark 的核心組件 43
3.3.2 Spark工作機制 45
3.3.3 分布式計算模型與方式 46
3.3.4 Hadoop和Spark對比情況 48
第4章 大數據開發 50
4.1 大數據開發流程 50
4.2 需求分析 51
4.3 數據獲取 53
4.4 探索性數據分析 59
4.4.1 探索性數據分析概念 59
4.4.2 探索性數據分析理論與技術 59
4.4.3 青島空氣質量探索性數據分析 69
4.5 數據加工 77
4.5.1 數據加工的內容 77
4.5.2 數據清洗 78
4.5.3 數據轉換 85
4.5.4 數據整合 98
4.5.5 青島空氣質量數據加工 99
4.6 特征工程 103
4.6.1 特征工程定義 103
4.6.2 特征選擇 104
4.6.3 特征提取 108
4.6.4 特征創建 112
4.6.5 特征提取和特征選擇、特征創建之間的區別 112
4.6.6 數據不平衡問題 113
4.6.7 青島空氣質量特征處理 117
4.7 數據建模 124
4.7.1 數據分析 125
4.7.2 統計方法 126
4.7.3 機器學習方法 132
4.7.4 青島空氣數據建模 139
4.7.5 大作業 144
第5章 大數據倫理與法規 145
5.1 大數據倫理概念 145
5.2 大數據倫理產生原因 147
5.3 大數據倫理治理 153
5.4 大數據倫理案例：亞馬遜AI招聘工具性別歧視事件 157
5.5 大數據倫理案例：明確零工法律定位，規範平臺算法管理 161
第6章 大數據與人工智能大模型 166
6.1 人工智能大模型 166
6.2 人工智能大模型的核心技術與訓練方法 167
6.3 大數據與人工智能大模型的關系 170
6.4 大數據與人工智能大模型技術發展趨勢 171
6.5 人工智能大模型應用領域 172
第7章 數據資產與交易流通 177
7.1 國家政策 177
7.2 數據資產 179
7.3 數據確權 184
7.4 數據資產評估 187
7.5 數據交易 195
7.6 數據流通 196
7.7 可信數據空間 198
第8章 大數據綜合案例實踐 203
8.1 問題提出 203
8.2 數據處理 204
8.3 數據分析 213
8.4 天氣預測 218
附錄 225
參考文獻 233
