數據科學：理論、方法與Python語言實踐

谢健民，管理科学博士，西南科技大学经济管理学院副教授、硕士生导师，四川信息管理与服务中心主任。主要研究领域包括数据科学与大数据、工商管理、应急物流、多目标决策等。在国内外核心学术期刊和管理杂志上发表了数十篇学术论文，出版了《Excel数据分析》《电子商务概论》等多部著作。

第 1章　數據科學概述 1

【知識目標】　1

【本章導讀】　1

1.1　數據　1

1.1.1　數據的定義和分類　1

1.1.2　數據產生方式的變革　2

1.2　走進數據科學　3

1.2.1　數據科學的發展歷程　4

1.2.2　數據科學基礎　5

1.2.3　數據科學的知識結構　8

1.2.4　數據科學的工作流程　8

1.2.5　數據科學的成果　11

1.2.6　數據科學與大數據　11

1.3　數據科學管理與應用　12

1.3.1　運籌優化　12

1.3.2　管理決策　12

1.3.3　質量控制　13

1.3.4　商務智能　13

1.3.5　網絡管理　14

歸納與提高　14

知識鞏固與訓練　15

第　2章 數據科學關鍵技術分析　17

【知識目標】　17

【本章導讀】　17

2.1　數據採集技術　17

2.1.1　數據採集　17

2.1.2　數據採集相關技術　19

2.2　數據預處理技術　20

2.2.1　數據清洗　20

2.2.2　數據集成　22

2.3　數據分析技術　23

2.3.1　數據分析概述　23

2.3.2　數據分析的相關技術　24

2.4　數據可視化技術　25

2.4.1　數據可視化概述　26

2.4.2　數據可視化的相關技術　26

歸納與提高　27

知識鞏固與訓練　27

第3章　Python基礎　29

【知識目標】　29

【本章導讀】　29

3.1　Python簡介　29

3.1.1　Python語言概述　29

3.1.2　Python語言的優點和缺點　30

3.2　Python程序的開發與基本語法　31

3.2.1　程序開發的流程　31

3.2.2　程序編寫的基本方法　32

3.2.3　Python的輸入與輸出　32

3.2.4　Python的基本語法　34

3.2.5　變量與常量　35

3.2.6　標識符　37

3.3　Python的基本數據類型　38

3.3.1　數字類型　38

3.3.2　字符串類型　39

3.3.3　布爾類型　41

3.4　運算符與表達式　42

3.4.1　運算符　42

3.4.2　表達式　44

3.4.3　數據類型轉換　45

3.5　程序的控制結構　46

3.5.1　程序流程圖　46

3.5.2　程序的基本結構　47

3.5.3　分支結構　49

3.5.4　循環結構　51

歸納與提高　54

知識鞏固與訓練　54

第4章　函數、模塊與組合數據類型　57

【知識目標】　57

【本章導讀】　57

4.1　函數的定義和調用　57

4.1.1　函數的定義　57

4.1.2　函數的調用　58

4.1.3　函數的遞歸調用　59

4.1.4　lambda表達式　60

4.2　函數的參數傳遞　61

4.2.1　函數值傳遞和引用傳遞　61

4.2.2　參數的位置傳遞　62

4.2.3　參數的關鍵字傳遞　64

4.2.4　參數的默認值傳遞　64

4.3　內置函數　65

4.4　變量作用域　67

4.4.1　Python的局部變量　67

4.4.2　Python的全局變量　68

4.5　模塊　69

4.5.1　模塊的定義　69

4.5.2　導入模塊　69

4.5.3　自定義模塊　70

4.5.4　math模塊　71

4.6　組合數據類型與字符串　72

4.6.1　列表　73

4.6.2　元組　76

4.6.3　字典　78

4.6.4　集合　82

4.6.5　字符串　84

歸納與提高　88

知識鞏固與訓練　88

第5章　文件操作　92

【知識目標】　92

【本章導讀】　92

5.1　錯誤處理　92

5.1.1　錯誤　92

5.1.2　異常處理　94

5.2　文件讀寫　96

5.2.1　讀寫文本文件　96

5.2.2　讀寫csv文件　98

5.2.3　讀寫JSON文件　100

歸納與提高　101

知識鞏固與訓練　102

第6章　數據採集　104

【知識目標】　104

【本章導讀】　104

6.1　HTTP請求概述　104

6.1.1　HTTP和HTTPS　104

6.1.2　HTTP的工作原理　105

6.1.3　HTTP的請求與響應　105

6.2　HTML、DOM樹結構和XPath　109

6.2.1　HTML簡述　109

6.2.2　DOM樹結構　110

6.2.3　用XPath選擇HTML元素　110

6.3　Scrapy數據採集入門　113

6.3.1　安裝Scrapy　113

6.3.2　Scrapy框架結構　114

6.3.3　基礎Spider源碼解析　115

6.4　Scrapy實例　117

6.4.1　實例一　117

6.4.2　實例二　123

6.5　Scrapy應對反爬蟲程序　127

6.5.1　爬蟲的檢測方法　127

6.5.2　應對反爬蟲的對策　128

6.5.3　反爬蟲實例　128

歸納與提高　130

知識鞏固與訓練　131

第7章　numpy數值計算　132

【知識目標】　132

【本章導讀】　132

7.1　numpy數組概述　132

7.1.1　numpy數組的特點及屬性　132

7.1.2　創建numpy數組　134

7.1.3　numpy的數據類型及其轉換　135

7.2　數組形狀操作　136

7.2.1　利用reshape()函數改變數組維度　136

7.2.2　利用ravel()函數展平數組　137

7.2.3　利用flatten()函數橫向或縱向展平數組　137

7.2.4　利用hstack()、vstack()、concatenate()函數進行數組組合　137

7.2.5　利用hsplit()、vsplit()和split()函數進行數組分割　138

7.3　數組數據獲取：索引、切片、復制及條件　139

7.3.1　一維數組的索引及切片　139

7.3.2　多維數組的索引及切片　140

7.3.3　數組數據的復制　140

7.3.4　利用條件獲取數組數據　140

7.4　數組運算　141

7.4.1　常用的ufunc函數運算　141

7.4.2　ufunc函數的廣播機制　143

7.5　數組排序及統計分析　144

7.5.1　排序　144

7.5.2　去重與重復數據　145

7.5.3　常用的統計函數　146

7.6　矩陣創建及運算　147

7.6.1　創建矩陣　147

7.6.2　矩陣的基本運算　148

7.6.3　矩陣的轉置、共軛及逆矩陣　149

7.6.4　查看矩陣特徵　149

7.7　讀寫文件　150

7.7.1　文本數據讀寫函數savetxt()、loadtxt()、genfromtxt()　150

7.7.2　二進制文件讀寫函數save()及load()　151

歸納與提高　152

知識鞏固與訓練　152

第8章　數據處理：pandas統計分析　154

【知識目標】　154

【本章導讀】　154

8.1　pandas的數據結構　154

8.1.1　Series（數據序列）　155

8.1.2　DataFrame（數據框）　157

8.2　DataFrame的基礎操作　158

8.2.1　查看DataFrame的常用屬性　158

8.2.2　查看和修改DataFrame數據　159

8.3　讀/寫外部數據　164

8.3.1　讀/寫數據庫數據　164

8.3.2　讀/寫文本文件　166

8.3.3　讀/寫Excel文件　167

8.4　pandas的數據預處理　168

8.4.1　數據清洗　168

8.4.2　數據集成　173

8.4.3　數據排序　177

8.5　統計分析　178

8.5.1　描述性統計　178

8.5.2　分組聚合統計　180

8.6　時間類型及時間序列數據　182

8.6.1　轉換字符串時間為標準時間　182

8.6.2　提取時間數據信息　183

8.6.3　加減時間數據　184

8.6.4　生成時間序列數據　184

8.7　創建透視表與交叉表　185

8.7.1　使用pivot()及pivot_table()函數創建透視表　185

8.7.2　使用crosstab()函數創建交叉表　187

歸納與提高　189

知識鞏固與訓練　189

第9章　數據可視化與應用　192

【知識目標】　192

【本章導讀】　192

9.1　matplotlib簡介　192

9.2　基本圖形繪制　194

9.2.1　繪制一個基本圖形　194

9.2.2　繪制線形圖　195

9.2.3　繪制散點圖　197

9.3　統計圖形繪制　198

9.3.1　繪制柱形圖　198

9.3.2　繪制條形圖　199

9.3.3　繪制餅圖　200

9.3.4　繪制氣泡圖　200

9.4　設置樣式　201

9.4.1　中文及負號設置　201

9.4.2　標題及坐標軸標簽　201

9.4.3　plot樣式　202

9.4.4　子圖　203

9.5　3D圖形的繪制　204

歸納與提高　206

知識鞏固與訓練　206

第　10章 網店商品數據分析　209

【知識目標】　209

【本章導讀】　209

10.1　某網店的背景及數據分析的目的　209

10.1.1　某網店的背景介紹　209

10.1.2　數據分析目的及流程　210

10.2　數據預處理　210

10.2.1　數據特徵分析　211

10.2.2　文字預處理　211

10.2.3　數字預處理　213

10.3　數據分析初步　214

10.3.1　熱銷商品分析　214

10.3.2　商品價格與銷量分析　215

10.4　聚類分析　217

10.4.1　聚類分析簡介　217

10.4.2　KMeans聚類　217

10.4.3　聚類過程及可視化　218

10.5　撰寫數據分析報告　221

歸納與提高　222

更新勘誤表和配套資料索取示意圖　223

參考文獻　224