Python數據分析基礎與應用（微課版）

馮向科，移動互聯應用技術專業主任，碩士，教授，系統分析師，軟件設計師，高級技師，省技術能手，省青年骨乾教師，德累斯頓工業大學訪問學者。湖南省電腦應用技術職業技能競賽程序設計員賽項職工組第一名；全國行業職業技能競賽程序設計員賽項職工組二等獎，累計獲得省級一等獎以上15人次。主持省級以上教研項目7項，省級以上培訓項目7項，開發橫向項目5項，主編教材3本（含規劃教材1本），參編國家級規劃教材12本，任國家級競賽裁判4次。

模塊1

認知數據分析與構建程序運行

環境　1

學習與訓練　1

1.1　初識數據分析　1

1.1.1　數據分析定義　1

1.1.2　比較數據分析與數據挖掘　2

1.1.3　數據分析在企業經營決策中的 主要作用　3

1.1.4　常用數據分析框架　3

1.1.5　常用數據分析方法　3

1.1.6　常用數據分析工具　4

1.1.7　數據分析過程中常見數據問題　7

1.2　熟悉與準備數據分析的編程環境　7

1.2.1　熟悉與使用Python的交互式編程環境　7

1.2.2　熟悉與使用Jupyter Notebook集成開發環境　8

1.2.3　熟悉與使用PyCharm集成開發環境　18

應用與實戰　19

【任務1-1】在Jupyter　Notebook開發環境中打開並運行Python

　程序t1-01.ipynb　19

【任務1-2】在Jupyter　Notebook開發環境中打開並運行Python

　程序t1-02.ipynb　21

在線練習與考核　22

模塊2

Python基礎　23

學習與訓練　23

2.1　Python的編碼規範與命名要求　23

2.2　Python轉義字符與註釋　24

2.2.1　Python轉義字符　24

2.2.2　Python程序的註釋　25

2.3　Python 3數據類型及其應用　26

2.3.1　Python 3的數值類型　26

2.3.2　Python字符串操作與計算　26

2.3.3　Python列表創建與應用　28

2.3.4　Python元組創建與應用　30

2.3.5　Python字典創建與應用　31

2.3.6　Python集合創建與應用　31

2.3.7　Python 3數據類型的判斷　32

2.3.8　Python數據類型的轉換　32

2.4　Python運算符及其應用　32

2.4.1　Python的算術運算符與算術表達式　32

2.4.2　Python的賦值運算符與變量定義　33

2.4.3　Python的比較運算符與比較表達式　34

2.4.4　Python的邏輯運算符與邏輯表達式　34

2.4.5　Python的成員運算符　35

2.4.6　Python運算符優先級　35

2.5　Python基本結構及應用　36

2.5.1　順序結構與流程控制　36

2.5.2　Python選擇結構及其應用　37

2.5.3　for循環語句及其應用　38

2.5.4　while循環語句及其應用　39

2.5.5　Python循環結構中的跳轉語句　40

2.6　Python常用內置函數及應用　40

2.6.1　Python數學運算函數及應用　40

2.6.2　Python輸入輸出函數及應用　41

2.6.3　Python 3日期和時間函數　41

2.7　Python函數定義及應用　43

2.7.1　定義Python函數　43

2.7.2　調用Python函數　43

2.7.3　Python函數變量作用域　44

2.8　創建與導入Python模塊　45

2.8.1　創建Python模塊　45

2.8.2　導入Python模塊　45

2.8.3　下載與安裝第三方模塊　45

2.9　創建與使用Python包　46

應用與實戰　46

【任務2-1】計算與輸出購買商品的優惠金額與應付金額　46

【任務2-2】應用for循環語句顯示進度的百分比　47

【任務2-3】自定義與應用實現要求功能的函數　47

【任務2-4】使用Collections實現數據統計　47

在線練習與考核　47

模塊3

NumPy基礎　48

學習與訓練　48

3.1　初識NumPy　48

3.1.1　NumPy概述　48

3.1.2　安裝NumPy　49

3.2　使用多種方法創建NumPy數組

對象　50

3.2.1　初識ndarray對象　50

3.2.2　熟悉與使用NumPy數據類型　50

3.2.3　創建NumPy一維數組對象　52

3.2.4　創建NumPy二維數組對象　54

3.2.5　創建NumPy多維數組對象　58

3.2.6　創建NumPy區間數組對象　58

3.3　使用ndarray對象的屬性　60

3.3.1　使用size屬性和dtype屬性　60

3.3.2　使用shape屬性　61

3.3.3　使用ndim屬性　61

3.3.4　使用itemsize屬性　62

3.3.5　使用nbytes屬性　63

3.4　NumPy數組對象基本操作　64

3.4.1　NumPy數組索引和切片　64

3.4.2　NumPy副本和視圖　68

3.4.3　NumPy數組高級索引　69

3.4.4　NumPy數組遍歷　71

3.4.5　NumPy數組變維操作　73

3.4.6　NumPy數組轉置操作　74

3.4.7　連接與分割NumPy數組操作　75

3.4.8　NumPy數組元素增、刪、改、查操作　76

3.4.9　NumPy字符串處理　78

3.5　NumPy數組算術運算與矩陣乘法　79

3.5.1　NumPy數組廣播機制　79

3.5.2　NumPy數組的算術運算　81

3.5.3　NumPy數組的矩陣乘法運算　82

3.6　NumPy統計計算與分析　83

3.6.1　NumPy數組統計計算　83

3.6.2　NumPy數組線性代數運算　85

3.6.3　NumPy數組排序　86

3.6.4　NumPy數組搜索　86

3.6.5　刪除NumPy數組中的重復元素　87

3.7　使用NumPy讀寫文件　87

3.7.1　常見的數據文件格式　87

3.7.2　使用numpy loadtxt()和numpysavetxt()函數讀寫TXT或CSV文件　88

3.7.3　使用load()和save()函數讀寫NPY或NPZ文件　89

3.7.4　使用h5py讀寫HDF5文件　89

3.7.5　使用NumPy的genfromtxt()函數從文本文件中讀取數據　90

應用與實戰　90

【任務3-1】計算兩個二維數組的矩陣乘積　90

【任務3-2】統計、分析糧食播種面積和糧食產量數據　90

在線練習與考核　91

模塊4

數據結構應用與數據

讀寫操作　92

學習與訓練　92

4.1　初識pandas　92

4.2　熟悉pandas的Series結構　94

4.2.1　創建Series對象　94

4.2.2　訪問Series數據　97

4.2.3　使用Series的常用屬性　100

4.2.4　使用Series的常用方法與函數　100

4.3　熟悉pandas的DataFrame結構　101

4.3.1　創建DataFrame對象　102

4.3.2　使用列索引操作DataFrame　107

4.3.3　使用行索引操作DataFrame　111

4.3.4　使用DataFrame的常用屬性和方法　112

4.4　pandas創建與操作索引　113

4.4.1　創建pandas的索引　114

4.4.2　獲取pandas的索引　114

4.4.3　熟知pandas索引的特性　114

4.4.4　pandas索引設置　116

4.5　pandas基本操作　118

4.5.1　pandas數據顯示格式設置　118

4.5.2　pandas字符串操作　119

4.5.3　pandas遍歷操作　120

4.5.4　pandas排序操作　121

4.5.5　pandas的元素值排名操作　123

4.5.6　pandas數據類型轉換　123

4.5.7　創建與使用pandas分類對象　126

4.6　pandas數據篩選　127

4.6.1　Series對象中元素篩選　127

4.6.2　DataFrame對象中元素篩選　128

4.7　pandas創建與操作多層索引　129

4.7.1　創建多層索引　130

4.7.2　多層索引操作　130

4.8　pandas讀寫文件中的數據　131

4.8.1　pandas讀取Excel文件中的數據　131

4.8.2　使用to_excel()函數將DataFrame數據寫入Excel文件　132

4.8.3　pandas讀取CSV文件中的數據　132

4.8.4　將DataFrame數據寫入CSV文件　133

應用與實戰　134

【任務4-1】藥品銷售數據導入與審閱　134

【任務4-2】網上商城用戶消費數據導入與審閱　135

在線練習與考核　135

模塊5

數據預處理　136

學習與訓練　136

5.1　數據清理　136

5.1.1　pandas缺失值處理　136

5.1.2　pandas清洗無效數據　141

5.1.3　pandas重復值檢測與處理　142

5.1.4　pandas異常值檢測與處理　143

5.1.5　pandas刪除數據集中指定行或列的數據　148

5.2　pandas數據合並　148

5.2.1　使用merge()函數通過主鍵合並數據　149

5.2.2　使用join()函數通過索引或指定列合並數據　151

5.2.3　使用concat()函數沿軸連接數據　152

5.2.4　使用append()函數縱向連接DataFrame對象　152

5.2.5　使用combine_first()函數合並重疊數據　153

5.3　pandas數據抽取　153

5.3.1　字段抽取　154

5.3.2　字段拆分　154

5.3.3　數據記錄抽取　154

5.3.4　日期轉換與日期抽取　155

5.4　pandas數據重塑　156

5.4.1　重塑層次化索引　157

5.4.2　使用pivot()函數實現軸向旋轉　157

5.4.3　使用melt()函數將DataFrame對象從寬數據格式轉換為長數據格式　160

5.4.4　使用pivot_table()函數聚合與透視數據　161

5.5　pandas數據變換　165

5.5.1　重命名索引的標簽　165

5.5.2　離散化連續數據　165

應用與實戰　166

【任務5-1】藥品銷售數據預處理　166

【任務5-2】網上商城用戶消費數據預處理　166

在線練習與考核　167

模塊6

統計計算與數據分析　168

學習與訓練　168

6.1　pandas數據運算　168

6.1.1　Series對象的運算　168

6.1.2　DataFrame對象的運算　171

6.1.3　DataFrame對象與Series對象之間的運算　172

6.2　pandas統計分析　173

6.2.1　pandas數據分析的基本方法　173

6.2.2　應用pandas的統計函數　182

6.2.3　應用pandas的窗口函數　186

6.2.4　應用pandas的聚合函數　188

6.2.5　應用pandas的格式化函數　189

6.3　pandas數據分組與聚合運算　190

6.3.1　pandas數據分組　190

6.3.2　pandas數據聚合　191

6.3.3　pandas分組的轉換操作　191

6.3.4　pandas分組的數據過濾操作　192

應用與實戰　192

【任務6-1】藥品銷售數據統計與分析　192

【任務6-2】網上商城用戶消費數據統計與分析　193

在線練習與考核　194

模塊7

數據分析可視化展示　195

學習與訓練　195

7.1　初識Matplotlib　195

7.1.1　Matplotlib概述　195

7.1.2　認知Matplotlib的Pyplot模塊　197

7.1.3　使用Matplotlib繪制圖形時實現支持中文顯示　200

7.1.4　熟悉Pyplot模塊的plot()函數　202

7.1.5　使用plot()函數繪制圖形時設置輔助元素　205

7.2　應用Pyplot模塊的函數繪制圖形　209

7.2.1　使用Pyplot的plot()函數繪制線性函數圖形與波形圖　209

7.2.2　使用Pyplot的plot()函數繪制折線圖　210

7.2.3　使用Pyplot的bar()函數繪制柱形圖　211

7.2.4　使用Pyplot的barh()函數繪制條形圖　213

7.2.5　使用Pyplot的scatter()函數繪制散點圖　214

7.2.6　使用Pyplot的pie()函數繪制餅圖　216

7.2.7　使用Pyplot的boxplot()函數繪制箱形圖　218

7.2.8　使用Pyplot的hist()函數繪制直方圖　220

7.2.9　在同一畫布的不同區域繪制多個圖形　220

7.3　使用pandas的plot()方法繪制圖形　222

7.3.1　使用Series對象的plot()方法繪制圖形　222

7.3.2　使用DataFrame對象的plot()方法繪制圖形　224

7.4　使用seaborn模塊繪制統計圖表　227

7.4.1　初識seaborn模塊　227

7.4.2　seaborn的風格設置　227

7.5　使用pyecharts模塊實現數據可視化　231

7.5.1　初識pyecharts模塊　231

7.5.2　pyecharts繪制圖形的基本方法　232

應用與實戰　236

【任務7-1】藥品銷售數據可視化展示與分析　236

【任務7-2】網上商城用戶消費行為可視化展示與分析　236

【任務7-3】繪制折線圖分析股票數據　237

【任務7-4】繪制學習小組課程成績的箱形圖　238

【任務7-5】繪制旅客年齡分佈的箱形圖　238

【任務7-6】使用pyecharts模塊分析訂單數據與用戶購物偏好　239

在線練習與考核　239

模塊8

時間序列操作與數據

抽樣　240

學習與訓練　240

8.1　pandas時間生成與轉換　240

8.1.1　pandas時間序列　240

8.1.2　pandas日期和時間格式化　248

8.1.3　Pandas的Timedelta　250

8.2　pandas隨機抽樣　251

8.3　pandas數據重抽樣　253

8.3.1　使用resample()函數實現數據降抽樣　253

8.3.2　使用resample()函數實現數據升抽樣　253

8.3.3　使用asfreq()函數實現頻率轉換　253

8.3.4　對缺失值進行插值處理　253

應用與實戰　256

【任務8-1】對日期和時間數據進行靈活處理　256

【任務8-2】分析股票數據時應用pandas日期序列　257

在線練習與考核　257

模塊9

數據分析與可視化綜合

實戰　258

學習與訓練　258

9.1　數據分析的過程　258

9.2　基於因特網的數據分析的專業術語解釋　260

應用與實戰　261

【綜合實戰9-1】分析城市氣溫數據　261

【綜合實戰9-2】分析網上商城訂單數據　270

在線練習與考核　277

參考文獻　278