數據挖掘與機器學習基礎及應用

许桂秋，北京中科特瑞科技有限公司运营总监，已出版《大数据导论》《Python编程基础与应用》《NoSQL数据库原理与应用》《数据挖掘与机器学习》等教材。

第 1 章 13

數據挖掘與機器學習概述 13

1.1 數據挖掘與機器學習的發展史 13

1.1.1 數據時代 13

1.1.2 數據挖掘的技術發展 14

1.1.3 機器學習的技術發展 17

1.1.4 人工智能、數據挖掘與機器學習的關系 20

1.2 數據挖掘與機器學習的相關概念 21

1.2.1 數據挖掘的定義 21

1.2.2 機器學習的定義 21

1.2.3 數據庫與數據倉庫 22

1.3 數據挖掘與機器學習的算法分類 24

1.3.1 類/概念描述：特徵和區分 25

1.3.2 回歸（regression） 26

1.3.3 分類（classification） 27

1.3.4 預測（forecasting） 28

1.3.5 關聯分析（association） 28

1.3.6 聚類分析（cluster） 29

1.3.7 異常檢測（anomalydetection） 30

1.3.8 遷移學習 31

1.3.9 強化學習 31

1.3.10 小結 32

1.4 數據挖掘與機器學習的一般流程 33

1.4.1 確定分析目標 33

1.4.2 收集數據 33

1.4.3 整理預處理 33

1.4.4 數據建模 34

1.4.5 模型訓練 35

1.4.6 模型評估 35

1.4.7 模型應用 35

1.5 數據挖掘與機器學習的應用領域 35

1.5.1 電子商務 36

1.5.2 金融領域 36

1.5.3 醫療領域 37

1.5.2 通信領域 37

1.5.3 自然語言處理 37

1.5.4 工業領域 40

1.5.5 藝術創作 41

1.5.6 數據挖掘與機器學習應用的問題 41

第 2章 43

數據科學分析入門 43

2.1 數據科學分析庫 43

2.2 數據科學分析庫的基本使用 59

2.2.1 numpy基本使用 59

2.2.2 pandas基本使用 63

2.2.3 matplotlib基本使用 70

2.2.4 Scikit-Learn基本使用 80

2.2.5綜合案例 84

第3章 100

回歸算法與應用 100

3.1 回歸預測問題 100

3.1.1 介紹 100

3.1.2 常見回歸數據集 101

3.2 線性回歸 104

3.2.1 原理與應用場景 104

3.2.2 一元線性回歸的python實現 105

3.2.3 Python實現多元線性回歸算法 107

3.2.4 多元線性回歸算法優缺點 108

3.3 Logistic回歸 108

3.3.1 原理與應用場景 109

3.3.2 Logistic回歸的python實現 109

第4章 112

4.1 數據挖掘分類 112

4.1.1 數據挖掘分類 112

4.1.2 常見的分類數據集 113

4.2 KNN算法 118

4.2.1 K最近鄰算法概述 118

4.2.2 K最近鄰算法實現電影分類 120

4.2.3 使用Python實現KNN算法 128

4.3 向量空間模型 129

4.3.1 原理與應用場景 129

4.3.2 空間向量模型應用 130

4.4 支持向量機 133

4.4.1 支持向量機 133

4.4.2 支持向量機實現分類 135

4.4.3 支持向量機實現回歸 136

4.4.4 支持向量機異常檢測 136

4.4.5 線性可分與線性不可分 139

4.4.6 SVM鳶尾花分類 143

4.4.7 軟間隔 145

4.4.8 GridSearchCV確定超參數 148

4.4.9 過擬合問題 150

4.5 決策樹 154

4.5.1 決策樹 154

4.5.2 ID3算法 156

4.5.3 決策樹實現分類 159

4.5.4 決策樹實現回歸 166

4.6 集成學習 170

4.6.1 集成學習 170

4.6.2 隨機森林 177

4.7 模型的評判和保存 181

第5章 186

聚類算法與應用 186

5.1 無監督學習問題 186

5.1.1 無監督學習 186

5.1.2 聚類分析的基本概念與原理 187

5.1.3 常見聚類數據集 187

5.2 劃分聚類 189

5.2.1 劃分聚類 189

5.2.2 K-Means算法 190

5.2.4 K-Means算法在鳶尾花應用 195

5.2.4 使用聚類進行圖像壓縮 197

5.2.5 Numpy實現K_Means聚類 199

5.3 層次聚類 200

5.3.1 層次聚類算法 200

5.3.2 使用層次聚類算法聚類 202

5.3.3 基於運營商基站信息挖掘商圈 204

5.4 聚類效果評測 207

第6章 209

關聯規則與協同過濾 209

6.1 推薦算法簡介 209

6.1.1 推薦算法的概念 209

6.2 關聯規則 210

6.2.1 什麽是關聯規則？ 210

6.2.2 關聯規則的挖掘過程 211

6.2.3 Apriori算法 212

6.3 協同過濾 224

6.3.1 協同過濾算法的概念 224

6.3.2 基於用戶的協同過濾 224

6.3.3 基於物品協同過濾 227

6.3.4 實驗實現協同過濾算法 229

6.3.5 推薦算法庫Surprise介紹與案例 234

第7章 239

特徵工程、降維與超參數調優 239

7.1 特徵工程 239

7.1.1 數據總體分析 240

7.1.2 數據預處理 241

7.1.3 數據預處理案例分析—美國高中生的社交數據案例分析 253

7.2 降維與超參數調優 257

7.2.1 降維方法 257

7.2.2 實驗實現降維 257

7.2.3 超參數調優 259

7.2.4 交叉驗證案例分析 261

第8章 263

圖像數據處理分析 263

8.1 圖像數據結構介紹 264

8.1.1圖像數據 264

8.1.2 圖像結構介紹 265

8.2 圖像數據分析方法 266

8.3 圖像數據分析案例 271

8.3.1 PIL：Python圖像處理類庫應用示例 271

8.3.2 Numpy圖像數據分析示例 277

8.3.3 Scipy圖像數據分析示例 279

8.3.4 scikit-image 283

8.3.5 OpenCV 288

8.3.6 綜合練習——貓狗圖片識別案例 300

8.4 電腦視覺的應用 302

8.4.1 圖像分類(Image Classification) 302

8.4.2 目標檢測(Object Detection) 303

8.4.3 圖像分割(Object Segmentation) 305

8.4.4 風格遷移(Style Transfer) 307

8.4.5 圖像重構(Image Reconstruction) 308

8.4.6 超分辨率(Super-Resolution) 309

8.4.7 圖像生成(Image Synthesis) 309

8.4.8 人臉圖像的應用 310

8.4.9 其他 310

第 9 章 321

文本數據處理分析 321

9.1 文本數據處理的相關概念 321

9.1.1 常用的文本數據處理技術 321

9.1.2 中英文的文本數據處理方法對比 322

9.2 文本數據處理關鍵技術應用 325

9.2.1 文本分詞技術 325

9.2.2 文本向量化技術 328

9.2.3 關鍵詞提取 331

9.3 文本數據處理分析案例 332

9.3.1 Python的第三方模塊NLTK 332

9.3.2 Python的第三方模塊jieba 346

9.4 自然語言處理的應用 353

9.4.1 NLP的應用場景及數據集 353

9.4.2 LLM的發展與研究方向 356

第 10章 358

深度學習入門 358

10.1 深度學習概述 358

10.2 神經網絡介紹 359

10.2.1 單個神經元 & 邏輯回歸（LR） 359

10.2.2 人工神經網絡概念 360

10.2.3 多層神經網絡簡介 360

10.2.4 BP神經網絡簡介 361

10.3 捲積神經網絡 361

10.3.1 捲積神經網絡簡介 361

10.3.2 捲積神經網絡的整體結構 362

10.3.3 常見捲積神經網絡 365

10.4 循環神經網絡 376

10.4.1 RNN基本原理 376

10.4.2 長短期記憶網絡 379

10.4.3 門限循環單元 385

10.5 深度學習流行框架 386

10.6 建立一個捲積神經網絡對圖片分類 388