數據科學與工程數學基礎

高勝哲，博士，大連海洋大學三級教授，遼寧省教學名師，大連市青年才俊，碩士生導師。大連理工大學運籌學與控制論專業獲得理學博士，任大連市數學學會副理事長等職務。主要從事**化理論與方法、海洋漁業數據建模等方向研究。作為主持人獲遼寧省教學成果獎二等獎、三等獎各1項，主編教材9部，主編教材《大學數學》第2版（清華大學出版社）獲遼寧省優秀教材1部，主持遼寧省線上線下一流課程1門。

目錄

第1章線性空間與線性變換

1.1線性空間

1.1.1線性空間的定義

1.1.2線性空間的簡單性質

1.2線性空間的基與坐標

1.2.1基、維數與坐標

1.2.2基變換與坐標變換

1.3線性子空間

1.3.1線性子空間的定義

1.3.2生成子空間

1.3.3子空間的交、和與直和

1.4線性變換

1.4.1線性變換的定義與性質

1.4.2線性變換的運算

1.4.3線性變換的矩陣表示

習題1

第2章矩陣分析

2.1內積與範數

2.1.1內積

2.1.2向量範數

2.1.3矩陣範數

2.1.4相似性度量

2.2矩陣序列

2.2.1矩陣序列的極限

2.2.2收斂矩陣

2.3矩陣級數

2.3.1矩陣級數的斂散性

2.3.2矩陣冪級數

2.4矩陣函數

2.4.1矩陣函數的定義

2.4.2矩陣函數值的計算

2.4.3常用矩陣函數的性質

2.5矩陣的微分和積分

2.5.1函數矩陣的微分和積分

2.5.2數量函數對矩陣變量的導數

2.5.3矩陣值函數對矩陣變量的導數

習題2

第3章矩陣分解

3.1矩陣的三角分解

3.1.1高斯消元法的矩陣形式——三角分解

3.1.2三角分解的緊湊計算格式

3.1.3楚列斯基分解

3.2矩陣的QR分解

3.2.1吉文斯矩陣和吉文斯變換

3.2.2QR分解

3.3矩陣的譜分解

3.3.1單純矩陣的譜分解

3.3.2正規矩陣的譜分解

3.4矩陣的奇異值分解

3.4.1舒爾引理及正規矩陣的分解

3.4.2奇異值分解

習題3

第4章矩陣計算問題

4.1線性方程組的數值解法

4.1.1直接方法 

4.1.2疊代方法

4.2最小二乘問題與回歸

4.2.1最小二乘法

4.2.2回歸問題

4.3矩陣的特征值與特征向量的計算

4.3.1圓盤定理

4.3.2冪法與反冪法

4.4應用舉例

4.4.1網頁等級排序算法

4.4.2主成分分析

習題4

第5章概率模型和參數估計

5.1參數估計

5.1.1矩估計

5.1.2極大似然估計

5.1.3貝葉斯估計

5.1.4點估計的優良性

5.1.5區間估計

5.1.6EM算法

5.2統計決策理論

5.2.1損失函數和風險函數

5.2.2經驗風險最小化和結構風險最小化

5.3概率圖模型

5.3.1概率無向圖模型

5.3.2貝葉斯網絡

習題5

第6章最優化基礎知識

6.1最優化問題概述

6.1.1最優化問題的基本概念

6.1.2幾類重要的最優化問題

6.1.3數據科學中常見的優化問題

6.2凸優化基礎知識

6.2.1多元函數微分學基礎知識

6.2.2凸集

6.2.3凸函數

6.2.4共軛函數

習題6

第7章最優性條件和對偶理論

7.1無約束優化問題的最優性條件

7.1.1無約束優化問題的一階最優性條件

7.1.2無約束優化問題的二階最優性條件

7.2約束優化問題的最優性條件

7.2.1緊約束指標集

7.2.2約束優化問題的一階最優性條件

7.3對偶理論

7.3.1線性規劃的對偶問題

7.3.2線性規劃的對偶定理

習題7

第8章優化算法

8.1無約束優化算法

8.1.1下降算法的基本思想

8.1.2一維搜索

8.1.3求解無約束優化問題的下降算法

8.2約束優化算法

8.2.1可行方向法

8.2.2懲罰函數法與障礙函數法

8.3機器學習常用優化算法

8.3.1預備知識

8.3.2隨機梯度下降算法

8.3.3自適應梯度算法

習題8

第9章信息論基礎

9.1信息論簡介

9.1.1信息論主要內容

9.1.2信源的數學模型

9.2熵、聯合熵、條件熵和互信息

9.2.1熵

9.2.2聯合熵與條件熵

9.2.3互信息

9.2.4多個離散型隨機變量的互信息

9.2.5相對熵與交叉熵

9.3微分熵

9.3.1定義

9.3.2微分熵與離散熵的關系

9.3.3聯合微分熵、條件微分熵與互信息

9.3.4微分熵的性質

習題9

附錄A微積分基礎

A.1函數的極限與連續

A.1.1函數的極限

A.1.2函數極限的性質

A.1.3函數的連續性

A.2導數與微分

A.3不定積分

A.3.1原函數與不定積分的概念

A.3.2不定積分的性質

A.3.3不定積分的計算

A.4定積分

A.4.1定積分的定義

A.4.2定積分的性質

A.4.3定積分的計算

A.4.4定積分的元素法

A.5多元函數的微分學

A.5.1多元函數的極限

A.5.2多元函數的連續

A.5.3多元函數的偏導數

A.5.4多元復合函數的偏導數

A.5.5多元隱函數的偏導數

A.5.6多元函數的全微分

A.6重積分

附錄B線性代數基礎

B.1矩陣的基本概念

B.1.1矩陣的定義

B.1.2特殊矩陣

B.2矩陣的運算

B.2.1矩陣加法

B.2.2數乘矩陣

B.2.3矩陣乘法

B.2.4矩陣的轉置

B.2.5方陣的行列式

B.2.6逆矩陣

B.2.7矩陣的初等變換

B.2.8矩陣的秩

B.3線性方程組的一般理論

B.4特征值和特征向量的概念及性質

附錄C概率論基礎

C.1概率論基本概念

C.1.1試驗、樣本空間和事件

C.1.2概率

C.1.3條件概率、貝葉斯理論和獨立性

C.2隨機變量及概率分布函數

C.2.1隨機變量

C.2.2離散型隨機變量及其分布

C.2.3連續型隨機變量及其分布

C.2.4多維隨機變量及其分布

C.3隨機變量的數字特征

C.3.1期望

C.3.2方差

C.3.3協方差和相關系數

C.3.4矩和協方差矩陣

C.4大數定律與中心極限定理

C.4.1概率不等式

C.4.2大數定律

C.4.3中心極限定理

習題提示與答案