非線性最優化算法與實踐(微課視頻版)

龍強，博士、副教授、碩士研究生導師；就職於西南科技大學數理學院數據科學系，中國運籌學會終生會員；主要從事 化理論與算法、機器學習算法研究；在 及 學術期刊上發表論文20餘篇，獲批 發明專利3項，主持和參與 自然科學基金3項，參與 社會科學基金1項；講授“深度強化學習”“深度學習與神經網絡”“算法設計與分析”“ 化理論與算法”“機器學習”等課程。

第1章 緒論（270min）
1.1 化概述
1.2 化問題的模型及分類
1.2.1 化問題的標準模型
1.2.2 化問題的分類
1.3 化問題舉例
1.4 數學預備知識
1.4.1 向量範數
1.4.2 方陣範數
1.4.3 序列的極限
1.4.4 梯度、海森矩陣、泰勒展式
1.4.5 雅可比矩陣、鏈式法則
1.5 凸集與凸函數
1.5.1 凸集
1.5.2 典型的凸集
1.5.3 凸集分離定理
1.5.4 凸函數
1.5.5 凸函數的判定
1.5.6 凸函數的性質
1.5.7 凸規劃
第2章 一維搜索（306min）
2.1 優化問題的基本框架
2.2 一維搜索的概念
2.3 一維優化的 性條件
2.4 算法的收斂性
2.4.1 算法收斂的定義
2.4.2 收斂速度
2.4.3 實用收斂準則
2.5 試探法
2.5.1 單峰函數
2.5.2 黃金分割法
2.5.3 斐波那契法
2.5.4 試探法案例
2.6 函數逼近法
2.6.1 牛頓法
2.6.2 割線法
2.6.3 拋物線法
2.6.4 函數逼近法案例
2.7 非 一維搜索
2.7.1 Armijo-Goldstein步長準則
2.7.2 Wolf-Powell步長準則
2.7.3 簡單準則和後退法
2.7.4 非 一維搜索案例
第3章 無約束優化的梯度方法（295min）
3.1 無約束優化的 性條件
3.1.1 下降方向
3.1.2 一階必要條件
3.1.3 二階必要條件
3.1.4 二階充分條件
3.1.5 充要條件
3.1.6 性條件應用案例
3.2 速下降法
3.2.1 速下降方向
3.2.2 速下降法
3.2.3 速下降法案例
3.2.4 速下降法的收斂性
3.3 牛頓法
3.3.1 基本原理
3.3.2 牛頓法的算法步驟和流程
3.3.3 牛頓法的改進
3.3.4 牛頓法案例
3.4 共軛梯度法
3.4.1 共軛方向
3.4.2 二次函數的共軛梯度法
3.4.3 一般函數的共軛梯度法
3.4.4 共軛梯度法案例
3.5 擬牛頓法
3.5.1 對稱秩1(SR1)校正法
3.5.2 DFP校正法
3.5.3 BFGS校正法
3.5.4 擬牛頓法案例
第4章 無約束優化的直接方法（163min）
4.1 探測搜索
4.1.1 探測搜索算法
4.1.2 探測搜索案例
4.2 交替方向法
4.2.1 交替方向法原理
4.2.2 交替方向法案例
4.3 Hooke-Jeeves方法
4.3.1 Hooke-Jeeves方法簡介
4.3.2 Hooke-Jeeves方法的案例
4.4 Rosenbrock方法
4.4.1 Rosenbrock方法簡介
4.4.2 Rosenbrock方法的案例
4.5 Powell方法
4.5.1 Powell方法簡介
4.5.2 Powell方法的案例
4.6 單純形法
4.6.1 單純形
4.6.2 單純形疊代
4.6.3 單純形法停止準則
4.6.4 單純形法的算法步驟和流程
4.6.5 單純形法的案例
第5章 約束優化問題的 性條件（311min）
5.1 約束優化問題 性條件的基本思想
5.1.1 下降方向
5.1.2 可行方向
5.1.3 幾何描述
5.2 不等式約束優化問題的一階 性條件
5.2.1 用積極約束表達的幾何 性條件
5.2.2 Fritz John條件
5.2.3 Karush-Kuhn-Tucker(KKT)條件
5.3 一般約束優化問題的一階 性條件
5.3.1 幾何 性條件
5.3.2 Fritz John必要條件
5.3.3 KKT必要條件
5.4 對偶問題及鞍點 性條件
5.4.1 拉格朗日對偶問題
5.4.2 對偶定理
5.4.3 鞍點 性條件
第6章 可行方向法（203min）
6.1 Zoutendijk可行方向法
6.1.1 線性約束情形
6.1.2 非線性約束情形
6.2 Rosen梯度投影法
6.2.1 投影和投影矩陣
6.2.2 Rosen的算法步驟和流程
6.3 Frank-Wolfe方法
6.3.1 Frank-Wolfe方法原理
6.3.2 Frank-Wolfe方法的算法
第7章 罰函數法（164min）
7.1 外點罰函數法
7.1.1 基本思想
7.1.2 算法原理
7.1.3 算法步驟
7.2 內點罰函數法
7.2.1 基本思想
7.2.2 算法原理
7.2.3 算法步驟
7.3 乘子法
7.3.1 算法思想
7.3.2 只含等式約束的乘子法
7.3.3 只含不等式約束的乘子法
第8章 二次規劃問題（183min）
8.1 基本性質
8.2 只含等式約束的二次規劃問題
8.2.1 變量消去法
8.2.2 拉格朗日法
8.3 積極約束法
8.3.1 基本思想
8.3.2 算法原理
8.3.3 算法步驟
8.4 路徑跟蹤法
8.4.1 鬆弛KKT條件
8.4.2 求解鬆弛KKT條件
8.4.3 路徑跟蹤法算法流程
第9章 機器學習中的 化方法
9.1 機器學習中的優化問題
9.2 梯度下降算法
9.2.1 標準梯度下降算法
9.2.2 隨機梯度下降算法
9.2.3 Mini-batch梯度下降算法
9.3 對搜索方向的改進
9.3.1 Momentum算