“最优化方法 ”是信息与计算科学 、数学与应用数学 、统计学等相关专 业 的 专 业 基 础 课 。其目的是培养学生综合各学科知识并利用运筹学的方法对实际问题进行数学建模和 定量分析 ,为高年级专业课程奠定理论基础 ,使学生具有系统优化的思维方法和逻辑推理 能力 ,能够将对数学与最优化技术的认识与理解作为一种理念融入实际应用 ,从而全面提 升学生应用优化方法解决实际问题的能力 。本书以数学专业高年级本科生和工科研究生 所具备的数学基础知识为起点,综合教学团队多年 “优化方法 ”课程的教学经验 ,详细介绍 最优化问题 、模型与算法 ,具有以下特色 :

(1)在内容的安排上 ,不仅由浅入深给出线性规划 、无约束规划 、约束规划 、多 目标规 划中的经典优化问题的基本理论与数值算法 , 同时也介绍了近年来大量涌现并得到广泛 关注的随机规划和机器学习中涉及的凸优化方法等 。

(2)在内容的讲述上 ,详细介绍模型求解的一般原理与算法 ,淡化理论推导和计算过 程 ,侧重透彻讲解算法背景来源 、算法框架 、算法的计算实现过程及应用 。读者可以通过 优化算法以及功能强大的数学软件进行模型求解 ,突出解决实际问题的 “实用性 ”,使优化 算法与计算机和工具软件紧密结合 。每个知识点都配有直观的例题讲解 ,使读者更快速 地掌握抽象的理论内容以及算法的迭代过程 。

(3)本教材响应二十大精神 ,推进教育数字化 ,建设全民终身学习的学习型社会 、学习 型大国 ,在核心概念或算法介绍的难点处配有微课 , 以二维码形式融合纸质教材 ,使得教 材更具及时性 、内容的丰富性和环境的可交互性等特征 ,使读者学习时更轻松 、更有趣味 , 促进了碎片化学习 ,提高了学习效果和效率 。

最优化方法

     (4)力求使读者既能理解最优化的理论思想 , 又能掌握常用的优化算法 ,并能运用算 法解决科学研究与实践中的最优化问题 。

第1章 概 论/1

1.1 最优化问题/1

1.1.1 最优化模型/1

1.1.2 最优化问题的基本概念/5

1.2 几类重要的最优化问题/6

1.3 MATLAB 中求解最优化问题的

函数/8

习题1/9

第2章 线性规划/11

2.1 线性规划的基本概念/11

2.1.1 引 例/11

2.1.2 线性规划的标准形式/12

2.1.3 线性规划的矩阵形式/14

2.1.4 线性规划的几何意义/14

2.2 线性规划基本思想原理/16

2.2.1 凸集与多面凸集/16

2.2.2 基本解与基本可行解/17

2.2.3 线性规划的基本定理/19

2.3 单纯形方法/21

2.3.1 单纯形方法的基本思想/21

2.3.2 修正的单纯形方法/26

2.3.3 求解线性规划的单纯形表格/28

2.4 确定初始基本可行解的方法/32

2.4.1 两阶段方法/32

2.4.2 大M 方法/35

2.5 线性规划的对偶问题/36

2.5.1 对偶问题的定义/36

2.5.2 对偶定理/39

2.5.3 对偶单纯形方法/41

2.6 利用MATLAB工具箱求解

线性规划/44

2.7 退化与循环/47

2.7.1 循环举例/47

2.7.2 几种克服循环的方法/50

2.8 线性规划的计算复杂性与多项式

算法/52

习题2/53

第3章 无约束优化/57

3.1 预备知识/57

3.2 一维搜索/59

3.2.1 平分法/60

3.2.2 0.618法/61

3.2.3 牛顿法/62

3.2.4 抛物线法/63

3.2.5 非精确一维搜索/65

3.3 多元函数的下降算法/66

3.3.1 最速下降法/66

3.3.2 多元函数的牛顿法/68

3.3.3 阻尼牛顿法/69

3.4 拟牛顿法(变尺度法)/71

3.4.1 DFP算法/72

3.4.2 BFGS算法/75

3.5 共轭方向法/76

3.5.1 共轭方向的定义和性质/76

3.5.2 共轭梯度法/78

3.6 直接搜索法/82

3.6.1 坐标轮换法/83

3.6.2 Powell方向加速法/84

3.6.3 Hooke-Jeeves方法/87

习题3/89

第4章 约束最优化方法/91

4.1 非线性规划的一阶最优性条件/92

4.2 二次规划/95

4.2.1 等式约束二次规划/97

4.2.2 一般二次规划问题的起作用

指标集方法/98

4.3 序列二次规划方法/101

4.3.1 求解非线性方程组的牛顿法/101

4.3.2 SQP算法/102

4.4 惩罚函数法与障碍函数法/105

4.4.1 惩罚函数法/105

4.4.2 障碍函数法/109

4.4.3 混合罚函数法/111

4.5 增广拉格朗日函数法/112

4.5.1 等式约束优化问题的增广

拉格朗日函数法/113

4.5.2 非线性规划的增广拉格朗日

函数法/115

习题4/117

第5章 多目标规划/119

5.1 多目标规划的基本概念/119

5.1.1 多目标规划问题/119

5.1.2 多目标规划的解/120

5.1.3 多目标规划的最优性条件/123

5.2 线性加权和法/124

5.3 平方加权和法/126

5.4 极小极大法/128

5.4.1 经典的极小极大法/128

5.4.2 基于极小极大思想的多目标

规划牛顿法/129

5.5 分层序列法/130

习题5/134

第6章 随机规划模型/136

6.1 概率空间与随机变量/136

6.2 不确定性优化模型/139

6.3 随机规划模型/141

6.4 两阶段随机线性规划/150

6.5 多阶段随机线性规划/154

6.6 常用随机规划算法/158

6.6.1 随机对偶动态规划算法/158

6.6.2 渐近对冲算法/161

习题6/162

第7章 机器学习中的优化方法/163

7.1 机器学习中常见的优化问题/163

7.2 经典的凸优化方法/165

7.2.1 投影次梯度方法/166

7.2.2 梯度下降方法/166

7.2.3 投影梯度下降方法/167

7.2.4 条件梯度下降方法/167

7.2.5 加速梯度下降方法/168

7.2.6 临近梯度方法/169

7.3 随机优化方法/170

7.3.1 随机梯度下降方法/171

7.3.2 随机投影次梯度方法/171

7.3.3 随机投影梯度方法/172

7.3.4 随机加速投影梯度方法/173

7.3.5 随机加速临近梯度方法/174

7.3.6 随机条件梯度方法/174

7.3.7 随机坐标下降方法/175

7.4 方差减少的随机优化方法/176

7.4.1 随机方差减少梯度方法/176

7.4.2 随机方差减少临近梯度方法/177

7.4.3 随机方差减少条件梯度方法/178

习题7/178

习题参考答案与提示/180

参考文献/184