本书较为系统地介绍最优化领域中比较成熟的基本理论与方法。基本理论包括最优化问题解的必要条件和充分条件以及各种算法的收敛性理论。介绍的算法有:无约束问题的最速下降法、Newton法、拟Newton法、共辄梯度法、信赖域算法和直接法;非线性方程组和最小二乘问题的Newton法和拟Newton法;约束问题的罚函数法、乘子法、可行方向法、序列二次规划算法和信赖域算法等。还介绍了线性规划的基本理论与单纯形算法以及求解二次规划的有效集法。并简单介绍了求解全局最优化问题的几种常用算法。
作为基本工具,本书在附录中简要介绍了求解线性方程组的常用直接法和选代法以及MATLAB初步知识。
样章试读
目录
- 目录
第1章 引言 1
1.1 最优化问题概述 1
1.2 凸集和凸函数 5
习题1 14
第2章 无约束问题的下降算法与线性搜索 18
2.1 无约束问题解的最优性条件 18
2.2 下降算法的一般步骤 21
2.3 线性搜索 21
2.4 下降算法的全局收敛性 27
2.5 下降算法的收敛速度 30
习题2 33
第3章 无约束问题算法(I) 38
3.1 最速下降法 38
3.2 Newton法及其修正形式 40
3.3 正则化Newton法 45
习题3 47
第4章 无约束问题算法(II) 51
4.1 拟Newton法及其性质 51
4.2 拟Newton法的收敛性理论 59
4.3 拟Newton法的修正形式 63
习题4 66
第5章 无约束问题算法(III) 71
5.1 二次函数极小化问题的共轭方向法 71
5.2 非线性共轭梯度法 75
5.3 下降共轭梯度法 81
5.4 共轭梯度法的收敛速度 85
习题5 87
第6章 无约束问题算法(IV) 92
6.1 信赖域算法的基本结构 92
6.2 信赖域算法的收敛性 94
6.3 信赖域-线性搜索型算法 97
6.4 信赖域子问题的求解 99
习题6 103
第7章 无约束问题算法(V) 105
7.1 坐标轮换法及其改进 105
7.2 Powell直接法 109
7.3 轴向搜索法 113
习题7 115
第8章 非线性方程组与最小二乘问题 116
8.1 非线性方程组的局部算法 116
8.2 非线性方程组的全局化算法 118
8.3 最小二乘问题 122
习题8 126
第9章 约束问题解的最优性条件 130
9.1 可行方向 130
9.2 约束问题的最优性条件 135
习题9 139
第10章 线性规划 144
10.1 线性规划问题的标准型 144
10.2 线性规划问题的基本概念和基本理论 146
10.3 单纯形法 150
10.4 初始基础可行解的确定 155
10.5 线性规划问题的对偶理论 157
习题10 159
第11章 二次规划 164
11.1 等式约束二次规划 164
11.2 解二次规划的有效集法 167
习题11 172
第12章 约束问题算法(I) 176
12.1 罚函数法 176
12.2 乘子法 184
习题12 192
第13章 约束问题算法(II) 197
13.1 线性约束问题的可行方向法 197
13.2 投影梯度法 203
13.3 既约梯度法 207
13.4 广义既约梯度法 213
习题13 215
第14章 约束问题算法(III) 220
14.1 局部序列二次规划算法 220
14.2 全局SQP算法 226
14.3 信赖域SQP算法 229
14.4 Maratos效应及改进策略 235
习题14 237
第15章 全局最优化方法简介 240
15.1 基本概念 240
15.2 覆盖法 241
15.3 外逼近法 243
15.4 分枝定界法 245
15.5 应用分枝定界法的几个问题 249
15.6 遗传算法 254
习题15 260
参考文献 262
附录A 解线性方程组的常用算法 264
A1 Gauss消元法 264
A2 LU分解 267
A3 迭代法 271
附录B MATLAB 入门 275
B1 基本运算 276
B2 基本绘图 283
B3 逻辑控制 285
B4 M-文件 288