1、无约束优化问题自变量为矢量的函数 1-1 局部最优解的常规方法直接法

梯度等于 0 ，求得驻点，必要时 矩阵再进一步判断。

迭代法梯度下降法 牛顿法 拟牛顿法2、一般约束优化问题2-1约束优化问题的一般形式：

可行域：满足 定义域的约束条件的 的 ** ， 表明不等式约束被激活 2-2一般约束优化问题举例

考虑以下优化问题：

如图：

3、凸集（Convex Sets）3-1仿射集(Affine Sets)和凸集如果一个 ** 是仿射的，则 中两点间的直线也在 中，例如：

即 的解

推导过程：

如果一个 ** 是凸的，则对于任意的 有 3-2常见的凸集所有 ，给定任意 ，则有 所有 超平面(Hyperplane):既是仿射又是凸

半空间(Halfspace):只是凸

向量范数补充知识：

2-norm: 1-norm: -norm: p-norm, : 范数球

例如 给定任意 且 ，则有

凸集的性质：

凸集的交集是凸集，例如：

注意：凸集的并集不一定是凸集多面体（Polyhedron）: 有限个半空间和半平面的交集

其中

4、凸函数4-1定义

一个函数 被称为凸函数，如果：

( 的定义域)是凸集对于任何 和 有

4-2凸函数的一阶二阶条件一阶充要条件（不好用）： 对于所有的 均成立。二阶充要条件（好用）：如果函数 二阶可导，则凸函数充要条件： 。4-3常见的凸函数一元函数举例 converx and also concave convex convex convex on convex on 二元函数举例 convex and also concave 是 convex 当且仅当 4-4保凸运算 凸，则 凸，例如 凸， 凸，扩展的 非递减，则 凸。例如：

其中 。 在 的部分非递减。

凸， ，则 凸。例：

逐点最大： 凸，则 凸。 对于每个 凸，则 凸。5、凸优化问题标准形式凸优化问题

有 是凸函数，可行域是凸集。目标函数是凸的 不等式约束函数必须是凸的 等式约束函数必须是仿射的在一个凸集上极小化一个凸的目标函数最优值（目标函数在可行域的最小值）：

不可行（可行域是空集）

unbounded below（存在可行点使得 ）

重要结论：凸优化问题局部最优=全局最优6、典型的凸优化问题线性优化问题（LP）

二次规划问题（QP） 为半正定矩阵

QCQP( 和 均为半正定)

7、凸优化问题转换为标准型

给定下列问题

其中 。定义

变量

定义

定义

即可将上原问题转换为 问题：