优化问题

优化问题的一般形式
最小化: $f_0(x)$
条件: $f_i(x)\le b_i,i=1,\dots ,m$
其中$f_0(x)$为目标函数, 条件里的不等式是限制条件

举例:

极大似然估计

如果$L(\mu ,\sigma )$是一个极大似然估计问题中的似然函数, 其中$\mu ,\sigma$分别是期望和方差, 那么极大似然估计的问题转化为
最小化: $-L(\mu ,\sigma )$
条件: $\sigma \ge 0$

最小二乘

如果$A_{x\times k}$是一个矩阵, $b\in {\mathbb{R}}^n$是一个向量, 对于$x\in {\mathbb{R}}^k$
最小化: $f_0(x)=|Ax-b{|}^2$

凸优化问题

• 凸优化问题的条件, $f_0,f_1,\dots ,f_m$都是凸函数
• 凸优化问题的特点, 局部最优等价于全局最优
• 凸优化问题的求解, 几乎总是现成的工具来求解

凸优化的应用

• 凸优化问题逼近非凸优化问题, 寻找非凸问题的初始点
• 利用对偶问题的凸性给原问题提供下界估计
• 凸优化问题可以给非凸问题带来一些启发

凸集合与凸函数

凸集合定义

如果一个集合$\Omega$中任何两个点之间的线段上任何一个点还属于$\Omega$, 那么$\Omega$就是一个凸集合
$$\lambda x_1+(1-\lambda )x_2\in \Omega ,\forall x_1,x_2\in \Omega ,\lambda \in (0,1)$$

凸函数定义

如果一个函数$f$定义域$\Omega$是凸集, 而且对于任何两点, 以及两点之间线段上任意一个点都有
$$f(\lambda x_1+(1-\lambda )x_2\le \lambda f(x_1)+(1-\lambda )f(x_2),\forall x_1,x_2\in \Omega ,\lambda \in (0,1)$$

函数的上境图

假设$f$是一个定义在$\Omega$上的函数, 区域 { ( x , y ) : y ≥ f ( x ) , ∀ x ∈ Ω } \{(x,y):y\geq f(x),\forall x\in\Omega\} { (x,y):y≥f(x),∀x∈Ω}就是$f$的上境图
上境图就是函数图像上方的部分区域

凸集合与凸函数

一个函数是凸函数当且仅当$f$的上境图是凸集合
凸集合与凸函数有很多相对应的性质可以由这个结论来进行链接

凸组合

对于任何$n$个点 { x i } i = 1 n \{x_i\}^n_{i=1} { xi​}i=1n​, 以及权重系数 { w i } i = 1 n \{w_i\}^n_{i=1} { wi​}i=1n​, 若权重系数非负$w_1\ge 0$而且$\sum _{i=1}^n{w}_i=1$, 则线性组合
$$S=\sum _{i=1}^n{w}_i{x}_i$$
为一个凸组合
凸组合的物理意义可以理解成$n$个重量为$w_i$的点的整体重心

集合的凸包

$n$个点 { x i } i = 1 n 的 全 部 凸 组 合 就 构 成 \{x_i\}^n_{i=1}的全部凸组合就构成 { xi​}i=1n​的全部凸组合就构成{x_1}^n_{i=1}$$的凸包

函数的凸闭包

如果$C$是函数$f$的上境图, $\bar{C}$是$C$的凸包, 那么以$\bar{C}$为上境图的函数称为$f$的凸闭包

集合的凸包的性质

若$\bar{C}$是$C$凸包, 那么

• $C\subset \bar{C}$
• $C$的支撑平面也是$\bar{C}$的支撑平面, 反之亦然

函数的凸闭包的性质

若$g$是$f$的凸闭包, 那么

• $g\le f$
• inf ⁡ { g } = inf ⁡ f \inf\{g\}=\inf f inf{ g}=inff

凸集合性质

1. 假设$\Omega$是一个凸集合, 那么$\Omega$任何子集的凸包仍包含于$\Omega$

琴身不等式

如果$f:\Omega \to \mathbb{R}$是一个凸函数, 则对于任何 { x i ∈ Ω } i = 1 n \{x_i\in\Omega\}^n_{i=1} { xi​∈Ω}i=1n​, 以及凸组合$\sum _{i=1}^n{w}_i{x}_i$都有
$$\sum _{i=1}^n{w}_{i}f(x_i)\ge f(\sum _{i=1}^n{w}_i{x}_i)$$

2. 任意多个凸集合的交集仍然是凸集合

• 任意多个凸函数的逐点上确界仍是凸函数
• 固定一个凸函数的若干个变量, 所得的函数仍然是凸函数
• 凸函数的sublevel set都是凸集合

3. 假设$T:V\to W$是一个线性映射, 则

• 若${\Omega }_V$是$V$中的凸集合, 则${\Omega }_W=T({\Omega }_v)$是$W$中的凸集合
• 若${\Omega }_W$是$W$中的凸集合, 则${\Omega }_V=T^{-1}({\Omega }_W)$是$V$中的凸集合

4. 凸函数的非负线性组合仍是凸函数, $f_1,\dots ,f_k$是凸函数, 而且$w_i\ge 0$, 则$\sum _{i=1}^k{w}_i{f}_k$也是凸函数
   若$f:{\mathbb{R}}^n\to \mathbb{R}$是凸函数, $A\in {\mathbb{R}}^{n\times m},b\in {\mathbb{R}}^n$, 那么复合函数$g(x)=f(Ax+b)$还是凸函数

5. 若凸集合$\Omega$的边界$C$是一个可微曲线, 则$C$在任何一点上的切线(平面)都是这个凸集合的支撑线(平面)
   若凸集合$\Omega$的边界$C$是一个二阶可微曲线, 则C在任何一点上的曲率向量都指向$\Omega$内部

曲率向量的物理意义是加速方向或者受力方向

6. 若一个凸函数一阶可微, 那么凸函数的一阶近似不大于函数本身
   $$f(x)\ge f(x_0)+(\Delta f(x_0){)}^T\cdot (x-x_0)$$
   若一个凸函数二阶可微, 那么这个函数的二阶导数非负(半正定)

7. 若$\Omega$是凸集合, 那么$\Omega$在任何一个平面上的投影仍是凸集合(平行光源投影)
   若$\Omega \subset {\mathbb{R}}^n$是凸集合, 那么
   Ω n ^ = { ( x 1 / x n , … , x n − 1 / x n , 1 ) : ( x 1 , … , x n ) ∈ Ω 且 x n ≠ 0 } \Omega_{\hat{n}}=\{(x_1/x_n,\dots,x_{n-1}/x_n,1):(x_1,\dots,x_n)\in\Omega且x_n\neq 0\} Ωn^​={ (x1​/xn​,…,xn−1​/xn​,1):(x1​,…,xn​)∈Ω且xn​​=0}也是凸集合(点光源投影)
   若$\Omega \subset {\mathbb{R}}^n$是一个凸集合, 那么椎体$tx:x\in \Omega ,t\in {\mathbb{R}}_{+}$也是凸集合(点光源)

8. 若$f(x,y)$是凸函数, 那么$g(x)=\underset{(x,y)\in \Omega }{\inf }f(x,y)$, 也是凸函数
   若$f:{\mathbb{R}}^n\to \mathbb{R}$是凸函数, 那么$g(x,t)=tf(x/t):{\mathbb{R}}^{n+1}\to \mathbb{R}$也是个凸函数

凸集分离定理

若$C,D$分别是${\mathbb{R}}^n$中的两个不交的非空凸集合, 如$C\cap D=\varnothing$, 则一定存在向量$a\in {\mathbb{R}}^n$以及实数$b\in \mathbb{R}$使得任何$x_C\in C,x_D\in D$有$a^T{x}_C\le b$以及$a^T{x}_D\ge b$

定理不等式的几何意义在于$C,D$分别位于超平面$a^{T}x=b$的两边

共轭函数

如果$f:{\mathbb{R}}^n\to \mathbb{R}$是一个函数, 那么$f$的共轭函数
$$f^{\ast }(y)=\underset{x\in domf}{\sup }(y^{T}x-f(x))$$
其中$f^{\ast }(y)$的定义域是是的等式右边有上界的那些y

共轭函数的基本性质

• 共轭函数$f^{\ast }$是一个凸函数
• 如果$g$是$f$的凸闭包, 那么$g^{\ast }=f^{\ast }$
• 对一般的函数$f,f^{\ast \ast }\le f$
• 如果$f$是一个凸函数, 那么$f^{\ast \ast }=f$
• $f(x)+f^{\ast }(y)\ge x^{T}y$
• 如果$f$是凸函数而且可微, 那么$f^{\ast }(y)=x^T\nabla f(x^{\ast })-f(x^{\ast })$, 其中$x^{\ast }$满足$\nabla f(x^{\ast })=y$
• 如果$g(x)=f(Ax+b)$, 则$g\ast (y)=f\ast (A^{-T}y)-b^T{A}^{-T}y$
• 如果$f(u,v)=f_1(u)+f_2(v)$, 那么$f^{\ast }(w,z)=f_1^{\ast }(w)+f_2^{\ast }(z)$

对偶问题

拉格朗日对偶问题

根据原函数与限制条件我们定义拉格朗日量$L(x,\lambda ,\nu ):{\mathbb{R}}^{n+m+p}\to \mathbb{R}$
拉格朗日量:
$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$$
根据拉格朗日函数我们定义拉格朗日对偶函数$g(\lambda ,\nu ):{\mathbb{R}}^{m+p}\to \mathbb{R}$
拉格朗日对偶函数
$$\begin{array}{rl}g(\lambda ,\mu )& =\underset{x\in \mathcal{D}}{\inf }L(x,\lambda ,\mu )\\ & =\underset{x\in \mathcal{D}}{\inf }{f}_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x)\end{array}$$

对偶函数为原问题提供下界

如果限制${\lambda }_i\ge 0,\forall i=1,\dots ,m$,则
$$g(\lambda ,\mu )\le p^{\ast }$$

对偶问题

根据对偶函数,定义对偶问题的一般形式
最大化:$g(\lambda ,\mu )$
不等条件:${\lambda }_i\ge 0,i=1,\dots ,m$
我们把对偶问题的最大值点称为$({\lambda }^{\ast },{\mu }^{\ast })$, 相应的最大值称为$d^{\ast }$, 这里面的对偶函数$g$定义域为 d o m g = { ( λ , μ ) : g ( λ , μ ) > − ∞ } domg=\{(\lambda,\mu):g(\lambda,\mu)>-\infty\} domg={ (λ,μ):g(λ,μ)>−∞}, 在$g$的定义域中满足${\lambda }_i\ge 0$的那些$(\lambda ,\mu )$全体, 叫做对偶可行域, 也就是对偶问题的可行域

线性约束优化问题的对偶问题

当优化问题的限制条件是线性条件是, 可以利用共轭函数的一些性质方便的得到对偶问题
最小化:$f_0(x)$
不等条件:$AX\le b$
等式条件:$Cx=d$
这里面向量的比较$u<v$指的是$u0$里面每一个分量都不小于$v$里面对应的分量

根据对偶函数的性质我们已经知道在对偶可行域中,$g(\lambda ,\mu )$总是不大于$p^{\ast }$. 所以就有
弱对偶性:
$$d^{\ast }\le p^{\ast }$$
若对偶性总是对的, 相对而言的强对偶性是指一部分优化问题来说, 有更好的结论
$$d^{\ast }=p^{\ast }$$
强对偶性不总成立

KKT

KKT条件

• $f_i(x^{\ast })\le 0,i=1,\dots ,m$
• $h_i(x^{\ast })=0,i=1,\dots ,p$
• ${\lambda }_i^{\ast }\ge 0,i=1,\dots ,m$
• ${\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\dots ,m$
• ${\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0$
  其中第四个条件是由$\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x^{\ast })=0$以及第一个和第三个条件共同得到的

KKT条件使用

• 对于凸优化问题, KKT条件是$x^{\ast },({\lambda }^{\ast },{\nu }^{\ast })$分别作为原问题和对偶问题的最优解的充分必要条件
• 对于非凸优化问题, KKT条件仅仅是必要而非充分