利普希茨连续（Lipschitz continuous）
利普希茨连续的定义是：如果函数 f f f在区间 Q Q Q上以常数 L L L利普希茨连续，那么对于 x , y ∈ Q x, y \in Q x,y∈Q，有： ∣ ∣ f ( x ) − f ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f(x) – f(y)|| \leq L||x – y|| ∣∣f(x)−f(y)∣∣≤L∣∣x−y∣∣ 其中常数 L L L称为 f f f在区间 Q Q Q上的Lipschitz常数。
除了Lipschitz continuous之外，Lipschitz continuous gradient 和 Lipschitz continuous Hessian也是常用到的概念，它们都是由Lipschitz continuous概念延伸出来的。值得一提的是，很多论文中，尤其是关于凸优化的问题，Lipschitz continuous gradient的应用更为常见。
其中，如果函数 f f f满足Lipschitz continuous gradient，就意味着它的导数 f ′ f’ f′满足Lipschitz continuous，即如果函数 f f f满足Lipschitz continuous gradient，则： ∣ ∣ f ′ ( x ) − f ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f'(x) – f'(y)|| \leq L||x – y|| ∣∣f′(x)−f′(y)∣∣≤L∣∣x−y∣∣
其中，如果函数 f f f满足Lipschitz continuous Hessian，就意味着它的二阶导数 f ′ ′ f” f′′满足Lipschitz continuous，即如果函数 f f f满足Lipschitz continuous Hessian，则： ∣ ∣ f ′ ′ ( x ) − f ′ ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f”(x) – f”(y)|| \leq L||x – y|| ∣∣f′′(x)−f′′(y)∣∣≤L∣∣x−y∣∣
从上面的定义中可以看出，利普希茨连续限制了函数 f f f的局部变动幅度不能超过某常量。同样的道理，Lipschitz continuous gradient和Lipschitz continuous Hessian则限制了函数的导函数和二阶导函数的局部变化幅度。
相关定理（Theorems）
1、如果函数 f f f符合Lipschitz continuous，根据上面的公式可以得到下面的不等式：
{ f ( y ) ≤ f ( x ) + L ∣ ∣ y − x ∣ ∣ f ( y ) ≥ f ( x ) − L ∣ ∣ y − x ∣ ∣ \left\{ \begin{aligned} f(y)&\leq f(x) + L||y – x||\\ f(y)&\geq f(x)- L||y – x|| \end{aligned} \right. {
f(y)f(y)≤f(x)+L∣∣y−x∣∣≥f(x)−L∣∣y−x∣∣固定变量 x x x，不等式的右端即是一个一次的函数，即函数 f f f被一次函数上下逼近。
2、如果函数 f f f在 R n R^{n} Rn上满足Lipschitz continuous gradient，则对于任意 x , y ∈ R n x, y \in R^{n} x,y∈Rn有： ∣ f ( y ) − f ( x ) − < f ′ ( x ) , y − x > ∣ ≤ L / 2 ∣ ∣ y − x ∣ ∣ 2 |f(y) – f(x) – <f'(x), y – x>| \leq L/2 ||y – x||^{2} ∣f(y)−f(x)−<f′(x),y−x>∣≤L/2∣∣y−x∣∣2根据上面的公式，去掉绝对值，可以得到下面的不等式：
{ f ( y ) ≤ f ( x ) + < f ′ ( x ) , y − x > + L / 2 ∣ ∣ y − x ∣ ∣ 2 f ( y ) ≥ f ( x ) + < f ′ ( x ) , y − x > − L / 2 ∣ ∣ y − x ∣ ∣ 2 \left\{ \begin{aligned} f(y)&\leq f(x) + <f'(x), y-x> + L/2||y – x||^{2}\\ f(y)&\geq f(x) + <f'(x), y-x> – L/2||y – x||^{2} \end{aligned} \right. {
f(y)f(y)≤f(x)+<f′(x),y−x>+L/2∣∣y−x∣∣2≥f(x)+<f′(x),y−x>−L/2∣∣y−x∣∣2固定变量 x x x，不等式的右端即是一个二次的函数，即函数 f f f被二次函数上下逼近。或者也可以理解为函数 f ′ f’ f′被一次函数上下逼近。
3、如果函数 f f f在 R n R^{n} Rn上满足Lipschitz continuous Hessian，则对于任意 x , y ∈ R n x, y \in R^{n} x,y∈Rn有： ∣ f ( y ) − f ( x ) − < f ′ ( x ) , y − x > − 1 2 < f ′ ′ ( x ) ( y − x ) , y − x > ∣ ≤ L / 6 ∣ ∣ y − x ∣ ∣ 3 |f(y) – f(x) – <f'(x), y – x> – \frac{1}{2}<f”(x)(y – x), y-x>| \leq L/6 ||y – x||^{3} ∣f(y)−f(x)−<f′(x),y−x>−21<f′′(x)(y−x),y−x>∣≤L/6∣∣y−x∣∣3根据上面的公式，去掉绝对值，可以得到下面的不等式：
{ f ( y ) ≤ f ( x ) + < f ′ ( x ) , y − x > + 1 2 < f ′ ′ ( x ) ( y − x ) , y − x > + L / 6 ∣ ∣ y − x ∣ ∣ 3 f ( y ) ≥ f ( x ) + < f ′ ( x ) , y − x > + 1 2 < f ′ ′ ( x ) ( y − x ) , y − x > − L / 6 ∣ ∣ y − x ∣ ∣ 3 \left\{ \begin{aligned} f(y)&\leq f(x) + <f'(x), y-x> + \frac{1}{2}<f”(x)(y – x), y-x> + L/6 ||y – x||^{3}\\ f(y)&\geq f(x) + <f'(x), y-x> + \frac{1}{2}<f”(x)(y – x), y-x> – L/6 ||y – x||^{3} \end{aligned} \right. ⎩⎪⎨⎪⎧f(y)f(y)≤f(x)+<f′(x),y−x>+21<f′′(x)(y−x),y−x>+L/6∣∣y−x∣∣3≥f(x)+<f′(x),y−x>+21<f′′(x)(y−x),y−x>−L/6∣∣y−x∣∣3固定变量 x x x，不等式的右端即是一个三次的函数，即函数 f f f被三次函数上下逼近。或者也可以理解为函数 f ′ ′ f” f′′被一次函数上下逼近。
关于上面的证明可以参考非凸优化基石：Lipschitz Condition
参考资料
利普希茨连续的几何意义是什么？怎么较好的理解它呢？ – 知乎
非凸优化基石：Lipschitz Condition
今天的文章利普希茨连续定义_利普希茨连续与一致连续分享到此就结束了，感谢您的阅读。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/64406.html
