用对偶单纯形法求解线性规划问题的每一步_二元线性回归模型

（一）线性规划

1.化标准型

• 目标函数最大：c为价值系数
• 约束条件等式：a为工艺或技术系数
• 决策变量非负：x为某个方案
• 资源限量非负：b为资源限制

约束<=加上松弛变量，>=减去剩余变量，决策变量无约束变成变量差值x=x1-x2

松弛变量与剩余变量在实际问题中分别表示未被充分利用的资源和超出的资源数，均未转化为价值和利润，所以引进模型后它们在目标函数中的系数均为零。

2.图解法

• 线性规划解：唯一最优解，无穷多最优解，无界解，无可行解
• 若线性规划可行域存在，则可行域一定是凸集
• 若线性规划最优解存在，则最优解（之一）一定是可行域凸集的某个顶点

3.单纯形法原理

3.1最优判断(检验数)

• 最优解：全部检验数<=0
• 唯一最优解：全部检验数<0
• 无穷多最优解：全部检验数<=0，存在某个非基变量检验数=0
• 无界解：有一个非基变量检验数>0，所有系数都>=0

3.2单纯形法步骤

1. 求初始可行基，列出初始单纯形表

2. 最优性检验

3. 基变换

   • 换入基：某个非基变量变为基变量X(in)

   检验数>0，对应的非基变量就可以换人，如果有多个大于0的检验数，选择检验数最大的一个
   σ k = m a x { σ j ∣ σ j > 0 } \sigma _k=max \left\{\sigma _j|\sigma _j>0\right\} σk​=max{
   σj​∣σj​>0}

   • 换出基：某个基变量变为非基变量，最小比值，对Pk列计算得到变量X(out)为换出变量

   $$\theta =min\left\{\frac{b_i}{a_{ik}}|a_{ik}>0\right\}=\frac{b_l}{a_{lk}}$$

   • 迭代变量：用换入基代替换出基，得到一个新的基和一张新的单纯形表Pk列只有X(out),X(in)对应的系数=1，其余均为0

4.单纯形法的进一步讨论

问题：线性规划化成标准形时，约束条件的系数矩阵不存在单位矩阵，如何构造初始可行基？

解决：添加人工变量构造初始可行基

区别：人工变量和松弛变量不同，松弛变量在最优解中值非0，人工变量在最优解中值为0

4.1 大M法

人工变量在目标函数中的系数为-M，M为任意大的正数。因此只要人工变量>0，目标函数不可能实现最优，人工变量只能为0。

求解结果中所有检验数非正，如果基变量中有非0的人工变量，则无可行解，否则有最优解。

4.2 两阶段法

1. 加入人工变量后，构造仅含人工变量的目标函数，要求实现最小化
2. 将一阶段得到的最终表去除人工变量，将目标函数行的系数换成原问题的目标函数系数，作为二阶段的初始表

当一阶段的最优解中基变量不包含人工变量时，得到的原始线性规划问题的一个基可行解，第二阶段以此为基础对原目标函数求解最优解；当一阶段的最优解不等于0，说明基变量中有不为0的人工变量，则原问题无可行解

4.3 退化解

基可行解中存在基变量等0的解（退化解），迭代后目标函数值不变，即不同的基表示为同一个顶点。

线性规划问题通常通过单纯形法等方法来求解，这些方法依赖于不断移动基本可行解以寻找最优解的过程。在某些情况下，尽管找到了一个基本可行解，但它仍然不能提供最优解或者不能进一步改进，这就是所谓的退化解。

退化解的主要特征是，在基本可行解中，至少有一个基变量对应的值为零。这会导致问题的目标函数在这个解上不发生改变，因为对应于零值的基本变量的系数在目标函数中的贡献为零。因此，算法无法通过调整这个基本变量的值来改进目标函数值，从而陷入了循环或停滞。

为了解决退化解问题，通常使用一些策略，例如Bland’s Rule（布兰德规则）来选择要进入或离开基变量的变量，以确保算法可以继续寻找最优解而不陷入循环。

勃兰特(bland)规则：

• 遇到相同检验数，选取对应下表最小的非基变量作为换入变量
• 存在两个及以上相同的最小比值时，选取下标最小的基变量作为换出变量

（二）对偶问题

1.线性规划的对偶问题

• primal：原问题
• dual：对偶问题
• normal max problem：标准形式最大化问题
• normal min problem：标准形式最小化问题
• nonnormal max problem：非标准形式最大化问题
• nonnormal min problem：非标准形式最小化问题

下面是模型和表格两种形式的对比

primal横着看，dual竖着看，变量对应到约束，约束对应到变量

有些LP问题不是标准形式，最简单的方式是转化成标准形式，再变成对偶模型，再化简，以下是三类非标准的快速处理方法

（1）非标准形式最大化问题

• 第$i$原始约束是$>=$，则对应的对偶变量$y_i<=0$
• 第$i$原始约束是$=$，则对应的对偶变量$y_i$无符号约束
• 第$i$原始变量无符号约束，则对应的对偶约束是$=$

（2）非标准形式最小化问题

• 第$i$原始约束是$<=$，则对应的对偶变量$y_i<=0$
• 第$i$原始约束是$=$，则对应的对偶变量$y_i$无符号约束
• 第$i$原始变量无符号约束，则对应的对偶约束是$=$

1. 优化问题的解析难度：某些优化问题的原始形式可能非常复杂，难以直接求解。对偶模型可以将原始问题转化为一个更容易处理的形式，从而更容易找到问题的最优解。这种转化有时可以使问题的解析难度减小。
2. 整数规划问题：在整数规划问题中，决策变量需要取整数值。对偶模型可以用来放松这个整数要求，将问题转化为一个连续优化问题，然后通过对偶方法来找到整数规划问题的松弛解，这有助于加速求解过程。
3. 线性规划问题：对偶模型在线性规划中非常有用。通过构建对偶问题，可以获得原始问题的最优解的下界，并且这个下界通常与原始问题的最优解非常接近。对偶问题还可以用于灵活地处理约束条件和目标函数的变化。
4. 敏感性分析：对偶模型可以用于分析原始优化问题的敏感性，即在目标函数系数或约束条件发生微小变化时，最优解如何变化。这对于决策制定和风险管理非常有价值。
5. 统计学习和机器学习：对偶问题在支持向量机（SVM）等机器学习算法中有广泛应用。对偶问题的形式可以导致更高效的算法实现，并且有助于理解模型的一些性质。

2.单纯形法矩阵描述

见（一）线性规划 3.1，下面是由原问题推出对偶问题

3.线性规划对偶理论

3.1 对称性

对偶问题的对偶是原问题

3.2 弱对偶性

弱对偶性可以用来提供bound，比如有原始问题的任意可行解目标值为a，则得到对偶问题的目标值的一个下界为a，反之也可以得到原始问题目标值的一个上界。

• 极大化问题(原问题)的任一可行解所对应的目标函数值是对偶问题最优目标函数值的下界
• 极小化问题(对偶问题)的任一可行解所对应的目标函数值是原问题最优目标函数值的上界
• 若原问题可行，但是目标函数无界，则对偶问题无可行解
• 若对偶问题可行，但其目标函数无界，则原问题无可行解
• 若原问题有可行解而其对偶问题无可行解，则原问题目标函数值无界
• 若原问题无可行解，则对偶问题无可行解或无界解

3.3 最优性定理

3.4 对偶定理(强对偶性)

• 一个有有限最优解，另一个也有有限最优解
• 一个有无界解，另一个无可行解
• 两个均无可行解

3.5 互补松弛性

4.影子价格

在对偶问题中，Yb是目标函数，其中b是原问题的约束条件的右端项，代表资源拥有量。
影子价格的定义(对偶变量y的意义)：代表在资源最优利用条件下对单位第i中资源的估价，这种估价不是资源的市场价格，而是根据资源在生产中作出的贡献而作的估价，为区别起见，称为影子价格(shadow price)
生产过程中如果某种资源未得到充分利用时，该种资源的影子价格为零；当资源的影子价格不为零时，表明该种资源在生产中已耗费完毕。
以Dakota problem为例说明，公司生产desk，table和chair，每个产品都需要三类资源:lumber，finishing，capentry，每个产品的售价和所需资源以及资源容量如下表，要求最大化利润

容易写出原始问题和对偶问题，现在从经济的角度解释对偶问题

假设一家企业想要购买Dakota的所有资源，这家企业必须决定购买单价，假设lumber，finishing和capentry价格分为$y_1$，$y_2$， $y_3$，购买所有的资源需要花费$48y_1+20y_2+8y_3$，因此优化目标肯定是最小化成本。资源单价必须设置的足够高能让Dakota公司出售，比如有8个lumber，4小时finishing，2小时capentry，Dakota公司就可以生产一个desk卖出60，因此企业购买这些资源的出价至少要为60，也就是$8y_1+4y_2+2y_3>=60$，同理可得table和chair对偶约束。Dakota problem的对偶模型可以得到每类资源的价格，称为资源影子价格resource shadow prices.

5.对偶单纯形法

5.1 对偶单纯形法步骤

若原问题找到了最优解，则对偶问题也找到了最优解

1. 化成标准型

对偶法计算时等式右端可以为负值，如果约束条件中有>=，则两边同时乘以-1转化为<=，再加入松弛变量

2. 判断是否最优解

若b列的数字都为非负，检验数为非正，则已得到最优解，停止计算

1. 换基计算
   换出变量：b值最小的基变量为换出变量X(out)
   换入变量：
2. 迭代运算：以a(out, in)为主元素迭代运算

5.2 对偶单纯形法的特点

优点：

• 不需要人工变量
• 变量多于约束时，用对偶单纯形法可减少迭代次数
• 灵敏度分析中，有时需要用对偶单纯形法处理简化

缺点：

• 在初始单纯形表中对偶问题是基可行解，这点对多数线性规划问题很难做到。因此，对偶单纯形法一般不单独使用

6.灵敏度分析

今天的文章用对偶单纯形法求解线性规划问题的每一步_二元线性回归模型分享到此就结束了，感谢您的阅读。