回归分析异方差检验_方差分析和回归分析的区别

一、建立回归模型

【导入数据】【分析】【回归】【线性】，将“y”选入“因变量”，“x1,x2”选入“自变量”，在【保存】中勾选残差【未标准化】，系统会在原数据框内新保存为RES_1

（结果如下图所示）

由上述结果可以看出，普通最小二乘的回归方程为：

$\hat {y}=-327.039+2.036x_{1}+0.468x_2$ ……(1)

在对模型进行F检验和T检验时发现，当 $\alpha =0.05$ 时，两检验对应的P值均小于 $\alpha$ ，即表明F检验和T检验均通过，模型构建良好。

二、异方差性检验

（由于误差项 $\varepsilon _{i}$ 不可获，故研究其估计值——残差 $e_{i}$ ）

（1）残差图分析法—— $(x,e_{i})$

【图形】【旧对话框】【散点图】【简单散点图】，将“x1”选入“X轴”，“RES_1”选入“Y轴”

（结果如下图所示）

【图形】【旧对话框】【散点图】【简单散点图】，将“x2”选入“X轴”，“RES_1”选入“Y轴”

（结果如下图所示）

由第二个图可以看出，残差e值随着x2的增大有明显的开口扩大趋势，即可以认为存在异方差性。

残差散点图的横坐标有三种选择：

（1）拟合值 $\hat{y}$ ；（2） $x_{i}(i=1,2,\cdots ,p)$ ；（3）观测时间或序号

（2）等级相关系数法—— $r_{s}$

（又称斯皮尔曼检验法）

相关知识：

等级相关系数： $r_{s}=1-\frac{6}{n(n^{2}-1)} \sum_{i=1}^{n}d_{i}^{2}$ 。其中，n为样本量， $d_{i}$ 为对应 $x_{i}$ 和 $\left |e_{i} \right |$ 的等级的差数。（补充：将 $x_{i}$ 和 $\left |e_{i} \right |$ 按递增或递减的次序排列后分成等级，计算其差数即为 $d_{i}$ ）

做等级相关系数的显著性检验：

给出假设： $H_{0}:r_{s}=0$ （系统相关性不存在，即有异方差不存在）

$H_{1}:r_{s}\neq 0$

检验统计量t满足： $t=\frac{\sqrt{n-2}r_{s}}{\sqrt{1-r_{s}^{2}}}\sim t(n-2)$

若 $\left | t \right |\leqslant t_{\alpha /2}(n-2)$ ，或者 \alpha”>，则接受 $H_{0}$ ，可以认为异方差性问题不存在；

若 t_{\alpha /2}(n-2)”>，或者 $P\leqslant \alpha$ ，则拒绝 $H_{0}$ ，说明 $x_{i}$ 与 $\left |e_{i} \right |$ 存在系统关系，异方差性问题存在。

【转换】【计算变量】，在目标变量框内输入“abse”，用来表示“ $\left | e_i \right |$ ”，在数字表达式内输入“abs(RES_1)”
【分析】【相关】【双变量】，选中“x1,x2,abse”，在相关系数中选择【斯皮尔曼】

（结果如下图所示）

结果见上表所示，只关注最后三行，不难发现：当 $\alpha =0.05$ 时，x2对应的P值小于 $\alpha$ ，即表明存在异方差性。

再看x2与 $\left | e_i \right |$ 的相关系数 $r_{s}=0.721$ ，大于x1与 $\left | e_i \right |$ 的相关系数，故说明本题应该选用x2构造权函数，即为：

三、一元加权最小二乘估计

相关知识：

消除异方差性的方法通常有：加权最小二乘法，BOX-COX变换法，方差稳定性变换法。其中，加权最小二乘法是一种最常用的方法。

对于一元线性回归方程来说，普通最小二乘法的离差平方和为：

$Q(\beta _{0},\beta _{1})=\sum_{i=1}^{n}(y_{i}-E(y_{i}))^{2}=\sum_{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i})^{2}$ ……(1)

在等方差的情况下，平方和中各项的地位相同。然而，在异方差的情况下，平方和中的每一项地位是不同的。加权最小二乘法既是在平方和中加入了一个适当的权数 $w_{i}$ ，以调整各项在平方和中的作用。

一元线性回归的加权最小二乘的离差平方和为：

$Q_{w}(\beta _{0},\beta _{1})=\sum_{i=1}^{n}w_{i}(y_{i}-E(y_{i}))^{2}=\sum_{i=1}^{n}w_{i}(y_{i}-\beta _{0}-\beta _{1}x_{i})^{2}$ ……(2)

其中， $w_{i}$ 为给定的第i个观测值的权数。

加权最小二乘法就是寻找参数 $\beta _{0},\beta _{1}$ 的估计值 $\hat{\beta} _{0w},\hat{\beta} _{1w}$ ，使得(2)式的离差平方和 $Q_{w}$ 达到极小。如果所有权数相等，即 $w_{i}$ 都等于某个常数，该方法即为普通最小二乘法。

可以证明加权最小二乘估计为：

$\left\{\begin{matrix} \hat{\beta} _{0w}=\bar{y}_{w}-\hat{\beta} _{1w}\bar{x}_{w}\\ \hat{\beta} _{1w}=\frac{\sum_{i=1}^{n}w_{i}(x_{i}-\bar{x}_{w})(y_{i}-\bar{y}_{w})}{\sum_{i=1}^{n}w_{i}(x_{i}-\bar{x}_{w})^{2}} \end{matrix}\right.$ ……(3)

其中， $\bar{x}_{w}=\frac{1}{\sum w_{i}}\sum w_{i}x_{i}$ 为自变量的加权平均； $\bar{y}_{w}=\frac{1}{\sum w_{i}}\sum w_{i}y_{i}$ 为因变量的加权平均。

可直接给出权函数为：

$w_{i}=x_{i}^{m}$ ……(4)

四、多元加权最小二乘估计

相关知识：

对于一般的多元线性回归方程来说，加权最小二乘法的离差平方和为：

$Q_{w}=\sum_{i=1}^{n}w_{i}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\beta _{2}x_{i2}-\cdots -\beta _{p}x_{ip})^{2}$ ……(5)

其中， $w_{i}$ 为给定的第i个观测值的权数。

加权最小二乘法就是寻找参数 $\beta _{0},\beta _{1},\beta _{2},\cdots ,\beta _{p}$ 的估计值 $\hat{\beta} _{0w},\hat{\beta} _{1w},\hat{\beta} _{2w},\cdots ,\hat{\beta} _{pw}$ ，使得(5)式的离差平方和 $Q_{w}$ 达到极小。记

$W=\begin{bmatrix} w_{1} & & &\vdots \\ &w_{2} & & \\ & & \ddots & \\ \vdots & & & w_{n} \end{bmatrix}$

可以证明加权最小二乘估计的矩阵表达式为：

$\hat{\beta }_{w}=(X'WX)^{-1}X'Wy$ ……(6)

可直接给出权函数为：

$W=x_{j}^{m}$ ……(7)

由上式不难看出，权函数W是关于某样本量 $x_{j}(j=1,2,\cdots ,p)$ 的幂函数。

那么，如何确定应该选取哪一个自变量，用于构造权函数呢？只需计算各自变量 $x_{j}$ 与普通残差的等级相关系数 $r_{s}$ ，选取等级相关系数最大的自变量（对异方差影响最大）即可。