回归分析异方差检验_方差分析和回归分析的区别

回归分析异方差检验_方差分析和回归分析的区别异方差性多存在于横截面数据当中

目录

一、建立回归模型

二、异方差性检验

(1)残差图分析法

(2)等级相关系数法

三、一元加权最小二乘估计

四、多元加权最小二乘估计

五、加权最小二乘法处理异方差性

(1)寻找最优权函数

(2)重新建立回归模型

(3)异方差性检验——权变换残差图

(4)模型效果分析

六、选用加权最小二乘法时应清楚的点



一、建立回归模型

  • 【导入数据】【分析】【回归】【线性】,将“y”选入“因变量”,“x1,x2”选入“自变量”,在【保存】中勾选残差【未标准化】,系统会在原数据框内新保存为RES_1

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

回归分析异方差检验_方差分析和回归分析的区别

由上述结果可以看出,普通最小二乘的回归方程为:

\hat {y}=-327.039+2.036x_{1}+0.468x_2……(1)

在对模型进行F检验和T检验时发现,当\alpha =0.05时,两检验对应的P值均小于\alpha,即表明F检验和T检验均通过,模型构建良好。

二、异方差性检验

(由于误差项\varepsilon _{i}不可获,故研究其估计值——残差e_{i}

(1)残差图分析法——(x,e_{i})

  • 【图形】【旧对话框】【散点图】【简单散点图】,将“x1”选入“X轴”,“RES_1”选入“Y轴”

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

  • 【图形】【旧对话框】【散点图】【简单散点图】,将“x2”选入“X轴”,“RES_1”选入“Y轴”

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

由第二个图可以看出,残差e值随着x2的增大有明显的开口扩大趋势,即可以认为存在异方差性

残差散点图的横坐标有三种选择:

(1)拟合值\hat{y};(2)x_{i}(i=1,2,\cdots ,p);(3)观测时间或序号

(2)等级相关系数法——r_{s}

(又称斯皮尔曼检验法

相关知识:

  1. 等级相关系数:r_{s}=1-\frac{6}{n(n^{2}-1)} \sum_{i=1}^{n}d_{i}^{2}。  其中,n为样本量,d_{i}为对应x_{i}\left |e_{i} \right |的等级的差数。(补充:将x_{i}\left |e_{i} \right |按递增或递减的次序排列后分成等级,计算其差数即为d_{i}
  2. 做等级相关系数的显著性检验:

       给出假设:H_{0}:r_{s}=0(系统相关性不存在,即有异方差不存在)

                         H_{1}:r_{s}\neq 0

       检验统计量t满足:t=\frac{\sqrt{n-2}r_{s}}{\sqrt{1-r_{s}^{2}}}\sim t(n-2)

       若\left | t \right |\leqslant t_{\alpha /2}(n-2),或者回归分析异方差检验_方差分析和回归分析的区别 \alpha”>,则接受H_{0},可以认为异方差性问题不存在

       若回归分析异方差检验_方差分析和回归分析的区别 t_{\alpha /2}(n-2)”>,或者P\leqslant \alpha,则拒绝H_{0},说明x_{i}\left |e_{i} \right |存在系统关系,异方差性问题存在。

  • 【转换】【计算变量】,在目标变量框内输入“abse”,用来表示“\left | e_i \right |”,在数字表达式内输入“abs(RES_1)”

  • 【分析】【相关】【双变量】,选中“x1,x2,abse”,在相关系数中选择【斯皮尔曼】

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

结果见上表所示,只关注最后三行,不难发现:当\alpha =0.05时,x2对应的P值小于\alpha,即表明存在异方差性

再看x2与\left | e_i \right |的相关系数r_{s}=0.721,大于x1与\left | e_i \right |的相关系数,故说明本题应该选用x2构造权函数,即为:

W=x_2^m

三、一元加权最小二乘估计

相关知识:

       消除异方差性的方法通常有:加权最小二乘法,BOX-COX变换法,方差稳定性变换法。其中,加权最小二乘法是一种最常用的方法。

       对于一元线性回归方程来说,普通最小二乘法的离差平方和为:

Q(\beta _{0},\beta _{1})=\sum_{i=1}^{n}(y_{i}-E(y_{i}))^{2}=\sum_{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i})^{2}……(1)

       在等方差的情况下,平方和中各项的地位相同。然而,在异方差的情况下,平方和中的每一项地位是不同的。加权最小二乘法既是在平方和中加入了一个适当的权数w_{i},以调整各项在平方和中的作用。

       一元线性回归的加权最小二乘的离差平方和为:

Q_{w}(\beta _{0},\beta _{1})=\sum_{i=1}^{n}w_{i}(y_{i}-E(y_{i}))^{2}=\sum_{i=1}^{n}w_{i}(y_{i}-\beta _{0}-\beta _{1}x_{i})^{2}……(2)

其中,w_{i}为给定的第i个观测值的权数。

       加权最小二乘法就是寻找参数\beta _{0},\beta _{1}的估计值\hat{\beta} _{0w},\hat{\beta} _{1w},使得(2)式的离差平方和Q_{w}达到极小。如果所有权数相等,即w_{i}都等于某个常数,该方法即为普通最小二乘法。

       可以证明加权最小二乘估计为:

\left\{\begin{matrix} \hat{\beta} _{0w}=\bar{y}_{w}-\hat{\beta} _{1w}\bar{x}_{w}\\ \hat{\beta} _{1w}=\frac{\sum_{i=1}^{n}w_{i}(x_{i}-\bar{x}_{w})(y_{i}-\bar{y}_{w})}{\sum_{i=1}^{n}w_{i}(x_{i}-\bar{x}_{w})^{2}} \end{matrix}\right.……(3)

其中,\bar{x}_{w}=\frac{1}{\sum w_{i}}\sum w_{i}x_{i}为自变量的加权平均;\bar{y}_{w}=\frac{1}{\sum w_{i}}\sum w_{i}y_{i}为因变量的加权平均。

       可直接给出权函数为:

w_{i}=x_{i}^{m}……(4)

四、多元加权最小二乘估计

相关知识:

       对于一般的多元线性回归方程来说,加权最小二乘法的离差平方和为:

Q_{w}=\sum_{i=1}^{n}w_{i}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\beta _{2}x_{i2}-\cdots -\beta _{p}x_{ip})^{2}……(5)

其中,w_{i}为给定的第i个观测值的权数。

       加权最小二乘法就是寻找参数\beta _{0},\beta _{1},\beta _{2},\cdots ,\beta _{p}的估计值\hat{\beta} _{0w},\hat{\beta} _{1w},\hat{\beta} _{2w},\cdots ,\hat{\beta} _{pw},使得(5)式的离差平方和Q_{w}达到极小。记

W=\begin{bmatrix} w_{1} & & &\vdots \\ &w_{2} & & \\ & & \ddots & \\ \vdots & & & w_{n} \end{bmatrix}

       可以证明加权最小二乘估计的矩阵表达式为:

\hat{\beta }_{w}=(X'WX)^{-1}X'Wy……(6)

       可直接给出权函数为:

W=x_{j}^{m}……(7)

       由上式不难看出,权函数W是关于某样本量x_{j}(j=1,2,\cdots ,p)的幂函数。

       那么,如何确定应该选取哪一个自变量,用于构造权函数呢?只需计算各自变量x_{j}与普通残差的等级相关系数r_{s}选取等级相关系数最大的自变量(对异方差影响最大)即可。

五、加权最小二乘法处理异方差性

(1)寻找最优权函数w_{i}=x_{i}^{m} oror W=x_{j}^{m}

——首先,先找m

  • 【分析】【回归】【权重估算】,将“y”选入“因变量”,“x1,x2”选入“自变量”,再将“x2”选入“权重变量”,其余暂时默认

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

由上述结果可以看出,当幂m=2时,对数似然值为最大。

因为幂为2时恰为边界值,故再继续修改幂的范围,进一步观察并确定结果:

  • 【分析】【回归】【权重估算】,将幂的范围从“-2到2”,修改为“-2到4

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

由上述结果可以看出,当幂m=2.5时,对数似然值为最大。因为本题中未考虑经济意义,故综上所述,我们最终确定幂m=2.5

补充:

       若经济意义已知,那么还应该考虑模型的经济意义。假定在考虑经济意义的情况下,幂的最优取值为m_0。此时对应的似然值不一定为最大,可再令最大似然值对应的幂为m_1

       一般情况下,由于m_0m_1对应的似然值若相差不大,也可以直接使用m_1作为最终的幂m,即不考虑经济意义

——其次,保存各项权重:

  • 【分析】【回归】【权重估算】,将幂的范围从“-2到2”,修改为“-2到4”,再在【选项】中勾选【将最佳权重保存为新变量】,系统会在原数据框内新保存为WGT_1

(2)重新建立回归模型

  • 【分析】【回归】【线性】,将“y”选入“因变量”,“x1,x2”选入“自变量”,再将“WGT_1”选入“WLS权重”,最后在【保存】中勾选残差【未标准化】,系统会在原数据框内新保存为RES_2,表示加权残差e_{iw}

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

根据上述结果可知,加权最小二乘的回归方程为:

\hat {y}=-266.962+1.696x_{1}+0.470x_2……(2)

(3)异方差性检验——权变换残差图

——首先,计算权变换后的残差:

补充:

权值:W=x_j^m=x_j^{2.5}

则权变换后的残差为:W^{\frac{1}{2.5}}\cdot e_{iw}

  • 【转换】【计算变量】,在目标变量框内输入“cancha”,用来表示权变换后的残差,再在数字表达式内输入“((WGT_1) ** (1/2.5)) * RES_2”

——其次,绘制权变换残差图:

  • 【图形】【旧对话框】【散点图】【简单散点图】,将“x1”选入“X轴”,“cancha”选入“Y轴”

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

  • 【图形】【旧对话框】【散点图】【简单散点图】,将“x2”选入“X轴”,“cancha”选入“Y轴”

(结果如下图所示)

回归分析异方差检验_方差分析和回归分析的区别

由上述两个图可以看出,权变换后的残差值并不会随着x1或x2的增大,有任何变化的趋势,即可以大致认为不存在异方差性

(4)模型效果分析

综上所述可知:

原模型(普通最小二乘):

回归分析异方差检验_方差分析和回归分析的区别

回归分析异方差检验_方差分析和回归分析的区别

回归分析异方差检验_方差分析和回归分析的区别

现模型(加权最小二乘):

回归分析异方差检验_方差分析和回归分析的区别

回归分析异方差检验_方差分析和回归分析的区别

回归分析异方差检验_方差分析和回归分析的区别

结合前后两个模型来看不难发现,两模型均通过了F检验和T检验,表明模型均构建良好。其中,第二个模型的标准估算误差为0.03238,远小于第一个模型的475.75182,故表明模型有改进。

六、选用加权最小二乘法时应清楚的点

       加权最小二乘法是以牺牲大方差项的拟合效果为代价,改善了小方差项的拟合效果,但是这也并不总是研究者所需要的。在社会经济现象中,通常变量取值大时方差也大,在以经济总量为研究目标时,研究者更关心的是变量取值大的项,而普通最小二乘法恰好能够满足这个要求。

(内容若有不妥之处,请多多包涵与指教)

今天的文章回归分析异方差检验_方差分析和回归分析的区别分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/82460.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注