目录
一、建立回归模型
- 【导入数据】【分析】【回归】【线性】,将“y”选入“因变量”,“x1,x2”选入“自变量”,在【保存】中勾选残差【未标准化】,系统会在原数据框内新保存为RES_1
(结果如下图所示)
由上述结果可以看出,普通最小二乘的回归方程为:
……(1)
在对模型进行F检验和T检验时发现,当时,两检验对应的P值均小于,即表明F检验和T检验均通过,模型构建良好。
二、异方差性检验
(由于误差项不可获,故研究其估计值——残差)
(1)残差图分析法——
- 【图形】【旧对话框】【散点图】【简单散点图】,将“x1”选入“X轴”,“RES_1”选入“Y轴”
(结果如下图所示)
- 【图形】【旧对话框】【散点图】【简单散点图】,将“x2”选入“X轴”,“RES_1”选入“Y轴”
(结果如下图所示)
由第二个图可以看出,残差e值随着x2的增大有明显的开口扩大趋势,即可以认为存在异方差性。
残差散点图的横坐标有三种选择:
(1)拟合值;(2);(3)观测时间或序号
(2)等级相关系数法——
(又称斯皮尔曼检验法)
相关知识:
- 等级相关系数:。 其中,n为样本量,为对应和的等级的差数。(补充:将和按递增或递减的次序排列后分成等级,计算其差数即为)
- 做等级相关系数的显著性检验:
给出假设:(系统相关性不存在,即有异方差不存在)
检验统计量t满足:
若,或者 \alpha”>,则接受,可以认为异方差性问题不存在;
若 t_{\alpha /2}(n-2)”>,或者,则拒绝,说明与存在系统关系,异方差性问题存在。
-
【转换】【计算变量】,在目标变量框内输入“abse”,用来表示“”,在数字表达式内输入“abs(RES_1)”
- 【分析】【相关】【双变量】,选中“x1,x2,abse”,在相关系数中选择【斯皮尔曼】
(结果如下图所示)
结果见上表所示,只关注最后三行,不难发现:当时,x2对应的P值小于,即表明存在异方差性。
再看x2与的相关系数,大于x1与的相关系数,故说明本题应该选用x2构造权函数,即为:
三、一元加权最小二乘估计
相关知识:
消除异方差性的方法通常有:加权最小二乘法,BOX-COX变换法,方差稳定性变换法。其中,加权最小二乘法是一种最常用的方法。
对于一元线性回归方程来说,普通最小二乘法的离差平方和为:
……(1)
在等方差的情况下,平方和中各项的地位相同。然而,在异方差的情况下,平方和中的每一项地位是不同的。加权最小二乘法既是在平方和中加入了一个适当的权数,以调整各项在平方和中的作用。
一元线性回归的加权最小二乘的离差平方和为:
……(2)
其中,为给定的第i个观测值的权数。
加权最小二乘法就是寻找参数的估计值,使得(2)式的离差平方和达到极小。如果所有权数相等,即都等于某个常数,该方法即为普通最小二乘法。
可以证明加权最小二乘估计为:
……(3)
其中,为自变量的加权平均;为因变量的加权平均。
可直接给出权函数为:
……(4)
四、多元加权最小二乘估计
相关知识:
对于一般的多元线性回归方程来说,加权最小二乘法的离差平方和为:
……(5)
其中,为给定的第i个观测值的权数。
加权最小二乘法就是寻找参数的估计值,使得(5)式的离差平方和达到极小。记
可以证明加权最小二乘估计的矩阵表达式为:
……(6)
可直接给出权函数为:
……(7)
由上式不难看出,权函数W是关于某样本量的幂函数。
那么,如何确定应该选取哪一个自变量,用于构造权函数呢?只需计算各自变量与普通残差的等级相关系数,选取等级相关系数最大的自变量(对异方差影响最大)即可。
五、加权最小二乘法处理异方差性
(1)寻找最优权函数
——首先,先找:
- 【分析】【回归】【权重估算】,将“y”选入“因变量”,“x1,x2”选入“自变量”,再将“x2”选入“权重变量”,其余暂时默认
(结果如下图所示)
由上述结果可以看出,当幂m=2时,对数似然值为最大。
因为幂为2时恰为边界值,故再继续修改幂的范围,进一步观察并确定结果:
- 【分析】【回归】【权重估算】,将幂的范围从“-2到2”,修改为“-2到4”
(结果如下图所示)
由上述结果可以看出,当幂m=2.5时,对数似然值为最大。因为本题中未考虑经济意义,故综上所述,我们最终确定幂m=2.5。
补充:
若经济意义已知,那么还应该考虑模型的经济意义。假定在考虑经济意义的情况下,幂的最优取值为。此时对应的似然值不一定为最大,可再令最大似然值对应的幂为。
一般情况下,由于与对应的似然值若相差不大,也可以直接使用作为最终的幂m,即不考虑经济意义。
——其次,保存各项权重:
- 【分析】【回归】【权重估算】,将幂的范围从“-2到2”,修改为“-2到4”,再在【选项】中勾选【将最佳权重保存为新变量】,系统会在原数据框内新保存为WGT_1
(2)重新建立回归模型
- 【分析】【回归】【线性】,将“y”选入“因变量”,“x1,x2”选入“自变量”,再将“WGT_1”选入“WLS权重”,最后在【保存】中勾选残差【未标准化】,系统会在原数据框内新保存为RES_2,表示加权残差
(结果如下图所示)
根据上述结果可知,加权最小二乘的回归方程为:
……(2)
(3)异方差性检验——权变换残差图
——首先,计算权变换后的残差:
补充:
权值:
则权变换后的残差为:
- 【转换】【计算变量】,在目标变量框内输入“cancha”,用来表示权变换后的残差,再在数字表达式内输入“((WGT_1) ** (1/2.5)) * RES_2”
——其次,绘制权变换残差图:
- 【图形】【旧对话框】【散点图】【简单散点图】,将“x1”选入“X轴”,“cancha”选入“Y轴”
(结果如下图所示)
- 【图形】【旧对话框】【散点图】【简单散点图】,将“x2”选入“X轴”,“cancha”选入“Y轴”
(结果如下图所示)
由上述两个图可以看出,权变换后的残差值并不会随着x1或x2的增大,有任何变化的趋势,即可以大致认为不存在异方差性。
(4)模型效果分析
综上所述可知:
原模型(普通最小二乘):
现模型(加权最小二乘):
结合前后两个模型来看不难发现,两模型均通过了F检验和T检验,表明模型均构建良好。其中,第二个模型的标准估算误差为0.03238,远小于第一个模型的475.75182,故表明模型有改进。
六、选用加权最小二乘法时应清楚的点
加权最小二乘法是以牺牲大方差项的拟合效果为代价,改善了小方差项的拟合效果,但是这也并不总是研究者所需要的。在社会经济现象中,通常变量取值大时方差也大,在以经济总量为研究目标时,研究者更关心的是变量取值大的项,而普通最小二乘法恰好能够满足这个要求。
(内容若有不妥之处,请多多包涵与指教)
今天的文章回归分析异方差检验_方差分析和回归分析的区别分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/82460.html