多元回归模型
Y = X β + μ Y=X\beta+\mu Y=Xβ+μ
被解释变量的估计值与观测值的残差
e = Y − X β ^ = X β ^ + μ − X ( X ′ X ) − 1 X ′ ( X β ^ + μ ) = μ − X ( X ′ X ) − 1 μ = [ I − X ( X ′ X ) − 1 X ′ ] μ = M μ e=Y-X\hat\beta \\=X\hat\beta+\mu-X(X’X)^{-1}X'(X\hat \beta+\mu) \\=\mu-X(X’X)^{-1}\mu \\=[I-X(X’X)^{-1}X’]\mu\\=M \mu e=Y−Xβ^=Xβ^+μ−X(X′X)−1X′(Xβ^+μ)=μ−X(X′X)−1μ=[I−X(X′X)−1X′]μ=Mμ
残差的平方和
e ′ e = μ ′ M ′ M μ e’e=\mu’M’M\mu e′e=μ′M′Mμ
因为 M = [ I − X ( X ′ X ) − 1 X ′ ] M=[I-X(X’X)^{-1}X’] M=[I−X(X′X)−1X′]是对称等幂矩阵，即
M = M ′ M 2 = M ′ M = M M=M’\\ M^2=M’M=M M=M′M2=M′M=M
所以有
e ′ e = μ ′ M μ e’e=\mu’ M\mu e′e=μ′Mμ
由于 μ ′ M μ \mu’ M\mu μ′Mμ为一数量，它本身就是它的迹，于是
E ( e ′ e ) = E ( μ ′ M μ ) = t r [ M E ( μ ′ μ ) ] = t r [ I − X ( X ′ X ) − 1 X ′ ] σ 2 = [ n − ( k + 1 ) ] σ 2 E(e’e)=E(\mu’ M\mu)={\rm tr}[ME(\mu’\mu)] \\={\rm tr}[I-X(X’X)^{-1}X’]\sigma^2=[n-(k+1)]\sigma^2 E(e′e)=E(μ′Mμ)=tr[ME(μ′μ)]=tr[I−X(X′X)−1X′]σ2=[n−(k+1)]σ2
于是 σ 2 = E ( e ′ e ) n − k − 1 \sigma^2=\frac{E(e’e)}{n-k-1} σ2=n−k−1E(e′e)
所以
σ ^ 2 = e ′ e n − k − 1 \hat\sigma^2=\frac{e’e}{n-k-1} σ^2=n−k−1e′e
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：http://bianchenghao.cn/11000.html
