1.矩估计

  矩估计是什么呢？简单的说，就是用样本矩代替总体矩进行统计推断的方法。
  一个最基础的例子是正态总体的参数估计问题。如果$X_i\sim N(\mu ,{\sigma }^2)$，如何估计$\mu$和${\sigma }^2$呢？ 统计学一般会介绍两种估计方法：极大似然估计和矩估计。
总体矩条件：
$$\begin{array}{rl}\mu & =E(x)\\ {\sigma }^2& =E(x^2)-{\mu }^2\end{array}$$ 样本矩条件：
$$\begin{array}{rl}\hat{\mu }& =\frac{1}{N}\sum _{i=1}^N{x}_i={\bar{x}}_i\\ \widehat{{\sigma }^2}& =\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\hat{\mu }}^2=\frac{1}{N}\sum _{i=1}^N{x}_i^2-{({\bar{x}}_i)}^2=\overline{x_i^2}+{\bar{x}}_i^2\end{array}$$

  可以用样本矩代替总体矩的原因是，根据大数定理，当样本量足够大的时候，样本矩与总体矩只差了一个无穷小量：${\bar{x}}_i-\mu$ = Op(1) ；${\bar{x}}_i^2={\mu }^2+{\sigma }^2$ + Op(1) 去掉无穷小量，则相当于用样本矩代替总体矩，得到参数的估计。

1.1 OLS估计

OLS估计是矩估计的一个特例。OLS估计的公式为：
$$Y_i={X_i}^{\prime }\beta +{\mu }_i$$

$X为k\times n矩阵；X_i为k\times 1向量；1；{X_i}^{\prime }为1\times k向量；\beta 为k\times 1向量；Y_i为1\times 1向量；{\mu }_i为1\times 1向量$

由于$X_i$和${\mu }_i$无关，则
$$E({\mu }_i|X_i)=0\to E(X_i{\mu }_i)=0\to E(X_i(Y_i-{X_i}^{\prime }\beta ))=0$$其中$E[X_i(Y_i-{X_i}^{\prime }\beta )]=0$是总体矩条件，对应的样本矩条件为：$\frac{1}{N}\sum _{i=1}^N[X_i(Y_i-{X_i}^{\prime }{\hat{\beta }}_{MM})]=0$，得到：
$${\hat{\beta }}_{MM}=\frac{\sum _{i=1}^N(X_i{Y}_i)}{\sum _{i=1}^N(X_i{X_i}^{\prime })}$$ 另一种推导方法：
$$\begin{array}{rl}& Y=X\beta +\mu \\ & \Rightarrow E[X^{\prime }u]=E[X^{\prime }(Y-X\beta )]=0\\ & \Rightarrow {\hat{\beta }}_{MM}=[X^{\prime }X{]}^{-1}{X}^{\prime }Y\end{array}$$

$此处X为n\times k矩阵；\beta 为k\times 1向量；Y为n\times 1向量；\mu 为n\times 1向量；$
$[X^{\prime }X{]}^{-1}为k\times k矩阵；X^{\prime }Y为k\times 1矩阵；\Rightarrow {\hat{\beta }}_{MM}为k\times 1向量；$

1.2 IV估计

  工具变量$Z_i$满足条件：$E({\mu }_i|Z_i)=0$，因此总体矩条件为：$E[Z_i(Y_i-{X_i}^{\prime }\beta )]=0$，对应的样本矩条件为：$\frac{1}{N}\sum _{i=1}^N[Z_i(Y_i-{X_i}^{\prime }{\hat{\beta }}_{MM})]=0$，得到：$${\hat{\beta }}_{MM}=\frac{\sum _{i=1}^N(Z_i{Y}_i)}{\sum _{i=1}^N(Z_i{X_i}^{\prime })}$$ 另一种推导方法：
$$\begin{array}{rl}& \Rightarrow E[Z^{\prime }u]=E[Z^{\prime }(Y-X\beta )]=0\\ & \Rightarrow {\hat{\beta }}_{MM}=[Z^{\prime }X{]}^{-1}{Z}^{\prime }Y\end{array}$$

2.广义矩估计

2.1 为什么要使用广义矩估计

  GMM 是矩估计(MM)的推广。在恰好识别情况下(待估参数个数等于矩条件个数)，目标函数的最小值等于 0，GMM 估计量与 MM 估计量等价；然而在过度识别情况下(待估参数个数小于矩条件个数)，MM 不再适用，GMM 可以有效地组合矩条件，使 GMM 比 MM 更有效。
  在估计正态分布$\mu$和${\sigma }^2$的例子中，我们只使用了两个矩条件。然而我们知道，正态分布的矩是有无穷多个可以用的，那么我们是不是可以使用更多的矩条件呢（更多的矩条件意味着更多的信息）？但是有个问题不好解决。在这个例子里面，我们有两个未知参数，如果只使用一阶矩，那么只有一个方程解两个未知数，显然是不可能的。像上面一样，我们用两个矩条件解两个未知数，就解出来了。然而，当我们用一到三阶矩，总共三个方程求解的时候，三个方程求解两个未知数，可能无解。方程数多了，反而没有解了，为什么呢？其实很简单，用三个方程中的任意两个方程，都可以求出一组解，那么三个方程我们就可以求出三组解。所以应该如何把这些矩条件都用上呢？到这里我们不妨引入一些记号。
$$g(x_i,\theta )=[\overline{x_i}-\mu ,\overline{x_i^2}-{\mu }^2-{\sigma }^2,\overline{x_i^3}-{\mu }^3-3\mu {\sigma }^2{]}^{\prime },\theta =\mu ,{\sigma }^2$$ 我们可以得到一个3*1的列向量，并且：
$$E[g(x_i,\theta )]=0$$ 用样本矩代替总体矩：
$$\frac{1}{N}\sum _{i=1}^N[g(x_i,\hat{\theta })]=0$$

  解这个方程应该就可以得到参数θ的估计。但是正如上面所说的，三个方程两个未知数，并不能确保这个方程有解，所以必须想一些其他办法。由于上面的g函数是一个3*1的列向量，我们可以使用一个权重矩阵W来赋予每个矩条件以不同的权重：
$$\underset{{\hat{\theta }}_i}{\min }={\left[\frac{1}{N}\sum _{i=1}^N[g(x_i,\hat{\theta })]\right]}^{\prime }\ast W\left[\frac{1}{N}\sum _{i=1}^N[g(x_i,\hat{\theta })]\right]\text{\hspace{1em}(1)}$$

  只要这个W是一个正定矩阵，那么仍然可以保证每个样本矩都足够贴近于0。那么问题来了，既然对W的要求只要求正定矩阵，那么使用不同的权重矩阵就有可能得到不同的结果。问题是，有没有一个最优的权重矩阵呢？当然是有的。可以证明，最优的权重矩阵应该是：
$$[E[g(x_i,\theta )]{g(x_i,\theta )}^{\prime }{]}^{-1}$$

2.2 IV估计

总体矩条件：$E[z_i(y_i-x_i^{\prime }\beta )]=0$，代入上面的公式，最优权重矩阵(的逆)为：
$$\begin{array}{rl}E[g(x_i,\theta )]{g(x_i,\theta )}^{\prime }& =E[z_i(y_i-x_i^{\prime }\beta )]{[z_i(y_i-{x_i}^{\prime }\beta )]}^{\prime }\\ & =E[z_i(y_i-x_i^{\prime }\beta )][{(y_i-\beta x_i)}^{\prime }{z}_i^{\prime }]\\ & =E[z_i{ϵ}^2{z_i}^{\prime }]\\ & ={\sigma }^2\ast \frac{1}{N}\sum _{i=1}^N{z}_i{z_i}^{\prime }\end{array}$$ 把最优权重矩阵代入1式：
$$\begin{array}{rl}\underset{\beta }{\min }& ={[z_i(y_i-{x_i}^{\prime }\beta )]}^{\prime }\ast {\sigma }^2\ast [z_i\ast {z_i}^{\prime }]\\ & ={\sigma }^2\ast {[Z^{\prime }(Y-X\beta )]}^{\prime }[Z^{\prime }Z{]}^{-1}=0\end{array}$$ 对上式左右两边同时乘以$Z^{\prime }(Y-X\beta )$：
$${\sigma }^2\ast {[Z^{\prime }(Y-X\beta )]}^{\prime }[Z^{\prime }Z{]}^{-1}{Z}^{\prime }(Y-X\beta )=0\text{\hspace{1em}(2)}$$ 对2式求一阶导得：
∂ ( Y − X β ) ∂ X ∗ ∂ { ( Y − X β ) ′ Z ( Z ′ Z ) − 1 Z ′ ( Y − X β ) } ∂ ( Y − X β ) = X ′ ( A + A ′ ) X = X ′   ( Z ( Z ′ Z ) − 1 Z ′ )   ( Z ( Z ′ Z ) − 1 Z ′ ) ′ ( Y − X β ) = 2 ∗ X ′ Z ( Z ′ Z ) − 1 Z ′ ( Y − X β ) = 0 (3) \frac {\partial (Y-X\beta) } {\partial X} * \frac {\partial \{ {(Y-X\beta)}^{\prime}Z ({Z}^{\prime}Z)^{-1} Z^{\prime} (Y-X\beta) \} }{\partial (Y-X\beta) } = X^{\prime}(A+A^{\prime})X \\ =X^{\prime} \ (Z ({Z}^{\prime}Z)^{-1} Z^{\prime}) \ {(Z ({Z}^{\prime}Z)^{-1} Z^{\prime})}^{\prime} (Y-X\beta) \\ =2*X^{\prime} Z ({Z}^{\prime}Z)^{-1} Z^{\prime} (Y-X\beta) =0 \tag{3} ∂X∂(Y−Xβ)​∗∂(Y−Xβ)∂{
(Y−Xβ)′Z(Z′Z)−1Z′(Y−Xβ)}​=X′(A+A′)X=X′ (Z(Z′Z)−1Z′) (Z(Z′Z)−1Z′)′(Y−Xβ)=2∗X′Z(Z′Z)−1Z′(Y−Xβ)=0(3)

矩阵求导公式 参考
$$\begin{array}{r}\frac{\partial (X^{T}AX)}{\partial X}=(A+A^T)X；\frac{\partial (AX)}{\partial X}=A^T\end{array}$$

由3式子得到$\hat{\beta }$：
β ^ = { X ′ Z ( Z ′ Z ) − 1 Z ′ X } − 1 X ′ Z ( Z ′ Z ) − 1 Z ′ Y (4) \widehat \beta = \{X^{\prime} Z({Z}^{\prime}Z)^{-1} Z^{\prime} X\}^{-1} X^{\prime} Z ({Z}^{\prime}Z)^{-1} Z^{\prime} Y \tag{4} β
​={
X′Z(Z′Z)−1Z′X}−1X′Z(Z′Z)−1Z′Y(4) 令${\hat{X}}^{\prime }=X^{\prime }Z(Z^{\prime }Z{)}^{-1}{Z}^{\prime }$，则$\hat{\beta }=[{\hat{X}}^{\prime }X{]}^{-1}{\hat{X}}^{\prime }Y=[{\hat{X}}^{\prime }{\hat{X}}^{\prime }{]}^{-1}{\hat{X}}^{\prime }Y$，正是两阶段最小二乘的第二步。
$$\hat{X}=Z(Z^{\prime }Z{)}^{-1}{Z}^{\prime }X=Z\hat{\gamma }$$，其中$\hat{\gamma }=(Z^{\prime }Z{)}^{-1}{Z}^{\prime }X$，正是两阶段最小二乘的第一步

两阶段最小二乘的推导：
阶段一：
工具变量Z回归X，得到X拟合值。
$$\begin{array}{rl}& X=Z\gamma +ϵ\\ & \Rightarrow \hat{\gamma }=[Z^{\prime }Z{]}^{-1}{Z}^{\prime }X\\ & \Rightarrow \hat{X}=Z\hat{\gamma }=Z[Z^{\prime }Z{]}^{-1}{Z}^{\prime }X\end{array}$$ 阶段二： X拟合值回归Y，得到$\hat{\beta }$与用广义矩估计得到的4式相同
Y = X ^ β + μ ⇒ β ^ = [ X ^ ′ X ^ ] − 1 X ^ ′ Y = { ( Z [ Z ′ Z ] − 1 Z ′ X ) ′ ( Z [ Z ′ Z ] − 1 Z ′ X ) } − 1 ( Z [ Z ′ Z ] − 1 Z ′ X ) Y = { ( X ′ Z [ Z ′ Z ] − 1 Z ′ ) ( Z [ Z ′ Z ] − 1 Z ′ X ) } − 1 ( Z [ Z ′ Z ] − 1 Z ′ X ) Y [ Z ′ Z ] − 1 Z ′ Z = I = { X ′ Z ( Z ′ Z ) − 1 Z ′ X } − 1 X ′ Z ( Z ′ Z ) − 1 Z ′ Y \begin{aligned} & Y = \widehat X \beta +\mu \\ \Rightarrow \widehat \beta & = [{ \widehat X}^{\prime} \widehat X]^{-1} { \widehat X}^{\prime} Y \\ &=\{ (Z [Z^{\prime} Z]^{-1} Z^{\prime} X)^{\prime} (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) \} ^{-1} (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) Y \\ &=\{ (X^{\prime} Z [Z^{\prime} Z]^{-1} Z^{\prime} ) (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) \} ^{-1} (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) Y \quad [Z^{\prime} Z]^{-1} Z^{\prime} Z = I \\ &= \{X^{\prime} Z({Z}^{\prime}Z)^{-1} Z^{\prime} X\}^{-1} X^{\prime} Z ({Z}^{\prime}Z)^{-1} Z^{\prime} Y \end{aligned} ⇒β
​​Y=X
β+μ=[X
′X
]−1X
′Y={
(Z[Z′Z]−1Z′X)′(Z[Z′Z]−1Z′X)}−1(Z[Z′Z]−1Z′X)Y={
(X′Z[Z′Z]−1Z′)(Z[Z′Z]−1Z′X)}−1(Z[Z′Z]−1Z′X)Y[Z′Z]−1Z′Z=I={
X′Z(Z′Z)−1Z′X}−1X′Z(Z′Z)−1Z′Y​

附录

一、矩阵形式表示线性回归

线性回归表达形式：
$$Y_i={\beta }_0+{\beta }_1{x}_{1i}+...++{\beta }_1{x}_{ki}+{ϵ}_{i}i表示样本(共n个样本)，k表示特征$$用矩阵形式表达为：$Y=X\beta +ϵ$；
$$X_{n\times k}=\left[\begin{array}{ccccc}1& x_{11}& x_{21}& \cdots & x_{k1}\\ 1& x_{12}& x_{22}& \cdots & x_{k2}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_{1n}& x_{2n}& \cdots & x_{kn}\end{array}\right]；{\beta }_{k\times 1}=\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_k\end{array}\right]；{ϵ}_{n\times 1}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
或者$Y_i={X_i}^{\prime }\beta +{ϵ}_i$，两种矩阵表示形式的X不一样
其中:
$$X_{k\times n}=\left[\begin{array}{cccc}1& 1& \cdots & 1\\ x_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{k1}& x_{k2}& \cdots & x_{kn}\end{array}\right]；X_{i(k\times 1)}=\left[\begin{array}{c}{x}_{1i}\\ x_{2i}\\ ⋮\\ x_{ki}\end{array}\right];X_{i(1\times k)}^{\prime }=\left[\begin{array}{cccc}{x}_{1i}& x_{2i}& \cdots & x_{ki}\end{array}\right]$$

二、参考资料

GMM估计
内生性工具变量与GMM估计
如何用简单的例子解释什么是 Generalized Method of Moments (GMM)？
GMM-简介及实现范例