数模4：拟合算法（Fitting Algorithm）

$\begin{cases}\displaystyle\frac{\partial L}{\partial k}=-2\sum_{i=1}^nx_i(y_i-kx_i-b)=0\\\displaystyle\frac{\partial L}{\partial b}=-2\sum_{i=1}^n(y_i-kx_i-b)=0\end{cases}\Rightarrow\begin{cases}\displaystyle\sum_{i=1}^nx_iy_i=k\sum_{i=1}^nx_i^2+b\sum_{i=1}^nx_i\\\displaystyle\sum_{i=1}^ny_i=k\sum_{i=1}^nx_i+bn\end{cases}\Rightarrow\begin{cases}\displaystyle n\sum_{i=1}^nx_iy_i=kn\sum_{i=1}^nx_i^2+bn\sum_{i=1}^nx_i\\\displaystyle\sum_{i=1}^ny_i\sum_{i=1}^nx_i=k\sum_{i=1}^nx_i\sum_{i=1}^nx_i+bn\sum_{i=1}^nx_i\end{cases}$

理论值如下：

$\hat{k}=\frac{n\sum_{i=1}^nx_iy_i-\sum_{i=1}^ny_i\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-\sum_{i=1}^nx_i\sum_{i=1}^nx_i}, \quad\hat{b}=\frac{\sum_{i=1}^nx_i^2\sum_{i=1}^ny_i-\sum_{i=1}^nx_i\sum_{i=1}^nx_iy_i}{n\sum_{i=1}^nx_i^2-\sum_{i=1}^nx_i\sum_{i=1}^nx_i}$

（2）评价

对于拟合的优劣衡量大致有以下几个标准：

总体平方和（Total Sum of Square,SST）： $SST=\sum_{i=1}^n(y_i-\overline{y})^2$
误差平方和（Sum of Error Square,SSE）： $SSE=\sum_{i=1}^n(y_i-\hat{y}_i)^2$
回归平方和（Sum of Regression Square,SSR）： $SSR=\sum_{i=1}^{n}(\hat{y}_{i}-\overline{y})^{2}$

有一个重要的关系：

SST=SSR+SSE

拟合优度：

$0\leq\color{red}{R^2}\color{black}=\frac{SSR}{SST}=\frac{SST-SSE}{TSS}=\color{red}{1-\frac{SSE}{SST}}\color{black}~\leq~1$

R^2 越接近1，说明误差平方和越接近0，误差越小。

注： R^2 仅用于线性函数的拟合结果评价，其他函数（复杂的指数函数等）拟合度优劣直接看SSE，可能为负。这里的线性是针对拟合的参数，而非原函数的自变量。

参考下文[1]：

如何判断线性于参数？

在函数中，参数仅以一次方出现，且不能乘以或除以其他任何的参数，并不能出现参数的复合函数形式

$\rm Y=\beta_{1}+\beta_{2}X+\beta_{3}X^{2}$

$\rm Y=\mathbf{e}^{\beta_{1}+\beta_{2}X}$

$\rm Y=\beta_{1}+\beta_{2}X+\beta_{3}X^{2}+\beta_{4}X^{3}$

以上均属于线性于参数,而 $y=a/(x-b\text{ })^2, \quad y=a\sin(b+cx)$ 均不是。

3.代码

Matlab中有 cftool 工具箱：

4.REFERENCE

[1]. 古扎拉蒂《计量经济学基础》第五版

数模4：拟合算法（Fitting Algorithm）

1.简介

2.模型

（1）本质

（2）评价

3.代码

4.REFERENCE

相关推荐