线性回归
线性回归问题，不专业的说，就是在找一条满足一定条件的直线，这条线大概长这样
a 1 x 1 + a 2 x 2 + . . . + a n x n = y a_1 x_1+a_2 x_2 +…+a_nx_n=y a1x1+a2x2+...+anxn=y
我们要做的就是去求参数 a 1 , a 2 , . . . , a n a_1,a_2,…,an a1,a2,...,an
how?
随机初始化的参数，然后把 x 1 , x 2 , . . . , x n x_1,x_2,…,x_n x1,x2,...,xn代进去
选择均方误差损失函数
l ( i ) ( a 1 , a 2 . . , a n ) = 1 2 ( y 2 ^ − y 2 ) 2 l^{(i)}(a_1,a_2..,a_n)=\frac{1}{2}(\hat{y^2}-y^2)^2 l(i)(a1,a2..,an)=21(y2^−y2)2
使用梯度下降法求解
梯度下降就是两步走
1.求（偏）导
∂ l a 1 = ∂ l ∂ y ^ ∂ y ^ ∂ a 1 = x 1 ( y ^ − y ) , ∂ l a 2 = x 2 ( y ^ − y ) , . . . \frac{\partial{l}}{a_1}=\frac{\partial{l}}{\hat{\partial{y}}}\frac{\partial{\hat{y}}}{\partial{a_1}}= x_1(\hat{y}-y),\frac{\partial{l}}{a_2}=x_2(\hat{y}-y),… a1∂l=∂y^∂l∂a1∂y^=x1(y^−y),a2∂l=x2(y^−y),...
2.更新参数
a 1 = a 1 − r ∂ l a 1 = a 1 − x 1 y ^ ) a_1=a_1-r\frac{\partial{l}}{a_1}=a_1-x_1\hat{y}) a1=a1−ra1∂l=a1−x1y^)
其中，r是learning rate
learning rate是为了防止更新过猛…,一般是一个很小的值
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/35822.html
