Adam和AdaGrad的区别是什么？

深度学习的优化算法经历了：

SGD→SGDM→NAG→AdaGrad→AdaDelta→Adam→Nadam

优化算法的流程：

首先定义：待优化参数 $w$，目标函数 $f(w)$，初始学习速率 $\alpha$
而后，开始进行迭代优化，在每个$epoch（t）$：

1.计算目标函数关于当前参数的梯度:$$g_t=▽f(w_t)$$
2.根据历史梯度计算一阶动量和二阶动量：$$m_t=\Phi (g_1,g_2,g_3...,g_t)$$ $$V_t=\psi (g_1,g_2,g_3...,g_t)$$
3.计算当前时刻的下降梯度：$${\eta }_t=\alpha \cdot m_t/\sqrt{V_t}$$
4.根据下降梯度进行更新：$$w_{t+1}=w_t-{\eta }_t$$

步骤3，4对于各个算法都是一致的，主要差别在1和2

1.对于AdaGrad：

在SGD的基础上增加了二阶动量，二阶动量的首次出现，意味着“自适应学习率”时代的到来。$$V_t=\sum _{T=1}^t{g}_T^2$$ 统计的是该维度上，迄今为止所有梯度值的平方和。

问题：

虽然在稀疏场景下表现的非常好，单由于$\sqrt{V_t}$是单调递增的，就会使得实际学习率$\alpha /\sqrt{V_t}$递减至0，训练提前结束。

2.对于Adam：

把一阶动量和二阶动量全部都用起来。
使用Momentum的一阶动量：$$m_t={\beta }_1\cdot m_{t-1}+(1-{\beta }_1)\cdot g_t$$
以及AdaDelta的二阶动量：$$V_t={\beta }_2\ast V_{t-1}+(1-{\beta }_2)\cdot g_t^2$$避免二阶动量累积，导致训练过程提前结束。出现了优化算法中最常见的${\beta }_1，{\beta }_2$超参数，分别控制一阶、二阶变量。

参考：https://zhuanlan.zhihu.com/p/32230623

今天的文章Adam和AdaGrad的区别是什么？分享到此就结束了，感谢您的阅读。