文章
- 一、优化器
- 1.SGD(Stochastic gradient descent)
- 2.Momentum
- 3.NAG(Nesterov accelerated gradient)
- 4.Adagrad
- 5.RMSprop
- 6.Adadelta
- 7.Adam
- 效果对比：
- 二、优化器的简单使用
- 完整代码
常见的一些优化器有：SGD、Adagrad、Adadelta、RMSprop、Adam、Adamax、Nadam、TFOptimizer等等。
1.SGD(Stochastic gradient descent)
标准梯度下降法:
标准梯度下降法计算所有样本汇总误差，然后根据总误差来更新权值。
随机梯度下降法:
随机梯度下降法随机抽取一个样本来计算误差，然后更新权值。
批量梯度下降法:
批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。
标准梯度下降法：速度慢，效果好
随机梯度下降法：速度快，效果差
2.Momentum
动力，通常设置为0.9。
当前权值的改变会受到上一次权值改变的影响，类似于小球向下滚动的时候带上了惯性。这样可以加快小球的向下的速度。
3.NAG(Nesterov accelerated gradient)
动力，通常设置为0.9。
4.Adagrad
ε：避免分母为0，取值一般是1e-8。
Adagrad主要的优势在于不需要人为的调节学习率，它可以自动调节。它的缺点在于，随着迭代次数的增多，学习率也会越来越低，最终会趋向于0。
5.RMSprop
动力，通常设置为0.9。
RMSprop是Adagrad的改进，RMSprop不会出现学习率越来越低的问题，而且也能自己调节学习率，可以得到一个比较好的效果。
6.Adadelta
动力，通常设置为0.9。
Adadelta也是Adagrad的改进，Adadelta不需要使用学习率也可以达到一个很好的效果。
7.Adam
β1：通常取0.9，β2：通常取0.999。
Adam是常用的一种优化器。Adam会存储之前衰减的平方梯度，同时它也会保存之前衰减的梯度。经过一些处理之后再用来更新权值W。
效果对比：
以使用Adam优化器为例：
修改4.交叉熵中的
变化为
使用前需要先导入。
运行结果：
完整代码
代码运行平台为jupyter-notebook，文章中的代码块，也是按照jupyter-notebook中的划分顺序进行书写的，运行文章代码，直接分单元粘入到jupyter-notebook即可。
1.导入第三方库
2.加载数据及数据预处理
3.训练模型
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ri-ji/21302.html