基于时间的反向传播算法BPTT(Back Propagation Trough Time)

基于时间的反向传播算法BPTT(Back Propagation Trough Time)由于RNN引入了时序性,对其进行权重更新要基于时间的反向传播算法BPTT(BackPropagationTroughTime)。本文基于MikaelBoden的文章“Aguidetorecurrentneuralnetworksandbackpropagation”,详细推导了simpleRNN的权重更新公式。

基于时间的反向传播算法BPTT(Back Propagation Trough Time)


将RNN展开之后,,前向传播(Forward Propagation)就是依次按照时间的顺序计算一次就好了,反向传播(Back Propagation)就是从最后一个时间将累积的残差传递回来即可,这与普通的神经网络训练本质上是相似的。
基于时间的反向传播算法BPTT(Back Propagation Trough Time)
基于时间的反向传播算法BPTT(Back Propagation Trough Time)

RNN的BPTT公式推导

基于时间的反向传播算法BPTT(Back Propagation Trough Time)
基于时间的反向传播算法BPTT(Back Propagation Trough Time)

参考文献:

1、A guide to recurrent neural networks and backpropagation ,Mikael Boden, Dallas Project Sics Technical Report T Sics, 2001

今天的文章基于时间的反向传播算法BPTT(Back Propagation Trough Time)分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/26960.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注