基于时间的反向传播算法BPTT(Back Propagation Trough Time)
将RNN展开之后,,前向传播(Forward Propagation)就是依次按照时间的顺序计算一次就好了,反向传播(Back Propagation)就是从最后一个时间将累积的残差传递回来即可,这与普通的神经网络训练本质上是相似的。
RNN的BPTT公式推导
参考文献:
1、A guide to recurrent neural networks and backpropagation ,Mikael Boden, Dallas Project Sics Technical Report T Sics, 2001
今天的文章基于时间的反向传播算法BPTT(Back Propagation Trough Time)分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/26960.html