持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第29天,点击查看活动详情
今天聊一聊 pytorch 的计算图和自动求导,我们先从一个简单例子来看,下面是一个简单函数建立了
和
之间的关系
然后我们结点和边形式表示上面公式
上面的式子可以用图的形式表达,接下来我们用 torch 来计算 x 导数,首先我们创建一个 tensor 并且将其 requires_grad
设置为 True
表示随后反向传播会对其进行求导。
x = torch.tensor(3.,requires_grad=True)
然后写出
y = 3*x**2 + 4*x + 2
y.backward()
x.grad
通过调用 y.backward()
来进行求导,这时就可以通过 x.grad
来获得 x
的导数
x.requires_grad_(False)
可以通过requires_grad_
让 x
不参与到自动求导
for epoch in range(3):
y = 3*x**2 + 4*x + 2
y.backward()
print(x.grad)
x.grad.zero_()
如果这里没有调用 x.grad_zero_()
就是把每次求导数和上一次求导结果进行累加。
链式法则
相对于 z 对 x 求偏导时,我们可以将 y 看成常数,这样 x 导数是 1 那么
x = torch.tensor([1.,2.,3.],requires_grad=True)
y = x * 2 + 3
z = y **2
out = z.mean()
out.backward()
print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)
print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])
对于一个简单的网络,我们可以手动计算梯度,但是如果摆在你面前的是一个有152 层的网络怎么办?或者该网络有多个分支。这时你的计算复杂程度可想而知。接下来会带来更深入自动求导内部机制
今天的文章在 pytorch 中计算图和自动求导(1)分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/18181.html