在 pytorch 中计算图和自动求导(1)

在 pytorch 中计算图和自动求导(1)持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第29天,点击查看活动详情 今天聊一聊 pytorch 的计算图和自动求导,我们先从一个简单例子来看,下面是一个简单函数建立了 $y

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第29天,点击查看活动详情

今天聊一聊 pytorch 的计算图和自动求导,我们先从一个简单例子来看,下面是一个简单函数建立了
y y

x x
之间的关系


y = 3 x 2 + 4 x + 2 y = 3 × 9 + 4 × 3 + 2 y = 41 y = 3 x^2 + 4x + 2\\ y = 3 \times 9 + 4 \times 3 + 2\\ y = 41

然后我们结点和边形式表示上面公式

屏幕快照 2022-06-22 下午4.52.31.png


d y d x = d ( 3 x 2 + 4 x + 2 ) d x = 2 × 3 x + 4 = 6 x + 4 6 × 3 + 4 = 22 \frac{dy}{dx} = \frac{d(3x^2 + 4x +2)}{dx} = 2\times 3x + 4 = 6x+4\\ 6 \times 3 + 4 = 22

上面的式子可以用图的形式表达,接下来我们用 torch 来计算 x 导数,首先我们创建一个 tensor 并且将其 requires_grad 设置为 True 表示随后反向传播会对其进行求导。

x = torch.tensor(3.,requires_grad=True)

然后写出
y = f ( x ) y=f(x)

y = 3*x**2 + 4*x + 2
y.backward()
x.grad

通过调用 y.backward() 来进行求导,这时就可以通过 x.grad 来获得 x 的导数

x.requires_grad_(False)

可以通过requires_grad_x 不参与到自动求导

for epoch in range(3):
  y = 3*x**2 + 4*x + 2
  y.backward()
  print(x.grad)
  x.grad.zero_()

如果这里没有调用 x.grad_zero_() 就是把每次求导数和上一次求导结果进行累加。

链式法则

屏幕快照 2022-06-22 下午7.37.33.png


d f d x = d f d g d g d x \frac{df}{dx} = \frac{df}{dg} \frac{dg}{dx}

z = y x z = yx

相对于 z 对 x 求偏导时,我们可以将 y 看成常数,这样 x 导数是 1 那么
z x = y \frac{\partial z}{ \partial x} = y


z y = x z x = y \frac{\partial z}{ \partial y} = x\\ \frac{\partial z}{ \partial x} = y
x = torch.tensor([1.,2.,3.],requires_grad=True)
y = x * 2 + 3
z = y **2
out = z.mean()
out.backward()
print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)
print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])

对于一个简单的网络,我们可以手动计算梯度,但是如果摆在你面前的是一个有152 层的网络怎么办?或者该网络有多个分支。这时你的计算复杂程度可想而知。接下来会带来更深入自动求导内部机制

今天的文章在 pytorch 中计算图和自动求导(1)分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/18181.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注