gflops和tflops_计算机视觉和图像处理的区别

gflops和tflops_计算机视觉和图像处理的区别【计算机视觉】GFLOPs、FLOPS和FLOPs的区别和联系(含代码示例)_gflops

gflops和tflops_计算机视觉和图像处理的区别"

这三个概念其实都差不多,都涉及浮点运算,但是还是有一些小的不同之处,下面简单总结一下:

一、GFLOPs、FLOPs、FLOPS

GFLOPS 就是 Giga Floating-point Operations Per Second,即每秒10亿次的浮点运算数,常作为GPU性能参数但不一定代表GPU的实际表现,因为还要考虑具体如何拆分多边形和像素、以及纹理填充,理论上该数值越高越好。1GFLOPs = 1 0 9 10^9 109FLOPs。

FLOPs 是floating point of operations的缩写,是浮点运算次数,可以用来衡量算法/模型复杂度。常用当然还有GFLOPs和TFLOPs

FLOPS (全部大写)是floating-point operations per second的缩写,意指每秒浮点运算次数。用来衡量硬件的性能。

二、单位换算

  • MFLOPS(megaFLOPS):等于每秒一百万(= 1 0 6 10^6 106)次的浮点运算
  • GFLOPS(gigaFLOPS):等于每秒十亿(= 1 0 9 10^9 109)次的浮点运算
  • TFLOPS(teraFLOPS):等于每秒一万亿(= 1 0 12 10^{12} 1012)次的浮点运算,(1太拉)
  • PFLOPS(petaFLOPS):等于每秒一千万亿(= 1 0 15 10^{15} 1015)次的浮点运算
  • EFLOPS(exaFLOPS):等于每秒一百京(= 1 0 18 10^{18} 1018)次的浮点运算
  • ZFLOPS(zettaFLOPS):等于每秒十万京(= 1 0 21 10^{21} 1021)次的浮点运算

三、如何计算FLOPs

其中就是指计算量的大小,表示FLOPs。对于卷积层而言,FLOPs计算公式如下:

FLOPs = 2 H W ( C i n K 2 + 1 ) C o u t \text{FLOPs}=2HW(C_{in}K^2+1)C_{out} FLOPs=2HW(CinK2+1)Cout
其中的 C i n C_{in} Cin是指卷积层输入tensor的通道数, C o u t C_{out} Cout指的是卷积层输出tensor的通道数。 K K K指的是卷积核大小。

而后把常数项去掉,简化操作:
FLOPs = H W ( C i n K 2 ) C o u t \text{FLOPs}=HW(C_{in}K^2)C_{out} FLOPs=HW(CinK2)Cout
而在实际中,我们不可能自己计算FLOPs,所以,有相关计算FLOPs的三方库,一个是torchstat,一个是thop。

经过测试,基本上两个可以对齐的,任意选择一个就好。

四、计算示例

我们使用thop库来计算resnet50模型的计算量:

import torch
from thop import profile
from torchvision.models import resnet50

model = resnet50()
input1 = torch.randn(4, 3, 224, 224) 
flops, params = profile(model, inputs=(input1, ))
print('FLOPs = ' + str(flops / 1000 ** 3) + 'G')

输出结果为:

[INFO] Register count_convNd() for <class 'torch.nn.modules.conv.Conv2d'>.
[INFO] Register count_normalization() for <class 'torch.nn.modules.batchnorm.BatchNorm2d'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.activation.ReLU'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.pooling.MaxPool2d'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.container.Sequential'>.
[INFO] Register count_adap_avgpool() for <class 'torch.nn.modules.pooling.AdaptiveAvgPool2d'>.
[INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.
FLOPs = 16.534970368G

今天的文章gflops和tflops_计算机视觉和图像处理的区别分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/79398.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注