这三个概念其实都差不多,都涉及浮点运算,但是还是有一些小的不同之处,下面简单总结一下:
一、GFLOPs、FLOPs、FLOPS
GFLOPS
就是 Giga Floating-point Operations Per Second,即每秒10亿次的浮点运算数,常作为GPU性能参数但不一定代表GPU的实际表现,因为还要考虑具体如何拆分多边形和像素、以及纹理填充,理论上该数值越高越好。1GFLOPs = 1 0 9 10^9 109FLOPs。
FLOPs
是floating point of operations的缩写,是浮点运算次数,可以用来衡量算法/模型复杂度。常用当然还有GFLOPs和TFLOPs
FLOPS
(全部大写)是floating-point operations per second的缩写,意指每秒浮点运算次数。用来衡量硬件的性能。
二、单位换算
- MFLOPS(megaFLOPS):等于每秒一百万(= 1 0 6 10^6 106)次的浮点运算
- GFLOPS(gigaFLOPS):等于每秒十亿(= 1 0 9 10^9 109)次的浮点运算
- TFLOPS(teraFLOPS):等于每秒一万亿(= 1 0 12 10^{12} 1012)次的浮点运算,(1太拉)
- PFLOPS(petaFLOPS):等于每秒一千万亿(= 1 0 15 10^{15} 1015)次的浮点运算
- EFLOPS(exaFLOPS):等于每秒一百京(= 1 0 18 10^{18} 1018)次的浮点运算
- ZFLOPS(zettaFLOPS):等于每秒十万京(= 1 0 21 10^{21} 1021)次的浮点运算
三、如何计算FLOPs
其中就是指计算量的大小,表示FLOPs。对于卷积层而言,FLOPs计算公式如下:
FLOPs = 2 H W ( C i n K 2 + 1 ) C o u t \text{FLOPs}=2HW(C_{in}K^2+1)C_{out} FLOPs=2HW(CinK2+1)Cout
其中的 C i n C_{in} Cin是指卷积层输入tensor的通道数, C o u t C_{out} Cout指的是卷积层输出tensor的通道数。 K K K指的是卷积核大小。
而后把常数项去掉,简化操作:
FLOPs = H W ( C i n K 2 ) C o u t \text{FLOPs}=HW(C_{in}K^2)C_{out} FLOPs=HW(CinK2)Cout
而在实际中,我们不可能自己计算FLOPs,所以,有相关计算FLOPs的三方库,一个是torchstat,一个是thop。
经过测试,基本上两个可以对齐的,任意选择一个就好。
四、计算示例
我们使用thop库来计算resnet50模型的计算量:
import torch
from thop import profile
from torchvision.models import resnet50
model = resnet50()
input1 = torch.randn(4, 3, 224, 224)
flops, params = profile(model, inputs=(input1, ))
print('FLOPs = ' + str(flops / 1000 ** 3) + 'G')
输出结果为:
[INFO] Register count_convNd() for <class 'torch.nn.modules.conv.Conv2d'>.
[INFO] Register count_normalization() for <class 'torch.nn.modules.batchnorm.BatchNorm2d'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.activation.ReLU'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.pooling.MaxPool2d'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.container.Sequential'>.
[INFO] Register count_adap_avgpool() for <class 'torch.nn.modules.pooling.AdaptiveAvgPool2d'>.
[INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.
FLOPs = 16.534970368G
今天的文章gflops和tflops_计算机视觉和图像处理的区别分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/79398.html