网络结构来源：https://www.jianshu.com/p/085f4c8256f1
resnet18剪枝策略：
1.只剪basicblock的bn1相关层通道
2.同时剪basicblock的bn1和bn2相关层通道，其中bn2剪枝需要注意上下层通道一致性
resnet50剪枝策略： 1.只剪bottleneck的bn1和bn2相关层的通道 2.同时剪bottleneck的bn1、bn2和bn3相关层通道，其中bn2剪枝需要注意上下层通道一致性
关于通道一致性：以resnet18为例，每个bn1、bn2剪10个通道，剪bn2会出现重复剪的情况，需要手动调整。
resnet18调整示例代码：
resnet50调整示例代码
网络解读：
resnetv1：Conv-BN-ReLU
resnetv2：BN-ReLU-Conv
resnet18v2剪枝策略：
1.只剪basicblock的bn2相关层通道
2.同时剪basicblock的bn1和bn2相关层通道，其中bn1剪枝需要注意上下层通道一致性
保持通道一致性resnet18v2调整示意代码：
网络解读：https://zhuanlan.zhihu.com/p/65459972
简单实现：
剪枝策略同上。
网络解读：https://zhuanlan.zhihu.com/p/32913695 结构上和resnet50基本上一样，通道多一点而已，最大的区别就是3x3的卷积使用分组卷积。
剪枝总体思路和resnet50差不多，但要注意分组卷积，因为目前使用的剪枝工具不支持：
1.使用以上等效结构，按照resnet50剪枝来剪
2.不使用等效结构，怎么解决分组问题？因为剪了某组的通道，组数变了，输入输出通道也不能倍组整除了：
添加判断条件，根据网络结构修改剪枝数量，并且重新计算组数，部分代码如下，32是根据具体网络通道参数来的
v1、v2、v3网络解读：https://zhuanlan.zhihu.com/p/70703846
与resnet比较
剪枝策略，类似于resnet结构： 1.shortcut相关层不减，注意前几个Conv-BN-ReLU不要剪。 2.shortcut和Conv-BN-ReLU都剪（前几层除外），注意保持输入和输出的通道数量一致。
网络解读：https://zhuanlan.zhihu.com/p/67009992 v1的结构如图(a)、(b)
v2的结构如图©、(d)
shufflenetv2 torchvision里面的结构是重复多个[4,8,4]，每组第一个是(d)，剩下的是©
剪枝策略： 剪(d)右边的第一个1x1conv和3x3DWConv
网络解读：https://zhuanlan.zhihu.com/p/127042277
剪枝思路：
1.涉及分支相关的层都不减
2.类似于resnet结构，有shortcut的相关层（middle flow的第三个SeparableConv）都不剪。
3.middle flow的第三个SeparableConv剪，但是middle flow的上一层不剪。
网络解读：https://zhuanlan.zhihu.com/p/37189203
剪枝策略：
1.注意BN-ReLU-Conv的顺序，剪每一个denselayer的bn2。
2.连同bn1、bn2一起剪，剪枝率需要设置的非常小，因为每个后面层的bn1剪枝都会影响前面通道的减少。
训练太慢了，可以剪枝，同上。
参考代码：https://github.com/supernotman/Faster-RCNN-with-torchvision 算法解读：https://zhuanlan.zhihu.com/p/103745786
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ri-ji/67295.html