flops变为之前的四倍
https://arxiv.org/pdf/1905.11946.pdf
https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
tf2实现https://github.com/calmisential/EfficientNet_TensorFlow2
扩展网络有三个维度,包孕width(channels数)、depth(网络深度)、resolution输入辨别率。
作者通过尝试表白,只转变此中一个维度,acc的提升很容易就饱和了,如何同时转变三个维度,使得acc和flops到达一个trade-off,就是本文的内容。
作者提出的一种缩放要领。网络深度增加一倍,flops变为之前的两倍;width或者resolution增加一倍,flops变为之前的四倍。
统一起来,增加的计算量。论文里限制,所以增加的计算量概略为
下面是作者以MBConv+SE模块搜索出来的一个布局。首先固定,,即搜索出来的flops是之前的2倍,
得到一组最优值;
然后固定这三个参数,调解,得到B1至B7的一系列网络(具体尝试功效可参考原文)。
值得注意的是,这个网络中,降采样用conv+str2取代conv+maxpool(相当于flops变为了1/4);用了5*5的卷积核,
减小了计算量,参考https://www.zhihu.com/question/326833457
温馨提示: 本文由Jm博客推荐,转载请保留链接: https://www.jmwww.net/file/web/30712.html
- 上一篇:在不同的区域或不同网络下解析出来的IP可能是不同的
- 下一篇:不用关心数据库设计