Jun Station 준스테이션
EfficientNet의 모든 아키텍처 구조 설명 본문
EfficientNet의 모든 아키텍처 구조 설명
julyjuny 2021. 8. 24. 14:14[참고 사이트]
https://towardsdatascience.com/complete-architectural-details-of-all-efficientnet-models-5fd5b736142
Complete Architectural Details of all EfficientNet Models
Let’s dive deep into the architectural details of all the different EfficientNet Models and find out how they differ from each other.
towardsdatascience.com
[참고 논문]
https://arxiv.org/abs/1905.11946
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Convolutional Neural Networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling and identify that carefully balancing n
arxiv.org
전체 공통점
수많은 실험 끝에 해당 네트워크의 stem 에서는 8개의 model과 final layers 가 존재한다.
그 뒤로는 7 blocks를 가지고 있다.
- Module 1: Sub-blocks의 시작점(starting point)으로 사용
- Module 2: 첫번째를 제외한 모든 7 main blocks의 첫번째 sub-block의 시작점으로 사용
- Module 3: 모든 sub-blocks 의 skip connection 처럼 연결
- Module 4: 첫 번째 sub-blocks 안에서 skip connection을 합칠 때 사용
- Module 5: Skip connection 안에서 각각의 sub-block은 이전의 sub-block에 연결되어있고, 모두 해당 module을 사용하면서 합쳐진다
위의 module 들은 sub-blocks 내에서 합쳐지고, 이러한 sub-block 들은 다시 block 내에서 사용된다
- Sub-block 1: 오로지 첫 block의 첫 sub-block으로 사용된다
- Sub-block 2: 모든 다른 block 들의 첫 sub-block으로 사용된다
- Sub-block 3: 모든 block 들에서 첫 번째를 제외한 임의의(any) sub-block 으로 사용된다
이러한 sub-block 들은 아래의 EfficientNet model을 구성하게 된다.
EfficientNet-B0
EfficientNet-B1
EfficientNet-B2
해당 아키텍처(Architecture)는 B1과 동일하다. 다만 feature maps (channels) 의 개수가 다르다. 해당 개수는 parameter 개수를 증가시킨다.
EfficientNet-B3
EfficientNet-B4
EfficientNet-B5
EfficientNet-B6
EfficientNet-B7
