SQUEEZENET: Alexnet-level accuracy with 50X fewer parameters and <0.5MB Model size

ABSTRACT

Recent research on deep convolutional neural networks (CNNs) has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple CNN architectures that achieve that accuracy level. With equivalent accuracy, smaller CNN architectures offer at least three advantages: (1) Smaller CNNs require less communication across servers during distributed train- ing. (2) Smaller CNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller CNNs are more feasible to deploy on FP- GAs and other hardware with limited memory. To provide all of these advantages, we propose a small CNN architecture called SqueezeNet. SqueezeNet achieves AlexNet-level accuracy on ImageNet with 50x fewer parameters. Additionally, with model compression techniques, we are able to compress SqueezeNet to less than 0.5MB (510× smaller than AlexNet).

The SqueezeNet architecture is available for download here: https://github.com/DeepScale/SqueezeNet

---

CNN에서의 최근 연구는 주로 acc를 향상시키는 쪽에 집중되어 왔다. 

현재의 acc 수준은 그러한 수준을 달성할 수 있는 다중 CNN 아키텍처가 있음을 알 수 있다.

같은 acc상에서 본다면, 규모가 작은 CNN 아키텍처는 적어도 3가지 이점을 제공한다.

(1) 분산 트레이닝의 경우 서버에 부담을 덜 준다

(2) 자율자동차와의 통신에 필요한 대역폭이 더 작다

(3) FPGA 및 기타 하드웨어 제공에 적합하다

이러한 이점을 위해, 우리는 SqueezeNet을 제안한다.

SqueezeNet은 AlexNet과 같은 수준의 acc를 가지며, 50배 낮은 파라미터를 가진다.

추가로, 모델 압축 기술을 통해 모델 사이즈를 0.5MB보다 낮은 수준으로 압축할 수 있다. 

SqueezeNet Downloads : https://github.com/DeepScale/SqueezeNet

---

 

Reference

Iandola, F. N., Han, S., Moskewicz, M. W., Ashraf, K., Dally, W. J., & Keutzer, K. (2016). SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size. arXiv preprint arXiv:1602.07360.