Abstract
Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion. Whereas traditional convolutional networks with L layers have L connections—one between each layer and its subsequent layer—our network has L(L+1) direct connections. For2
each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks (CIFAR-10, CIFAR-100, SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high per- formance. Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet.
최근 CNN은 입력 근처의 레이어와 아웃풋 근처의 레이어가 짧은 connection을 가질 수록 더욱 깊고 정확한 결과를 만들어 내는 것을 볼 수 있다.
이 논문에서, 위와 같은것에 기반하여 정방향으로 모든 레이어가 연결된 Dense Convolutional Network(DenseNet)를 소개한다.
L개의 레이어를 가진 전통적인 합성곱 신경망은 L개의 연결을 가지지만(각 레이어와 그 다음 레이어 사이에 존재하는) 우리의 네트워크는 L(L+1) / 2개의 connection을 가진다.
각 계층에서, 모든 이전 계층의 특징맵이 인풋으로서 사용되며, 다시 그것의 특징맵이 모든 후속레이어의 인풋으로서 사용되어진다.
DenseNet은 여러가지 장점이 있다.
vanishing-gradient 문제를 완화하고, 특징 전파를 강력하게 하고, 특징 재사용과 실질적으로 파라미터의 수를 감소시킨다.
4가지 유명한 곳에서 우리의 아키텍쳐를 평가하였다 (CIFAR-10, CIFAR-100, SVHN, and ImageNet)
DenseNet은 최신 결과보다 향상된 결과를 얻었지만, 높은 성능에 비해 컴퓨팅 능력은 덜 사용하였습니다.
코드와 pre-trained model은 깃허브에서 이용가능하다.
Reference
Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K. Q. (2017, July). Densely connected convolutional networks. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 2261-2269). IEEE.