Deep Convolutional Neural Networks (DCNNs) have recently shown state of the art performance in high level vision tasks, such as image classification and ob- ject detection. This work brings together methods from DCNNs and probabilistic graphical models for addressing the task of pixel-level classification (also called ”semantic image segmentation”). We show that responses at the final layer of DCNNs are not sufficiently localized for accurate object segmentation. This is due to the very invariance properties that make DCNNs good for high level tasks. We overcome this poor localization property of deep networks by combining the responses at the final DCNN layer with a fully connected Conditional Random Field (CRF). Qualitatively, our “DeepLab” system is able to localize segment boundaries at a level of accuracy which is beyond previous methods. Quantita- tively, our method sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching 71.6% IOU accuracy in the test set. We show how these results can be obtained efficiently: Careful network re-purposing and a novel application of the ’hole’ algorithm from the wavelet community allow dense computation of neural net responses at 8 frames per second on a modern GPU.
DCNN은 이미지 분류나 객체인식에서 고성능을 보여주었다.
이 논문은 DCNN의 방법을 가져옴과 동시에 "semantic image segmentation" 이라고 불리우는 픽셀단위의 작업을 하는 확률적 그래픽 모델을 사용한다.
DCNN은 객체 구분에 있어서 주요한 지역화의 성능이 떨어지는 것을 볼 수 있다.
DCNN의 고수준의 작업에서만 잘되기 떄문이다. ( 눈은 잘 구별할 수 있지만, 위치는 고려하지 않는 문제 -> CapsNet? )
DCNN과 CRF를 합쳐 낮은 수준의 지역화를 극복하려 한다.
우리의 "DeepLab" 시스템은 이전 방법에 비해 훨씬 더 정확한 수준의 구분 경계를 지역화할 수 있다.
또한 PASCAL VOC-2012에 적용하여 71.6% IOU accuracy를 도달하였다.
네트워크의 재사용과 'hole' 알고리즘을 통해 최신 GPU에서 초당 8프레임의 반응을 얻음으로서 우리의 방법이 얼마나 효율적인지를 보여줄 수 있다.
Reference
Chen, L. C., Papandreou, G., Kokkinos, I., Murphy, K., & Yuille, A. L. (2014). Semantic image segmentation with deep convolutional nets and fully connected crfs. arXiv preprint arXiv:1412.7062.