Abstract
This paper introduces a deep-learning approach to photographic style transfer that handles a large variety of image content while faithfully transferring the reference style. Our approach builds upon the recent work on painterly transfer that separates style from the content of an image by considering different layers of a neural network. However, as is, this approach is not suitable for photorealistic style transfer. Even when both the input and reference images are photographs, the output still exhibits distortions reminiscent of a painting. Our contribution is to constrain the transformation from the input to the output to be locally affine in colorspace, and to express this constraint as a custom fully differentiable energy term. We show that this approach successfully suppresses distortion and yields satisfying photorealistic style transfers in a broad variety of scenarios, including transfer of the time of day, weather, season, and artistic edits.
이 논문은 다양한 이미지를 다루면서 reference style을 정확히 변형하는 deep-learning기반의 style transfer를 소개한다.
우리의 접근방식은 신경망의 서로 다른 층을 고려함으로써 이미지의 내용과 스타일을 구분하는 화가적 transfer에 관한 최근 연구에 기초한다.
그러나 이 방법은 포토리얼리즘(사물을 사진처럼 정확하고 상세하게 묘사하는 기법) style transfer에는 적절하지 않은 방법이다.
input과 reference image가 사진으로 주어질 때 여전히 output은 그림처럼 묘사되어 진다.
우리는 input이 output으로 변환되어질 때 colorspace에 affine을 locally하게 하도록 제약하고, 이러한 제약을 완전히 다른 energy term으로 표현했다.
이러한 방법은 왜곡을 성공적으로 억제하였고, the time of day(저녁, 아침 등), 날씨, 계절, 여러 예술적 요소들에 대한 transfer을 포함하여 다양한 이미지를 포토리얼리즘 스타일로 잘 변형하였다.
요약
- 내 생각으로 이 논문의 전부는 밑의 loss_function인 것 같다.
- 기존 논문들의 결과도 좋았지만 대체적으로 하늘에 빌딩건물 색이 칠해져 있다던지 하는 문제점이 많았는데, 종합적으로 더해서 이들을 loss function으로 제한했더니 잘 되더라!
Reference
Luan, F., Paris, S., Shechtman, E., & Bala, K. (2017). Deep photo style transfer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4990-4998).