ABSTRACT
The goal of this paper is not to introduce a single algorithm or method, but to make theoretical steps towards fully understanding the training dynamics of generative adversarial networks. In order to substantiate our theoretical analysis, we perform targeted experiments to verify our assumptions, illustrate our claims, and quantify the phenomena. This paper is divided into three sections. The first section introduces the problem at hand. The second section is dedicated to studying and proving rigorously the problems including instability and saturation that arize when training generative adversarial networks. The third section examines a practical and theoretically grounded direction towards solving these problems, while introducing new tools to study them.
이 논문의 목적은 알고리즘이 아닌 GAN의 학습방법에 대한 이론적 이해를 위한 것이다.
우리의 이론적 주장을 증명하기 위해, 현상을 정량화하고 주장을 설명하여 우리의 가설을 검증하는 실험을 수행한다.
논문은 세 개의 섹션으로 구성되어 있다.
첫 섹션은 문제를 설명한다.
두 번째 섹션은 GAN 학습 시에 발생하는 포화, 불안정성을 포함한 문제를 구체적으로 증명하고 연구하는데 집중합니다.
세 번째 섹션은 실용적, 이론적으로 이러한 문제를 해결하기 위한 방향을 설명하고 연구를 위한 새로운 도구를 소개한다.
요약
- 기존 GAN 논문들은 경험적인 문제를 논문에서 간간히 언급하지만, 이를 이론적으로 정리하진 않았다.
- 기존에 자주 사용하던 KL divergence는 비대칭성 때문에 학습이 잘 안되는 경우가 있는데, 이를 해결하기 위해 JSD divergence가 고안되었다.
- GAN은 minimax 문제로 discriminator와 generator를 번갈아가면서 학습시키게 되는데, 이때 문제는 discriminator가 잘 뽑아낼수록 generator의 혼동이 커진다는 것이다. 또한, 불안정성과 같은 문제나 JSD와 비슷한 cost function을 제안한다.
- 논문에서는 학습이 잘 안되는 이유가 real data의 분포가 자신만의 da ta space에 존재하는 것이 아니라 generator 분포의 data space에도 걸쳐있기 때문이라고 주장한다. 각 분포의 모양은 line 형태로 이루어져 있다고 한다.
- 실질적으로 real data의 분포에는 많은 데이터 속에서 의미있는 데이터는 소수에 불과하여 매니폴드가 매우 좁아지게 되고, 이로 인해 완벽한 discriminator가 만들어질 수 있게 되는데 이는 generator에도 영향을 끼치게 되어 학습의 진행을 방해하게 된다.
- 매니폴드의 범위를 넓혀주기 위해 기존의 방법에 가우시안 등의 분포를 활용하여 노이즈를 추가해주게 되는데, 이를 통해 generator의 학습에 도움을 줄순 있지만 완벽한 해결방법은 아니라고 주장한다. 또한, 이를 하이퍼파라미터로 설정하여 휴리스틱하게 결정하는 것은 좋지 않다고 하면서 이에 대해 추가로 설명한다.
- wasserstein distance --> WGAN
Reference
https://arxiv.org/abs/1701.04862
https://www.youtube.com/watch?v=RlAgB0Ooxaw&list=PLWKf9beHi3Tg50UoyTe6rIm20sVQOH1br&index=49