[논문 읽기] Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks (Cycle GAN 논문 핵심만 정리)



- 적대적 손실 (adversarial loss)을 활용하여 G(X)가 가 Y에서 온 분포와 유사하도록 $$ X \rightarrow Y $$ 맵핑을 학습하는 게 목표

- 이건 제약이 적기 없때문에 inverse mapping을 하나 추가한다. $$ Y \rightarrow X $$ 로 가는 것. 즉,

$$ F(G(X)) \approx X $$ 이를 강제하는 cycle consitency loss를 소핸다.

2개의 맵핑 함수가 존재한다. G는 X를 Y로, F는 Y를 X로 맵핑 시키는 함수이다. X, Y는 각각 이미지 도메인이라고 생각하면 된다.

$$ D_X $$는 Y에서 생성된 X가 최대한 실제 X 처럼 보이게끔 F를 조절하는 역할을 하고, $$ D_Y $$는 반대다.

그리고 여기서 2가지 사이클 일치 손실(cylce consistency losses)이 등장하는데, 이는 translation에서 어디서 출발했든 다시 출발점으로 돌아와야 한다는 직관에 기반한다.

첫번째 forward 사이클 일치 손실은 $$ x \rightarrow  G(x) \rightarrow F(G(x)) \approx x $$ 이고 bakward 사이클 일치 손실은 $$ y \rightarrow F(y) \rightarrow G(F(y)) \approx y $$ 이다.

이들을 수식으로 표현하면,

이렇게 되고, 최종 로스는 다음과 같다.

비교적 간단한데 아이디어가 상당히 신박하다.

여기서 StarGAN, FUNIT 등등이 다 만들어진거겠지.