GAN에서 Pix2Pix까지

두 모델의 게임

Generator는 가짜 표본을 만들고 Discriminator는 real과 fake를 구분한다. 두 optimizer가 서로 다른 목적을 갖기 때문에 한 번의 backward로 끝나지 않는다.

Gradient 경로

D를 학습할 때 생성 결과를 detach하고, G를 학습할 때는 D를 통과한 gradient가 G까지 가도록 했다. 두 단계의 zero_grad, backward, step 순서를 따로 적어 보니 parameter가 어디서 바뀌는지 명확해졌다.

Loss 읽기

D loss 하나만 작아지는 것은 좋은 신호가 아닐 수 있다. 생성 표본의 다양성과 품질, G·D loss를 같이 봐야 mode collapse나 지나치게 강한 D를 찾을 수 있다.

Pix2Pix

Pix2Pix는 입력 영상을 G와 D 양쪽에 조건으로 준다. adversarial loss는 사실감을, L1은 paired target과의 전체 형상 일치를 돕는다. U-Net skip은 공간 정보를 출력 쪽으로 넘긴다.

비교할 실험

당시 결과 이미지는 찾지 못했다. 같은 paired dataset에서 L1-only와 adversarial+L1 결과를 현재 환경에서 나란히 그리는 것이 다음 단계다.