VAE부터 Stable Diffusion까지, 생성모델의 AtoZ

Provider

KAIST SW교육센터 IT Academy

Dates

2025-07-07–2025-07-11

Duration

20 hours

진행 방식

Hybrid

공부한 주제

• vae
• gan
• pix2pix
• diffusion
• stable-diffusion
• pytorch

내가 다시 잡은 학습 순서

먼저 생성모델이 관측한 데이터의 분포를 배운다는 뜻을 정리했다. 그다음 결합확률을 순서대로 푸는 Autoregressive Model과 Maximum Likelihood를 거쳐 VAE, GAN, Pix2Pix, Diffusion으로 넘어갔다. 강의자료의 파일 번호가 실제 날짜와 일대일로 대응한다고 단정하지 않고, 다섯 날 동안 이해한 개념의 선후관계로 묶었다.

읽은 원 논문

강의 노트를 다시 쓰면서 Auto-Encoding Variational Bayes, Generative Adversarial Nets, Pix2Pix, DDPM, Latent Diffusion, DiT을 함께 확인했다. 블로그 그림은 논문 이미지를 복사하지 않고 학습 흐름을 직접 다시 그렸다.

아직 이어서 할 실습

당시 저장한 Colab 출력이 모든 주제에 남아 있지는 않았다. 그래서 실행 화면이 없는 부분은 수식과 코드 흐름까지만 적었고, 새로운 결과 이미지를 만들어 과거 실행처럼 넣지 않았다. 다음에는 VAE latent interpolation과 DDPM sampling loop를 현재 환경에서 다시 실행해 비교할 예정이다.

5일 학습 기록

1. Day 1 — 생성모델 개요와 딥러닝 기초

   먼저 생성모델이 데이터 분포를 배운다는 뜻을 정리하고, Tensor와 신경망 기초를 다시 확인했다.

2. Day 2 — Autoregressive Model과 MLE

   결합확률을 조건부확률의 곱으로 풀고, 학습 목표를 Maximum Likelihood와 Negative Log-Likelihood로 연결했다.

3. Day 3 — Variational Autoencoder

   Encoder가 평균과 분산을 예측하는 이유, reparameterization, reconstruction과 KL loss의 역할을 정리했다.

4. Day 4 — GAN과 Pix2Pix

   Generator와 Discriminator의 목적함수를 나눠 보고, conditional GAN이 Pix2Pix의 변환 문제에 쓰이는 과정을 정리했다.

5. Day 5 — Diffusion, LDM과 응용

   Forward noise와 reverse denoising을 수식으로 연결한 뒤 DDPM, latent diffusion, Stable Diffusion의 계산 위치를 비교했다.