과정 학습 기록
Day 1 — 생성모델 개요와 딥러닝 기초
먼저 생성모델이 데이터 분포를 배운다는 뜻을 정리하고, Tensor와 신경망 기초를 다시 확인했다.
- Date
- 2025-07-07
- Course
- 2025 생성모델 집중과정 — VAE부터 Stable Diffusion까지
01생성 모델 개요
이날의 학습 포인트
02딥러닝 기초
이날의 학습 포인트
03데이터셋 시각화
이날의 학습 포인트
이날 정리한 주제
- 생성 모델 개요
생성과 판별의 차이
- 딥러닝 기초
Tensor shape
- 데이터셋 시각화
모델보다 먼저 분포와 이상치를 눈으로 확인하는 습관을 정리했다.
판별과 생성의 차이
| 분류기는 입력 (x)가 주어졌을 때 (p(y | x))를 구하는 쪽에 가깝다. 생성모델은 (p(x)) 또는 (p(x,y))를 다루고, 학습한 분포에서 새 (x)를 뽑는다. 처음에는 “이미지를 만드는 신경망”이라고만 생각했지만, 확률분포와 sampling 관점으로 바꾸니 Autoregressive Model, VAE, GAN, Diffusion의 차이가 보였다. |
Tensor shape부터 다시 확인
Notebook을 실행할 때 가장 먼저 확인할 값은 batch, channel, height, width 순서였다. 이미지 batch가 (N, C, H, W)인지, flatten 뒤 feature 수가 Linear layer 입력과 맞는지 출력 Shape를 찍어 봤다. loss가 계산돼도 잘못된 축으로 normalize하면 학습 의미가 달라질 수 있었다.
데이터부터 그려 본 이유
모델을 만들기 전에 class balance, pixel range, 결측치, 중복 표본을 먼저 봤다. train과 validation을 나눈 뒤에 전처리 통계를 계산해야 정보가 섞이지 않는다. 이 순서는 나중에 OUTTA P1의 유사 이미지 누수 가능성을 해석할 때도 그대로 적용했다.
다음 날로 이어진 질문
복잡한 이미지를 한 번에 확률로 나타내기 어렵다면, 여러 조건부확률의 곱으로 나눌 수 있는지가 다음 질문이었다. 그 답을 Autoregressive factorization과 MLE에서 이어서 정리했다.