안녕하세요, 조교입니다.

지난 시간동안 우리는 NLL/FID/IS 세가지 주요 metric에 대해 알아보았습니다.

위 performance metric은 Model training에도 주요하게 사용될 수 있습니다.

우선, Generative Model을 크게 분류하면

1) Variational Autoencoder (VAE)

2) Generative Adversarial Network (GAN)

3) Normalizing Flow (NF)

4) Autoregressive Model (AM)

5) Diffusion Model (DM)

으로 분류가 가능합니다. 위의 5가지 모델들 중 GAN을 제외한 모든 모델들은 log-likelihood (혹은 그 lower bound)를 maximize하는 방향으로 학습이 진행됩니다.

조금 더 자세히 살펴보면, NF와 AM의 경우, Negative Log-Likelihood (NLL) 계산이 가능합니다. 그렇기 때문에 NLL을 optimize하여 모델을 학습시킵니다.

VAE와 Diffusion Model의 경우, NLL 계산이 가능은 하지만 무척 시간이 오래 걸립니다. 그렇기 때문에 훨씬 계산이 간편한 log-likelihood의 lower bound인 Evidence Lower BOund (ELBO)를 optimize하여 모델을 학습시킵니다.

위 네가지 분류(VAE/NF/AM/DM)들은 log-likelihood 기반으로 학습된다고 말할 수 있기 때문에 이러한 모델들을 likelihood-based model이라고 분류합니다.

반면, GAN의 경우, generator와 discriminator가 서로 적대적으로 학습됩니다. discriminator는 generator에서 생성한 이미지를 실제 이미지와 가장 분류를 잘 하는 방향으로, generator는 discriminator를 속이려는 방향으로 학습됩니다. GAN은 학습시에 이미지들을 "직접" 비교하기 때문에 잘 학습된 GAN 모델이 이미지를 likelihood-based model보다 더 잘 생성하는 것입니다. GAN은 likelihood를 기반으로 학습하는 것이 아니기 때문에 likelihood-free model이라고 이야기합니다.

Likelihood-based와 Likelihood-free model은 training concept이 다른데 어떤 방법론이 더 좋은 것일까요? 그 답은 누구도 알 수 없습니다. 직관만을 생각해본다면, "그럴듯한 정도"가 likelihood이기 때문에 likelihood-based model이 likelihood를 maximize한다는 것은 model density가 training dataset을 가장 그럴듯하게 cover한다는 것을 의미합니다. 반면, likelihood-free model은 더 직관적으로 이미지-by-이미지로 비교를 하니, 둘 다 모두 직관적인 training이라고 생각할 수 있습니다.

다음 시간에는 Improved Precision에 대해 이어서 말씀드리도록 하겠습니다.

감사합니다

조교 드림