안녕하세요, 조교입니다.

https://kooc.kaist.ac.kr/machinelearning1_17/forum/36818

에서 Maximum Likelihood Estimation은 true data distribution과 model distribution 사이의 KL divergence를 minimize하는 것과 동치라는 것을 말씀드렸습니다.

통계학에서 두 distribution의 거리를 재는 양으로 KL divergence외에도 많은 metric이 존재합니다.

그러한 metric으로는 예를 들어 Jensen Shannon divergence가 존재합니다.

하지만 KL divergence와는 달리, true distribution과 model distribution의 Jensen Shannon divergence를 계산하는 것은 불가능합니다.

그렇기 때문에 최근에 등장한 Generative Adversarial Network (GAN)와 같은 방법론이 각광을 받게 되었는데요,

GAN의 경우, true distribution과 model distribution의 Jensen Shannon divergence를 MLE와 같은 직접적인 방법이 아니라, adversarial concept을 통해서 간접적으로 계산하였습니다.

왜나하면 직접적인 계산은 불가능하기 때문이지요.

GAN을 공부하기에 좋은 컨텐츠는 다음 논문이 되겠습니다:

https://arxiv.org/abs/1406.2661

다음 시간에는 더 많은 divergence에 대하여 토론해 보겠습니다.

감사합니다

조교 드림