안녕하세요, 조교입니다.

강의를 모두 마치신 후에 Deep Neural Network에 대해 더 공부하고 싶으신 분들을 위한 추가 자료 공유드립니다.

Variational Autoencoder는 Autoencoder의 representation을 stochastic variable으로 가정하여 Network Parameter를 학습하기 위해 Variational Inference 기법을 사용한, Generative Model의 대표적인 방법론입니다.

그렇다면 Variational Autoencoder에 고전적인 Machine Learning 방법을 merge할 수 있을까요?

High dimensional 데이터의 경우, Variational Autoencoder로 compressed representation을 추출한 후, representation space에서 Mixture Model을 사용하여 군집화를 진행하면 data compression 없이 군집화를 진행하는 것에 비해 더 성능이 잘 나오는데요, 이에 대해 잘 설명하고 있는 논문은 다음과 같습니다:

https://arxiv.org/abs/1611.05148

또한, 다른 방향의 approach는 data의 compressed representation space의 dimension이 고정되어 있는 것에 착안을 하여 representation space를 Dirichlet process로 모델링하여 dimension이 유동적이게 만드는 방법을 개발하였습니다, 이에 대해 잘 설명하고 있는 논문은 다음과 같습니다:

https://arxiv.org/abs/1605.06197

감사합니다

조교 드림