Gaussian Process는 Machine Learning이라는 큰 카테고리에는 속하지만 Deep Neural Network가 아니기 때문에 최근의 방법론들과는 그 결이 많이 다르다고 할 수 있습니다.

그렇기 때문에 사람들은 Gaussian Process를 Neural Network의 관점에서 해석하려는 노력을 하였습니다.

먼저, Bayesian Neural Network는 Neural Network의 parameter가 probabilistic하며, prediction 결과 또한 probabilistic한 모델입니다.

Gaussian Process는 다음과 같은 Bayesian Neural Network의 layer width가 infinity로 갈 때 동치임이 밝혀졌습니다.

(1) Single Hidden Layer or Deep Fully Connected Networks with the number of units per layer to be infinity

(2) Convolutional Neural Networks with the number of channels to be infinity

(3) Recurrent Networks with the number of units to be infinity

(4) Transformer Networks with the number of attention heads to be infinity

위 동치 관계에 대한 문헌은 https://papers.nips.cc/paper/2019/file/5e69fda38cda2060819766569fd93aa5-Paper.pdf 와 https://arxiv.org/pdf/2006.10540.pdf 및 https://openreview.net/pdf?id=B1EA-M-0Z 를 참조하시면 되겠습니다.

조금 더 친절한 review 문헌은 http://gpss.cc/gpss19/slides/Li2019.pdf 를 참조하시면 되겠습니다.

감사합니다