안녕하세요, 조교입니다.

Chapter 10에서는 random variable이 하나 있거나, 여러개 있지만 그 joint distribution의 point evaluation을 구할 수 있을 때 sampling하는 알고리즘들을 학습하였습니다.

그런데 보통은 여러 random variable이 존재할 때, conditional distribution에 대한 정보만 access 가능한 경우가 많기 때문에 이번 시간에는 multiple random variable이  probabilistic graphical model을 통해 그 관계가 가정된 경우의 sampling 방법을 알아보도록 하겠습니다.

예를 통해 설명하는 것이 가장 직관적인데요, random variable  X_1,X_2,...,X_n  X​1​​,X​2​​,...,X​n​​ 이 markov property, 즉

 p(X_k\vert X_1,...,X_{k-1})=p(X_{k}\vert X_{k-1}), \forall k  p(X​k​​∣X​1​​,...,X​k−1​​)=p(X​k​​∣X​k−1​​),∀k 관계를 만족시킬 때 joint distribution은

 p(X_{1:n})=\prod_{i=1}^{n}p(X_{i}\vert X_{i-1})  p(X​1:n​​)=∏​i=1​n​​p(X​i​​∣X​i−1​​) 가 되는 것을 알 수 있습니다.

그렇다면, p(X_1)  p(X​1​​) 에서 rejection을 사용하든, importance를 사용하든, MCMC를 사용하든 sample  X_1=x_1  X​1​​=x​1​​ 을 하나 뽑고,

  p(X_2\vert X_{1}=x_{1})  p(X​2​​∣X​1​​=x​1​​) 에서 또 (rejection/importance/MCMC)를 사용하여 sample  X_{2}=x_{2}  X​2​​=x​2​​ 를 하나 뽑고,

계속하여 이런 방식으로 순차적으로 뽑으면  (X_{1},...,X_{n})=(x_{1},...,x_{n})  (X​1​​,...,X​n​​)=(x​1​​,...,x​n​​)  샘플 쌍을 얻을 수 있습니다.

이렇게 뽑은 realization인 sample은 joint distribution  p(X_{1:n})  p(X​1:n​​) 을 따르는 것이 알려져 있으며,

이와 같은 방법론을 ancestral sampling이라고 합니다.

이런 ancestral sampling을 통해 pointwise evaluation은 불가능하지만 conditional evaluation이 가능한 경우에 sampling하는 방법을 알아보았습니다.