Gaussian Mixture Model

카이스트 문일철 교수님 강의를 토대로 정리한 GMM 노트.

_한가지 고민했던 부분

GMM을 푸는 EM 알고리즘에 대한 직관이 처음에는 좀 명확치 않았는데, E step에서 assigning할 때, K-means와는 다르게 모든 x들을 다 고려하는데 이게 EM의 한번 iteration 후에는 동일해지는 게 아닐까 하는 고민이었다.

왜냐하면 어짜피 assign된 정보를 바탕으로 M step에서 파라메터가 업데이트 되기 때문에 그 다음 E step에서 이 파라메터를 이용한 x-z assignment가 달라질까? 하는 고민.

결론은 달라진다. 아하하.. 매우 slightly but still.. some very small tweaks in their weights on each class가 생기게 된다. (곰곰..)

이거 실은 몇시간 머리 싸맸었다 능력없는 날 만나 고생많은 나의 뇌여..

200919200939

다음 노트들은 EM 알고리즘을 사용하기 위해 우리가 maximize하고자 하는 ln P(x|theta) 를 두가지 방식으로 정리하는 부분이다.

  1. ln P(x|theta) >= E[ ln P(x, z|theat) ] + H[Q] 꼴
  2. ln P(x|theta) >= ln P(x|theta) + KL-divergence(Q||P) 꼴

이 내용이 잘 derive되어 있다! 둘다 서로 다른 측면에서 직관적인 이해를 돕고, EM 알고리즘으로 문제를 풀 수 있도록 해준다.

200948200957201016

끝으로 머리싸맸던 것 정리.

각 클래스들의 한 data sample에 대한 영향력이 slightly 달라진다는 게 포인트.

다시 보면 별것 아닌데 역시 머리 나쁘면 평생 고생이다 후훗

200857

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s