Restricted Boltzmann Machine

Energy-based unsupervised-learning model 이라고 할 수 있는 RBM에 대한 내용 정리. Hidden layer와 Observation의 관계를 물리학에서 가져온 Energy-based로 설정하여 Energy(러프하게 additional necessary information정도?..)를 낮추는 방향으로 확률을 높이는 방향으로 학습을 시킨다.   Somewhat HMM과 비슷한 개념으로 latent layer를 두지만 Markov assumption같은 것을 두지는 않고 철저히 latent feature와 observation과의 관계만을 통해서 generative 모델을 설정한다. 큰 그림을 보자면,… Continue reading Restricted Boltzmann Machine

Advertisements

GMM (from PRML/cs229)

고통속에 열심히 보곤 했던 PRML 책에서 GMM부분을 정리해보았다.. GMM과 K-means의 차이점을 명확히 이해하면 얼추 GMM을 개념적으로 정리했다고 볼 수 있다. 조금더 직관을 더하기 위해 응교수님이 cs229에서 GMM에 대한 EM 알고리즘을 친절하게 설명해주신 부분을 추가한다.

Sampling-based models

카이스트 문일철 교수님 강의를 토대로 정리한 샘플링 기반 approximate inference 기법들. 정리하고 나니 무려 21페이지.. 가장 단순한 샘플링부터 시작해서 흐름을 따라서 Gibbs sampling까지 도달한다. 게다가 LDA를 collapsed Gibbs sampling으로 푸는 예제까지 정리하고 나면 대단원의 막을 내린다.(..) (참고로, 문교수님은 LDA의 optimization은 원래는 Gibbs sampling으로 풀지 않는다고 하셨지만, David Blei 강의에서도 collapsed Gibbs sampling이 언급된다.) 자, 떠나보자!

Gaussian Mixture Model

카이스트 문일철 교수님 강의를 토대로 정리한 GMM 노트. _한가지 고민했던 부분 GMM을 푸는 EM 알고리즘에 대한 직관이 처음에는 좀 명확치 않았는데, E step에서 assigning할 때, K-means와는 다르게 모든 x들을 다 고려하는데 이게 EM의 한번 iteration 후에는 동일해지는 게 아닐까 하는 고민이었다. 왜냐하면 어짜피 assign된 정보를 바탕으로 M step에서 파라메터가 업데이트 되기 때문에 그 다음 E… Continue reading Gaussian Mixture Model