EM algorithm(PRML/cs229)

Pattern Recognition and Machine Learning 책과 웹의 여러 소스에서 EM 부분을 정리. 그리고 앤드류응 교수님이 cs229에서 설명해주신 친절한 직관도 같이 정리했다. 이 직관적 설명이 참 좋다. E step이 constructing lower bound / M step이 optimizing lower bound라는 것. 내 직관을 좀 더해보자면, stochastic gradient descent와 비교해서 바라보자면, constructing lower bound부분이 어떤 지점에서의 방향을 설정하고(SGD에서 미분값),… Continue reading EM algorithm(PRML/cs229)

Advertisements

Variational Bayes Inference

A tutorial on VBI라는 강의자료를 토대로 정리한 내용. http://www.orchid.ac.uk/eprints/40/1/fox_vbtut.pdf   1_ introduction Variational Bayes is a particular variational method which aims : to find some approximate joint distribution Q(x;θ) over hidden variables x to approximate the true joint P(x), and defines ‘closeness’ as the KL divergence KL[Q(x;θ)||P(x)].   The mean-field form of VB assumes :… Continue reading Variational Bayes Inference

Gibbs sampling

깁스 샘플링의 개념에 관해 웹의 여러곳에서 intuition 및 적용 예시를 가져와서 합쳐보았다. 애초 이 방식이 도출된 흐름과 수식 derivation은 카이스트 문일철 교수님 강의를 토대로 연습장에 정리했던  Sampling-based model 정리 포스팅에서 자세한 내용을 볼 수 있다. 카하. 하지만 큰 그림과 직관은 이곳 정리가 꽤나 괜찮다 후훗.   explanation part 1/2 Let p(X1, . . . , Xn|e1,… Continue reading Gibbs sampling

Cross-entropy/softmax 정리

_cross-entropy cost function   Big picture in a nutshell (svm & cross-entropy loss) : 주의해서 봐야할 점은 weight matrix인데, 각 레이블에 대응하는 weight가 따로따로 있다. (그러므로 feature 갯수 by label class 갯수인 테이블이 된다.)   이 말은 각 샘플마다 (x0, x1, x2) 자기에게 맞는 클래스가 있을텐데 이를 제외한 클래스를 향하는 weight 값을 사용해서 얻은 loss를… Continue reading Cross-entropy/softmax 정리

Understanding of Backpropagation

understanding of backpropagation     backpropagation 수식을 위한 weight의 표기 방식     이러한 표기법의 특이한 점은 j가 아웃풋 노드를 나타내고 k가 인풋 노드를 나타낸다는 점이다. bias와 activation에 대해서도 비슷한 표기방식을 쓴다.     l번째 레이어의 j번째 노드의 activation은 l-1번째 레이어의 activation 값들과 관련이 있다. 이 식을 matrix 형식으로 나타낼 수도 있다. 각 레이어 마다… Continue reading Understanding of Backpropagation

Softmax 정리

Softmax SVM과 더불어 많이 쓰이는 Classifier. Logistic regression classifier의 multiple class 에 대한 일반화 개념. 각 class의 score를 받아서 normalized class probability들을 리턴한다.   Score를 unnormalized log probabilies for each class로 해석한다. Hinge loss(SVM애서의)를 cross-entropy loss로 대체한다.  (두식은 같은 식 : i class의 loss)   여기서 fj가 j번째 클래스의 score   Softmax function : (여기에… Continue reading Softmax 정리