Embedding senses via dictionary bootstrapping

텍스트 마이닝 과제를 위한 삽질 중에 시도 중인 논문 정리. "Embedding senses via dictionary bootstrapping", Byungkon Kang, Kyung-Ah Sohn. The 33rd Conference on Uncertainty in Artificial Intelligence (UAI), 2017, Sydney, Australia http://auai.org/uai2017/proceedings/papers/135.pdf   TM, NLP의 맥락을 다 보는 무모한 시도를 하다가 반쯤 포기 상태로.. 일단은 제일 기본적인 것들만 보고 그 와중에 강병곤 박사님이 발표하신 논문이 있길래… Continue reading Embedding senses via dictionary bootstrapping

Advertisements

(Pix2Pix) Image-to-image Translation with Conditional Adversarial Networks

  Image-to-image Translation with Conditional Adversarial Networks 논문 정리 :  https://arxiv.org/abs/1611.07004   목적: Conditional adversarial network를 image-to-image translation의 general-purpose solution으로 사용해보는 것. input image ⇒ output image의 맵핑 이 맵핑을 train하는데 필요한 loss function 자체를 학습 이 모델은 label map에서 photo synthesis edge map에서 object reconstruct colorizing image 문제들에 효과적이었음을 보였다. Mapping function을 더이상 hand-engineer하지 않고,… Continue reading (Pix2Pix) Image-to-image Translation with Conditional Adversarial Networks

Downbeat tracking using beat-synchronous features and RNN

ISMIR 2016 proceedings : Downbeat tracking using beat-synchronous features and RNN 논문 정리 http://www.cp.jku.at/research/papers/Krebs_etal_ISMIR_2016.pdf Downbeat를 찾아낸다는 것은 음악 hierarchy의 제일 기본을 찾아내는 일.   _개요 Beat-synchronous(타임 도메인에서 비트에 싱크가 맞추어진) 오디오 feature로부터 downbeat들의 위치를 찾아내는 시스템. 시그널의 여러 frequency들에서의 rhythmic content에 대한 sequential model(RNN)과 harmonic content에 대한 sequential model(RNN)에서의 activation 아웃풋들을 합친 후, dynamic Bayesian network로… Continue reading Downbeat tracking using beat-synchronous features and RNN

Implementing CNN in Tensorflow

  텐서플로우에서 CNN 구조를 정의하는 기초 예제를 정리해둔다. (MNIST 데이터 셋을 사용한다고 했을 경우.)   (1) Placeholder 정의 :     (2) Filter weight 정의     (3) 레이어 정의   (3-1) 인풋 텐서 / weight 텐서를 conv 레이어의 파라미터로 지정. 여기서 padding = 'SAME'은 convolution 이후의 필터당 아웃풋의 이미지 사이즈가 인풋 이미지의 사이즈와 같도록… Continue reading Implementing CNN in Tensorflow

GAN tutorial 2016 정리(1)

GAN tutorial 2016 내용 정리. https://arxiv.org/abs/1701.00160 GAN tutorial 2017 (https://nips.cc/Conferences/2016/Schedule?showEvent=6202) 이 나온 마당에 이걸 정리해본다(..) _소개. Generative model들중 어떤 아이들은 density estimation을 통해 generate한다. (like variational inference autoencoder) 어떤 data-generating distribution(p_data)에서 트레이닝 데이터를 샘플링한 후, distribution의 estimation을 계산하는 것. 그니까 true(optimal한) density가 되기 원하는 p_model(x)를 estimate한다는 이야기. 예를 들어, 실제 이미지들을 가지고 학습한다면, 그 이미지들을 fit하도록… Continue reading GAN tutorial 2016 정리(1)

WaveNet/NSynth : deep audio generative models

WaveNet 논문과 WaveNet-style autoencoder를 사용하는 NSynth에 관한 정리. (NSynth는 따로 포스팅을 통해 자세히 작성할 것.)   _WaveNet Website : https://deepmind.com/blog/wavenet-generative-model-raw-audio/ Paper : https://arxiv.org/pdf/1609.03499.pdf   _NSynth Website : https://magenta.tensorflow.org/nsynth Paper : https://arxiv.org/abs/1704.01279   (* 베이스라인 모델과의 비교등을 통한 결과값 내용은 논문 참조.)   (* NSynth에 대한 자세한 내용은 따로 포스팅예정.)

ByteNet – Neural machine translation in linear time 논문번역(updated)

ByteNet model from DeepMind's paper Neural Machine Translation in Linear Time. (Neural architecture for sequence processing)   ByteNet은 두개의 CNN을 쌓은 것이다. (인코더/디코더) 하나는 source sequence를 인코딩하고 , 하나는 디코딩하여 target sequence를 만들어낸다. 다양한 길이의 아웃풋을 생성하기 위해서 Target network는 동적으로 ‘펼쳐진다.’ (dynamically unfolded over the representation from 인코더) ByteNet은 conv 레이어에 dilation 이라는 방법을… Continue reading ByteNet – Neural machine translation in linear time 논문번역(updated)

Tensorflow model restore시 주의점 & downgrading the version

텐서플로우로 학습시킨 모델을 저장한 후, 나중에 불러올 때(restore) 저장했던 환경과 불러오는 환경의 텐서플로우 버전이 다르면 에러가 발생할 수 있다. (이것 때문에 또 얼마나 헤멨었는지..) 버전에 맞추어 재인스톨하는 방법은 간단하다. (다운그레이드라도 --upgrade 옵션 사용) 만약 1.1.0으로 다운그레이드하고자 한다면,  

Posted in Dev

Implementing RNN in Tensorflow

예전 프로젝트에서는 RNN 구현에 있어서 Keras를 사용해서 (example코드를 거의 그대로 사용) 별 고민 없이 쉽게 해결했었다. 물론 cs231n의 숙제로 RNN을 numpy로 쩔쩔매며 구현하기도 했었지만, 실제 프로젝트에서 자주 쓰기 위해서는 역시  Tensorflow 레벨에서의 활용방법을 간단히 정리해놓는 것이 필요하다고 판단. 텐서플로우에서 RNN을 사용하는 방식은 다음과 같다. Cell을 정의한다. (BasicLSTMCell 등의 구현된 클래스 사용. 내부에 연산한 후 output값과… Continue reading Implementing RNN in Tensorflow