WaveNet/NSynth : deep audio generative models

WaveNet 논문과 WaveNet-style autoencoder를 사용하는 NSynth에 관한 정리. (NSynth는 따로 포스팅을 통해 자세히 작성할 것.)   _WaveNet Website : https://deepmind.com/blog/wavenet-generative-model-raw-audio/ Paper : https://arxiv.org/pdf/1609.03499.pdf   _NSynth Website : https://magenta.tensorflow.org/nsynth Paper : https://arxiv.org/abs/1704.01279   (* 베이스라인 모델과의 비교등을 통한 결과값 내용은 논문 참조.)   (* NSynth에 대한 자세한 내용은 따로 포스팅예정.)

Dance Dance Convolution 구현 부분

https://arxiv.org/abs/1703.06891 특정 음악 audio data에서 feature를 뽑아낸 후, 이에 어울리도록 Dance Dance Revolution의 step악보를 생성하는 모델. (구현부분만 살짝 정리해서 실제로 돌려보고자 한다.)       크게 2가지의 작업으로 나누어서 수행했다.   1) Step placement : deciding when to place steps RNN + CNN -> ingest spectrograms of low-level audio features   2) Step selection :…

Automatic conversion of pop music into chiptunes for 8-bit pixel art

 _Overall precedure 크게 두가지 stage로 나눌 수 있다. 1) analysis stage - singing voice separation - pitch detection : vocal melody / instrumental accompaniment 2) synthesis stage - post-processing on extracted pitches (reduce complexities and fluctuations) - use templates of waveforms (to synthesize 8-bit music based on given pitches) : audio mosaicing method   Feature-driven…

Fundamentals of music processing chapter 6 발표자료

모두의 연구소 music processing lab Fundamentals of music processing chapter 6 발표자료 되도록 책의 내용을 빠짐없이 담으려다 보니 챕터마다 슬라이드 100장이 넘어감...

Composing music with recurrent neural netwroks(번역)

원문: https://github.com/hexahedria/biaxial-rnn-music-composition           Reccurent Neural Networks   지금까지 배운 neural network는 feedforward network, 즉, input이 들어오면 한 방향으로 output을 내는 구조이다. (정보가 한 방향으로만 흐른다.) Recurrent neural network는 hidden layer의 각 layer 마다 얻은 output을 다음 layer의 추가적인 input으로 집어 넣는 것이다. Hidden layer의 각 노드들은, 바로 전 레이어의 output 뿐만…

HMM / application on chord recognition

학교 세미나 주제로 HMM과 Chord recognition에의 적용문제에 관해 발표했다. HMM의 이론 및 모든 수식의 derivation은 cs229 강의자료를 토대로 작성하였다. http://cs229.stanford.edu/section/cs229-hmm.pdf

Fundamentals of music processing chapter 5 발표자료

모두의 연구소 music processing lab Fundamentals of music processing chapter 5 발표자료 되도록 책의 내용을 빠짐없이 담으려다 보니 챕터마다 슬라이드 100장이 넘어감...  

Fundamentals of music processing chapter 4 발표자료

모두의 연구소 music processing lab Fundamentals of music processing chapter 4 발표자료 되도록 책의 내용을 빠짐없이 담으려다 보니 슬라이드 100장이 넘어감...

DeepHear정리2/2

Harmonizing melodies with constrained prior sampling 원문 : http://126kr.com/article/8eonheg4pqd   우리는 이 neural net이 실제로 어떤 음악적 구조를 배웠다는 것을 보여주고 싶다. (화성, 리듬, 코드 진행) 이를 위한 한가지 방법은 뉴럴넷으로 하여금 학습되지 않은 새로운 문제를 풀도록 하는 것이다. : 멜로디가 주어졌을 때 harmonize하는 것. 이것이 가능하다면 우리 뉴럴넷이 음악의 실제 패턴을 encode한다는 것을 의미하며, 다른 음악적…

DeepHear정리1/2

  원문 : Scott Joplin's music into deep neural network (Deep Belief Network) http://126kr.com/article/8eonheg4pqd     DBN : Deep belief network (RBM 같은 energy-based deep network)         Initial value for W and B is very important.   Flipping a DBN - Autoencoders 저렇게 디자인한 DBN의 경우, 많은 양의 인풋 데이터를 넣으면 조금의…