Downbeat tracking using beat-synchronous features and RNN

ISMIR 2016 proceedings : Downbeat tracking using beat-synchronous features and RNN 논문 정리 http://www.cp.jku.at/research/papers/Krebs_etal_ISMIR_2016.pdf Downbeat를 찾아낸다는 것은 음악 hierarchy의 제일 기본을 찾아내는 일.   _개요 Beat-synchronous(타임 도메인에서 비트에 싱크가 맞추어진) 오디오 feature로부터 downbeat들의 위치를 찾아내는 시스템. 시그널의 여러 frequency들에서의 rhythmic content에 대한 sequential model(RNN)과 harmonic content에 대한 sequential model(RNN)에서의 activation 아웃풋들을 합친 후, dynamic Bayesian network로…

WaveNet/NSynth : deep audio generative models

WaveNet 논문과 WaveNet-style autoencoder를 사용하는 NSynth에 관한 정리. (NSynth는 따로 포스팅을 통해 자세히 작성할 것.)   _WaveNet Website : https://deepmind.com/blog/wavenet-generative-model-raw-audio/ Paper : https://arxiv.org/pdf/1609.03499.pdf   _NSynth Website : https://magenta.tensorflow.org/nsynth Paper : https://arxiv.org/abs/1704.01279   (* 베이스라인 모델과의 비교등을 통한 결과값 내용은 논문 참조.)   (* NSynth에 대한 자세한 내용은 따로 포스팅예정.)

Dance Dance Convolution 구현 부분

https://arxiv.org/abs/1703.06891 특정 음악 audio data에서 feature를 뽑아낸 후, 이에 어울리도록 Dance Dance Revolution의 step악보를 생성하는 모델. (구현부분만 살짝 정리해서 실제로 돌려보고자 한다.)       크게 2가지의 작업으로 나누어서 수행했다.   1) Step placement : deciding when to place steps RNN + CNN -> ingest spectrograms of low-level audio features   2) Step selection :…

Automatic conversion of pop music into chiptunes for 8-bit pixel art

 _Overall precedure 크게 두가지 stage로 나눌 수 있다. 1) analysis stage - singing voice separation - pitch detection : vocal melody / instrumental accompaniment 2) synthesis stage - post-processing on extracted pitches (reduce complexities and fluctuations) - use templates of waveforms (to synthesize 8-bit music based on given pitches) : audio mosaicing method   Feature-driven…

Fundamentals of music processing chapter 6 발표자료

모두의 연구소 music processing lab Fundamentals of music processing chapter 6 발표자료 되도록 책의 내용을 빠짐없이 담으려다 보니 챕터마다 슬라이드 100장이 넘어감...

Composing music with recurrent neural netwroks(번역)

원문: https://github.com/hexahedria/biaxial-rnn-music-composition           Reccurent Neural Networks   지금까지 배운 neural network는 feedforward network, 즉, input이 들어오면 한 방향으로 output을 내는 구조이다. (정보가 한 방향으로만 흐른다.) Recurrent neural network는 hidden layer의 각 layer 마다 얻은 output을 다음 layer의 추가적인 input으로 집어 넣는 것이다. Hidden layer의 각 노드들은, 바로 전 레이어의 output 뿐만…

HMM / application on chord recognition

학교 세미나 주제로 HMM과 Chord recognition에의 적용문제에 관해 발표했다. HMM의 이론 및 모든 수식의 derivation은 cs229 강의자료를 토대로 작성하였다. http://cs229.stanford.edu/section/cs229-hmm.pdf

Fundamentals of music processing chapter 5 발표자료

모두의 연구소 music processing lab Fundamentals of music processing chapter 5 발표자료 되도록 책의 내용을 빠짐없이 담으려다 보니 챕터마다 슬라이드 100장이 넘어감...  

Fundamentals of music processing chapter 4 발표자료

모두의 연구소 music processing lab Fundamentals of music processing chapter 4 발표자료 되도록 책의 내용을 빠짐없이 담으려다 보니 슬라이드 100장이 넘어감...

DeepHear정리2/2

Harmonizing melodies with constrained prior sampling 원문 : http://126kr.com/article/8eonheg4pqd   우리는 이 neural net이 실제로 어떤 음악적 구조를 배웠다는 것을 보여주고 싶다. (화성, 리듬, 코드 진행) 이를 위한 한가지 방법은 뉴럴넷으로 하여금 학습되지 않은 새로운 문제를 풀도록 하는 것이다. : 멜로디가 주어졌을 때 harmonize하는 것. 이것이 가능하다면 우리 뉴럴넷이 음악의 실제 패턴을 encode한다는 것을 의미하며, 다른 음악적…