Dance Dance Convolution 구현 부분

https://arxiv.org/abs/1703.06891 : 특정 음악 audio data에서 feature를 뽑아낸 후, 이에 어울리도록 Dance Dance Revolution의 step악보를 생성하는 모델. (구현부분만 살짝 정리해서 실제로 돌려보고자 한다.)       크게 2가지의 작업으로 나누어서 수행했다.   1) Step placement : deciding when to place steps RNN + CNN -> ingest spectrograms of low-level audio features   2) Step selection… Continue reading Dance Dance Convolution 구현 부분

Automatic conversion of pop music into chiptunes for 8-bit pixel art

 _Overall precedure 크게 두가지 stage로 나눌 수 있다. 1) analysis stage - singing voice separation - pitch detection : vocal melody / instrumental accompaniment 2) synthesis stage - post-processing on extracted pitches (reduce complexities and fluctuations) - use templates of waveforms (to synthesize 8-bit music based on given pitches) : audio mosaicing method   Feature-driven… Continue reading Automatic conversion of pop music into chiptunes for 8-bit pixel art

Composing music with recurrent neural netwroks(번역)

원문: https://github.com/hexahedria/biaxial-rnn-music-composition           Reccurent Neural Networks   지금까지 배운 neural network는 feedforward network, 즉, input이 들어오면 한 방향으로 output을 내는 구조이다. (정보가 한 방향으로만 흐른다.) Recurrent neural network는 hidden layer의 각 layer 마다 얻은 output을 다음 layer의 추가적인 input으로 집어 넣는 것이다. Hidden layer의 각 노드들은, 바로 전 레이어의 output 뿐만… Continue reading Composing music with recurrent neural netwroks(번역)

DeepHear정리2/2

Harmonizing melodies with constrained prior sampling 원문 : http://126kr.com/article/8eonheg4pqd   우리는 이 neural net이 실제로 어떤 음악적 구조를 배웠다는 것을 보여주고 싶다. (화성, 리듬, 코드 진행) 이를 위한 한가지 방법은 뉴럴넷으로 하여금 학습되지 않은 새로운 문제를 풀도록 하는 것이다. : 멜로디가 주어졌을 때 harmonize하는 것. 이것이 가능하다면 우리 뉴럴넷이 음악의 실제 패턴을 encode한다는 것을 의미하며, 다른 음악적… Continue reading DeepHear정리2/2

DeepHear정리1/2

  원문 : Scott Joplin's music into deep neural network (Deep Belief Network) http://126kr.com/article/8eonheg4pqd     DBN : Deep belief network (RBM 같은 energy-based deep network)         Initial value for W and B is very important.   Flipping a DBN - Autoencoders 저렇게 디자인한 DBN의 경우, 많은 양의 인풋 데이터를 넣으면 조금의… Continue reading DeepHear정리1/2

Asking RNN + LSTM : What would Mozart write?(번역)

Asking RNN + LSTM : What would Mozart write? http://www.wise.io/tech/asking-rnn-and-ltsm-what-would-mozart-write     AI를 넘어서는 진보는 Aritificial Creativity가 될 것이다. 나는 AC에 한동안 관심이 있었고 AC를 미술, 음악, 글쓰기 등에서 테스트하는 방법을 연구하는 학회에서 여러가지 주제들을 학습했다. 음악에서는, 흥미롭고, 도전할만 하고, 유니크한(기존의 작곡가들과 차별화 될 만한) 곡을 기계가 작곡한다면 매우 큰 성과가 될 것이다. 기계 작곡은… Continue reading Asking RNN + LSTM : What would Mozart write?(번역)