Sobre o Amadeo

O Amadeo escreve a música que ouve. Você dá um som, de um arquivo, do microfone ou de um vídeo, e recebe de volta uma partitura para ler, corrigir, tocar em outros instrumentos e compartilhar.

Como funciona

As notas são encontradas pelo Basic Pitch, uma rede neural publicada pela equipe de pesquisa em áudio do Spotify em 2022. Ela escuta o som em janelas de dois segundos e estima, para cada uma das 88 teclas do piano e cerca de 86 vezes por segundo, se uma nota está soando ou começando ali. Ela foi treinada com muitos instrumentos e com vozes, e consegue ouvir várias notas ao mesmo tempo.

O resto é análise musical clássica. O andamento vem da regularidade com que as notas começam, a tonalidade da comparação entre quanto tempo cada nota soa e os perfis de Krumhansl–Kessler das 24 tonalidades, e os acordes da comparação das notas de cada meio compasso com as formas de acorde mais comuns. Por fim, cada nota é levada à semicolcheia mais próxima e escrita com a grafia que a tonalidade pede.

Tudo isso roda no seu navegador. O seu som nunca é enviado para lugar nenhum, e as suas partituras ficam no seu aparelho. Um link compartilhado leva a partitura dentro dele, então também não existe um servidor guardando uma cópia.

O que esperar

Funciona melhor com um único instrumento ou voz, gravado com clareza. Com uma banda inteira ou uma orquestra, você recebe todas as notas que a rede conseguiu captar: um bom ponto de partida, mas raramente pronto para tocar. A bateria não é escrita. Mudanças graduais de andamento são acompanhadas, porém um rubato muito livre ainda pode confundir o pulso. É para isso que serve o editor.

Os navegadores não deixam uma página baixar o som de um vídeo do YouTube, então o Amadeo grava a aba enquanto o vídeo toca. Isso funciona no Chrome e no Edge, num computador.

Créditos

Basic Pitch (Apache 2.0) e TensorFlow.js para ouvir; VexFlow (MIT) e a fonte Bravura (SIL Open Font License) para gravar a partitura; smplr com o Splendid Grand Piano e o soundfont MusyngKite (CC BY-SA 3.0) para os instrumentos.