Su Amadeo

Amadeo scrive la musica che ascolta. Dagli un suono da un file, dal microfono o da un video e ricevi uno spartito da leggere, correggere, suonare su altri strumenti e condividere.

Come funziona

Le note le trova Basic Pitch, una rete neurale pubblicata dal team di ricerca audio di Spotify nel 2022. Ascolta il suono in finestre di due secondi e stima, per ciascuno degli 88 tasti del pianoforte e circa 86 volte al secondo, se lì una nota suona o comincia. È stata addestrata su molti strumenti e voci e sa sentire più note insieme.

Il resto è analisi musicale classica. Il tempo viene da quanto regolarmente cominciano le note, la tonalità dal confronto di quanto suona ogni altezza con i profili di Krumhansl–Kessler delle 24 tonalità, e gli accordi dall’abbinare le note di ogni mezza battuta alle forme d’accordo consuete. Infine ogni nota viene spostata alla semicroma più vicina e scritta con la grafia che la tonalità richiede.

Tutto questo gira nel tuo browser. Il tuo audio non viene mai inviato da nessuna parte e le tue partiture restano sul tuo dispositivo. Un link condiviso contiene la partitura stessa, quindi nessun server ne conserva una copia.

Cosa aspettarti

Funziona meglio con un solo strumento o una voce, registrati in modo chiaro. Con una band intera o un’orchestra ottieni ogni nota che la rete è riuscita a cogliere: un buon punto di partenza, ma raramente pronto da suonare. La batteria non viene scritta. I cambi di tempo graduali vengono seguiti, anche se un rubato molto libero può ancora far perdere il ritmo. Per questo c’è l’editor.

I browser non permettono a una pagina di scaricare l’audio di un video di YouTube, quindi Amadeo registra la scheda mentre il video suona. Funziona con Chrome ed Edge sul computer.

Riconoscimenti

Basic Pitch (Apache 2.0) e TensorFlow.js per l’ascolto; VexFlow (MIT) e il font Bravura (SIL Open Font License) per l’incisione; smplr con lo Splendid Grand Piano e il soundfont MusyngKite (CC BY-SA 3.0) per gli strumenti.