Über Amadeo

Amadeo schreibt die Musik auf, die es hört. Gib ihm einen Ton aus einer Datei, vom Mikrofon oder aus einem Video, und du bekommst Noten zurück, die du lesen, korrigieren, auf anderen Instrumenten spielen und teilen kannst.

So funktioniert es

Die Töne findet Basic Pitch, ein neuronales Netz, das Spotifys Audioforschungsteam 2022 veröffentlicht hat. Es hört den Klang in Zwei-Sekunden-Fenstern und schätzt für jede der 88 Klaviertasten etwa 86-mal pro Sekunde, ob dort ein Ton klingt oder beginnt. Es wurde mit vielen Instrumenten und Stimmen trainiert und kann mehrere Töne zugleich hören.

Der Rest ist klassische Musikanalyse. Das Tempo ergibt sich daraus, wie regelmäßig die Töne einsetzen, die Tonart aus dem Vergleich der Klangdauer jeder Tonhöhe mit den Krumhansl-Kessler-Profilen der 24 Tonarten, und die Akkorde aus dem Abgleich der Töne jedes halben Takts mit den üblichen Akkordformen. Zum Schluss wird jede Note auf die nächste Sechzehntel eines Schlags gerückt und so geschrieben, wie die Tonart es verlangt.

Das alles läuft in deinem Browser. Dein Ton wird nirgendwohin geschickt, und deine Noten bleiben auf deinem Gerät. Ein geteilter Link trägt die Noten in sich, also hat auch kein Server eine Kopie.

Was du erwarten kannst

Am besten klappt es mit einem Instrument oder einer Stimme, klar aufgenommen. Bei einer ganzen Band oder einem Orchester bekommst du jeden Ton, den das Netz heraushören konnte: ein guter Ausgangspunkt, aber selten spielfertig. Schlagzeug wird nicht notiert. Allmähliche Tempowechsel werden verfolgt, sehr freies Rubato kann den Takt aber noch durcheinanderbringen. Dafür gibt es den Editor.

Browser erlauben einer Seite nicht, den Ton eines YouTube-Videos herunterzuladen, deshalb nimmt Amadeo den Tab auf, während das Video läuft. Das klappt in Chrome und Edge am Computer.

Danksagungen

Basic Pitch (Apache 2.0) und TensorFlow.js zum Hören; VexFlow (MIT) und die Schrift Bravura (SIL Open Font License) für den Notensatz; smplr mit dem Splendid Grand Piano und der MusyngKite-Soundfont (CC BY-SA 3.0) für die Instrumente.