À propos d'Amadeo

Amadeo écrit la musique qu’il entend. Donnez-lui un son, venant d’un fichier, du micro ou d’une vidéo, et vous récupérez une partition à lire, corriger, jouer sur d’autres instruments et partager.

Comment ça marche

Les notes sont trouvées par Basic Pitch, un réseau de neurones publié par l'équipe de recherche audio de Spotify en 2022. Il écoute le son par fenêtres de deux secondes et estime, pour chacune des 88 touches du piano et environ 86 fois par seconde, si une note y sonne ou y commence. Il a été entraîné sur de nombreux instruments et sur des voix, et il peut entendre plusieurs notes à la fois.

Le reste, c'est de l'analyse musicale classique. Le tempo vient de la régularité avec laquelle les notes commencent, la tonalité de la comparaison entre la durée de chaque note et les profils de Krumhansl–Kessler des 24 tonalités, et les accords de la comparaison des notes de chaque demi-mesure avec les formes d'accord usuelles. Enfin, chaque note est ramenée à la double croche la plus proche et écrite avec l'orthographe que demande la tonalité.

Tout cela fonctionne dans votre navigateur. Votre son n'est jamais envoyé nulle part et vos partitions restent sur votre appareil. Un lien partagé contient la partition elle-même, donc aucun serveur n'en garde de copie non plus.

À quoi s'attendre

Cela marche le mieux avec un seul instrument ou une seule voix, enregistré proprement. Avec un groupe entier ou un orchestre, vous obtenez toutes les notes que le réseau a pu repérer : un bon point de départ, mais rarement prêt à jouer. La batterie n’est pas écrite. Les changements de tempo progressifs sont suivis, mais un rubato très libre peut encore faire perdre la pulsation. C’est à cela que sert l’éditeur.

Les navigateurs ne laissent pas une page télécharger le son d'une vidéo YouTube, alors Amadeo enregistre l'onglet pendant que la vidéo joue. Cela marche dans Chrome et Edge sur ordinateur.

Crédits

Basic Pitch (Apache 2.0) et TensorFlow.js pour l'écoute ; VexFlow (MIT) et la police Bravura (SIL Open Font License) pour la gravure ; smplr avec le Splendid Grand Piano et la banque de sons MusyngKite (CC BY-SA 3.0) pour les instruments.