Amadeo के बारे में

Amadeo जो संगीत सुनता है उसे लिख देता है। उसे किसी फ़ाइल, माइक्रोफ़ोन या वीडियो से आवाज़ दीजिए, और बदले में ऐसी स्वरलिपि पाइए जिसे आप पढ़ सकें, ठीक कर सकें, दूसरे वाद्यों पर बजा सकें और साझा कर सकें।

यह कैसे काम करता है

सुर Basic Pitch ढूँढता है, जो 2022 में Spotify की ऑडियो रिसर्च टीम ने प्रकाशित किया एक न्यूरल नेटवर्क है। यह आवाज़ को दो-दो सेकंड की खिड़कियों में सुनता है और पियानो की 88 कुंजियों में से हर एक के लिए, लगभग 86 बार प्रति सेकंड, अनुमान लगाता है कि वहाँ कोई सुर बज रहा है या शुरू हो रहा है। इसे कई वाद्यों और आवाज़ों पर प्रशिक्षित किया गया है, और यह एक साथ कई सुर सुन सकता है।

बाकी पारंपरिक संगीत विश्लेषण है। लय इससे आती है कि सुर कितनी नियमितता से शुरू होते हैं, स्केल हर सुर की अवधि की तुलना 24 स्केलों की Krumhansl–Kessler प्रोफ़ाइलों से करके, और कॉर्ड हर आधे माप के सुरों की तुलना आम कॉर्ड आकारों से करके। अंत में हर सुर को सबसे नज़दीकी सोलहवें सुर पर रखा जाता है और स्केल के अनुसार लिखा जाता है।

यह सब आपके ब्राउज़र में चलता है। आपकी आवाज़ कहीं नहीं भेजी जाती और आपके नोटेशन आपके डिवाइस पर रहते हैं। साझा किया गया लिंक नोटेशन को अपने अंदर ले जाता है, इसलिए कोई सर्वर भी उसकी कॉपी नहीं रखता।

क्या उम्मीद करें

यह एक वाद्य या एक आवाज़ के साथ, साफ़ रिकॉर्ड की गई हो तो सबसे अच्छा काम करता है। पूरे बैंड या ऑर्केस्ट्रा से आपको वे सभी सुर मिलते हैं जो नेटवर्क पकड़ पाया: शुरुआत के लिए उपयोगी, पर शायद ही सीधे बजाने लायक। ड्रम नहीं लिखे जाते। लय में धीरे-धीरे होने वाले बदलाव पकड़े जाते हैं, पर बहुत खुला रुबातो अब भी ताल को भटका सकता है। इसी के लिए संपादक है।

ब्राउज़र किसी पेज को YouTube वीडियो की आवाज़ डाउनलोड नहीं करने देते, इसलिए वीडियो चलते समय Amadeo टैब को रिकॉर्ड करता है। यह कंप्यूटर पर Chrome और Edge में काम करता है।

आभार

सुनने के लिए Basic Pitch (Apache 2.0) और TensorFlow.js; नोटेशन छापने के लिए VexFlow (MIT) और Bravura फ़ॉन्ट (SIL Open Font License); वाद्यों के लिए smplr, Splendid Grand Piano और MusyngKite साउंडफ़ॉन्ट (CC BY-SA 3.0) के साथ।