🧙🏽 👩🏼‍⚖️ 👩🏽‍🚀 HOLO - संगीत समामेलन प्रणाली ⏩ 👼🏾 🛰️

HOLO - ग्रीक Oλο "से उपसर्ग," सभी। "

परिचय

उत्साह के बिना नहीं, मैं आपको अपने विकास को प्रस्तुत करने में प्रसन्न हूं, जो आपको "समान" संगीत खोजने के उद्देश्य से एक संगीत पुस्तकालय को एक पूरे में संयोजित करने की अनुमति देता है।
कुछ साल पहले MATLAB के स्वतंत्र अध्ययन के चरम पर, मैं एक ऐसा कार्यक्रम बनाना चाहता था जो मुझे संगीत के दिए गए नमूने से "समान भावना में" अन्य रचनाओं को खोजने की अनुमति देगा। अच्छे कारणों की एक गुच्छा ने कार्यान्वयन को आगे और आगे स्थगित करने के लिए मजबूर किया, लेकिन कुछ बिंदु पर मामला आगे बढ़ गया। नतीजतन, विकास के आधार को थोड़ा बदल दिया, कार्यक्रम का पहला संस्करण बनाया गया था।

समस्या का बयान

इसलिए, समस्या का विवरण इस प्रकार है:

हार्ड ड्राइव पर एक अपेक्षाकृत बड़ी (> 10 हजार फाइलें) संगीत संग्रह है, जिसे पूरी तरह से उपयोग करना और कैटलॉग करना मुश्किल हो गया है, यही कारण है कि कई गाने महीनों और वर्षों तक प्लेलिस्ट में कभी नहीं आते हैं।
फ़ाइल में निहित ध्वनि तरंग के रूप के अलावा किसी भी जानकारी का उपयोग किए बिना रचनाओं की संख्यात्मक विशेषताओं का मूल्यांकन करना आवश्यक है (कोई फ़ाइल नाम, एल्बम, आईडी 3 टैग और पसंद को ध्यान में नहीं रखा गया है)।
नमूने के रूप में विश्लेषक को एक या अधिक रचनाएँ खिलाएँ।
ऐसी रचनाओं की एक सूची प्रदर्शित करें जो नमूनों की सूची के साथ मेल नहीं खाती हैं और नमूनों से उनके "दूरी" के आरोही क्रम में क्रमबद्ध हैं।

C # व्यक्तिगत रूप से मेरे लिए सबसे सरल भाषा के रूप में विकास मंच बन गया, पर्याप्त तेजी से और एक अच्छा विकास वातावरण रहा। कोडप्लेक्स और इसी तरह की साइटों पर एक त्वरित खोज ने हमें कुछ साइकिलों के आविष्कार से बचने की अनुमति दी, विशेष रूप से, निम्नलिखित उपकरण निम्न हैं:

NAudio - ऑडियो फ़ाइलों को पढ़ने के लिए।
Meta.Numerics - FFT रूपांतरण के लिए।
डेटा संचय और प्रसंस्करण के लिए SQLite + SQLite netFX आवरण ।
अनुसंधान चरण में भी, .NET के लिए संस्करण में ALGLIB पुस्तकालय जुड़ा हुआ है।

आर्किटेक्चरली, प्रोग्राम में दो सबसिस्टम होते हैं - म्यूजिक कलेक्शन के डेटाबेस का गठन और एक डेटाबेस सर्च सिस्टम।

सिद्धांत

डेटाबेस का गठन निम्नानुसार कार्यान्वित किया गया है:
विश्लेषण की गई फ़ाइल को नमूनों से एक वेक्टर के रूप में दर्शाया गया है, जिसमें से L नमूने के N स्नैपशॉट निकाले जाते हैं, जिनमें से प्रत्येक FFT रूपांतरण का उपयोग करके आवृत्ति प्रतिक्रिया (fft-snap) में दिया जाता है। यह परिवर्तन, वास्तव में, समय श्रृंखला को विभिन्न आवृत्तियों के आयामों के एक सेट में बदल देता है जो समय श्रृंखला बनाते हैं। फिर बाद में विश्लेषण की गई आवृत्तियों की संख्या को कम करने के लिए एफटी-स्नैप आनुपातिक रूप से के गुना (डाउनस्केल अनुपात) संकुचित होता है।
इसके अलावा, छवियों के परिणामी सेट की प्रत्येक आवृत्ति को अलग से माना जाता है - सांख्यिकीय विशेषताओं की गणना की जाती है, जैसे कि माध्य मान (माध्य), माध्य (माध्यियन), मानक विचलन (stdev), बेवेल (तिरछापन) और स्टीपनेस (kysosis)। परिणामस्वरूप, प्रत्येक रचना के लिए हमारे पास L / 2K आवृत्तियों का एक सेट होता है (एफएफटी मध्य के सापेक्ष लगभग सममित रूप से निकलता है), जिनमें से प्रत्येक के लिए 5 आंकड़ों की गणना की जाती है। डेटाबेस में फ़ाइल नाम, डिस्क पर इसके लिए पथ, और 5L / 2K वास्तविक संख्याएं होती हैं, जिनमें से प्रत्येक का प्रतिनिधित्व करने वाले आँकड़ों के नाम के साथ चिह्नित किया गया है।
उदाहरण के लिए, हम 64,000 नमूनों की लंबाई के साथ 40 चित्र लेकर एक फाइल का विश्लेषण करते हैं, जो 1,000 बार संपीड़ित होती है। नतीजतन, हमारे पास प्रत्येक रचना के लिए 5 * (64000/1000) / 2 = 160 नंबर का वेक्टर है।
इस पर, विश्लेषण के लिए डेटाबेस के गठन में मुख्य चरण को पूरा माना जाता है। सहायक कदम हैं:

एक आँकड़े तालिका पर एक सूचकांक का निर्माण।
प्रत्येक आँकड़ों के लिए समग्र मूल्यों की गणना (अधिकतम, न्यूनतम, औसत और गलियारा - अधिकतम और न्यूनतम के बीच का अंतर)।

अब आप विश्लेषण शुरू कर सकते हैं। 160-आयामी अंतरिक्ष में दो बिंदुओं की निकटता का मूल्यांकन करने का सबसे सरल तरीका उनके बीच यूक्लिडियन दूरी की गणना करना है (संबंधित आंकड़ों के जोड़ीदार अंतर के वर्गों का योग, वर्गमूल निकाला नहीं जाता है - यह गणना को लंबा करता है, लेकिन छंटाई परिणाम को प्रभावित नहीं करता है)। यह प्रतीत होता है - ले और गिनें, लेकिन रचना की आवृत्ति प्रतिक्रिया में अलग-अलग आवृत्तियों में अलग-अलग तितर बितर होता है और "माथे में दूरी" की गणना करने से विकृतियों को कम आवृत्ति पर जोर देने के साथ एक विकृत दूरी मिल जाएगी। अवांछनीय प्रभाव के लिए क्षतिपूर्ति करने के लिए, हम दिए गए आवृत्ति के औसत आयाम के वर्ग द्वारा मूल्यों के बीच के अंतर के वर्ग को विभाजित करते हैं। इस प्रकार, आवृत्ति वितरण की विशेषताओं का प्रारंभिक अनिसोट्रोपिक स्थान जिसमें हम दूरी की गणना करते हैं वह काफी अधिक आइसोट्रोपिक, अर्थात् सजातीय है।
सैद्धांतिक रूप से, उनकी निकटता की डिग्री से रचनाओं को एकजुट करते हुए एक क्लस्टर विश्लेषण करना संभव है, लेकिन अभी तक इस पद्धति के उपयोग को छोड़ने का निर्णय लिया गया है, क्योंकि यह अंतरिक्ष में बिंदुओं के बीच की दूरी (विभिन्न मैट्रिक्स की पसंद के साथ) की गणना पर भी आधारित है, लेकिन एल्गोरिथ्म अधिक जटिल हो जाता है। दूरी बढ़ाकर गीतों को छाँटने में बहुत उपयोगी नहीं है।

अभ्यास

शायद अब तक पर्याप्त सिद्धांत है, मैं अपने संगीत संग्रह के आधार पर व्यावहारिक परिणामों के बारे में बात करूंगा। पटरियों की संख्या 30,277 है, शैलियां बहुत अलग हैं - शास्त्रीय संगीत, रॉक, हार्ड रॉक, परिवेश, ड्रम और बास, घर, तकनीकी, नृवंशविज्ञान, धातु के पूरे स्पेक्ट्रम को हल्के कयामत से लेकर सबसे अधिक परमाणु और तेज।
मेरे पूरे संग्रह के विश्लेषण में ढाई दिन लगे, बिना प्रसंस्करण के डेटाबेस में 180 मेगाबाइट लगते हैं, साथ ही सूचकांक - 460 भी।
कार्यक्रम के खोज इंटरफ़ेस में SQL क्वेरी के गतिशील गठन होते हैं, जो प्रत्येक आवृत्ति के लिए सामान्यीकृत आँकड़ों के लिए यूक्लिडियन दूरी की गणना के लिए एक एल्गोरिथ्म को लागू करता है।
नमूना और कई के रूप में एक रचना को निर्दिष्ट करना संभव है। सामान्य तौर पर, गाने की खोज करने की क्षमता जो कई नमूनों के करीब होती है, एक बार में खोज की सटीकता को बहुत बढ़ा देती है, क्योंकि एक रचना में विभिन्न कारणों से उत्पन्न होने वाले आँकड़ों में सहज भिन्नता हो सकती है, लेकिन इस तथ्य के कारण समतल किया जाता है कि कई नमूने अनिवार्य रूप से बहुआयामी अंतरिक्ष में एक केन्द्रक का निर्माण करते हैं, जिनके परजीवी रूपांतर बहुत कम हो जाते हैं। कई नमूनों का निर्धारण करते समय मुख्य बात यह सुनिश्चित करना है कि नमूनों के बीच वास्तव में एक स्पष्ट समानता है (उदाहरण के लिए, एक एल्बम से रचनाएं या एक संकीर्ण शैली में, आदि)। यदि नमूने एक-दूसरे से बहुत अलग हैं, तो करीबी रचनाएं जारी करना अप्रासंगिक होगा।
एक नमूने के साथ एक क्वेरी औसतन एक मिनट के बारे में की जाती है, जबकि नमूनों की संख्या में वृद्धि, समय आनुपातिक रूप से बढ़ जाती है।

SQL नमूना निम्नानुसार है:

select b.id, sum(((a.statvalue - b.statvalue)*(a.statvalue - b.statvalue))/(c1.value*c1.value)) as distance, 10000*max((a.statvalue - b.statvalue)*(a.statvalue - b.statvalue)/(c2.value*c2.value)) as maxdiff, 10000*avg((a.statvalue - b.statvalue)*(a.statvalue - b.statvalue)/(c2.value*c2.value)) as meandiff from stats a, stats b, feature c1, feature c2 where a.id in (631, 1919) and b.id not in (631, 1919) and a.statname = c1.statname and c1.feature = 'mean' and a.statname = c2.statname and c2.feature = 'max_min' and a.statname = b.statname and c1.statname = c2.statname and a.statvalue <= b.statvalue + 75*c2.value/100 and a.statvalue >= b.statvalue - 75*c2.value/100 and a.statname in ('b_median_FFT1_01', 'b_median_FFT1_02', 'b_median_FFT1_03', 'b_median_FFT1_04', 'b_median_FFT1_05', 'b_median_FFT1_06', 'b_median_FFT1_07', 'b_median_FFT1_08', 'b_median_FFT1_09', 'b_median_FFT1_10', 'b_median_FFT1_11', 'b_stdev_FFT1_01', 'b_stdev_FFT1_02', 'b_stdev_FFT1_03', 'b_stdev_FFT1_04', 'b_stdev_FFT1_05', 'b_stdev_FFT1_06', 'b_stdev_FFT1_07', 'b_stdev_FFT1_08', 'b_stdev_FFT1_09', 'b_stdev_FFT1_10', 'b_stdev_FFT1_11', 'b_skewn_FFT1_01', 'b_skewn_FFT1_02', 'b_skewn_FFT1_03', 'b_skewn_FFT1_04', 'b_skewn_FFT1_05', 'b_skewn_FFT1_06', 'b_skewn_FFT1_07', 'b_skewn_FFT1_08', 'b_skewn_FFT1_09', 'b_skewn_FFT1_10', 'b_skewn_FFT1_11', 'b_kurto_FFT1_01', 'b_kurto_FFT1_02', 'b_kurto_FFT1_03', 'b_kurto_FFT1_04', 'b_kurto_FFT1_05', 'b_kurto_FFT1_06', 'b_kurto_FFT1_07', 'b_kurto_FFT1_08', 'b_kurto_FFT1_09', 'b_kurto_FFT1_10', 'b_kurto_FFT1_11') group by b.id having maxdiff <= 100 and meandiff <= 64 order by distance limit 30;

एक उदाहरण के रूप में, मैं अपने मरने वाले दुल्हन के एल्बम "अंधेरे के गीत, प्रकाश के शब्द" से लिए गए गीतों के तीन नमूनों से एक प्रश्न का परिणाम दूंगा:

ये गीत मृत्यु-कयामत धातु शैली का एक अच्छा उदाहरण हैं।

आइए देखें, 30 गानों का आउटपुट साइज़ इस प्रकार है:

फ्यूबर - क्रॉलिंग रिलेवल , शायद, केवल गिटार ध्वनि की बनावट में।
साउंडबाइट - डार्क ए इलेक्ट्रॉनिक्स का एक बहुत है, लेकिन वातावरण बहुत संयोग है।
AHAB - बिंदु के लिए एब्स शपथ !
गोरमेंट - छाया में पैटर्न की तुलना में थोड़ा अधिक चरम, हालांकि बहुत करीब।
टॉम्ब्स - मरीना सार कीचड़-डम, बनावट में समान।
गूढ़ - बिंदु के प्रति निष्ठा !
Autechre - Eutow एक बहुत ही अप्रत्याशित विकल्प है, लेकिन अगर आप सुनते हैं, तो आप ध्वनि की बनावट में समानताएं महसूस कर सकते हैं।
एंटोमेड - प्रतिशोध बिंदु तक नहीं, लेकिन बहुत करीब।
क्वेक मिशन पैक 1 - आर्मगॉन का परिमार्जन - 04-संगीत-ट्रैक-4. एमपी 3 एक हास्यास्पद विकल्प है, लेकिन कुल मिलाकर प्रासंगिकता अधिक थी।
नील - दैवीय आशय गीत के पहले भाग से बिंदु तक, नमूनों की तुलना में अधिक तीव्र लगता है।
एम्बर आँसू - स्वर्ग से परे बिंदु तक!
NEUROSIS - टाइम्स ऑफ ग्रेस एक अलग शैली है, लेकिन प्रासंगिकता अधिक है।
युवा विधवाएँ - इन एंड आउट ऑफ़ यूथ हाई रेलेवेंस।
एम्पायरियम - शरद ऋतु ग्रे दृश्य भी कयामत धातु।
डार्क ट्रैंक्विलिटी - निर्वासन में बीत चुके घंटे अधिक चरम, लेकिन प्रासंगिकता अच्छी है।
निराशा का आकार - इस बिंदु को शांत कर रहे हैं !
रोसेटा - मोरेलिटी हाई रिलेवलेंस का एक निर्धारण ।
सोलस्टाफिर - भूतों का प्रकाश बहुत उच्च प्रासंगिकता।
एलईडी ज़ेपेलिन - दस साल एक अप्रत्याशित विकल्प चला गया, लेकिन समग्र रूप से भी स्वीकार किया गया।
टाइफस - *** सेंसर किए गए *** उच्च ऊंचाई, ट्रैक शीर्षक साइट के लिए अभद्र के रूप में सेंसर किया गया।
वायवोड - दिव्य सूर्य प्रासंगिकता।
छानने का पालना - तलाश के माध्यम से मालिस एक बहुत अच्छा, यद्यपि अप्रत्याशित, विकल्प।
घुटन - अधिक प्रसार के कारण मोचन प्रासंगिकता खराब हो जाती है।
निहिलिस्ट-एबनॉर्मली डिस्क्लेस्ड गिटार ध्वनि की बनावट से मेल खाता है ।
रेवरेंड विचित्र - गेट टू नन्ना टू द पॉइंट!
Goresleeps - एवलॉन ड्रीम्स (द वॉयस फ्रॉम लीजेंड) टू द पॉइंट!

प्लस 3 अप्रासंगिक ट्रैक और सूची में पहले से ही मौजूद 1 डुप्लिकेट। मेरी राय में, यह पहले से ही काफी स्वीकार्य है। किसी भी मामले में, अगर मैं "एमडीबी की भावना में" कुछ सुनना चाहता हूं, तो मैं ऐसी प्लेलिस्ट को अस्वीकार नहीं करूंगा।

मैं अन्य उदाहरण दे सकता हूं, लेकिन सामान्य तौर पर मैं यह कहना चाहता हूं कि अब तक कार्यक्रम के लिए सबसे सरल पहचान शैली परिवेश (Aidan Baker, Tetsu Inoue, Lustmord और अन्य, उनमें से हजारों) हैं।

कमियों

बेशक, वे भी मौजूद हैं, मुख्य रूप से क्योंकि तुलना एल्गोरिथ्म एकदम सही है।

कार्यक्रम औसत मात्रा को ध्यान में नहीं रखता है। इसलिए, वैसे, 80 के दशक के गाने इस मुद्दे पर सामने आ सकते हैं, जबकि नमूना 2000 के दशक से आता है, जब लाउडनेस युद्ध पहले से ही चल रहा था।
मेरे डेटाबेस में, एक सीमित सूची से जानबूझकर अप्रासंगिक रचनाएं नियमित रूप से दिखाई देती हैं, जिनमें से परिणामों की उपस्थिति मैं अभी तक नहीं समझा सकता हूं। ऐसे मामलों के लिए, अपवादों की एक सूची बनाई गई है।
मेरी राय में, मुख्य फ़ाइल - कार्यक्रम लगभग कभी भी एक ही एल्बम से गाने का उत्पादन नहीं करता है, अगर कई पहले से ही एक नमूने के रूप में लिया गया हो। दुर्लभ मामलों में, एक या दो, अधिक कुछ नहीं।
एक समान दोष यह है कि ज़ेम्फिरा के सभी गीतों को उदाहरण के तौर पर उसके दो या तीन गीतों को सामने लाना है। आवाज़, ज़ाहिर है, एक विशिष्ट विशेषता है, लेकिन पृष्ठभूमि के उपकरण जो विभिन्न रचनाओं में अलग-अलग ध्वनि करते हैं, एक अनुकूल खोज के लिए शर्तों का उल्लंघन करेंगे। शायद यदि आप आवृत्ति द्वारा विश्लेषण के संकल्प को बढ़ाते हैं और प्रत्येक गीत के लिए नमूनों की संख्या जोड़ते हैं, तो आप कुछ के लिए आशा कर सकते हैं, लेकिन फिर ऑपरेशन की गति में काफी गिरावट आ सकती है।
एनटीटी क्रम के केंद्रीय क्षण आमतौर पर रचनाओं को अच्छी तरह से चित्रित करते हैं, लेकिन उनमें से दो (तिरछा और कुर्तोसिस) ध्वनि की श्रव्य विशेषताओं के साथ जुड़ना मुश्किल है। शायद यह इतना बुरा नहीं है, लेकिन मैं और अधिक समझने योग्य मीट्रिक रखना चाहूंगा।
गति: औसतन, नमूनों की सूची में प्रत्येक ट्रैक की प्रतीक्षा करने के मिनट तक, यह आमतौर पर सहनीय होता है, लेकिन मैं वास्तव में इसे तेज होना पसंद करूंगा। आरोही छँटाई के साथ एक क्वेरी की वर्तमान वास्तुकला अनिवार्य रूप से SQLite को सभी रचनाओं का एक पूर्ण रन करने के लिए मजबूर करती है, अनुक्रमित की उपस्थिति के बावजूद, छँटाई अक्षम करने से कई बार काम की गति बढ़ सकती है। वैसे, छंटाई के बिना काम के मामले में, विकल्प चुनने के लिए अतिरिक्त तरीके प्रदान किए जाते हैं।

सूत्रों ने गितूब को अपलोड किया। (किसी तरह मैं एक रिपॉजिटरी पुश बनाने में कामयाब रहा, मेरे जीवन में पहली बार, एहेह। जो लोग गणना में मदद करना चाहते हैं - मैं पीएम से पूछता हूं, मुझे थोड़ा परामर्श की आवश्यकता है)
उन लोगों के लिए जो गितुब के साथ गड़बड़ नहीं करना चाहते हैं, मैंने बायोगरीज को गोगलड्राइव पर पोस्ट किया। अपने आप को आर्काइव को बचाने के लिए आपको Ctrl + S दबाना होगा।

पहले उपयोगकर्ताओं के अनुसार, यह स्पष्ट हो गया है कि हर किसी के पास एसीएम एमपी 3 कोडेक नहीं है, इस वजह से, फ़ाइलों को संसाधित नहीं किया जा सकता है। निश्चित नहीं है, लेकिन सबसे अधिक संभावना है कि के-लाइट कोडेक पैक की स्थापना, उदाहरण के लिए, मदद करनी चाहिए।

मैं आपसे दृढ़ता से न्याय नहीं करने के लिए कहता हूं, सब कुछ उत्साह के साथ किया जाता है। C # प्रोग्रामिंग मेरा मुख्य व्यवसाय नहीं है।
कार्यक्रम प्लेलिस्ट को सहेज और खोल सकता है, नमूनों की सूची और परिणामों की सूची से डबल-क्लिक करके, पटरियों को सुनने के साथ भी खोला जा सकता है।

अगर ऐसे लोग हैं जो SQL क्वेरी को अनुकूलित करने या ऊपर वर्णित लोगों के अलावा अतिरिक्त मीट्रिक तैयार करने में मदद करना चाहते हैं - व्यक्तिगत संदेश लिखें, मुझे सहयोग करने में खुशी होगी।
यदि आप प्रोग्राम को चलाने की कोशिश करते समय किसी भी त्रुटि का सामना करते हैं - बहुत कम लिखते हैं, तो मैं हर चीज में मदद करने की कोशिश करूंगा।

बोनस: मेरे संग्रह के विश्लेषण के आधार पर कुछ चार्ट

फ़्रीक्वेंसी माध्य # 10 ऑफ 31 बनाम स्टीपनेस