जावा में Shazam बनाएँ

कुछ हफ़्ते पहले, मैं इस लेख में आया था कि हज़ाम कैसे काम करता है
मुझे आश्चर्य हुआ कि शाज़म जैसे कार्यक्रम कैसे काम करते हैं ... इससे भी महत्वपूर्ण बात, जावा में कुछ इसी तरह लिखना कितना कठिन है?

शाज़म के बारे में

यदि कोई नहीं जानता है, तो शाज़म एक ऐसा एप्लिकेशन है जिसके साथ आप संगीत का विश्लेषण / चयन कर सकते हैं। अपने फोन पर इसे इंस्टॉल करके, और माइक्रोफोन को 20-30 सेकंड के लिए संगीत के एक स्रोत पर पकड़कर, एप्लिकेशन यह निर्धारित करेगा कि यह किस तरह का गाना है।

पहले प्रयोग में मुझे जादुई एहसास हुआ। "यह कैसे किया?" और आज भी, जब मैंने कई बार इसका उपयोग किया है, तो यह भावना मुझे नहीं छोड़ती है।
क्या यह अच्छा नहीं होगा अगर हम खुद कुछ ऐसा लिख ​​सकें जो समान भावनाओं का कारण बने? पिछले सप्ताहांत में यही मेरा लक्ष्य था।

ध्यान से सुनो ..!

सबसे पहले, विश्लेषण के लिए संगीत का एक नमूना लेने से पहले, हमें अपने जावा एप्लिकेशन के माध्यम से माइक्रोफ़ोन को सुनना होगा ...! यह कुछ ऐसा है जिसे मुझे उस समय जावा में लागू नहीं करना था, इसलिए मैं सोच भी नहीं सकता था कि यह कितना मुश्किल होगा।
लेकिन यह काफी सरल निकला:



अब हम TargetDataLine से साधारण इनपुटस्ट्रीम स्ट्रीम से डेटा पढ़ सकते हैं:



यह विधि माइक्रोफोन को खोलना और सभी ध्वनियों को रिकॉर्ड करना आसान बनाती है! इस मामले में, मैं निम्नलिखित AudioFormat का उपयोग करता हूं:



और इसलिए, अब हमारे पास ByteArrayOutputStream क्लास में रिकॉर्ड किया गया डेटा है, बढ़िया! पहला चरण पूरा हो गया है।

माइक्रोफोन डेटा

अगला परीक्षण डेटा विश्लेषण है, आउटपुट पर, प्राप्त डेटा बाइट सरणी के रूप में था, यह संख्याओं की एक लंबी सूची थी, जैसे:



हम्मम… हाँ। और वह एक ध्वनि है?

यह पता लगाने के लिए कि क्या डेटा की कल्पना की जा सकती है, मैंने इसे ओपन ऑफ़िस में गिरा दिया और इसे एक लाइन ग्राफ में बदल दिया:



हाँ! अब यह एक "ध्वनि" की तरह लगता है। ऐसा लगता है जैसे आप, उदाहरण के लिए, विंडोज साउंड रिकॉर्डर का इस्तेमाल किया।

इस प्रकार के डेटा को टाइम डोमेन के रूप में जाना जाता है। लेकिन इस स्तर पर, ये संख्या हमारे लिए बेकार है ... यदि आप उपरोक्त लेख को पढ़ते हैं कि शाज़म कैसे काम करता है, तो आपको पता चलेगा कि वे निरंतर समय-डोमेन डेटा के बजाय स्पेक्ट्रम विश्लेषण का उपयोग करते हैं।
इसलिए, अगला महत्वपूर्ण प्रश्न यह है: "हम अपने डेटा को वर्णक्रमीय विश्लेषण प्रारूप में कैसे परिवर्तित करते हैं?"

असतत फूरियर रूपांतरण

अपने डेटा को कुछ उपयुक्त में बदलने के लिए, हमें तथाकथित असतत फूरियर रूपांतरण (असतत फूरियर परिवर्तन) को लागू करना चाहिए। यह हमें अपने डेटा को समय डोमेन से आवृत्ति अंतराल में बदलने की अनुमति देगा।
लेकिन यह केवल एक समस्या है, यदि आप डेटा को आवृत्ति अंतराल में बदलते हैं, तो अस्थायी डेटा के बारे में हर जानकारी खो जाएगी। और इसलिए, आपको प्रत्येक दोलन की भयावहता का पता चल जाएगा, लेकिन जब यह घटित होना चाहिए, तो आपको थोड़ा सा भी विचार नहीं होगा।
इस समस्या को हल करने के लिए, हम स्लाइडिंग विंडो प्रोटोकॉल का उपयोग करते हैं। हम डेटा का एक हिस्सा लेते हैं (मेरे मामले में डेटा के 4096 बाइट्स) और केवल इस जानकारी को परिवर्तित करते हैं। फिर हम इन 4096 बाइट्स के दौरान होने वाले सभी उतार-चढ़ाव की भयावहता को जानेंगे।

आवेदन

फ़ॉयर ट्रांसफ़ॉर्म के बारे में सोचने के बजाय, मैंने थोड़ा गुगली की और तथाकथित एफएफटी (फास्ट फूरियर ट्रांसफॉर्म) के लिए कोड पाया। मैं इस कोड को कहता हूं - डेटा पैकेट के साथ कोड:



अब हमारे पास सभी डेटा के पैक्स के साथ दो पंक्तियाँ हैं - कॉम्प्लेक्स []। इन श्रृंखलाओं में सभी आवृत्तियों पर डेटा होता है। इस डेटा की कल्पना करने के लिए, मैंने एक पूर्ण-स्पेक्ट्रम विश्लेषक का उपयोग करने का निर्णय लिया (बस यह सुनिश्चित करें कि मेरी गणना सही है)।
आपको डेटा दिखाने के लिए, मैंने उन्हें एक साथ रखा:

इनपुट, एपेक्स ट्विन

यह थोड़ा बंद विषय है, लेकिन मैं आपको इलेक्ट्रिक संगीतकार एपेक्स ट्विन (रिचर्ड डेविड जेम्स) के बारे में बताना चाहूंगा। उन्होंने पागल इलेक्ट्रॉनिक संगीत लिखा ... लेकिन उनके कुछ गीतों में एक दिलचस्प विशेषता है। उदाहरण के लिए, उनकी सबसे बड़ी हिट विंडोलिकर है , इसमें एक छवि है - एक स्पेक्ट्रोग्राम।
यदि आप गाने को एक वर्णक्रमीय छवि के रूप में देखते हैं, तो आपको एक सुंदर सर्पिल दिखाई देगा। एक और गीत, गणितीय समीकरण, जुड़वां का चेहरा दिखाता है! यहां और जानें - बैस्टवुड - एपेक्स ट्विन का चेहरा ।
इस गीत को अपने स्पेक्ट्रम विश्लेषक के माध्यम से चलाने के बाद, मुझे निम्नलिखित परिणाम मिले:



बिल्कुल सही नहीं है, लेकिन यह ट्विन का चेहरा होना चाहिए!

प्रमुख संगीत बिंदुओं को पहचानें

शाज़म एप्लिकेशन एल्गोरिथ्म में अगला कदम गीत में कुछ प्रमुख बिंदुओं की पहचान करना है, उन्हें पात्रों के रूप में सहेजना है, और फिर अपने 8 मिलियन से अधिक गीत डेटाबेस से सही गीत खोजने का प्रयास करना है। यह बहुत जल्दी होता है, चिन्ह की खोज - O (1) की गति से होती है। अब यह स्पष्ट हो रहा है कि शाज़म इतना महान क्यों काम करता है!

चूंकि मुझे एक सप्ताह के बाद मेरे लिए काम करने के लिए सब कुछ चाहिए था (दुर्भाग्य से यह मेरे लिए एक चीज पर ध्यान केंद्रित करने की अधिकतम अवधि है, फिर मुझे एक नई परियोजना खोजने की आवश्यकता है), मैंने अपने एल्गोरिथ्म को यथासंभव सरल बनाने की कोशिश की। और मेरे आश्चर्य करने के लिए, यह काम किया।
वर्णक्रमीय विश्लेषण में प्रत्येक पंक्ति के लिए, एक निश्चित सीमा में, मैंने उच्चतम परिमाण वाले अंकों का चयन किया। मेरे मामले में: 40-80, 80-120, 120-180, 180-300।



अब, जब हम एक गीत रिकॉर्ड करते हैं, तो हमें इस तरह की संख्याओं की एक सूची मिलती है:



अगर मैं एक गीत रिकॉर्ड करता हूं और उसे कल्पना करता हूं, तो यह कुछ इस तरह दिखाई देगा:



(सभी लाल बिंदु "प्रमुख बिंदु" हैं)

अपने खुद के संगीत अनुक्रमण

हाथ में काम करने वाले एल्गोरिथ्म होने के कारण, मैंने अपने सभी 3000 गीतों को अनुक्रमित करने का निर्णय लिया। एक माइक्रोफोन के बजाय, आप बस एमपी 3 फाइलें खोल सकते हैं, उन्हें वांछित प्रारूप में बदल सकते हैं, और उन्हें उसी तरह से पढ़ सकते हैं जब ऑडियोइनपुटस्ट्रीम का उपयोग करके माइक्रोफोन का उपयोग करते हैं। मोनो रिकॉर्डिंग के लिए स्टीरियो रिकॉर्डिंग को परिवर्तित करना मेरे विचार से अधिक जटिल था। उदाहरण इंटरनेट पर पाए जा सकते हैं (इसे यहां पोस्ट करने के लिए थोड़ा और एन्कोडिंग की आवश्यकता है), आपको उदाहरणों को थोड़ा बदलना होगा।

चयन प्रक्रिया

आवेदन का सबसे महत्वपूर्ण हिस्सा चयन प्रक्रिया है। शाज़म नियमावली से, यह स्पष्ट है कि वे मैचों को खोजने के लिए संकेतों का उपयोग करते हैं और फिर तय करते हैं कि कौन सा गीत सबसे अच्छा आता है।
अंकों के जटिल समय समूहों का उपयोग करने के बजाय, मैंने अपने डेटा की लाइन का फैसला किया (उदाहरण के लिए, 33, 47, 94, 137) एक एकल चरित्र के रूप में: 1370944733
(परीक्षण के दौरान, 3 या 4 अंक सबसे अच्छा विकल्प है, इसे ठीक करने के लिए अधिक कठिन है, आपको हर बार मेरे एमपी 3 को फिर से बनाना होगा!)
प्रति पंक्ति 4 बिंदुओं का उपयोग करके वर्ण एन्कोडिंग का एक उदाहरण:



अब मैं दो डेटा सरणियाँ बनाऊंगा:

गीतों की सूची, सूची (जहां सूची सूचकांक गीत-आईडी है, स्ट्रिंग गीतनाम है)
डेटा संकेतों के आधार: मानचित्र <लंबी, सूची>

चरित्र डेटाबेस में लंबा चरित्र ही है, और इसमें डेटा पॉइंट्स खंड भी शामिल है।

डेटा पॉइंट निम्नानुसार हैं:



अब हमारे पास आपकी खोज शुरू करने के लिए आवश्यक सब कुछ है। सबसे पहले, मैंने सभी गीतों को पढ़ा और प्रत्येक डेटा बिंदु के लिए संकेत उत्पन्न किए। यह चरित्र डेटाबेस में जाएगा।
दूसरा चरण उस गीत के डेटा को पढ़ना है जिसे हम पहचानना चाहते हैं। इन पात्रों को पुनर्प्राप्त किया जाता है और डेटाबेस के साथ मैच खोजे जाते हैं।

यह केवल एक समस्या है, प्रत्येक चरित्र के लिए कई हिट हैं, लेकिन हम यह कैसे निर्धारित करते हैं कि कौन सा गीत समान है ..? माचिस की संख्या से? नहीं, यह काम नहीं हुआ ...
सबसे महत्वपूर्ण बात समय है। हमें समय लगाना होगा ...! लेकिन हम यह कैसे कर सकते हैं यदि हम यह नहीं जानते कि हम उस गीत के किस हिस्से में हैं? उसी सफलता के साथ, हम केवल गीत के अंतिम भाग को रिकॉर्ड कर सकते हैं।

डेटा का अध्ययन, मुझे कुछ दिलचस्प लगा, क्योंकि हमारे पास निम्नलिखित डेटा हैं:
- रिकॉर्डिंग के निशान
- संभावित विकल्पों के मिलान मिलान
- संभावित विकल्पों की गीत आईडी
- हमारे अपने रिकॉर्ड में समय धारा
- संभावित विकल्पों का समय संकेत

अब हम अपने रिकॉर्ड में वर्तमान समय (उदाहरण के लिए, लाइन 34) साइन के समय के साथ साइन कर सकते हैं (उदाहरण के लिए, लाइन 1352)। इस अंतर को गीत आईडी के साथ सहेजा जाता है। इस विपरीत के बाद से, यह अंतर, हमें बताता है कि हम गीत में कहां हो सकते हैं।

हमारे रिकॉर्ड से सभी संकेतों के साथ समाप्त होने के बाद हम गीत आईडी और विरोधाभासों के एक समूह के साथ छोड़ दिए जाएंगे। चाल यह है कि यदि आपके पास चयनित विरोधाभासों के साथ बहुत सारे संकेत हैं, तो आपको अपना गीत मिला।

परिणाम

उदाहरण के लिए, पहले 20 सेकंड के लिए द कूक्स - मैच बॉक्स को सुनकर, मुझे अपने आवेदन में निम्नलिखित डेटा मिलते हैं:



यह काम करता है !!!

20 सेकंड सुनने के बाद, यह मेरे पास मौजूद सभी गानों की पहचान कर सकता है। और यहां तक ​​कि संपादकों की इस लाइव रिकॉर्डिंग को 40 सेकंड सुनने के बाद निर्धारित किया जा सकता है!
और फिर, जादू की यह भावना!
फिलहाल, कोड को पूर्ण नहीं माना जा सकता है और यह पूरी तरह से काम नहीं करता है। मैंने इसे एक सप्ताह में अंधा कर दिया, यह सिद्धांत के प्रमाण की तरह है / एक एल्गोरिथ्म सीखना।

शायद अगर पर्याप्त संख्या में लोग इस बारे में पूछते हैं, तो मैं इसे ध्यान में रखूंगा और इसे कहीं बाहर रखूंगा।

इसके अलावा

शाज़म पेटेंट वकीलों ने मुझे ईमेल भेजकर कोड जारी करने से रोकने और इस विषय को हटाने के लिए कहा, इसके बारे में यहां पढ़ें।

अनुवादक से

एक छोटी सी घोषणा: 2013 की गर्मियों में, यैंडेक्स ने टॉलस्टॉय समर कैंप खोला, जो उन लोगों के लिए एक प्रायोगिक कार्यशाला है जो स्टार्टअप बनाना और लॉन्च करना सीखना चाहते हैं। दो महीने के पाठ्यक्रम के हिस्से के रूप में, यैंडेक्स प्रतिभागियों को एक योग्य टीम को इकट्ठा करने, एक अवधारणा को सही ढंग से तैयार करने, सही विशेषज्ञों से प्रतिक्रिया प्राप्त करने और एक प्रोटोटाइप परियोजना विकसित करने में मदद करेगा। विभिन्न प्रकार के सेमिनार और कार्यशालाएं आपको आवश्यक कौशल को पंप करने की अनुमति देंगे। हम नियमित रूप से स्टार्टअप विषयों पर दिलचस्प अनुवादित लेख भी प्रकाशित करेंगे। यदि आप कुछ दिलचस्प भर में आते हैं, तो एक व्यक्तिगत में फेंक दें! Kst, यैंडेक्स ने संगीत को पहचानना कैसे सीखा के हब पर एक लेख ।

लागू करें (2 दिन बचे !!) और अधिक जानकारी यहाँ देखें । और एक घोषणा पर भी। मैं लीन तरीकों, ग्राहक विकास और एमवीपी के बारे में बात करूंगा। साथ आओ!