🛐 😀 👄 वहां कौन है? - आवाज से किसी व्यक्ति की पहचान 👳 🧕🏼 ☝️

नमस्कार प्रिय पाठक!

मैं आपके ध्यान में एक विशेष वक्ता मान्यता पद्धति पर एक दिलचस्प और जानकारीपूर्ण लेख लाता हूं। अभी कुछ महीने पहले, मैं भाषण पहचान के लिए चाक-cepstral गुणांक के उपयोग पर एक लेख भर आया था। उसे कोई प्रतिक्रिया नहीं मिली, शायद संरचना की कमी के कारण, हालांकि इसमें सामग्री बहुत दिलचस्प थी। मैं इस सामग्री को सुलभ रूप में पहुंचाने की जिम्मेदारी लूंगा और होबे पर भाषण की मान्यता के विषय को जारी रखूंगा।

कट के तहत, मैं किसी व्यक्ति की पहचान करने की पूरी प्रक्रिया का वर्णन रिकॉर्डिंग से ध्वनि और प्रसंस्करण ध्वनि से सीधे स्पीकर की पहचान को निर्धारित करने के लिए करूंगा।

ध्वनि रिकॉर्डिंग

हमारी कहानी एक माइक्रोफोन का उपयोग करके बाहरी स्रोत से एनालॉग सिग्नल रिकॉर्ड करने से शुरू होती है। इस तरह के ऑपरेशन के परिणामस्वरूप, हम समय के साथ ध्वनि के आयाम में परिवर्तन के अनुरूप मूल्यों का एक समूह प्राप्त करते हैं। इस कोडिंग सिद्धांत को उर्फ पीसीएम (पल्स-कोड मॉड्यूलेशन) कहा जाता है। जैसा कि आप अनुमान लगा सकते हैं, ऑडियो स्ट्रीम से प्राप्त कच्चा डेटा अभी तक हमारे उद्देश्यों के लिए उपयुक्त नहीं है। पहला कदम शरारती बिट्स को सार्थक मूल्यों के एक सेट में बदलना है - सिग्नल आयाम। [१, पृ। 31] इनपुट के रूप में, मैं 16 kHz के सैंपल फ्रीक्वेंसी के साथ एक असम्पीडित 16-बिट हस्ताक्षरित (PCM- हस्ताक्षरित) wav फ़ाइल का उपयोग करूंगा।

double[] readAmplitudeValues(bool isBigEndian) { int MSB, LSB; //     byte[] buffer = ReadDataFromExternalSource(); //   - double[] data = new double[buffer.length / 2]; for (int i = 0; i < buffer.length; i += 2) { if(isBigEndian) //       { //    MSB MSB = buffer[2 * i]; //    LSB LSB = buffer[2 * i + 1]; } else { //  LSB = buffer[2 * i]; MSB = buffer[2 * i + 1]; } //   ,   16-   //       - 2^15 data[i] = ((MSB << 8) || LSB) / 32768; } return data; }

आप विकिपीडिया पर बाइट ऑर्डर के बारे में ज्ञान को ताज़ा कर सकते हैं।

ध्वनि प्रसंस्करण

एम्पलीट्यूड के प्राप्त मूल्य बाहरी शोर, इनपुट सिग्नल के विभिन्न संस्करणों और अन्य कारकों के कारण दो समान रिकॉर्ड के लिए भी मेल नहीं खा सकते हैं। सामान्यीकरण का उपयोग ध्वनियों को एक "सामान्य भाजक" में लाने के लिए किया जाता है। शिखर सामान्यीकरण का विचार सरल है: सभी आयामों को अधिकतम (दिए गए ध्वनि फ़ाइल के भीतर) विभाजित करें। इस प्रकार, हमने अलग-अलग संस्करणों में रिकॉर्ड किए गए भाषण नमूनों को बराबर कर दिया, -1 से 1. के पैमाने में सब कुछ डाल दिया। यह महत्वपूर्ण है कि इस तरह के परिवर्तन के बाद, कोई भी ध्वनि निर्दिष्ट अंतराल को पूरी तरह से भर देती है।

सामान्यीकरण, मेरी राय में, सबसे सरल और सबसे प्रभावी ध्वनि पूर्व-प्रसंस्करण एल्गोरिथ्म है। कई अन्य भी हैं: किसी दिए गए आवृत्ति, चौरसाई आदि के ऊपर या नीचे "कटिंग" आवृत्ति।

फूट डालो और जीतो

न्यूनतम पर्याप्त नमूना आवृत्ति (16 kHz) के साथ ध्वनि के साथ काम करते समय भी, ध्वनि के एक दूसरे नमूने के लिए अद्वितीय विशेषताओं का आकार बस विशाल है - आयाम के 16,000 मूल्य। इस तरह के डेटा पर किसी भी जटिल ऑपरेशन को अंजाम देना संभव नहीं है। इसके अलावा, यह पूरी तरह से स्पष्ट नहीं है कि वस्तुओं की तुलना विभिन्न अद्वितीय विशेषताओं के साथ कैसे की जाए।

शुरुआत करने के लिए, हम समस्या की कम्प्यूटेशनल जटिलता को कम जटिलता के उप-प्रकारों में तोड़कर कम करते हैं। इस कदम के साथ, हम दो पक्षियों को एक पत्थर से मारते हैं, क्योंकि सभी कार्यों के लिए एक निश्चित आकार के सबटैक और गणना के परिणामों के औसत के आधार पर, हम अग्रिम में वर्गीकरण के लिए दिए गए संकेतों की संख्या प्राप्त करते हैं।

आकृति आधे ओवरलैप के साथ लंबाई एन के फ्रेम में ऑडियो सिग्नल के "कटिंग" को दिखाती है। फ़्रेम के पास स्थित होने की स्थिति में ध्वनि की विकृति के कारण ओवरलैप की आवश्यकता होती है। हालांकि व्यवहार में इस तकनीक को कंप्यूटिंग संसाधनों को बचाने के लिए अक्सर उपेक्षित किया जाता है। सिफारिशों के बाद [1, पी। 28], हम सटीकता (लंबे फ्रेम) और गति (छोटे फ्रेम) के बीच एक समझौता के रूप में 128 एमएस की एक फ्रेम लंबाई चुनते हैं। बाकी भाषण, जो पूर्ण फ्रेम पर कब्जा नहीं करता है, को शून्य से वांछित आकार में भरा जा सकता है या बस त्याग दिया जा सकता है।

फ्रेम के आगे के प्रसंस्करण के दौरान अवांछित प्रभावों को खत्म करने के लिए, हम फ्रेम के प्रत्येक तत्व को एक विशेष वजन फ़ंक्शन ("विंडो") से गुणा करते हैं। परिणाम फ्रेम के मध्य भाग का चयन और इसके किनारों पर एम्पलीट्यूड के सुचारू क्षीणन होगा। फूरियर रूपांतरण को चलाते समय बेहतर परिणाम प्राप्त करना आवश्यक है, क्योंकि यह एक अनंत दोहराव संकेत पर केंद्रित है। तदनुसार, हमारे फ्रेम को खुद के साथ और यथासंभव आसानी से डॉक करना चाहिए। कई शानदार खिड़कियां हैं। हम हैमिंग विंडो का उपयोग करेंगे।

n उस फ़्रेम में तत्व की क्रम संख्या है जिसके लिए नए आयाम मान की गणना की जाती है
एन - पहले की तरह, फ्रेम की लंबाई (एक अवधि में मापा जाने वाले सिग्नल मूल्यों की संख्या)

असतत फूरियर रूपांतरण

अगला कदम प्रत्येक फ्रेम के अलग-अलग शॉर्ट टर्म स्पेक्ट्रोग्राम प्राप्त करना होगा। इन उद्देश्यों के लिए, हम असतत फूरियर रूपांतरण का उपयोग करते हैं।

एन - पहले की तरह, फ्रेम की लंबाई (एक अवधि में मापा जाने वाले सिग्नल मूल्यों की संख्या)
x _n , n- वें संकेत का आयाम है
एक्स _के - मूल संकेत की रचना साइनसोइडल संकेतों के एन जटिल आयाम

इसके अलावा, हम आगे के लघुगणक के लिए प्रत्येक X _k मान को वर्गाकार करते हैं।

चाक पैमाने पर जाएं

आज तक, सबसे सफल आवाज मान्यता प्रणालियां हैं जो श्रवण यंत्र की संरचना के बारे में ज्ञान का उपयोग करती हैं। इस बारे में Habré पर कुछ शब्द हैं। संक्षेप में, कान ध्वनि की व्याख्या रैखिक रूप से नहीं करता है, बल्कि एक लघुगणकीय पैमाने पर करता है। अब तक, हमने "हर्ट्ज़" पर सभी ऑपरेशन किए हैं, अब हम "चाक" पर आगे बढ़ेंगे। एक ग्राफिक निर्भरता की कल्पना करने में मदद करेगा।

जैसा कि आप देख सकते हैं, चाक स्केल 1000 हर्ट्ज तक रैखिक रूप से व्यवहार करता है, और फिर एक लघुगणक प्रकृति को दर्शाता है। एक नए पैमाने पर संक्रमण एक साधारण लत द्वारा वर्णित है।

एम - चाक में आवृत्ति
एफ - हर्ट्ज में आवृत्ति

सुविधा वेक्टर हो रही है

अब हम अपने लक्ष्य से पहले के करीब हैं। फीचर वेक्टर उन्हीं cepstral गुणांकों से मिलकर बनेगा। हम उनकी गणना सूत्र [2] के अनुसार करते हैं।

c _n - चाक-सेफस्ट्रल गुणांक n
एस _के - चाक में फ्रेम में के-वें मूल्य का आयाम
K - चाक-cepstral गुणांक की एक पूर्व निर्धारित संख्या
एन n [1, के]

एक नियम के रूप में, संख्या K को 20 के बराबर चुना जाता है और इस तथ्य के कारण 1 से गिनती शुरू होती है कि गुणांक c ₀ स्पीकर के बारे में बहुत कम जानकारी रखता है, क्योंकि यह वास्तव में, इनपुट संकेत के आयाम से औसत है। [2]

तो किसने कहा सब एक जैसा?

अंतिम चरण स्पीकर का वर्गीकरण है। परीक्षण डेटा और पहले से ही ज्ञात लोगों के बीच समानता के माप की गणना करके वर्गीकरण किया जाता है। समानता का माप परीक्षण संकेत की सुविधाओं के वेक्टर से दूरी द्वारा पहले से ही वर्गीकृत सुविधाओं के वेक्टर के लिए व्यक्त किया गया है। हम सबसे सरल समाधान में दिलचस्पी लेंगे - शहर के ब्लॉक की दूरी ।

यह समाधान यूक्लिडियन दूरी के विपरीत, असतत प्रकृति के वैक्टर के लिए अधिक उपयुक्त है।

एक चौकस पाठक को शायद याद है कि लेख की शुरुआत में लेखक ने भाषण फ्रेम की विशेषताओं के औसत का उल्लेख किया था। इसलिए, इस अंतर को भरते हुए, मैं कई फ्रेम और कई भाषण पैटर्न के लिए औसत फीचर वेक्टर खोजने के लिए एल्गोरिथम के विवरण के साथ लेख को पूरा करता हूं।

क्लस्टरिंग

एक नमूने के लिए एक सुविधा वेक्टर को खोजना मुश्किल नहीं है: इस तरह के वेक्टर को वैक्टर के रूप में दर्शाया जाता है जो वैक्टर के रूप में व्यक्तिगत भाषण फ्रेम को चित्रित करता है। मान्यता सटीकता बढ़ाने के लिए, न केवल फ़्रेम के बीच के परिणामों को औसत करना आवश्यक है, बल्कि कई भाषण नमूनों के प्रदर्शन को भी ध्यान में रखना चाहिए। कई वॉयस रिकॉर्डिंग होने के बाद, यह उचित नहीं है कि संकेतकों को एक वेक्टर के लिए औसत किया जाए, लेकिन क्लस्टरिंग का संचालन करने के लिए, उदाहरण के लिए, k - मतलब विधि का उपयोग करना।

परिणाम

इस प्रकार, मैंने आवाज द्वारा किसी व्यक्ति की पहचान करने के लिए एक सरल लेकिन प्रभावी प्रणाली के बारे में बात की। सारांश में, मान्यता प्रक्रिया इस प्रकार बनाई गई है:

हम भाषण के कई प्रशिक्षण नमूने एकत्र करते हैं, अधिक - बेहतर।
हम उनमें से प्रत्येक के लिए एक विशिष्ट विशेषता वेक्टर की तलाश करते हैं।
एक प्रसिद्ध लेखक के साथ नमूने के लिए, हम एक केंद्र (औसत) या कई के साथ क्लस्टरिंग करते हैं। स्वीकार्य परिणाम प्रत्येक स्पीकर के लिए 4 केंद्रों के उपयोग से शुरू होते हैं। [2]
मान्यता मोड में, हम परीक्षण वेक्टर से प्रशिक्षण के दौरान अध्ययन किए गए क्लस्टर केंद्रों की दूरी पाते हैं। किस क्लस्टर टेस्ट भाषण के करीब होगा - इस तरह के एक स्पीकर के लिए और हम नमूने के लिए विशेषता है।
प्रयोगात्मक रूप से भी एक निश्चित आत्मविश्वास अंतराल स्थापित करना संभव है - अधिकतम दूरी जिस पर परीक्षण नमूना क्लस्टर के केंद्र से हो सकता है। यदि यह मान पार हो गया है, तो नमूने को अज्ञात के रूप में वर्गीकृत करें।

मैं हमेशा सामग्री में सुधार के बारे में उपयोगी टिप्पणियां पाकर खुश हूं। आपका ध्यान देने के लिए धन्यवाद।

वहां कौन है? - आवाज से किसी व्यक्ति की पहचान