मान्यता में उंगली रैखिक प्रतिगमन

मान्यता समस्या में, महत्वपूर्ण भूमिका वस्तुओं के महत्वपूर्ण मापदंडों के चयन और उनके संख्यात्मक मूल्यों के मूल्यांकन द्वारा निभाई जाती है। फिर भी, अच्छा संख्यात्मक डेटा प्राप्त करने के बाद भी, किसी को उनका सही उपयोग करने में सक्षम होना चाहिए। कभी-कभी ऐसा लगता है कि समस्या का आगे समाधान तुच्छ है, और आप "सामान्य विचारों से" चाहते हैं कि संख्यात्मक डेटा से मान्यता परिणाम प्राप्त हो। लेकिन इस मामले में परिणाम इष्टतम से बहुत दूर है। इस लेख में, मैं पहचानने की समस्या के उदाहरण से दिखाना चाहता हूं कि सरलतम गणितीय मॉडल को आसानी से कैसे लागू किया जाए और इससे परिणामों में काफी सुधार हो।

पैटर्न मान्यता समस्या के बारे में

पैटर्न रिकग्निशन का कार्य किसी विशेष वर्ग को ऑब्जेक्ट असाइन करने का कार्य है। यह निर्धारित करने के लिए कि क्या कोई वर्ग है, ऑब्जेक्ट पैरामीटर का एक निश्चित सेट उपयोग किया जाता है। उदाहरण के लिए, आप लोगों को उनके कुछ मापदंडों से पहचान सकते हैं: आंखों के बीच की दूरी, त्वचा का रंग, नाक की लंबाई, परितारिका पैटर्न, विशिष्ट आवाज आवृत्ति, उंगलियों की संख्या आदि। इन मापदंडों को निश्चित आयाम के संख्यात्मक वेक्टर के रूप में दर्शाया जा सकता है (संख्यात्मक मापदंडों के लिए, यह तुच्छ है, आईरिस / चेहरे की छवि के रंग / पैटर्न के लिए, आदि, आपको अभी भी यह पता लगाना होगा कि यह कैसे करना है)। अर्थात, हमारे पास निश्चित संख्या में X ₁ , X ₂ , ... X _{N है} , एक मानदंड है जो मानों के एक सेट द्वारा वर्णित है। , और हम उसके बारे में कहना चाहते हैं कि क्या वह इन वर्गों में से एक है। आमतौर पर, कक्षाएं इस वर्ग के कई नमूनों के रूप में प्रस्तुत की जाती हैं: उदाहरण के लिए, विभिन्न कोणों से किसी वस्तु की दृश्य छवियां, विभिन्न पैरामीटर माप, आईरिस तस्वीरों की विभिन्न प्रतियां। फिर मान्यता की सबसे सरल विधि प्रत्येक वर्ग के प्रत्येक नमूने के साथ प्राप्त वस्तु की तुलना करना है, और यह तय करना है कि वह निकटतम वस्तु से दूरी के अनुसार है या नहीं।

पहली नज़र में, कार्य अनिश्चित रूप से बड़ी संख्या में कक्षाओं के साथ एक वर्गीकरण कार्य की तरह लगता है: प्रत्येक प्रकार की वस्तु एक अलग वर्ग है, और प्रत्येक वर्ग के साथ एक नई वस्तु की तुलना की जानी चाहिए। यह एक मुश्किल काम है, खासकर जब हमारे पास असीमित संख्या में कक्षाएं होती हैं: उदाहरण के लिए, जब लोगों को पहचानते हुए, एक व्यक्ति जो डेटाबेस में नहीं है - वह है, एक अन्य वर्ग का व्यक्ति - के माध्यम से जा सकता है। लेकिन वास्तव में, हम अध्ययन की जा रही वस्तु और वर्ग नमूने के बीच अंतर dx की गणना करते हैं और निर्णय लेते हैं कि यह एक ही वस्तु है या अलग है। उदाहरण के लिए, यदि हम किसी व्यक्ति को फ़िंगरप्रिंट द्वारा पहचानना चाहते हैं, तो हम एक निश्चित डेटाबेस से सभी फ़िंगरप्रिंट्स के साथ परिणामी फ़िंगरप्रिंट की तुलना करते हैं, प्रत्येक जोड़ी फिंगरप्रिंट्स के बीच समानता की माप की गणना करते हैं, और सबसे समान फ़िंगरप्रिंट के लिए समानता के इस उपाय के लिए, हम तय करते हैं कि यह समान है एक व्यक्ति, यदि प्रिंट काफी समान हैं, या यह व्यक्ति हमारे डेटाबेस में नहीं है, अगर सबसे समान प्रिंट अभी भी समान नहीं है। यही है, हमारा क्लासिफायर ऑब्जेक्ट x के मापदंडों को इनपुट के रूप में स्वीकार नहीं करता है, लेकिन दो वस्तुओं के पैरामीटर dx = x - x ⁱ के बीच का अंतर (प्रत्येक घटक के अंतर को भी लेना बेहतर है ताकि घटाव क्रम महत्वपूर्ण न हो), और यह इन मापदंडों के लिए एक विशेषता देता है (समानता का माप ), आपको निर्णय लेने की अनुमति देता है: ये एक ही वस्तु या अलग हैं। इसे दो वर्गों के साथ एक वर्गीकरण समस्या के रूप में माना जा सकता है: "वस्तुओं के समान जोड़े" और "वस्तुओं के विभिन्न जोड़े"। इसके अलावा, "समान जोड़े" की श्रेणी को शून्य के करीब वर्गीकृत किया जाएगा, और अलग-अलग - इसके विपरीत, कहीं न कहीं किनारे पर होंगे। परंपरागत रूप से, वर्गीकरणकर्ता को समानता का एक संख्यात्मक माप देना चाहिए (उदाहरण के लिए, 0 से 1 तक), जो अधिक से अधिक है, इस बात की संभावना अधिक है कि ये अलग-अलग वस्तुएं हैं; आगे, सिस्टम की आवश्यकताओं के आधार पर, निर्णय लेने के लिए एक थ्रेशोल्ड मान निर्धारित किया जाता है, जिस पर पहले और दूसरे प्रकार की त्रुटियां निर्भर करती हैं।

कैसे नहीं करना है

प्रारंभ में, इन मापदंडों को देखते हुए, मैं सिर्फ अंतर वेक्टर के मानक को खोजना चाहता हूं - घटकों के वर्गों के योग की जड़: । यही है, नमूने के बीच यूक्लिडियन दूरी के रूप में, अगर मापदंडों को निर्देशांक माना जाता है। यह जितना छोटा है, उतनी ही "समान" ये दो वस्तुएं हैं, अर्थात्, जितना अधिक वे समान हैं उतनी अधिक संभावना है। यह सही है, लेकिन कई प्रतिबंधों के साथ: सभी मापदंडों को असंबद्ध (पारस्परिक रूप से स्वतंत्र) होना चाहिए, उनके पास समान वितरण होना चाहिए (वे समकक्ष होना चाहिए)। यह आमतौर पर ऐसा नहीं होता है (उदाहरण के लिए, ऊंचाई और वजन को स्वतंत्र नहीं माना जाना चाहिए, और नाक का आकार मुंह के आकार या बालों की लंबाई की तुलना में बहुत अधिक विश्वसनीय विशेषता है)। फिर अधिक महत्वपूर्ण मापदंडों को मजबूत करने और कम महत्वपूर्ण लोगों को कमजोर करने के लिए विभिन्न घटकों के लिए अलग-अलग वजन चुनें: ।

यहां हम एक बहुत ही सही विचार पर आते हैं: हमें सभी प्रकार के गुणांक लेने की आवश्यकता है, न कि सिर से, बल्कि अभ्यास से, यानी उन्हें उठाएं ताकि वे कुछ डेटा सेट पर अच्छी तरह से काम करें। मशीन लर्निंग में, इसे "एक शिक्षक के साथ सीखना" कहा जाता है: एक डेटा सेट लिया जाता है (विभिन्न और समान कक्षाओं की वस्तुएं, जिनके बारे में हम शुरू में जानते हैं कि वे किस वर्ग से संबंधित हैं), "प्रशिक्षण नमूना" कहा जाता है, और गुणांक इसलिए चुने जाते हैं ताकि हमारा शोधकर्ता उस पर हो। यथासंभव सर्वोत्तम काम किया (इसे "प्रशिक्षण" कहा जाता है)। इसके बाद, आप यह जांच सकते हैं कि मॉडल किसी अन्य डेटा सेट पर लागू करके कितनी अच्छी तरह काम करता है, जिसे "परीक्षण नमूना" कहा जाता है, और निष्कर्ष निकाला कि हमने कितना अच्छा किया।

इसलिए, हम वजन निर्धारित करना चाहते हैं। ऐसा करने के लिए, हम परीक्षण नमूने से वस्तुओं के सभी जोड़े के माध्यम से जाएंगे और प्रत्येक घटक के लिए हम एक ही जोड़े के लिए और विभिन्न जोड़ों के लिए इसके औसत मूल्य और विचरण की गणना करेंगे। लेकिन इसके साथ आगे क्या करना है यह बहुत स्पष्ट नहीं है। वजन बड़ा होना चाहिए, औसत मूल्यों के बीच अधिक से अधिक दूरी () ), इसके अलावा, वे छोटे होने चाहिए यदि फैलाव बहुत बड़ा है, अर्थात्, घटक जानकारीपूर्ण की तुलना में अधिक संभावना शोर हैं। इस स्तर पर अनुकूलन के मेरे सभी प्रयासों ने इस तथ्य को जन्म दिया कि सबसे महत्वपूर्ण घटक में से एक को लेना आवश्यक था, और बाकी पर विचार करने के लिए नहीं, जो स्पष्ट रूप से एक अच्छा परिणाम नहीं देगा। अंत में, मैंने विचरण पर अंक बनाए और बस प्रत्येक घटक के लिए गिना गया , घातांक k को आनुभविक रूप से चुना गया था, और मापदंडों के विभिन्न सेटों के लिए सबसे अच्छा संकेतक 0.01 और 4 दोनों के बराबर हो सकता है।

हां, इस तरह की विधि ने वेक्टर के मानक की गणना करने की तुलना में बहुत बेहतर परिणाम दिए हैं। लेकिन उसके पास कम से कम दो महत्वपूर्ण कमियां हैं। आपकी आंख को पकड़ने वाली पहली चीज आपकी उंगलियों से चूसे गए वज़न का सूत्र है, जिसका अर्थ है कि किसी भी इष्टतमता का कोई सवाल नहीं है। ठीक है, और दूसरी बात, सभी घटकों को अलग-अलग और स्वतंत्र रूप से माना जाता है, अर्थात, उनका गैर-सहसंबंध निहित है, जो आमतौर पर गलत है।

रैखिक प्रतिगमन

सही दृष्टिकोण गणितीय रूप से समस्या को औपचारिक रूप देना है और कुछ अर्थों में इष्टतम समाधान ढूंढना है। जैसा कि आप जानते हैं, सबसे सरल फ़ंक्शन एक रैखिक फ़ंक्शन है, इसलिए हम फ़ॉर्म के फ़ंक्शन की तलाश करेंगे (हाँ, दिखने में यह उन्हीं वज़न के समान है)। ऐसे फ़ंक्शन को खोजना रेखीय प्रतिगमन कहलाता है। हम गुणांक b ₀ , b ₁ , ... b _n को इस तरह से चुनते हैं कि कम से कम वर्ग विधि के अनुसार यह कार्य परीक्षण नमूने के लिए सही मानों के लिए सबसे उपयुक्त है। और सही मूल्य समान वस्तुओं के लिए Y = 0 हैं और विभिन्न लोगों के लिए Y = 1 हैं। यह सहज रूप से लगता है कि बी ₀ का मूल्य _{0 के} बराबर होना चाहिए, क्योंकि शून्य अंतर वेक्टर पर हमने समान वस्तुओं की गारंटी दी है। लेकिन हम एक अनुमान लगाने का खेल नहीं खेलेंगे और ईमानदारी से बी _{0 की} गणना करेंगे। इस प्रकार, हम अनिवार्य रूप से n- आयामी अंतरिक्ष में दिशा निर्धारित करते हैं, जिसमें समान और अलग-अलग जोड़े सबसे दृढ़ता से भिन्न होंगे।

(स्रोत) चुकता त्रुटियों का योग के रूप में निर्धारित किया जाएगा । इसके बाद, M परीक्षण नमूने में वस्तुओं की संख्या है, सुपरस्क्रिप्ट नमूना में ऑब्जेक्ट की संख्या को इंगित करता है, और सबस्क्रिप्ट ऑब्जेक्ट के घटक की संख्या को इंगित करता है। यह त्रुटि उस बिंदु पर कम से कम है जिस पर प्रत्येक घटक के संबंध में व्युत्पन्न शून्य के बराबर है। प्राथमिक गणित हमें सिस्टम Ab = f की ओर ले जाता है, जहाँ A मैट्रिक्स (n + 1) * (n + 1), * है । । , आई, के = 1. एन। । । हम परीक्षण के नमूने से मैट्रिक्स तत्वों की गणना करते हैं, सिस्टम को हल करते हैं, गुणांक प्राप्त करते हैं, फ़ंक्शन का निर्माण करते हैं।

यह अजीब लग सकता है कि कुछ गुणांक b _मैं शून्य से कम हो जाता है, जैसे कि ऑब्जेक्ट इस पैरामीटर में अधिक दृढ़ता से भिन्न होते हैं, उतना ही वे समान हैं। दरअसल, इसमें कुछ भी गलत नहीं है, इसका मतलब है कि हमने विभिन्न मापदंडों के बीच संबंध का अध्ययन किया है (उदाहरण के लिए, मोटे तौर पर, यह पैरामीटर केवल दूसरे पैरामीटर के साथ बढ़ता है और तीसरे के लिए क्षतिपूर्ति करता है)।

मेरा अनुभव बताता है कि इस तरह के एक समारोह में समान और अलग-अलग जोड़े के बीच अंतर होता है जो यादृच्छिक रूप से चयनित भार से बहुत बेहतर होता है। यह आश्चर्य की बात नहीं है, क्योंकि यह फ़ंक्शन एक अर्थ में इष्टतम है।

कोई समस्या?

क्या समस्याएं आ सकती हैं?

सबसे पहले, एन मापदंडों के फ़ंक्शन के गुणांक निर्धारित करने के लिए, आकार (एन + 1) * (एन + 1) के एक मैट्रिक्स की गणना करना आवश्यक है, अर्थात, 256x2566 के सभी पिक्सल को अलग-अलग मापदंडों के रूप में पेश करना संभव नहीं होगा, पर्याप्त मेमोरी नहीं होगी। यहां आप आयाम को कम करने के पारंपरिक तरीकों का सहारा ले सकते हैं, विशेष रूप से पीसीए में । या आप सबसे महत्वपूर्ण मापदंडों में से एक का चयन कर सकते हैं (उदाहरण के लिए, उन लोगों को बाहर निकालना जिनके लिए अलग-अलग के लिए औसत मूल्य उसी के लिए औसत मूल्य से अधिक नहीं है, या बहुत अधिक विचरण)। और चूंकि कोई भी लेख को पूरी तरह से नहीं पढ़ता है, इसलिए मैं उन विकल्पों को चुनने का सुझाव देता हूं जिनमें सबसे सुंदर संख्याएं हैं, उदाहरण के लिए, यह सात में समाप्त होता है।

एक अन्य समस्या यह है कि यदि रैखिक सन्निकटन पर्याप्त नहीं है और फ़ंक्शन कक्षाओं को बहुत खराब तरीके से अलग करता है। फिर आप अधिक जटिल क्लासीफायर लगा सकते हैं - एडबोस्ट , एसवीएम + कर्नेल ट्रिक ( विषय पर लेख ), आदि।

"एक शिक्षक के साथ शिक्षण" की सभी प्रणालियों की एक और महत्वपूर्ण समस्या है। मोटे तौर पर, अगर हमारे पास बहुत से अलग-अलग पैरामीटर हैं, तो प्रशिक्षण के दौरान, आप कुछ पैटर्न पा सकते हैं जो वास्तव में नहीं हैं (यादृच्छिक उतार-चढ़ाव)। फिर, प्रशिक्षण सेट के बाहर की जाँच करते समय, यह छद्म पैटर्न अब मौजूद नहीं होगा, जो मान्यता परिणाम को नकारात्मक रूप से प्रभावित करेगा। विकिपीडिया इससे निपटने के तरीकों का उल्लेख करता है, जैसे नियमितीकरण, क्रॉस-वैधीकरण, आदि।

त्रुटियों के साथ एक नमूना पर सीखना भी परिणाम खराब कर सकता है। यदि प्रशिक्षण के नमूने में बहुत सारे गलत मूल्य हैं, तो वे अंतिम परिणाम को महत्वपूर्ण रूप से प्रभावित कर सकते हैं। परंपरागत रूप से, इसे निम्नानुसार हल किया जाता है: प्रशिक्षण होता है, जिसके बाद उन वस्तुओं को जो इस मॉडल पर एक बड़ी त्रुटि पैदा करते हैं, उन्हें प्रशिक्षण नमूने से खारिज कर दिया जाता है। एक नया, "पतला" प्रशिक्षण नमूना फिर से प्रशिक्षण है। यदि वांछित है, तो प्रक्रिया को कई बार दोहराया जा सकता है।

निष्कर्ष

यहां तक ​​कि अगर आप रूपरेखा की तुलना करने, पूंछ का पता लगाने या उंगलियों की गिनती करने के लिए एक ट्रिकी सिस्टम के साथ आए हैं, तो आप सबसे अधिक संभावना अभी भी मापदंडों का एक वेक्टर होगा जिसके द्वारा आपको एक मूल्यांकन समारोह बनाने और निर्णय लेने की आवश्यकता होगी, और आपको अभी भी अपने महत्वपूर्ण मशीन लर्निंग की आवश्यकता होगी। और यहां तक ​​कि सबसे सरल गणितीय मॉडल "सामान्य विचारों" की तुलना में बहुत बेहतर परिणाम देता है, क्योंकि यह किसी तरह से इष्टतम है।