कंप्यूटर दृष्टि। यैंडेक्स स्मॉल शाद के लिए व्याख्यान

कंप्यूटर दृष्टि का दायरा बहुत व्यापक है: सुपरमार्केट में बारकोड पाठकों से संवर्धित वास्तविकता तक। यह व्याख्यान आपको यह दिखाएगा कि इसका उपयोग कहां किया गया है और कंप्यूटर विज़न कैसे काम करता है, चित्र संख्याओं में कैसे दिखते हैं, इस क्षेत्र में कौन से कार्य अपेक्षाकृत आसानी से हल किए जाते हैं, कौन से कठिन हैं और क्यों।

व्याख्यान हाई स्कूल के छात्रों के लिए डिज़ाइन किया गया है - लघु शाद के छात्र, लेकिन वयस्क इससे बहुत कुछ सीख सकते हैं।



वस्तुओं को देखने और पहचानने की क्षमता मनुष्य के लिए एक स्वाभाविक और परिचित अवसर है। हालांकि, कंप्यूटर के लिए अब तक - यह एक अत्यंत कठिन काम है। अब कंप्यूटर को सिखाने का प्रयास किया जा रहा है, जो कम से कम एक व्यक्ति प्रतिदिन उपयोग करता है, वह भी बिना सूचना के।

संभवतः, एक सुपरमार्केट में चेकआउट में अक्सर एक सामान्य व्यक्ति कंप्यूटर की दृष्टि से मिलता है। बेशक, हम बारकोड को पढ़ने के बारे में बात कर रहे हैं। वे विशेष रूप से इस तरह से डिज़ाइन किए गए थे जैसे कि कंप्यूटर पढ़ने की प्रक्रिया को सरल बनाना। लेकिन अधिक जटिल कार्य हैं: लाइसेंस प्लेट पढ़ना, चिकित्सा छवियों का विश्लेषण करना, उत्पादन में दोष का पता लगाना, चेहरे की पहचान, आदि। संवर्धित वास्तविकता प्रणाली बनाने के लिए कंप्यूटर विज़न का उपयोग सक्रिय रूप से विकसित हो रहा है।

मानव और कंप्यूटर दृष्टि के बीच का अंतर

बच्चा धीरे-धीरे वस्तुओं को पहचानना सीखता है। वह महसूस करना शुरू कर देता है कि वस्तु की आकृति उसकी स्थिति और प्रकाश व्यवस्था के आधार पर कैसे बदलती है। भविष्य में, वस्तुओं को पहचानते समय, एक व्यक्ति पिछले अनुभव पर ध्यान केंद्रित करता है। अपने जीवन के दौरान, एक व्यक्ति भारी मात्रा में जानकारी जमा करता है, एक तंत्रिका नेटवर्क सीखने की प्रक्रिया एक सेकंड के लिए भी नहीं रुकती है। एक व्यक्ति के लिए, एक सपाट तस्वीर से एक परिप्रेक्ष्य को फिर से बनाना और विशेष रूप से कल्पना करना मुश्किल नहीं है कि यह सब तीन आयामों में कैसे दिखाई देगा।

यह सब कंप्यूटर को बहुत अधिक जटिल दिया गया है। और सबसे पहले, संचित अनुभव की समस्या के कारण। बड़ी संख्या में उदाहरण एकत्र करना आवश्यक है, जो अब तक बहुत सफल नहीं है।

इसके अतिरिक्त, कोई व्यक्ति किसी वस्तु को पहचानते समय हमेशा पर्यावरण को पहचानता है। यदि आप ऑब्जेक्ट को सामान्य वातावरण से बाहर निकालते हैं, तो इसे पहचानना अधिक कठिन हो जाएगा। यहां, जीवन पर संचित अनुभव, जो कंप्यूटर के पास नहीं है, एक भूमिका भी निभाता है।

लड़का या लड़की?

कल्पना करें कि हमें एक तस्वीर से किसी व्यक्ति के लिंग (कपड़े पहने!) को निर्धारित करने के लिए एक नज़र में सीखने की आवश्यकता है। पहले आपको उन कारकों को निर्धारित करना होगा जो किसी विशेष वस्तु से संबंधित हो सकते हैं। इसके अलावा, आपको प्रशिक्षण सेट एकत्र करने की आवश्यकता है। यह वांछनीय है कि यह प्रतिनिधि हो। हमारे मामले में, हम दर्शकों में मौजूद सभी लोगों के लिए एक प्रशिक्षण नमूने के रूप में लेते हैं। और हम उनके आधार पर विशिष्ट कारकों को खोजने की कोशिश करेंगे: उदाहरण के लिए, बालों की लंबाई, दाढ़ी, मेकअप और कपड़े (स्कर्ट या पैंट) की उपस्थिति। यह जानते हुए कि एक ही लिंग के कितने प्रतिशत प्रतिनिधि कुछ कारकों से मिलते हैं, हम काफी स्पष्ट नियम बना सकते हैं: एक निश्चित संभावना वाले कारकों या अन्य संयोजनों की मौजूदगी हमें तस्वीर में किस लिंग के व्यक्ति को बताएगी।

मशीन सीखने

बेशक, यह एक बहुत ही सरल और सशर्त उदाहरण है, जिसमें शीर्ष स्तर के कारकों की एक छोटी संख्या है। वास्तविक कार्यों में जिन्हें कंप्यूटर विज़न सिस्टम में लगाया जाता है, वहाँ बहुत अधिक कारक होते हैं। उन्हें मैन्युअल रूप से परिभाषित करना और निर्भरता की गणना करना एक व्यक्ति के लिए एक असंभव काम है। इसलिए, ऐसे मामलों में, मशीन सीखना अपरिहार्य है। उदाहरण के लिए, आप दर्जनों प्रारंभिक कारकों की पहचान कर सकते हैं, साथ ही साथ सकारात्मक और नकारात्मक उदाहरण भी सेट कर सकते हैं। और पहले से ही इन कारकों के बीच निर्भरताएं स्वचालित रूप से चुनी गई हैं, एक सूत्र तैयार किया गया है जो आपको निर्णय लेने की अनुमति देता है। अक्सर, कारक खुद ब खुद बाहर खड़े हो जाते हैं।

संख्या में छवि

सबसे अधिक इस्तेमाल किया जाने वाला डिजिटल इमेज स्टोरेज स्पेस RGB कलर स्पेस है। इसमें, तीन अक्षों (चैनलों) में से प्रत्येक को अपना स्वयं का रंग सौंपा गया है: लाल, हरा और नीला। प्रत्येक चैनल के लिए, जानकारी के 8 बिट्स क्रमशः आवंटित किए जाते हैं, प्रत्येक अक्ष पर रंग की तीव्रता 0 से 255 तक की सीमा में मान ले सकती है। RGB डिजिटल स्पेस में सभी रंग तीन प्राथमिक रंगों को मिलाकर प्राप्त किए जाते हैं।



दुर्भाग्य से, आरजीबी जानकारी के विश्लेषण के लिए हमेशा अनुकूल नहीं होता है। प्रयोगों से पता चलता है कि रंगों की ज्यामितीय निकटता इस बात से काफी दूर है कि कोई व्यक्ति एक दूसरे से कुछ रंगों की निकटता को कैसे मानता है।

लेकिन अन्य रंग स्थान हैं। एचएसवी (ह्यू, संतृप्ति, मूल्य) स्थान हमारे संदर्भ में बहुत दिलचस्प है। इसमें मान अक्ष होता है, जो प्रकाश की मात्रा को दर्शाता है। आरजीबी के विपरीत, एक अलग चैनल इसे आवंटित किया जाता है, जहां हर बार इस मूल्य की गणना करने की आवश्यकता होती है। वास्तव में, यह छवि का एक काला और सफेद संस्करण है जिसे आप पहले से ही काम कर सकते हैं। ह्यू को एक कोण के रूप में दर्शाया गया है और पिच के लिए जिम्मेदार है। संतृप्ति (केंद्र से किनारे तक की दूरी) रंग संतृप्ति को निर्धारित करती है।



एचएसवी रंगों की कल्पना करने के तरीके के बहुत करीब है। यदि आप किसी व्यक्ति को गहरे लाल और हरे रंग की वस्तु दिखाते हैं, तो वह रंगों में अंतर नहीं कर पाएगा। एचएसवी में भी ऐसा ही होता है। कम हम वी अक्ष के साथ चलते हैं, रंगों के बीच का अंतर जितना छोटा होता है, संतृप्ति मूल्यों की सीमा घट जाती है। आरेख पर, यह एक शंकु की तरह दिखता है, जिसके शीर्ष पर एक अत्यंत काला बिंदु है।

रंग और प्रकाश

प्रकाश की मात्रा पर डेटा होना क्यों महत्वपूर्ण है? ज्यादातर मामलों में, कंप्यूटर दृष्टि में, रंग कोई फर्क नहीं पड़ता, क्योंकि यह कोई महत्वपूर्ण जानकारी नहीं रखता है। आइए दो चित्रों को देखें: रंग और काले और सफेद। काले और सफेद संस्करण पर सभी वस्तुओं को पहचानना रंग पर एक की तुलना में अधिक कठिन नहीं है। इस मामले में, रंग हमारे लिए कोई अतिरिक्त बोझ नहीं उठाता है, और बहुत सारी कम्प्यूटेशनल समस्याएं हैं। जब हम छवि के रंग संस्करण के साथ काम करते हैं, तो डेटा वॉल्यूम, मोटे तौर पर बोलना, एक घन की शक्ति के लिए उठाया जाता है।



रंग का उपयोग केवल दुर्लभ मामलों में किया जाता है, जब इसके विपरीत यह गणना को सरल बनाने की अनुमति देता है। उदाहरण के लिए, जब आपको किसी चेहरे का पता लगाने की आवश्यकता होती है: त्वचा की टोन की एक सीमा पर ध्यान केंद्रित करते हुए, चित्र में अपना संभावित स्थान ढूंढना सबसे आसान है। यह पूरी छवि का विश्लेषण करने की आवश्यकता को समाप्त करता है।

स्थानीय और वैश्विक लक्षण

जिन संकेतों से हम छवि का विश्लेषण करते हैं वे स्थानीय और वैश्विक हैं। इस तस्वीर को देखकर, अधिकांश कहेंगे कि यह एक लाल रंग की कार दिखाता है:



इस तरह के एक उत्तर का अर्थ है कि एक व्यक्ति ने छवि में एक वस्तु का चयन किया, जिसका अर्थ है कि उसने रंग के स्थानीय संकेत का वर्णन किया। द्वारा और बड़े, चित्र में एक जंगल, एक सड़क और एक छोटी कार दिखाई देती है। क्षेत्र के अनुसार, कार एक छोटे हिस्से में रहती है। लेकिन हम समझते हैं कि इस तस्वीर में कार सबसे महत्वपूर्ण वस्तु है। यदि किसी व्यक्ति को इस के समान चित्रों को खोजने के लिए कहा जाता है, तो वह सबसे पहले उन चुनिंदा चित्रों को लेगा, जिनमें लाल रंग की कार है।

जांच और विभाजन

कंप्यूटर दृष्टि में, इस प्रक्रिया को डिटेक्शन एंड सेगमेंटेशन कहा जाता है। विभाजन एक छवि का कई हिस्सों में विभाजन होता है जो एक दूसरे से नेत्रहीन या शब्दार्थ से जुड़े होते हैं। और डिटेक्शन इमेज में ऑब्जेक्ट्स का पता लगाना है। पहचान को स्पष्ट रूप से मान्यता से अलग होना चाहिए। मान लीजिए आप एक कार में एक ही तस्वीर में ट्रैफिक साइन का पता लगा सकते हैं। लेकिन उसे पहचानना असंभव है, क्योंकि वह हमारे साथ उलटी तरफ है। इसके अलावा, चेहरे को पहचानते समय, डिटेक्टर चेहरे का स्थान निर्धारित कर सकता है, और "पहचानकर्ता" पहले से ही बता देगा कि यह किसका चेहरा है।

डिस्क्रिप्टर्स और विज़ुअल शब्द

मान्यता के लिए कई अलग-अलग दृष्टिकोण हैं।

उदाहरण के लिए, यह: छवि में आपको पहले दिलचस्प बिंदु या रुचि के स्थानों को उजागर करने की आवश्यकता है। पृष्ठभूमि से कुछ अलग: उज्ज्वल स्पॉट, संक्रमण, आदि। ऐसा करने के लिए कई एल्गोरिदम हैं।

सबसे आम तरीकों में से एक को गॉसियंस ( DoG ) का अंतर कहा जाता है। विभिन्न रेडियो के साथ छवि को धुंधला करना और परिणामों की तुलना करना, आप सबसे विपरीत टुकड़े पा सकते हैं। इन टुकड़ों के आसपास के क्षेत्र सबसे दिलचस्प हैं।

इन क्षेत्रों को डिजिटल रूप से आगे वर्णित किया गया है। क्षेत्रों को छोटे वर्गों में विभाजित किया गया है, यह निर्धारित किया जाता है कि ग्रेडिएंट्स किस दिशा में निर्देशित किए जाते हैं, और वैक्टर प्राप्त होते हैं।

नीचे दी गई छवि दिखाती है कि यह कैसा दिखता है। प्राप्त डेटा विवरणकर्ताओं को लिखा जाता है।



विमान में समान घुमावों की परवाह किए बिना समान वर्णकों को पहचाने जाने के लिए, उन्हें घुमाया जाता है ताकि सबसे बड़े वैक्टर एक दिशा में घुमाए जाएं। यह हमेशा नहीं किया जाता है। लेकिन अगर आपको अलग-अलग विमानों में स्थित दो समान वस्तुओं को खोजने की आवश्यकता है।

डिस्क्रिप्टर्स को संख्यात्मक रूप में लिखा जा सकता है। विवरणक को एक बहुआयामी सरणी में एक बिंदु के रूप में दर्शाया जा सकता है। चित्रण में हमारे पास दो आयामी सरणी है। हमारे विवरणकर्ताओं ने इसे मारा। और हम उन्हें क्लस्टर कर सकते हैं - उन्हें समूहों में तोड़ सकते हैं।



इसके अलावा, प्रत्येक क्लस्टर के लिए, हम अंतरिक्ष में एक क्षेत्र का वर्णन करते हैं। जब एक विवरणक इस क्षेत्र में आता है, तो यह हमारे लिए महत्वपूर्ण हो जाता है कि यह क्या था, लेकिन यह किस क्षेत्र में नहीं गिरा। और फिर हम छवियों की तुलना कर सकते हैं, यह निर्धारित करते हुए कि एक छवि के कितने वर्णनकर्ता एक ही क्लस्टर में किसी अन्य छवि के विवरणकों के रूप में थे। ऐसे समूहों को दृश्य शब्द कहा जा सकता है।

केवल एक ही चित्र नहीं, बल्कि समान वस्तुओं की छवियों को खोजने के लिए, आपको इस ऑब्जेक्ट की बहुत सारी छवियां और कई तस्वीरें लेने की आवश्यकता है जिसमें यह नहीं है। फिर उनमें से डिस्क्रिप्टर चुनें और उन्हें क्लस्टर करें। इसके बाद, आपको यह पता लगाना होगा कि किन समूहों में चित्रकारों के वर्णनकर्ता हैं जिनमें वह वस्तु शामिल है जिसकी हमें आवश्यकता थी। अब हम जानते हैं कि यदि नई छवि के विवरणकर्ता समान समूहों में आते हैं, तो इसका मतलब है कि वांछित वस्तु उस पर मौजूद है।

विवरणों का मिलान करना उन वस्तुओं की पहचान की गारंटी नहीं है जो उन्हें शामिल करती हैं। आगे मान्य करने का एक तरीका ज्यामितीय सत्यापन है। इस मामले में, एक दूसरे के सापेक्ष विवरणकर्ताओं के स्थान की तुलना की जाती है।

मान्यता और वर्गीकरण

सरलता के लिए, कल्पना करें कि हम सभी छवियों को तीन वर्गों में तोड़ सकते हैं: वास्तुकला, प्रकृति और चित्र। बदले में, हम प्रकृति को जानवरों और पक्षियों के पौधों में तोड़ सकते हैं। और पहले से ही समझ लिया है कि यह एक पक्षी है, हम कह सकते हैं कि कौन सा: एक उल्लू, एक सीगल या एक कौवा।



मान्यता और वर्गीकरण के बीच का अंतर बल्कि मनमाना है। अगर हमें तस्वीर में उल्लू मिला है, तो इसकी अधिक संभावना है। अगर सिर्फ एक पक्षी, तो यह एक तरह का मध्यवर्ती विकल्प है। और अगर केवल प्रकृति निश्चित रूप से एक वर्गीकरण है। यानी मान्यता और वर्गीकरण के बीच का अंतर यह है कि हम पेड़ से कितने गहरे गए हैं। और आगे की कंप्यूटर दृष्टि आगे बढ़ती है, वर्गीकरण और मान्यता के बीच की सीमा कम होगी।