छवि खोज में क्लस्टरिंग डुप्लिकेट

यैंडेक्स पर हर महीने, 20 मिलियन से अधिक लोग छवि खोज का उपयोग करते हैं। और अगर उनमें से कोई भी [ मर्लिन मुनरो ] की तस्वीरों की तलाश में है, तो इसका मतलब यह नहीं है कि उन्हें अभिनेत्री की केवल सबसे प्रसिद्ध तस्वीरों को खोजने की जरूरत है। ऐसी स्थिति में, ऐसे परिणाम जिनमें अधिकांश चित्र पाए जाएंगे, उन्हीं चित्रों की प्रतियां उपयोगकर्ताओं के अनुरूप होने की संभावना नहीं है। मुनरो की विभिन्न तस्वीरों को देखने के लिए उन्हें बड़ी संख्या में पृष्ठों के माध्यम से फ्लिप करना होगा। लोगों के लिए ऐसे कार्यों को सुविधाजनक बनाने के लिए, हमें छवियों को खोज परिणामों में क्रमबद्ध करने की आवश्यकता है ताकि वे दोहराए न जाएं। और हमने "उन्हें अलमारियों पर रखना" सीखा।



जब 2002 में यैंडेक्स ने छवियों की खोज शुरू की, तो कोई ऐसी तकनीक नहीं थी जो कंप्यूटर को सीधे "देखने" की अनुमति देती थी कि छवि में क्या वस्तुएं हैं। वे अब दिखाई दे रहे हैं, लेकिन अभी तक उनके विकास की डिग्री कंप्यूटर के लिए चेहरे में मर्लिन मुनरो को पहचानने या फोटो में जंगल को पहचानने और अनुरोध पर तुरंत दिखाने के लिए पर्याप्त नहीं है। इसलिए, पहले चरणों में आविष्कार किए गए उन तरीकों को बेहतर बनाने का कार्य प्रासंगिक बना हुआ है।

इसलिए, कंप्यूटर को अभी भी समझने की आवश्यकता है कि चित्र में क्या दिखाया गया है। वह नहीं जानता कि "कैसे देखें", लेकिन एक ही समय में हमारे पास ऐसी तकनीकें हैं जो अच्छी तरह से पाठ दस्तावेजों की तलाश में हैं। और यह वह है जो हमारी मदद करेगा: इंटरनेट पर छवि लगभग हमेशा किसी न किसी तरह के पाठ के साथ होती है। वह जरूरी नहीं बताता है कि चित्र में दिखाया गया है, लेकिन यह अर्थ और सामग्री में लगभग हमेशा इसके साथ जुड़ा हुआ है। यही है, हम मानते हैं कि आइंस्टीन के फोटो के साथ एक उच्च संभावना के साथ उनके अंतिम नाम का उल्लेख किया जाएगा। ऐसे ग्रंथों को हम कार्टोग्राफिक कहते हैं।

इस डेटा के आधार पर, कंप्यूटर समझता है कि अनुरोध पर उपयोगकर्ता को दिखाने के लिए कौन से दस्तावेज़ हैं [ मर्लिन मुनरो ]। नतीजतन, खोज परिणामों में, एक व्यक्ति प्रासंगिक छवियों के थंबनेल देखेगा या, जैसा कि उन्हें भी कहा जा सकता है, थंबनेल। वे समान छवियों की प्रतियों के लिए समान होंगे। यहां से हमारा नाम उनके लिए दिखाई दिया - टंबलर डुप्लिकेट। चित्र जो अनिवार्य रूप से समान हैं, विभिन्न आकारों और संपीड़न की डिग्री के हो सकते हैं, लेकिन यह छवि की सामग्री को नहीं बदलता है। और कभी-कभी चित्रों में कुछ बदलाव किए जा सकते हैं। उदाहरण के लिए, वॉटरमार्क या लोगो जोड़ें, रंग बदलें, या फसल। लेकिन यह इस छवि पर विचार करने के लिए पर्याप्त नहीं होगा। हमारा कार्य यह सुनिश्चित करना है कि चित्रों में खोज परिणामों के साथ पृष्ठ पर कोई डुप्लिकेट थंबनेल नहीं हैं और प्रतियों के प्रत्येक समूह के लिए उन सभी को मिलाते हुए प्रदर्शित किया गया है।



सिद्धांत रूप में चित्रों के पाठ के डेटा ने हमें यह स्पष्ट कर दिया कि तस्वीरों में मर्लिन मुनरो पाया गया। लेकिन उनमें से कुछ को यह निर्धारित करना है कि कौन से डुप्लिकेट हैं। और इस स्तर पर, मौजूदा कंप्यूटर विज़न तकनीकें हमारी मदद कर सकती हैं।
जब हम कहते हैं कि बच्चा माता-पिता की तरह है, तो यह अक्सर "पिताजी की नाक" या "माँ की आँखें" जैसा लगता है। यही है, हम माता-पिता की कुछ चेहरे की विशेषताओं पर ध्यान देते हैं जो बच्चे में संरक्षित हैं।

लेकिन क्या होगा यदि आप एक समान सिद्धांत का उपयोग करने के लिए कंप्यूटर सिखाने की कोशिश करते हैं? इस मामले में, पहले चरण में, उसे समझना चाहिए कि तस्वीर में किन बिंदुओं पर ध्यान दिया जाना चाहिए। ऐसा करने के लिए, छवि को विशेष फिल्टर के साथ संसाधित किया जाता है जो उनके आकृति को उजागर करने में मदद करते हैं। उनका उपयोग करते हुए, कंप्यूटर उन प्रमुख बिंदुओं को पाता है जो स्वयं छवियों में किसी भी बदलाव के साथ नहीं बदलते हैं, और यह देखते हैं कि उनके आसपास क्या है। कंप्यूटर के लिए इन टुकड़ों को "विचार" करने के लिए, उन्हें डिजिटल प्रारूप में परिवर्तित किया जाना चाहिए। इसलिए विवरण सही रहेगा, भले ही तस्वीर खिंची हुई हो, घुमाई गई हो या कुछ अन्य परिवर्तनों के अधीन हो। वास्तव में, कुछ हद तक, हम एक कंप्यूटर को एक छवि को देखने के लिए प्रशिक्षित करते हैं जिस तरह से एक व्यक्ति इसे देखता है।

नतीजतन, प्रत्येक चित्र को उसके प्रमुख बिंदुओं पर वर्णन का एक सेट मिलता है। और अगर एक छवि के इन क्षेत्रों में से कई अन्य छवि के कई क्षेत्रों के समान हैं, तो हम सामान्य रूप में समानता की डिग्री के बारे में निष्कर्ष निकाल सकते हैं।



लेकिन एक समस्या है। यह तय करना असंभव है कि छवियों को डुप्लिकेट किया जाता है बिना यह जाने कि उन पर क्या दिखाया गया है। हम खुद तय कर सकते हैं कि केवल 5% क्षेत्र को बदलने से हम उन पर विचार कर सकते हैं, लेकिन खेल शुरू होने से पहले और एक या दो चाल के बाद शतरंज की तस्वीरों की कल्पना करें। ये अलग-अलग तस्वीरें हैं, हालांकि उनमें से 5% से अधिक औपचारिक रूप से नहीं बदले गए हैं। और अगर, उदाहरण के लिए, एक लोगो को एक ही पदों के साथ शतरंज की छवियों में से एक में जोड़ा जाता है, तो वे भी 5% से भिन्न होंगे, लेकिन एक ही समय में डुप्लिकेट बने रहेंगे। हां, कुछ हद तक हमने कंप्यूटर को एक चित्र देखना सिखाया, लेकिन अभी तक तकनीक छवियों के विषय क्षेत्र की पूर्ण समझ तक नहीं पहुंची है, और हम इस समस्या को हल करने के लिए काम करना जारी रखते हैं।

ऊपर वर्णित सभी ऑपरेशनों को हमारे द्वारा अनुक्रमित प्रत्येक छवि के साथ किया जाना चाहिए, और हमारे सभी सूचकांक में 10 बिलियन चित्र हैं। और यह अंतिम आंकड़ा नहीं है। हमारे पुराने एल्गोरिदम का उपयोग करके इंटरनेट पर सामग्री की विकास दर से मेल खाने के लिए, आपको संसाधनों को अविश्वसनीय रूप से जल्दी से बढ़ाना होगा। स्वाभाविक रूप से, इस बुनियादी ढांचे की समस्या का अधिक तर्कसंगत समाधान खोजना आवश्यक था। और हम कर पाए।

अब, उदाहरण के लिए, यैंडेक्स से गुजरने वाली 10 मिलियन नई छवियों को जोड़ने और संसाधित करने के लिए। हर दिन, आपको डेटाबेस में पहले से मौजूद अरबों पर प्रक्रिया को पुनरारंभ करने की आवश्यकता नहीं है।

इसके अलावा, जानकारी है कि इंटरनेट पर कुछ छवियां एक दूसरे की प्रतियां हैं, हमें बड़े खोज परिणामों में वेब दस्तावेजों को रैंकिंग करने में मदद करती हैं। लिंक के रूप में समान छवि, लिंक दस्तावेज़। इसके लिए धन्यवाद, हम इस बात पर ध्यान दे सकते हैं कि खोज क्वेरी के जवाब के लिए यह या वह पृष्ठ कितना मूल्यवान है। इसलिए, ऊपर वर्णित तकनीक न केवल Yandex.Pictures के लिए, बल्कि सिद्धांत रूप में, हमारी खोज के लिए भी महत्वपूर्ण है।

और अगर हम चित्रों में खोज पर सीधे लौटते हैं, तो यह एक और अधिक आकस्मिक कार्य है, जिसे ग्लूइंग डुप्लिकेट द्वारा हल किया जाता है - हम एक समान छवि पा सकते हैं, जब यह चित्र पाठ के साथ नहीं है। यह उस स्थिति में उपयोगी है जब यह इस रूप में हो कि तस्वीर व्यक्ति की गुणवत्ता से मेल खाती है।