यैंडेक्स, रोबोट और साइबेरिया - हमने भरी हुई छवि के लिए एक खोज इंजन कैसे बनाया

आज, यैंडेक्स ने भरी हुई छवि पर एक चित्र की खोज शुरू की। इस पोस्ट में हम इस सेवा के पीछे की तकनीक के बारे में बात करना चाहते हैं, और यह कैसे बनाया गया था।

यांडेक्स के अंदर की तकनीक को साइबेरिया कहा गया है। CBIR से - सामग्री-आधारित छवि पुनर्प्राप्ति ।

बेशक, कार्य स्वयं नया नहीं है, और इसके लिए बहुत अधिक शोध समर्पित किया गया है। लेकिन एक अकादमिक संग्रह पर काम करने वाला एक प्रोटोटाइप बनाना और अरबों छवियों के साथ काम करने वाली एक औद्योगिक प्रणाली का निर्माण और अनुरोधों की एक बड़ी धारा बहुत अलग कहानियां हैं।

यह सब किस लिए है?

तीन परिदृश्य हैं जिनमें हमें डाउनलोड की गई छवि की खोज करने की आवश्यकता है और जिसे हमें प्रक्रिया करने के तरीके सीखने की आवश्यकता है।

• एक व्यक्ति को समान या समान चित्र की आवश्यकता होती है, लेकिन एक अलग रिज़ॉल्यूशन (आमतौर पर सबसे बड़ा) में, या शायद एक अलग रंग, बेहतर गुणवत्ता या फसली नहीं।
• आपको यह समझने की जरूरत है कि तस्वीर में क्या है। इस मामले में, छवि के बगल में एक संक्षिप्त विवरण यह स्पष्ट करने के लिए पर्याप्त है कि कौन या उस पर क्या है।
• आपको एक ऐसी साइट ढूंढनी होगी जिसमें एक ही चित्र हो। उदाहरण के लिए, जब मैं इस बारे में पढ़ना चाहता था कि चित्र में क्या है। या फिर उन्हीं तस्वीरों को देखें। या जो चित्र में दिखाया गया है उसे खरीदें - इस मामले में हमें दुकानों की आवश्यकता है।

यह कैसे काम करता है?

अलग-अलग दृष्टिकोण हैं जिनके साथ आप समान छवियां पा सकते हैं। सबसे आम एक दृश्य शब्दों के रूप में छवि के प्रतिनिधित्व पर आधारित है - एकवचन बिंदुओं पर गणना की गई स्थानीय वर्णनकर्ता। छवि परिवर्तन के समय जो बिंदु सबसे अधिक स्थिर होते हैं उन्हें विशेष कहा जाता है। उन्हें खोजने के लिए, छवि को विशेष फिल्टर द्वारा संसाधित किया जाता है। डिजिटल रूप में इन बिंदुओं के आसपास के क्षेत्रों का विवरण एक विवरणक है। वर्णनकर्ताओं को दृश्य शब्दों में बदलने के लिए, दृश्य शब्दों के एक शब्दकोश का उपयोग किया जाता है। यह छवियों के प्रतिनिधि सेट के लिए गणना किए गए सभी विवरणों को क्लस्टर करके प्राप्त किया जाता है। भविष्य में, प्रत्येक नए गणना किए गए विवरणक को संबंधित क्लस्टर को सौंपा गया है - इस तरह से मात्रात्मक विवरणक (दृश्य शब्द) प्राप्त किए जाते हैं।

बड़े संग्रह में एक डाउनलोड की गई तस्वीर से एक छवि के लिए खोज की प्रक्रिया, एक नियम के रूप में, निम्नलिखित क्रम में बनाया गया है:

1. डाउनलोड की गई तस्वीर के लिए दृश्य शब्दों का एक सेट प्राप्त करना।
2. उल्टे सूचकांक द्वारा उम्मीदवारों की तलाश करें, जो दृश्य शब्दों के दिए गए सेट द्वारा छवियों की सूची निर्धारित करता है।
3. नमूना चित्र और अध्ययन के तहत छवि के लिए मिलान वर्णनकर्ताओं की सापेक्ष स्थिति की जाँच करना। यह उम्मीदवारों के सत्यापन और रैंकिंग का चरण है। परंपरागत रूप से, Hough रूपांतरित या RANSAC की क्लस्टरिंग का उपयोग किया जाता है।

लेख में दृष्टिकोण के विचार प्रस्तुत किए गए हैं:

• जे। फिलबिन, ओ। चुम, एम। इसार्ड, जे। सिविक और ए। ज़िसरमैन। बड़े शब्दसंग्रह और तेजी से स्थानिक मिलान के साथ ऑब्जेक्ट पुनर्प्राप्ति। CVPR, 2007 में
• जे सिविक और ए। ज़िसरमैन। वीडियो google: वीडियो में ऑब्जेक्ट मिलान के लिए एक टेक्स्ट पुनर्प्राप्ति दृष्टिकोण। ICCV, 2003 में।
• बड़े पैमाने पर छवि डेटासेट्स के लिए एक मिलान ग्राफ पर जेम्स फिलबिन जोसेफ सिविक एंड्रयू ज़िसरमैन ज्यामितीय अव्यक्त डिरिचलेट आवंटन (आइटम 3.1, 3.2)

चित्र-अनुरोध से छवियों को खोजने के लिए हम जिस विधि का उपयोग करते हैं, वह उपरोक्त पारंपरिक दृष्टिकोण के समान है। हालांकि, स्थानीय विशेषताओं के सापेक्ष स्थिति के सत्यापन के लिए महत्वपूर्ण कम्प्यूटेशनल संसाधनों की आवश्यकता होती है। और यैंडेक्स खोज इंडेक्स में संग्रहीत छवियों के विशाल संग्रह द्वारा खोज करने के लिए, हमें समस्या को हल करने के लिए अधिक प्रभावी तरीके खोजने थे। हमारी अनुक्रमण विधि उन छवियों की संख्या को काफी कम कर सकती है जिन्हें नमूना (अनुरोध) के लिए प्रासंगिक माना जा सकता है।

उम्मीदवारों के लिए खोज के हमारे कार्यान्वयन में कुंजी अधिक भेदभावपूर्ण विशेषताओं, एक विशेष सूचकांक संरचना को अनुक्रमित करने के लिए दृश्य शब्दों को अनुक्रमित करने से संक्रमण है।

उम्मीदवारों के चयन के लिए दो तरीके समान रूप से अच्छे साबित हुए हैं:

1. उच्च-स्तरीय सुविधाओं या दृश्य वाक्यांशों (वाक्यांशों) को अनुक्रमित करना। वे दृश्य शब्दों और मापदंडों का एक संयोजन हैं जो छवि की संबंधित स्थानीय विशेषताओं की सापेक्ष स्थिति और अन्य रिश्तेदार विशेषताओं को चिह्नित करते हैं।
2. एक बहु-सूचकांक जहां कुंजी विवरणकर्ताओं (उत्पाद परिमाणीकरण) के परिमाणित भागों से बना होता है। विधि प्रकाशित हुई थी: download.yandex.ru/company/cvpr2012.pdf

सत्यापन के दौरान, हम छवियों के बीच क्लस्टरिंग परिवर्तनों के अपने स्वयं के कार्यान्वयन का उपयोग करते हैं।

अब हम एक स्तर ऊपर जाएंगे और उत्पाद लेआउट पर एक नज़र डालेंगे।

1. उपयोगकर्ता की तस्वीर अस्थायी भंडारण में समाप्त होती है।
2. वहां से, छवि की एक छोटी प्रति डेमॉन में गिरती है, जहां वर्णनकर्ता और दृश्य शब्दों की गणना छवि के लिए की जाती है और उनसे एक खोज क्वेरी बनाई जाती है।
3. अनुरोध को पहले औसत खोज के लिए भेजा जाता है और वहां से इसे मूल खोजों के अनुसार वितरित किया जाता है। प्रत्येक आधार खोज में कई चित्र हो सकते हैं।
4. मिली छवियों को वापस मध्यम मेटासर्च में भेजा जाता है। वहां परिणाम विलीन हो जाते हैं, और परिणामी सूची को उपयोगकर्ता को दिखाया जाता है।

प्रत्येक मूल खोज सूचकांक के अपने हिस्से के साथ काम करती है। यह प्रणाली की मापनीयता सुनिश्चित करता है: सूचकांक के विकास के साथ, नए टुकड़े और मूल खोज के नए प्रतिकृतियां जोड़ी जाती हैं। और गलती सहिष्णुता बुनियादी खोजों और सूचकांक अंशों के दोहराव द्वारा प्रदान की जाती है।

और एक और महत्वपूर्ण बारीकियों। जब हमने खोज दक्षता बढ़ाने के लिए, छवियों के अपने खोज सूचकांक का निर्माण किया, तो हमने पहले से ही नकली छवियों के बारे में ज्ञान का उपयोग किया। हमने इसका उपयोग इस तरह से किया कि हमने डुप्लिकेट के प्रत्येक समूह से केवल एक प्रतिनिधि लिया और इसे चित्र में खोज सूचकांक में शामिल किया। तर्क सरल है: यदि चित्र अनुरोध के लिए प्रासंगिक है, तो उसकी सभी प्रतियां एक ही प्रासंगिक उत्तर होंगी।







इस संस्करण में, हमें छवि की केवल प्रतियां मिलने की उम्मीद थी, या तो पूरी तरह से लोड की गई तस्वीर से मेल खा रही थी, या मिलान वाले टुकड़े थे। लेकिन अब हमारा समाधान सामान्यीकरण करने की क्षमता दिखाता है: कभी-कभी केवल एक ही तस्वीर नहीं होती है, बल्कि एक और तस्वीर होती है, लेकिन एक ही वस्तु होती है। उदाहरण के लिए, यह अक्सर वास्तुकला में ही प्रकट होता है।











सामग्री द्वारा चित्र खोजने का यह हमारा पहला चरण है। बेशक, हम ऐसी तकनीकों का विकास करेंगे और उनके आधार पर नए उत्पाद बनाएंगे। और इसलिए कुछ, लेकिन हमारे पास इसके लिए पर्याप्त विचार और इच्छाएं हैं।