एवरनोट में खोज इंजन अनुक्रमण

एवरनोट की अनुक्रमण प्रणाली को एवरनोट की खोज क्षमताओं का विस्तार करने और मीडिया खोजों को प्रदान करने के लिए डिज़ाइन किया गया है। इसका काम इन फाइलों की सामग्री की जांच करना और उनमें पाए जाने वाले किसी भी पाठ की जानकारी का पता लगाना है। वर्तमान में, यह छवियों और पीडीएफ फाइलों, साथ ही डिजिटल स्याही को संसाधित करता है, लेकिन हमारे पास अनुक्रमण और अन्य प्रकार की मीडिया फ़ाइलों का समर्थन करने की योजना है। परिणामी सूचकांक को एक्सएमएल या पीडीएफ दस्तावेज़ के रूप में प्रदर्शित किया जाता है और इसमें मान्यता प्राप्त शब्द, वैकल्पिक मान्यता विकल्प, साथ ही दस्तावेज़ में पाए गए शब्दों के निर्देशांक (बाद में हाइलाइटिंग के लिए) होते हैं।

अनुक्रमण प्रणाली को समर्पित डेबियन 64 सर्वरों के एक खेत के रूप में लागू किया जाता है, जिनमें से प्रत्येक AMP (अतुल्यकालिक मीडिया प्रोसेसर) प्रबंधन सेवा और कई ENRS (एवरनोट रिकॉग्निशन सर्वर) प्रक्रियाओं को चलाता है - आमतौर पर प्रोसेसर की कुल संख्या से। ENRS को Java6 में एक वेब सर्वर एप्लिकेशन में पैक किए गए देशी पुस्तकालयों के एक सेट के रूप में लागू किया गया है। अब इसमें दो घटक शामिल हैं, कोडित AIR और ANR। पहली विभिन्न प्रकार की छवियों और पीडीएफ को संसाधित करता है, और दूसरा डिजिटल स्याही को अनुक्रमित करने के लिए डिज़ाइन किया गया है। एएमपी HTTP रीस्ट एपीआई के माध्यम से सर्वरों के साथ संचार करता है, जो बड़ी फ़ाइलों को स्थानांतरित करते समय उच्च थ्रूपुट को बनाए रखते हुए लचीले सिस्टम कॉन्फ़िगरेशन की अनुमति देता है।

AMP क्लस्टर डेटा (उपयोगकर्ता) को उपयोगकर्ता डेटा संग्रहीत करने वाले स्रोत संसाधन प्राप्त करता है, और बनाए गए अनुक्रमित को वापस लौटाता है। उन्हें एवरनोट वेब सेवा के खोज सूचकांक में शामिल किया जाएगा और मीडिया फ़ाइलों पर स्थानीय खोज को सरल बनाने के लिए कंप्यूटर और मोबाइल उपकरणों के लिए एवरनोट क्लाइंट के लिए सिंक्रनाइज़ किया जाएगा। शार्क को अतिरिक्त ट्रैफ़िक को कम करने के लिए, एएमपी प्रोसेसर, जो पहले से ही उपयोगकर्ता के अनुरोधों को पूरा करने में व्यस्त हैं, बदले में एक दूसरे को सूचना प्रसारित करते हैं। इस प्रकार, एक वितरित मीडिया सामग्री हैंडलर का गठन किया जाता है, जो डाउनलोड और सेवा प्रक्रियाओं की वर्तमान प्राथमिकताओं के लिए अनुकूलित है। एवरनोट इंडेक्सिंग सिस्टम काफी स्थिर हो जाता है और तब भी काम करेगा जब प्रत्येक प्रकार का केवल एक घटक सेवा में रहता है (वर्तमान में सिस्टम में 37 एएमपी प्रोसेसर और 500 से अधिक सर्वर ENRS प्रक्रियाएं शामिल हैं जो प्रति दिन लगभग 2 मिलियन मीडिया फ़ाइलों के साथ सौदा करती हैं)।



ENRS सर्वर में AIR घटक पर एक करीब से नजर डालते हैं। वैचारिक रूप से, AIR मान्यता पारंपरिक OCR सिस्टम से अलग है, क्योंकि इसका उद्देश्य एक भी पठनीय पाठ बनाना नहीं है, बल्कि एक पूर्ण खोज सूचकांक है। इसका मतलब है कि हम किसी भी न्यूनतम स्वीकार्य गुणवत्ता वाले चित्रों की अधिकतम संख्या को खोजने का प्रयास करते हैं, जिसमें अपूर्ण, अस्पष्ट और शब्दों की फ़ोकस छवियों से बाहर निकलने के लिए वैकल्पिक पढ़ने के विकल्प भी शामिल हैं।

वास्तविक दुनिया से छवियों को पहचानते समय, AIR सर्वर उन्हें कई दृष्टिकोणों में संसाधित करता है, हर बार विभिन्न धारणाएं बनाता है। छवि बहुत बड़ी हो सकती है, लेकिन इसमें केवल कुछ शब्द होते हैं। इसमें चित्र में बिखरे हुए शब्द और अंतरिक्ष में अलग-अलग उन्मुख शब्द भी हो सकते हैं। एक ही खंड में फ़ॉन्ट बहुत छोटे या बड़े हो सकते हैं। पाठ वैकल्पिक हो सकता है: एक सफेद पृष्ठभूमि पर काला और तुरंत काला पर सफेद। यह विभिन्न भाषाओं और वर्णमालाओं का मिश्रण हो सकता है। एशियाई भाषाओं के मामले में, क्षैतिज और ऊर्ध्वाधर पाठ लाइनों को एक क्षेत्र में दर्शाया जा सकता है। समान तीव्रता वाले फ़ॉन्ट रंग मानक OCR प्रसंस्करण के दौरान एक ही ग्रे स्तर में विलय कर सकते हैं। मुद्रित पाठ में हस्तलिखित टिप्पणियां शामिल हो सकती हैं। विज्ञापन सामग्री में मक्खी पर विकृत, तिरछे या आकार बदलने वाले पाठ हो सकते हैं। और ये केवल कुछ समस्याएं हैं जो AIR सर्वर अब दिन में लगभग 2 मिलियन बार सामना करते हैं।



नीचे एक AIR सर्वर के सिंगल "पास" का आरेख है। कॉल के मापदंडों के आधार पर, इस तरह का एक मार्ग कुछ प्रकार के प्रसंस्करण (आकार, अभिविन्यास, आदि) में विशेषज्ञ होगा, लेकिन मूल योजना एक ही रहती है। यह प्रसंस्करण के लिए छवियों के एक सेट की तैयारी के साथ शुरू होता है - स्केलिंग, ग्रे के रंगों में अनुवाद, बिनाराइजेशन। फिर, चित्रों, तालिकाओं, मार्कअप और अन्य गैर-पाठ कलाकृतियों को अधिकतम रूप से साफ किया जाना चाहिए ताकि सिस्टम विशिष्ट शब्दों पर ध्यान केंद्रित कर सके। एक बार इच्छित शब्दों को परिभाषित करने के बाद, उन्हें टेक्स्ट स्ट्रिंग्स और ब्लॉक में एकत्र किया जाता है।

प्रत्येक ब्लॉक की प्रत्येक पंक्ति को कई मान्यता तंत्रों द्वारा संसाधित किया जाएगा - उनमें से वे हैं जो आंतरिक रूप से विकसित किए गए थे और अन्य निर्माताओं से लाइसेंस प्राप्त थे। कई तंत्रों का उपयोग न केवल इसलिए महत्वपूर्ण है क्योंकि वे विभिन्न प्रकार के पाठ और भाषाओं के विशेषज्ञ हैं, बल्कि इसलिए भी कि वे "मतदान" के कार्यान्वयन की अनुमति देते हैं। इसका तात्पर्य शब्द मान्यता के विकल्प के विश्लेषण से है, जो विभिन्न प्रसंस्करण तंत्रों के परिणाम हैं, जो आपको बड़ी संख्या में प्रस्तावित विकल्पों के कारण गलत मान्यता को बेहतर ढंग से काटने और बेहतर परिणाम प्रदान करने की अनुमति देता है। ये स्वीकृत उत्तर ही वह आधार बनेंगे, जहां से अंतिम चरण में टेक्स्ट स्ट्रिंग को फिर से बनाया जाएगा। टेक्स्ट स्ट्रिंग्स के लिए समाधान का पुन: उपयोग करना, शब्दों को खंडित करना और सबसे संदिग्ध विकल्पों को साफ करने से खोज करते समय झूठी सकारात्मकता की संख्या कम हो जाएगी।



परिणाम प्राप्त करने के लिए आवश्यक पासों की संख्या प्रारंभिक चरण में छवि रेंडरिंग और विश्लेषण मॉड्यूल द्वारा निर्धारित की जाती है, लेकिन जैसे-जैसे मान्यता प्रगति की जाती है, इस संख्या को बढ़ाया या घटाया जा सकता है। एक सादे, स्पष्ट स्कैन किए गए दस्तावेज़ के मामले में, आप अपने आप को मानक ओसीआर मान्यता प्रक्रिया तक सीमित कर सकते हैं। कम रोशनी में टेलीफोन कैमरे के साथ लिए गए एक जटिल दृश्य की तस्वीर के लिए अधिकांश पाठ डेटा निकालने के लिए पास के एक पूरे सेट के साथ गहराई से विश्लेषण की आवश्यकता हो सकती है। विषम पृष्ठभूमि पर कई रंगीन शब्दों की उपस्थिति को विशेष रूप से अलग रंग के लिए डिज़ाइन किए गए अतिरिक्त दृष्टिकोण की आवश्यकता हो सकती है। छोटे धुंधले पाठ की उपस्थिति के लिए रिवर्स डिजिटल फ़िल्टरिंग की एक महंगी विधि के उपयोग की आवश्यकता होगी, जो आपको मान्यता के लिए आगे बढ़ने से पहले पाठ को पुनर्स्थापित करने की अनुमति देता है।

जब सभी पास पूरे हो जाते हैं, तो एआईआर प्रक्रिया के एक और महत्वपूर्ण हिस्से के लिए समय आता है - परिणामों की अंतिम विधानसभा। जटिल छवियों में, विभिन्न दृष्टिकोण समान क्षेत्रों के लिए पूरी तरह से अलग व्याख्याएं बना सकते हैं। इन सभी संघर्षों को हल किया जाना चाहिए, चयनित सर्वश्रेष्ठ व्याख्याएं, सबसे गलत विकल्प को अस्वीकार कर दिया जाना चाहिए और परिणामस्वरूप, पाठ के अंतिम ब्लॉकों और लाइनों का निर्माण किया जाना चाहिए।

दस्तावेज़ की आंतरिक संरचना तैयार होने के बाद, आवश्यक आउटपुट डेटा प्रारूप बनाने के लिए अंतिम चरण रहता है। पीडीएफ दस्तावेजों के लिए, यह वही पीडीएफ है जहां छवियों को मान्यता प्राप्त शब्दों से पाठ ब्लॉक के साथ बदल दिया जाता है। अन्य आने वाले दस्तावेजों के लिए, यह एक XML इंडेक्स है जिसमें मान्यता प्राप्त शब्दों और उनके स्थान या दिशाओं की सूची या स्ट्रोक की सूची ("डिजिटल इंक" के लिए) शामिल है। यह स्थान जानकारी मूल शब्द को मूल छवि में उजागर करेगी जब उपयोगकर्ता उस दस्तावेज़ को खोजता है जिसमें वह शब्द होता है।