मोबाइल फोन के कैमरों का उपयोग करके प्राप्त छवियों पर मनमाना पाठ का पता लगाने और स्थानीयकरण

मैं कभी-कभी विभिन्न देशों की यात्रा करता हूं, और भाषा की बाधा, अक्सर, मेरे लिए एक गंभीर बाधा बन जाती है। और अगर उन देशों में जहां जर्मन समूह की भाषाओं का उपयोग किया जाता है, तो मैं किसी तरह अपना रास्ता खोज सकता हूं, लेकिन चीन, इजरायल और अरब देशों जैसे देशों में बिना किसी व्यक्ति के साथ यात्रा एक रहस्यमय खोज में बदल जाती है। स्थानीय बस / ट्रेन / ट्रेन अनुसूची को समझना असंभव है, छोटे शहरों में सड़क के नाम अंग्रेजी में बहुत कम हैं। और एक असंगत भाषा में मेनू से खाने के विकल्प के साथ समस्या आम तौर पर एक खदान के माध्यम से चलने के लिए समान है।
चूंकि मैं आईओएस के लिए एक डेवलपर हूं, इसलिए मैंने सोचा कि क्यों न इस तरह के एप्लिकेशन को लिखा जाए: आप कैमरे को साइन / शेड्यूल / मेन्यू में इंगित करते हैं और तुरंत रूसी में अनुवाद प्राप्त करते हैं।

ऐप स्टोर पर एक संक्षिप्त खोज से पता चला कि इस तरह के केवल एक या दो अनुप्रयोग हैं, और रूसी भाषा समर्थित लोगों की संख्या में शामिल नहीं है। तो, रास्ता खुला है और, आप कोशिश कर सकते हैं, ऐसे आवेदन लिखें। यह उल्लेखनीय है कि बातचीत उन अनुप्रयोगों के बारे में नहीं है जो कागज की एक सफेद शीट पर काले रंग की तस्वीर खींचते हैं और फिर इसे डिजिटाइज़ और अनुवाद करते हैं। इस तरह के अनुप्रयोग वास्तव में एक गाड़ी और एक छोटी गाड़ी हैं। यह एक ऐसा अनुप्रयोग है जो प्राकृतिक छवि पर पाठ को उजागर कर सकता है, उदाहरण के लिए, बस की तस्वीर पर, आपको रूट प्लेट पर पाठ का चयन करना होगा और इसका अनुवाद करना होगा ताकि उपयोगकर्ता समझ सके कि यह बस कहाँ जा रही है। या एक मेनू मुद्दा जो मेरे लिए प्रासंगिक है, मैं वास्तव में जानना चाहता हूं कि आप खाने के लिए क्या ऑर्डर करते हैं।

आवेदन में मुख्य कार्य पाठ का पता लगाने और स्थानीयकरण है, और फिर इसका चयन और बीसीआरकरण ओसीआर में "खिला" के लिए, उदाहरण के लिए टेसेरैक्ट। और जबकि स्कैन किए गए दस्तावेजों में पाठ का पता लगाने के लिए एल्गोरिदम लंबे समय से ज्ञात हैं और 99% सटीकता तक पहुंच चुके हैं, तस्वीरों में मनमाने आकार के पाठ का पता लगाना अभी भी अनुसंधान का एक वास्तविक क्षेत्र है। कार्य सभी अधिक दिलचस्प होगा, मैंने सोचा था, और एल्गोरिदम का अध्ययन करने के बारे में निर्धारित किया था।
स्वाभाविक रूप से, किसी भी छवि पर किसी भी पाठ को खोजने के लिए एक सार्वभौमिक एल्गोरिथ्म मौजूद नहीं है, आमतौर पर विभिन्न कार्यों के लिए अलग-अलग एल्गोरिदम का उपयोग किया जाता है, साथ ही साथ विधर्मी तरीके भी। शुरू करने के लिए, हम कार्य को औपचारिक रूप देते हैं: हमारे उद्देश्यों के लिए, ऐसा पाठ ढूंढना आवश्यक है जो आसपास की पृष्ठभूमि के साथ काफी विपरीत है, क्षैतिज रूप से स्थित है, झुकाव का कोण 20 डिग्री से अधिक नहीं है, और इसे विभिन्न आकारों और रंगों के फ़ॉन्ट में लिखा जा सकता है।

एल्गोरिदम की समीक्षा करने के बाद, मैंने सुदृढ़ीकरण करना शुरू कर दिया और पहिया ने कार्यान्वयन शुरू कर दिया । मैंने खुद को सब कुछ लिखने का फैसला किया, विषय में गहन विसर्जन के लिए, ओपेकेंश का उपयोग किए बिना। आधार तथाकथित किनारे आधारित विधि द्वारा लिया गया था। और जो मैंने समाप्त किया है।
शुरुआत में हमें बीजीआरए प्रारूप में फोन के कैमरे से छवि मिलती है।


हम इसे ग्रेस्केल में अनुवादित करते हैं और छवियों के एक गौसियन पिरामिड का निर्माण करते हैं। पिरामिड के प्रत्येक स्तर पर, हम एक निश्चित आयाम का पाठ पाएंगे। न्यूनतम स्तर पर, हम लगभग कश्मीर की 2 से k * 1 पिक्सेल की ऊंचाई के साथ फोंट का पता लगाते हैं, फिर 2 * k से 4 * k-1 तक, और इसी तरह। दरअसल, पिरामिड में 4 छवियों का उपयोग करना आवश्यक था, लेकिन हमें याद है कि हमारे पास केवल एक आईफोन है, क्वाड-कोर i7 नहीं है, इसलिए हम खुद को 3 छवियों तक सीमित कर लेंगे।


हम ऊर्ध्वाधर सीमाओं का चयन करने के लिए सोबेल ऑपरेटर को लागू करते हैं। और हम शोर को कम करने के लिए बहुत छोटे खंडों को हटाकर परिणाम को फ़िल्टर करते हैं।


सोबेल ऑपरेटर द्वारा उजागर ऊर्ध्वाधर सीमाओं के लिए, हम रूपात्मक क्लोजर ऑपरेशन को लागू करते हैं। फ़ॉन्ट की क्षैतिज चौड़ाई, और ऊर्ध्वाधर द्वारा 5. परिणाम फिर से फ़िल्टर्ड किया गया है। हम केवल वही छोड़ते हैं जो हम उस फ़ॉन्ट की ऊंचाई में फिट करते हैं जिसे हम k से 2 * k-1 के लिए देख रहे हैं, और कम से कम 3 वर्णों की लंबाई के साथ। हमें इसका परिणाम मिलता है।


हम पिरामिड के अगले स्तर के साथ समान संचालन करते हैं।


फिर हम सभी परिणामों को एक में जोड़ देते हैं। फिर चयनित क्षेत्र में हम अनुकूली बाइनाराइजेशन करते हैं और हमें ऐसी छवि मिलती है। ओसीआर में आगे की मान्यता के लिए यह पहले से ही काफी उपयुक्त है। यह देखा जा सकता है कि सबसे बड़ा फ़ॉन्ट निर्धारित नहीं किया गया था, इस तथ्य के कारण कि गॉसियन पिरामिड में एक और छवि गायब है।


नीचे अधिक जटिल चित्रों पर एल्गोरिथ्म के संचालन के उदाहरण हैं; यह देखा जा सकता है कि कुछ शोधन अभी भी आवश्यक है।
IPhone 5 पर 640x480 छवि प्रसंस्करण समय, लगभग 0.3 सेकंड।

पीएस मैं टिप्पणियों में सवालों के जवाब दूंगा, पीएम में व्याकरण संबंधी त्रुटियों के बारे में लिखूंगा।