क्षेत्र-स्तरीय OCR इसके लिए क्या है?

हमने पहले से ही एबीबीवाई क्लाउड ओसीआर एसडीके नामक एक शांत चीज की घोषणा की । यह धीरे-धीरे लोकप्रियता प्राप्त कर रहा है - दूसरे दिन, सेवा ने एक लाखवें पृष्ठ को मान्यता दी। यह वर्तमान और भविष्य के उपयोगकर्ताओं की ओसीआर साक्षरता में सुधार करने का एक अच्छा कारण प्रतीत होता है। तो चलिए शुरू करते हैं।

आज हम दो प्रकार की मान्यता के अस्तित्व के बारे में बात करेंगे - पूर्ण पृष्ठ ओसीआर और फील्ड-स्तरीय ओसीआर । ये दृष्टिकोण न केवल कीमत में भिन्न हैं, बल्कि उनके बीच मूलभूत अंतर हैं कि उनकी आवश्यकता क्यों है। दुर्भाग्य से, सभी नौसिखिया ओसीआर डेवलपर्स इन मतभेदों को नहीं समझते हैं, और गलतियों से सीखने के लिए मजबूर हैं। इसके अलावा, डेटा कैप्चर बाजार में कई बड़े और जाने-माने खिलाड़ी अभी भी सिंगल-पास एल्गोरिथम का उपयोग करना जारी रखते हैं, जहां मल्टी-पास अच्छा है (यानी फील्ड-स्तर के बजाय पूर्ण पृष्ठ ओसीआर)। उनके व्यवहार के कारण सामान्य हैं: आवेदन कई साल पहले लिखा गया था, और यह उनके लिए वास्तुकला, यूआई को फिर से तैयार करने और अपने सहयोगियों को फिर से प्रशिक्षित करने के लिए बहुत महंगा है। और वे इसके लिए मान्यता गुणवत्ता के क्षेत्र में प्रतिबंधों के साथ भुगतान करने के लिए मजबूर हैं।

फ़ील्ड-स्तरीय ओसीआर की आवश्यकता उस समय पैदा होती है जब हम दस्तावेज़ से कुछ उपयोगी डेटा निकालना चाहते हैं। इस उद्योग की अग्रणी प्रसंस्करण परिदृश्य को आमतौर पर डेटा कैप्चर कहा जाता है। उदाहरण के लिए, हम काउंटरपार्टी कंपनी का नाम, भुगतान की जाने वाली राशि और उसके द्वारा भुगतान किए जाने की तारीख से इनवॉइस निकालना चाहते हैं। इसके अलावा, ऐसे दस्तावेजों पर कई मात्राएँ और तिथियां हैं, और यहाँ यह महत्वपूर्ण है कि याद न करें और सही चुनें। इस तथ्य के परिणामों की कल्पना करें कि उदाहरण के लिए, भुगतान करते समय, बिल की राशि के बजाय, एक फोन नंबर का उपयोग किया जाएगा।

आमतौर पर ऐसे दस्तावेजों के प्रसंस्करण की प्रक्रिया इस तरह दिखाई देती है:


संसाधित किए जा रहे दस्तावेजों के प्रकार के आधार पर, विभिन्न क्षेत्र खोज विधियों को लागू किया जा सकता है। सबसे सरल मामले में - मशीन-पठनीय रूप जो "गैप में मेल खाता है", खेतों के निर्देशांक पहले से ज्ञात हैं, यह केवल टेम्पलेट के साथ शीट को संयोजित करने के लिए रहता है, जिसके लिए विभिन्न "फ्रेम" का उपयोग किया जाता है, जैसे कि ये काले निशान।


चालानों के मामले में, यह विधि अब काम नहीं करती है। यहां अधिक जटिल तरीके लागू किए जाते हैं, जो "इनवॉइस #", "नियत तारीख:" जैसे कीवर्ड की खोज पर आधारित होते हैं, और पहले से ही उनसे शुरू होकर, दस्तावेज़ पर ज़ोन परिभाषित किए जाते हैं जिसमें आवश्यक फ़ील्ड स्थित हैं। इस मामले में, प्रारंभिक ज्ञान किसी दी गई कंपनी के चालान का आमतौर पर कैसे उपयोग किया जाता है, इसके बारे में।



इस समय, जब हमने पहले ही खेतों का स्थान निर्धारित कर लिया है या (फ्लेक्सीकैपर की तरह सबसे उन्नत प्रणालियों में) खेतों के स्थान की कई संभावित परिकल्पनाएँ - यह निर्णय लेने का समय है - हम इन क्षेत्रों के पाठ को कैसे निकालेंगे।

मान लीजिए कि हमने खेतों का स्थान सही ढंग से निर्धारित किया है, और कुल राशि क्षेत्र में हमारे पास अभी भी राशि है, न कि फोन नंबर। लेकिन हमारे पास अभी भी "$ 1.000.00" डॉट को गलत जगह पर रखने का एक अच्छा मौका है, या बस अल्पविराम पर ध्यान नहीं देना है, और एक हजार डॉलर के बजाय सौ हजार का भुगतान करना है। यही कारण है कि इस तरह के डेटा की निकासी आमतौर पर बेहद गंभीरता से ली जाती है, और सवाल "मान्यता त्रुटियों के कितने प्रतिशत" पहले से ही "मैनुअल सत्यापन के लिए कितना समय की आवश्यकता है" सवाल से बदल दिया जाता है। यहां प्रौद्योगिकी की गुणवत्ता को अब गलत पात्रों की संख्या में नहीं मापा जाता है, लेकिन सिस्टम मान्यता त्रुटियों को सही करने के लिए आवश्यक मैनुअल श्रम की मात्रा में है। इसके अलावा, यह न केवल मान्यता की सटीकता के साथ जुड़ा हुआ है, बल्कि सही ढंग से "कुछ इस प्रतीक के बारे में मुझे यकीन नहीं है" कहने की क्षमता के साथ जुड़ा हुआ है, लेकिन यह एक अलग लेख के लिए एक विषय है।

जैसा कि मैंने कहा, अनुप्रयोगों का एक वर्ग है जो केवल एक पास का उपयोग करता है। पहले से ही दस्तावेज़ के प्रकार को निर्धारित करने के चरण में, पृष्ठ को पूरी तरह से मान्यता प्राप्त है। इसका पाठ दस्तावेज़ के प्रकार पर निर्णय लेने के लिए आधार के रूप में कार्य करता है (उदाहरण के लिए, किसी दिए गए प्रकार के लिए विशिष्ट कीवर्ड की खोज करके), और फिर सहायक तत्वों की खोज करना और खेतों का स्थान निर्धारित करना। और उसी पाठ का उपयोग अंततः खेतों से डेटा निकालने के लिए किया जाता है।

हमारी राय में, इस समय यह एक बार फिर से विशिष्ट क्षेत्रों को पहचानने के लिए समझ में आता है, लेकिन पहले से ही मान्यता मापदंडों को और अधिक सटीक रूप से निर्धारित करता है। तथ्य यह है कि मान्यता प्राप्त मूल्यों के संभावित सेट को महत्वपूर्ण रूप से सीमित करके, हम अनिश्चित मान्यता प्राप्त वर्णों की मान्यता और निर्धारण दोनों की सटीकता में काफी वृद्धि कर सकते हैं। नतीजतन, यह सिस्टम के मुख्य पैरामीटर को सकारात्मक रूप से प्रभावित करता है - प्रवेश और प्रसंस्करण के लिए मैनुअल श्रम की मात्रा।

विशेष रूप से, यह जानते हुए कि अब हम किस क्षेत्र को पहचानेंगे, हम निम्नलिखित मापदंडों को निर्धारित कर सकते हैं:

· तारीखों, राशियों, बैंक विवरणों, और इसी तरह के लिए एक नियमित अभिव्यक्ति या विशेष भाषा सेट करें।

यदि इस क्षेत्र में पाठ मानों (कंपनी का नाम, नामकरण, आदि) का एक सीमित सेट है, तो संभावित मूल्यों के शब्दकोश को परिभाषित करें।

· टेक्स्ट सेगमेंटेशन के लिए पैरामीटर सेट करें (एक पंक्ति या कई, मोनोसेप्ड टेक्स्ट या नहीं, आदि)

यदि फ़ील्ड एक विशेष फ़ॉन्ट जैसे OCR-A , आदि में मुद्रित हो तो पाठ के प्रकार को निर्दिष्ट करें।

· विशेष छवि प्रसंस्करण सेटिंग्स लागू करें (उदाहरण के लिए, यदि पाठ स्वयं एक अलग रंग में मुद्रित होता है, या इसे अक्सर संगठन की मुहर या सेटिंग मिलती है)

सिद्धांत रूप में, यह सभी सेटिंग विभिन्न स्वचालन को बंद करना है, जो किसी भी उच्च-गुणवत्ता वाले ओसीआर में है, और लगभग हमेशा सही ढंग से काम करता है। लेकिन जैसा कि मैंने कहा, DataCapture स्क्रिप्ट में पर्याप्त गुणवत्ता स्तर नहीं है "लगभग हमेशा सही ढंग से काम करता है।" इस "व्यावहारिक रूप से" की उपस्थिति इस तथ्य की ओर ले जाती है कि मान्यता परिणामों को पहले स्वचालित नियमों द्वारा, और फिर ऑपरेटरों द्वारा मैन्युअल रूप से जांच की जाती है, और कभी-कभी कई चरणों में, क्योंकि लोग, दुर्भाग्य से, "लगभग कभी गलती नहीं करते हैं"।

आइए ऐसे एक उदाहरण को देखें। उदाहरण के लिए, स्कैन की गई नकद रसीद।



यदि आप बारीकी से देखें, तो हम देखेंगे कि यह ओसीआर के लिए एक वास्तविक दुःस्वप्न है। पत्र एक साथ अटक जाते हैं और पूरी तरह से अंकित नहीं होते हैं।



फिर भी, आधुनिक ओसीआर प्रौद्योगिकियां इससे निपट सकती हैं। अगर हम इसे ABBYY FineReader 11 में खोलते हैं और इसे डिफ़ॉल्ट सेटिंग्स के साथ पहचानते हैं, तो हम देखेंगे कि इस डरावनी चीज़ से भी कुछ निकाला जा सकता है। सामान्य तौर पर, उन्होंने अच्छी तरह से मुकाबला किया, हालांकि उन्होंने बहुत सारी गलतियाँ कीं। विशेष रूप से, उस हिस्से में जो हमारे लिए विशेष रूप से रुचि रखता है - माल और कीमत के साथ तालिका, मूल्यों में से एक को "$ 0.00" के बजाय "$ o.ce" के रूप में मान्यता दी गई थी।



लेकिन क्यों, आप कहते हैं? आखिरकार, यह स्पष्ट है कि यह "$ 0.00" है! लेकिन आपके लिए यह स्पष्ट क्यों है? क्योंकि आप छवि को देख रहे हैं, यह समझें कि यह एक नकद रसीद है, और केंद्र में एक तालिका है, और तालिका के तीसरे स्तंभ में संख्याएं हैं, अब्रकदबरा नहीं। लेकिन ओसीआर कार्यक्रम यह कैसे जान सकता है? आखिरकार, बाएं कॉलम में, आप "5UAMM575" जैसे पूर्ण जिबरिश देख सकते हैं, वे तीसरे में भी क्यों नहीं मिलते हैं? कार्यक्रम खरीदारी के लिए नहीं जाता है, और खरीदारी नहीं करता है, और डिफ़ॉल्ट सेटिंग्स के साथ एक ग्लैमरस लेआउट के साथ चेक, समाचार पत्र और पत्रिका लेख दोनों में प्रवेश करने की उम्मीद करना समान रूप से संभव है। दो-पास एल्गोरिथ्म के मामले में, हम निर्धारित करते हैं कि, आम तौर पर बोल रहा है, यह एक चेक है, इसके अलावा हम इसकी संरचना निर्धारित कर सकते हैं, और यह भी याद रखें कि ए जे ऑटो डिटेलिंग इंक चेक के लिए, फॉरमेट $ XXX.XX और कोई अक्षर हमेशा तीसरे कॉलम में नहीं है। वहाँ नहीं हो सकता। इस प्रकार, केवल इन क्षेत्रों को फिर से पहचानना, उचित प्रतिबंध स्थापित करना (उदाहरण के लिए, एक नियमित अभिव्यक्ति के माध्यम से), हमें ऐसी त्रुटियों से छुटकारा पाने की गारंटी है।

एक-पास एल्गोरिथ्म के मामले में, हम पूरी तरह से स्वचालन पर भरोसा करने के लिए मजबूर हैं, और व्यापक संभव छवि प्रसंस्करण सेटिंग्स सेट करते हैं, क्योंकि यह न केवल इन क्षेत्रों को पहचानना आवश्यक है, बल्कि बाकी के पाठ, साथ ही सभी प्रकार के दस्तावेजों के लिए, और सभी एक के लिए। समय। यह एक गंभीर सीमित कारक है, जो डेवलपर्स बाद के प्रसंस्करण और परिणामों के सत्यापन के लिए अधिक बुद्धिमान नियमों के साथ क्षतिपूर्ति करने की कोशिश कर रहे हैं, मैनुअल सत्यापन आदि की एक अधिक कुशल प्रक्रिया। यह सब, ज़ाहिर है, यह भी महत्वपूर्ण है, लेकिन अगर तुरंत त्रुटियों की संख्या को काफी कम करने का अवसर है, तो लाभ क्यों नहीं उठाएं?

अगर, सामानों की कीमतों के अलावा, हम उनके नामकरण में भी रुचि रखते हैं, तो इस आपूर्तिकर्ता के लिए उपलब्ध नामकरण के शब्दकोश को जोड़कर, आप इन क्षेत्रों से भी गुजर सकते हैं, डेटा की गुणवत्ता में काफी सुधार कर सकते हैं। लेकिन डिक्शनरी को तुरंत कनेक्ट क्यों नहीं किया? लेकिन सबसे पहले, हम आपूर्तिकर्ता को भी नहीं जानते हैं, जिसका अर्थ है कि हमें सभी आपूर्तिकर्ताओं के सभी शब्दकोशों को एक साथ जोड़ना होगा, और इससे परिणाम केवल खराब हो सकता है।

वैसे, प्रसंस्करण समय का तर्क आमतौर पर इस विवाद में दिया जाता है, क्योंकि वे दूसरे पास का उपयोग नहीं करते हैं। लेकिन तथ्य यह है कि बस यह तर्क दो-पास मान्यता के पक्ष में है, और इसीलिए। बार-बार मान्यता के साथ, मूल दस्तावेज़ के क्षेत्र का एक नगण्य हिस्सा संसाधित होता है, और यहां तक ​​कि स्वचालन का एक अच्छा अनुपात बंद हो जाता है और मैनुअल मोड में बदल जाता है। यदि मान्यता किसी स्थानीय सर्वर पर होती है, तो पहले पास के समय की तुलना में अतिरिक्त मान्यता पास के लिए समय गायब हो जाता है। हालांकि, दो-पास के परिदृश्य में, पहले पास का उपयोग केवल संदर्भ पाठ और वर्गीकरण निकालने के लिए किया जाता है जो कि फजी तुलना एल्गोरिदम के उपयोग के माध्यम से मान्यता त्रुटियों के लिए सहनशील हैं। पाठ स्वयं सीधे परिणामों पर नहीं जाता है, जिसका अर्थ है कि सावधानीपूर्वक मान्यता मोड के बजाय, आप तेजी से उपयोग कर सकते हैं, जिससे समय को दो या अधिक बार कम किया जा सकता है।

क्लाउड में मान्यता के मामले में, वास्तव में, हमें एक के बजाय सर्वर पर दो कॉल करने होंगे। लेकिन इस मामले में भी, उच्च गुणवत्ता प्राप्त करने की क्षमता के बारे में तर्क मान्य रहता है।

एसडीके टीम ब्लॉग पर अंग्रेजी में मूल लेख।

एंड्रे इसेव,
डेवलपर उत्पाद के निदेशक।