उनकी उपस्थिति और सामग्री द्वारा दस्तावेजों का वर्गीकरण

आज हम आपको बताएंगे कि विभिन्न प्रकार के दस्तावेज़ों को उनके प्रकारों से अलग करने और क्रमबद्ध करने के लिए कैसे और क्यों वर्गीकृत किया जा सकता है।

प्रोग्रामर, भाषाविदों, विश्लेषकों और अन्य विभिन्न उपयोगी लोगों के अलावा, ABBYY के कई क्लासिफायरियर हैं। बेशक, क्लासिफायर लोग नहीं हैं, लेकिन एल्गोरिदम हैं, लेकिन वे काम करते हैं जिसके बिना उच्च-गुणवत्ता वाले पाठ की पहचान असंभव है। आप प्रसंस्करण दस्तावेजों के सबसे अलग-अलग चरणों में उनके बिना नहीं कर सकते हैं - चित्रों में पाठ वाले क्षेत्रों को खोजने से लेकर पाठ के अनुरूप विशिष्ट वर्णों को पहचानने के लिए।

लेकिन क्लासिफायर का काम वहां खत्म नहीं होता है। वे दस्तावेजों के पैकेज की प्रक्रिया भी कर सकते हैं और उन्हें दस्तावेजों के प्रकार के आधार पर "ढेर में" व्यवस्थित कर सकते हैं।

एक कार बीमा कंपनी के एजेंटों के काम की कल्पना करें। प्रत्येक बीमा दुर्घटना के लिए, एक एजेंट को उस स्थान के लिए छोड़ना चाहिए, जिसका कार्य क्लाइंट और बीमित घटना के बारे में डेटा को स्पष्ट करना है। एक नियम के रूप में, एक एजेंट कैमरे से लैस होता है और एक कार, एक बीमा पॉलिसी, एक रसीद, ट्रैफ़िक पुलिस से एक प्रमाण पत्र और अन्य आवश्यक दस्तावेजों की तस्वीरें लेता है।

फिर, पहले से ही कार्यालय में, कैमरे से डेटा को बीमा कंपनी सिस्टम में डंप किया जाता है और प्रसंस्करण में स्थानांतरित किया जाता है। एजेंट कैमरे को सिस्टम से जोड़ता है, और यह सभी चित्रों को लेता है, साथ ही साथ क्लासिफायर का उपयोग करके स्वचालित रूप से उनका पता लगाने और उन्हें चिह्नित करता है - यह मशीन की एक तस्वीर है, यह एक रसीद की एक तस्वीर है, और यह एक प्रमाण पत्र और इसी तरह है। और दस्तावेजों की तस्वीरें तुरंत उनके प्रसंस्करण के लिए जिम्मेदार लोगों को भेजी जाती हैं।

इस मामले में क्लासिफायर का उपयोग सिस्टम को थोड़ा चालाक बनाता है - जब किसी प्रकार के दस्तावेज़ की तस्वीर खींचते हैं, तो आपको फिर से यह सूचित करने की आवश्यकता नहीं है कि आप दस्तावेज़ की तस्वीर खींच रहे हैं और कहते हैं कि इस पर क्या दिखाया गया है।

या कोई और मामला।

आपने इबीसा और ओह नरक के लिए एक टिकट खरीदा, आपको वीजा प्राप्त करने के लिए जाना होगा। उन्हें सेंटीमीटर मोटाई के दस्तावेजों के एक बंडल की आवश्यकता होगी, जो दर्शाता है कि आप सफेद और शराबी हैं और अचानक अवैध प्रवासी में बदलने की योजना नहीं बनाते हैं। फिर खिड़की में लड़की लंबे समय तक आपके दस्तावेजों को स्थानांतरित करेगी, उन्हें सही क्रम में रखेगी, और फिर उन्हें सही क्रम में वाणिज्य दूतावास में स्थानांतरित कर देगी, जहां वे आपको वीजा जारी करेंगे।
और यदि आप क्लासिफायर लागू करते हैं, तो आप इस पूरे बंडल को ले सकते हैं, इसे एक स्ट्रीम स्कैनर में डाल सकते हैं, जल्दी से इसे स्कैन कर सकते हैं, और आपको दस्तावेज़ के प्रकार (आवेदन, बैंक प्रमाण पत्र, रोजगार का प्रमाण पत्र, पासपोर्ट की प्रतिलिपि, आदि) द्वारा सॉर्ट किया जाएगा। मिश्रित, देखने और प्रक्रिया के लिए एक खुशी। परिणामस्वरूप - ग्राहक प्रतीक्षा समय को कम करना, सामान्य रूप से सस्ता प्रसंस्करण, सभी पक्षों से प्लसस।

और अंतिम उदाहरण। सोचिए कि आपके फोन का कैमरा ऐप थोड़ा स्मार्ट हो जाएगा। आप किसी चीज़ की तस्वीरें लेते हैं, और उसके बाद फ़ोन इमेज का विश्लेषण करता है और आपको फ्रेम में जो मिला है, उसके आधार पर आपको एक्शन देता है। यदि आपके पालतू जानवर की एक छवि है, तो आपको इसे लाइब्रेरी में रखने या दोस्तों के साथ तस्वीर साझा करने की पेशकश की जाएगी। यदि कोई व्यवसाय कार्ड है, तो आपको फोन बुक में संपर्क विवरण रखने की पेशकश की जाती है। और अगर आप चेक की एक तस्वीर लेने का फैसला करते हैं, और यह रेस्तरां से एक चेक के रूप में निकलता है, तो फोन आपको बताएगा कि कितने सुझावों को छोड़ा जा सकता है और कार्यक्रम में राशि को याद रखें जो आपके खर्चों को आगे बढ़ा रही है।

यह भविष्य से एक फ्रेम नहीं है, लेकिन हमारी प्रौद्योगिकियों के अगले संस्करण में आज उपलब्ध तकनीक है।

इस प्रकार, यदि कहीं आपको विभिन्न प्रकार के दस्तावेज़ों में से किसी एक को खोजने की आवश्यकता है, या, इसके विपरीत, यह समझें कि आपके सामने किस प्रकार का दस्तावेज़ है, तो आप एक क्लासिफायरियर का उपयोग कर सकते हैं जो दस्तावेज़ों को प्रकार से अलग करता है।

अब क्लासिफायर की व्यवस्था कैसे की जाती है, इसके बारे में कुछ शब्द।

ऐसी मशीन को काम करने के लिए, क्लासिफायर को पहले प्रशिक्षित करना होगा। आप प्रत्येक प्रकार का प्रतिनिधित्व करने वाले दस्तावेजों का एक छोटा डेटाबेस उठाते हैं जिसे आप परिभाषित करते हैं। यदि आप जिन दो दस्तावेजों को परिभाषित करना चाहते हैं, वे काफी समान हैं, उदाहरण के लिए, एक ही प्रकार के प्रश्नावली के मामले में, जो विभिन्न लोगों द्वारा भरा जाता है, प्रशिक्षण के लिए आपको आमतौर पर इस प्रकार के एक दस्तावेज की आवश्यकता होगी।

इस बेस की मदद से आप क्लासिफायर ट्रेन करते हैं। फिर आप एक और आधार लेते हैं, उस पर क्लासिफायर के ऑपरेशन की जांच करते हैं, और यदि परिणाम आपको सूट करते हैं, तो आप क्लासिफायर को "लड़ाई" में शुरू कर सकते हैं।

जब काम और प्रशिक्षण करते हैं, तो क्लासिफायरचर एक सेट का उपयोग करता है जो एक प्रकार के दस्तावेजों को दूसरे प्रकार के दस्तावेजों से अलग करने में मदद करता है। सभी संकेतों को ग्राफिक और टेक्स्टुअल में विभाजित किया जा सकता है।

ग्राफिक सुविधाओं के दस्तावेजों को अच्छी तरह से विभाजित करते हैं जो एक दूसरे से बहुत अलग हैं। अपेक्षाकृत बोलना, यदि आप किसी दस्तावेज़ को इस तरह से दूर से देखते हैं कि आप उस पर पाठ नहीं पढ़ सकते हैं, लेकिन आप समझ सकते हैं कि यह किस प्रकार का है, तो ग्राफिक संकेत यहाँ अच्छी तरह से काम करेंगे।

इसलिए, ग्राफिक संकेत निरंतर और गैर-निरंतर पाठ को अच्छी तरह से अलग कर सकते हैं, उदाहरण के लिए, पत्र और भुगतान रसीद। वे छवि के आकार, उसके विभिन्न भागों में रंगों के घनत्व, ऊर्ध्वाधर और क्षैतिज रेखाओं जैसे विभिन्न अन्य विशिष्ट तत्वों को देखते हैं।
और यदि दस्तावेज़ दिखने में समान हैं, या एक समूह, पाठ को पढ़े बिना, दूसरे समूह से अलग नहीं किया जा सकता है, तो पाठ विशेषताएँ मदद करती हैं। वे स्पैम फ़िल्टर में उपयोग किए जाने वाले समान हैं और यह निर्धारित करने के लिए कि क्या कोई दस्तावेज़ एक या किसी अन्य प्रकार का है, यह निर्धारित करने के लिए विशेषता शब्दों का उपयोग करने देता है। पाठ विशेषताओं की सहायता से, अनुबंधों से पत्र को अलग करना, व्यवसाय कार्ड से सटीक रूप से चेक करना सुविधाजनक है।

इसके अलावा, पाठ विशेषताएँ एक समान प्रकार के दस्तावेज़ों को अलग करने में मदद करती हैं, लेकिन एक या एक से अधिक क्षेत्रों के मूल्य में अंतर करती हैं। उदाहरण के लिए, मैकडॉनल्ड्स और टेरेमक के चेक दिखने में बहुत समान हैं, लेकिन यदि आप उन्हें पाठ के रूप में मानते हैं, तो अंतर बहुत ध्यान देने योग्य होंगे।
नतीजतन, प्रत्येक प्रशिक्षण नमूने के लिए क्लासिफायरियर उन पाठ्य या ग्राफिक विशेषताओं के लिए अधिक वजन देता है जो इस नमूने से दस्तावेज़ों को प्रकार से अलग करने का सबसे अच्छा तरीका देते हैं।

हमारे परीक्षण और हमारे ग्राहकों के परीक्षणों पर, प्रकार द्वारा दस्तावेज़ क्लासिफायर खुद को काफी अच्छी तरह से दिखाता है। प्रति प्रकार एक छवि पर भी सीखने में सक्षम, यह आपको प्रोसेसर कोर प्रति 120 पृष्ठों की गति के साथ दस्तावेजों को वर्गीकृत करने की अनुमति देता है, जिससे एक ही समय में 1% से भी कम त्रुटियां होती हैं। हम वास्तव में इसे पसंद करते हैं। मैं चाहूंगा कि आप उसे वास्तविक युद्ध स्थितियों में अपना काम देखें।

इस लेख में वर्णित सभी परिदृश्य ABBYY FineReader Engine 11 में उपलब्ध क्लासिफायरियर का उपयोग करके लागू किया जा सकता है। यदि आपके पास अन्य परिदृश्य हैं, जिसमें क्लासिफायर का उपयोग आपकी समस्या को हल करने में मदद कर सकता है, तो हमें लिखें । हम आपकी मदद करने की कोशिश करेंगे।

वसीली पानफेरोव
डेवलपर उत्पाद विभाग