संज्ञानात्मक पीडीएफ / ए - इंटरनेट और लंबे समय तक अभिलेखीय भंडारण पर प्रकाशन के लिए पाठ दस्तावेजों को डिजिटल बनाने की तकनीक

हाय हमर!

हम ऑप्टिकल पहचान प्रौद्योगिकियों (ओसीआर, आईसीआर) और संज्ञानात्मक प्रौद्योगिकियों द्वारा विकसित दस्तावेजों की समझ के बारे में प्रकाशित करना जारी रखते हैं। आज हमारी कहानी टेक्स्ट डॉक्यूमेंट्स को संज्ञानात्मक पीडीएफ / ए को डिजिटल बनाने के बारे में है।

व्यावसायिक क्षेत्र में, ई-मेल या अभिलेखीय भंडारण द्वारा बाद में भेजने के लिए कागज के दस्तावेजों को स्कैन करना अक्सर आवश्यक होता है। उच्च-गुणवत्ता वाले स्कैनिंग के साथ, परिणामस्वरूप छवि छवियां अक्सर काफी बड़ी होती हैं। उदाहरण के लिए, 300 DPI के रिज़ॉल्यूशन में रंग में स्कैन किए गए A4 दस्तावेज़ का आकार लगभग 25 MB है। इस तरह के बड़े आकारों की फ़ाइलों का उपयोग इलेक्ट्रॉनिक अभिलेखागार में अक्षम है, इसलिए, परिणामस्वरूप इलेक्ट्रॉनिक छवियों की संपीड़न प्रौद्योगिकियां अधिक से अधिक रुचि प्राप्त कर रही हैं। शास्त्रीय छवि संपीड़न प्रौद्योगिकियां (JPEG, RLE, Deflate, आदि) लागू नहीं होती हैं, क्योंकि सामान्य स्थिति के दस्तावेजों में मोनोक्रोम पाठ और पूर्ण-रंग ग्राफिक क्षेत्र दोनों हो सकते हैं। मोनोक्रोम ग्रंथों के लिए प्रभावी दोषरहित छवि संपीड़न एल्गोरिदम पूर्ण-रंग ग्राफिक्स के लिए अप्रभावी हैं, जबकि हानिपूर्ण संपीड़न रंग छवियों के लिए उच्च प्रदर्शन प्रदर्शित करता है, लेकिन यह पाठ जानकारी (छवि 1) को बहुत विकृत करता है। इसलिए, इस प्रकार की छवियों को संपीड़ित करने के लिए आमतौर पर एक संयुक्त दृष्टिकोण का उपयोग किया जाता है।

दस्तावेज़ छवियों का संरचनात्मक संपीड़न

हमें लॉग पेज छवि (छवि 2) के उदाहरण का उपयोग करके संरचनात्मक संपीड़न का विचार प्रस्तुत करें। एक क्लासिक पत्रिका पृष्ठ में एक पृष्ठभूमि छवि, एक या अधिक पाठ ब्लॉक, ग्राफिक तत्व (फोटो, आरेख, टेबल आदि) और कुछ नोट्स हो सकते हैं। इस तरह की छवियों के संरचनात्मक संपीड़न का मुख्य विचार संरचनात्मक ब्लॉकों का चयन करना है, इन ब्लॉकों को परतों में संयोजित करें (अर्थात, पाठ, ग्राफिक और अन्य परतों में छवि को "स्तरीकृत" करें) और प्रत्येक परत को सबसे उपयुक्त तरीके से संपीड़ित करें। तो अंजीर में लॉग पेज की छवि। 2 को चार परतों में स्तरीकृत किया गया है: पृष्ठभूमि, काले पाठ का क्षेत्र, नीले पाठ का क्षेत्र और फोटोग्राफ वाला क्षेत्र। अधिकतम गुणवत्ता बनाए रखने के लिए, पाठ परतों को दोषरहित संपीड़न एल्गोरिदम (उदाहरण के लिए, CCITT ग्रुप 4) के साथ संपीड़ित किया जाना चाहिए, जबकि हानिपूर्ण संपीड़न विधियों (JPEG) फोटोग्राफी के लिए पूरी तरह से स्वीकार्य हैं। संरचनात्मक संपीड़न एल्गोरिदम में मुख्य स्थान मूल छवि के स्तरीकरण के तरीकों को पाठ और ग्राफिक परतों में दिया गया है।
इस दृष्टिकोण ने हाल ही में उच्च लोकप्रियता प्राप्त की है। संरचनात्मक संपीड़न के विचार को लागू करने वाले उदाहरणों में से एक को सही मायने में DjVu प्रारूप माना जा सकता है।
DjVu रंग की छवियों को संपीड़ित करने के लिए विशेष तकनीक का उपयोग करता है, मूल छवि को तीन परतों में विभाजित करता है: अग्रभूमि, पृष्ठभूमि और काले और सफेद (एकल-बिट) मुखौटा। स्रोत फ़ाइल के रिज़ॉल्यूशन के साथ मास्क को बचाया जाता है; इसमें पाठ की छवि और अन्य स्पष्ट विवरण शामिल हैं। पृष्ठभूमि रिज़ॉल्यूशन, जिसमें चित्र और पृष्ठ बनावट बनी हुई है, अंतरिक्ष को बचाने के लिए कम है। अग्रभूमि में विवरण के बारे में रंगीन जानकारी होती है जो पृष्ठभूमि में नहीं होती है; इसका संकल्प और भी कम हो गया है। फिर अग्रभूमि और अग्रभूमि वेवलेट ट्रांसफ़ॉर्म (IW44 एल्गोरिथ्म) का उपयोग करके संकुचित होती है, और JB2 एल्गोरिथ्म का उपयोग करके मुखौटा को संकुचित किया जाता है।



दस्तावेज़ छवियों के उच्च संपीड़न अनुपात के बावजूद, DjVu में एक महत्वपूर्ण खामी है: आज प्रारूप मानकीकृत नहीं है, जो इलेक्ट्रॉनिक अभिलेखागार बनाने के लिए एक उपकरण के रूप में उपयोग करना मुश्किल बनाता है। इसके अलावा, सभी प्रकार के दस्तावेजों के लिए एक ही स्तर की योजना का उपयोग हमेशा उचित नहीं होता है, और यहां तक ​​कि कभी-कभी दस्तावेज़ के महत्वपूर्ण विरूपण का कारण बन सकता है। इसके अतिरिक्त, यह ध्यान देने योग्य है कि प्रारूप में दस्तावेजों की सुरक्षा और गोपनीयता सुनिश्चित करने के किसी भी साधन का पूरी तरह से अभाव है।

संज्ञानात्मक पीडीएफ / एक प्रौद्योगिकी

हम संज्ञानात्मक पीडीएफ / ए तकनीक का वर्णन करते हैं, जिसे प्रस्तावित दस्तावेजों (चित्र 3) के अनुसार इलेक्ट्रॉनिक रूप में कागज के दस्तावेजों और डिजिटलीकरण प्रक्रिया में परिवर्तित करने के लिए डिज़ाइन किया गया है।
प्रसंस्करण का पहला चरण मूल छवि का लेयरिंग है। नतीजतन, दो नई छवियां दिखाई देती हैं। पहले में मूल छवि के क्षेत्र होते हैं जो पाठ्य सूचना (टेक्स्ट लेयर) और दूसरी ग्राफिक तत्वों (ग्राफिक लेयर) से संबंधित होते हैं।
एल्गोरिथ्म की वास्तुकला के अनुसार, पाठ परत में पाठ ब्लॉक को छोड़कर कोई अतिरिक्त क्षेत्र नहीं होना चाहिए। इसलिए, बाहरी ओसीआर-सिस्टम का उपयोग करके किसी भी प्रारंभिक तैयारी के बिना पाठ परत की छवि को आसानी से पहचाना जा सकता है।



अंतिम चरण परिणामी परतों और पीडीएफ / ए में मान्यता प्राप्त पाठ को पैकेज करना है। ग्राफिक और पाठ परत को उपयुक्त संपीड़न के अधीन किया जाता है, और मान्यता प्राप्त पाठ को इस तरह से पैक किया जाता है ताकि दस्तावेज़ में खोज और प्रतिलिपि जानकारी की अधिकतम सुविधा सुनिश्चित हो सके।
इस प्रकार, संज्ञानात्मक पीडीएफ / ए तकनीक में तीन मुख्य भाग होते हैं: मूल छवि की परत, OCR प्रणाली का उपयोग करके पाठ परत की मान्यता और परिणामस्वरूप परतों की कॉम्पैक्ट पैकेजिंग और एक पीडीएफ / ए फ़ाइल में मान्यता प्राप्त पाठ। आइए इन भागों पर अधिक विस्तार से विचार करें।

स्तरीकरण एल्गोरिथ्म

विभिन्न प्रकार के दस्तावेजों में अलग-अलग विशेषताएं हैं। उदाहरण के लिए, वित्तीय दस्तावेजों में सील, हस्ताक्षर और टिकटों की उपस्थिति की विशेषता है, जर्नल लेखों में एक जटिल बहु-रंग की पृष्ठभूमि हो सकती है, पुस्तकों में अक्सर पूर्ण-रंग ग्राफिक तत्व शामिल होते हैं। इसलिए, संज्ञानात्मक पीडीएफ / ए तकनीक प्रत्येक प्रकार के दस्तावेज़ के लिए अद्वितीय स्तरित योजनाएं प्रदान करती है। दस्तावेज़ के प्रकार की प्रारंभिक पहचान के लिए एल्गोरिदम का उपयोग करके सबसे अच्छी योजना का चुनाव किया जा सकता है। इसके अलावा, उदाहरण के लिए, दो महत्वपूर्ण प्रकार के दस्तावेज़ों के लिए योजनाएं बनाना माना जाएगा: एक पुस्तक पृष्ठ और एक कार्यालय दस्तावेज़।
आमतौर पर, एक पुस्तक के एक पृष्ठ में एक सफेद पृष्ठभूमि पर काला पाठ होता है और, संभवतः, ग्राफिक तत्व: चित्र, आरेख, रेखांकन आदि (चित्र 4)।



आमतौर पर, किताबें टेक्स्ट और ग्राफिक्स के बीच ओवरलैप नहीं होती हैं। पुस्तकों के लेआउट की एक अन्य प्रमुख विशेषता करीब रैखिक आकार के फोंट का उपयोग है। इन विशिष्ट विशेषताओं के आधार पर, हम पुस्तक के पृष्ठ की छवि के लिए एक लेयरिंग योजना का निर्माण करते हैं।
चरण 1. मूल छवि को बड़ा करें, जिससे इसे एक मोनोक्रोम दृश्य (छवि 5 ए) में परिवर्तित किया जा सके। चूंकि छवि में मुख्य रूप से एक सफेद पृष्ठभूमि पर काला पाठ होता है, इसलिए बाइनराइजेशन प्रक्रिया को पाठ संबंधी जानकारी वाले क्षेत्रों को बहुत प्रभावित नहीं करना चाहिए। चरण 2। एकल से जुड़े घटकों में रूपात्मक फ़िल्टरिंग, "नमक" शब्दों का उपयोग करना। क्रमशः वर्ण की चौड़ाई और ऊँचाई को w और h से निरूपित करें। हम यह भी ध्यान देते हैं कि शब्द में अक्षरों के बीच की दूरी वर्ण के स्ट्रोक की मोटाई के साथ तुलनीय है, और शब्दों के बीच की दूरी चरित्र की चौड़ाई के करीब है। इसलिए, हम प्रत्येक शब्द को एक अलग जुड़े घटक में एक खिड़की (छवि 5 बी) के साथ खोलकर "गोंद" करते हैं।




चरण 3. प्राप्त जुड़े घटकों (छवि 6) की ऊंचाइयों के एक हिस्टोग्राम का निर्माण करें। चूंकि पृष्ठ पर सभी पाठ लगभग एक ही फ़ॉन्ट आकार में मुद्रित होते हैं, शब्द से संबंधित जुड़े घटक हिस्टोग्राम पर एक या अधिक विशिष्ट मैक्सिमा बनाते हैं। इसलिए, हिस्टोग्राम का विश्लेषण करते हुए, विशेषता फ़ॉन्ट आकार एच _{फ़ॉन्ट की} गणना करना संभव है, जिसने पृष्ठ पर पाठ टाइप किया, और, तदनुसार, पाठ जानकारी ( एच _{फ़ॉन्ट} के क्रम की ऊंचाई के साथ जुड़े घटकों के अनुरूप क्षेत्र) के अनुरूप छवि पर क्षेत्र का चयन करें।
मूल स्थान पर पाठ के क्षेत्र को जानने के बाद, हम एक बंडल मास्क बनाएंगे, और फिर इसे ग्राफिक और टेक्स्ट लेयर्स प्राप्त करने के लिए लागू करेंगे (चित्र 7)।
चूंकि आयताकार खिड़की के साथ तेजी से रूपात्मक फ़िल्टरिंग एल्गोरिदम का उपयोग पाठ ब्लॉकों को चुनने के लिए किया जाता है, इसलिए यह बहुत महत्वपूर्ण है कि पाठ ब्लॉक छवि अक्षों के साथ संरेखित हो। इसलिए, आकृति विज्ञान से पहले छवि का "संरेखण" है।
वित्तीय दस्तावेजों (चालान, रसीदें, अनुबंध आदि) की रंगीन छवियों के लिए, पुस्तक पृष्ठ की छवि की उपर्युक्त विशेषताएं विशेषता नहीं हैं, क्योंकि ग्राफिक तत्व (प्रिंट, हस्ताक्षर, हस्तलिखित नोट) अक्सर पाठ ब्लॉकों (छवि 8) पर सुपरिंपोज किए जाते हैं। इसलिए, स्तरीकरण के लिए उपरोक्त एल्गोरिथ्म का उपयोग करना अनुचित है। हम छवि के रंग विशेषताओं के आधार पर एक लेयरिंग योजना का निर्माण करते हैं। काले पाठ और सफेद पृष्ठभूमि की रंग संतृप्ति शून्य के करीब है, जबकि नीले प्रिंट और हस्ताक्षर के लिए यह मूल्य बहुत अच्छा है। इस संपत्ति को ध्यान में रखते हुए, हम निम्नलिखित बंडल योजना का निर्माण करते हैं।
चरण 1. रंग संतृप्ति (छवि 9) के हिस्टोग्राम का निर्माण करें, अर्थात। निर्भरता y = logN _x , जहां N _x छवि पिक्सेल की संख्या है जिसका संतृप्ति x है ।





चरण 2. ध्यान दें कि दो कक्षाएं हिस्टोग्राम पर स्पष्ट रूप से प्रतिष्ठित हैं: पहला पिक्सेल रंग संतृप्ति के छोटे मूल्यों के साथ बनता है, दूसरा - बड़े मूल्यों के साथ। प्रथम श्रेणी के पिक्सेल पृष्ठभूमि और काले पाठ के अनुरूप छवि क्षेत्र बनाते हैं, और दूसरे से, छवि का ग्राफिक हिस्सा। हम ओट्सू विधि द्वारा दो वर्गों t * के पृथक्करण सीमा को पाते हैं।
चरण 3. मूल छवि को निम्नानुसार अलग करें: एक समान छवि (x, y) का पिक्सेल पाठ परत (चित्र। 10 ए) से संबंधित है, अगर इसकी रंग संतृप्ति का मूल्य थ्रेशोल्ड से कम है (x, y) <t * ; अन्यथा, पिक्सेल (x, y) ग्राफिक परत (छवि 10 बी) से संबंधित है।

पाठ परत मान्यता

स्तरीकरण के परिणामस्वरूप, हमें पहले से ही पाठ परतों की छवियां मिली हैं जिन्हें बाहरी ओसीआर प्रणालियों का उपयोग करके आसानी से किसी भी प्रारंभिक तैयारी के बिना पहचाना जा सकता है।
संज्ञानात्मक पीडीएफ / ए प्रौद्योगिकी के सॉफ्टवेयर कार्यान्वयन में, खुला स्रोत ओसीआर पाठ मान्यता प्रणाली OCR CuneiForm एक ओसीआर मॉड्यूल के रूप में उपयोग किया जाता है।

पीडीएफ / ए प्रारूप में संपीड़न और पैकेजिंग

परिणामी पाठ और ग्राफिक परतें, साथ ही मान्यता प्राप्त पाठ, पीडीएफ / ए प्रारूप में सहेजे जाते हैं। यह प्रारूप एक आईएसओ 19005-1: 2005 मानक है, जो एडोब सिस्टम इंक से पीडीएफ मानक संस्करण 1.4 के विवरण पर आधारित है। और विशेष रूप से इलेक्ट्रॉनिक दस्तावेजों के दीर्घकालिक अभिलेखीय भंडारण के लिए डिज़ाइन किया गया है। इस तथ्य के बावजूद कि पीडीएफ / ए पीडीएफ प्रारूप का सबसेट है, इलेक्ट्रॉनिक दस्तावेजों के दीर्घकालिक भंडारण के लिए एक प्रारूप के रूप में पीडीएफ / ए के लिए आवश्यकताओं के कारण कई अंतर हैं। इसलिए, उदाहरण के लिए, पीडीएफ / ए के लिए अनिवार्य है:

• "पीडीएफ के लिए मानक" की सूची से फोंट सहित सभी उपयोग किए गए फोंट का कार्यान्वयन।
• यदि पीडीएफ / ए फ़ाइल में चित्र शामिल हैं, तो रंगीन प्रोफ़ाइल को लागू करना अनिवार्य है - एक ऐसी फाइल जिसमें जानकारी होती है कि आउटपुट डिवाइस (मॉनिटर, प्रिंटर, आदि) को कैसे रंग प्रसारित करना चाहिए। महत्वपूर्ण तथ्य यह है कि शामिल किए गए रंग प्रोफ़ाइल को स्वतंत्र होना चाहिए।
• मेटाडेटा की अनिवार्य उपलब्धता, उपयोग किए गए प्रारूप के संस्करण, दस्तावेज़ का शीर्षक, लेखकों की सूची, एक संक्षिप्त विवरण, निर्माण की तिथि और दस्तावेज़ फ़ाइल का अंतिम संशोधन, साथ ही साथ खोज के लिए संकेत। PDF / A विनिर्देश मेटाडेटा प्रस्तुति प्रारूप, Adobe एक्स्टेंसिबल मेटाडेटा प्लेटफ़ॉर्म (XMP) को भी निर्दिष्ट करता है।

संपीड़न अनुपात को बढ़ाने के लिए, ग्राफिक और पाठ परतें अलग-अलग तरीकों से संकुचित होती हैं। सामग्री की बारीकियों के कारण, ग्राफिक परत 100 DPI के रिज़ॉल्यूशन तक कम हो जाती है और JPEG एल्गोरिथम द्वारा एन्कोड की जाती है। पाठ परत में दस्तावेज़ की बुनियादी जानकारी होती है, इसलिए, पाठ परत को उसके मूल रिज़ॉल्यूशन में संग्रहीत किया जाता है, और दोषरहित संपीड़न एल्गोरिथ्म CCITT समूह 4 को एन्कोडिंग के लिए उपयोग किया जाता है।

प्रायोगिक परिणाम

स्वचालित मोड में प्रौद्योगिकी की प्रभावशीलता का आकलन करना लगभग असंभव लगता है - यह केवल आउटपुट गुणवत्ता के आकार की तुलना करने के लिए पर्याप्त नहीं है, प्राप्त "कॉम्पैक्ट इलेक्ट्रॉनिक दस्तावेज़" की गुणवत्ता की तुलना करना भी आवश्यक है। इसलिए, वास्तव में, मूल्यांकन को व्यवस्थित रूप से बनाया गया है (जो कि "आंख से" है)।
अंजीर में। चित्र 11 में जेपीईजी (संपीड़न स्तर जिस पर पठनीयता बनाए रखी गई है), DjVu, और संज्ञानात्मक PDF / A द्वारा कुछ परीक्षण चित्र दिखाए गए थे। तुलना परिणाम दिखाते हैं (तालिका देखें) कि संज्ञानात्मक पीडीएफ / ए तकनीक परिमाण के एक क्रम से JPEGs को बायपास करती है, लेकिन DjVu को खो देती है। आकार में इस तरह के अंतर को इस तथ्य से समझाया जा सकता है कि उपयोगी जानकारी (वास्तव में छवियां और मान्यता प्राप्त पाठ) के अलावा, पीडीएफ / ए फ़ाइल में सहायक डेटा भी शामिल है जो दीर्घकालिक भंडारण के लिए आवश्यक है। DjVu फ़ाइलों के छोटे आकार के बावजूद, कार्यालय दस्तावेजों के संपीड़न की गुणवत्ता कम है, जो विशेष रूप से मुहरों और हस्ताक्षर के क्षेत्र में स्पष्ट है।





इस तालिका में प्रस्तुत चित्र और परिणाम yadi.sk/d/7us8gghADHVrg पर डाउनलोड किए जा सकते हैं

पूरा लेख प्रकाशित हुआ है:
उसिलिन एस.ए., निकोलेव डी.पी., पोस्टनिकोव वी.वी. संज्ञानात्मक पीडीएफ / ए - इंटरनेट और दीर्घकालिक अभिलेखीय भंडारण पर प्रकाशन के लिए पाठ दस्तावेजों को डिजिटल करने के लिए प्रौद्योगिकी // रूसी विज्ञान अकादमी के सिस्टम विश्लेषण के लिए संस्थान के लेनदेन। प्रोग्रामिंग और डेटा स्टोरेज टेक्नोलॉजीज / एड। अर्लाजारोव वी.एल., एमलीआनोव एन.ई. एम .: लेनंद, 2009. वी। 45 पी। 159–173।

अनुशंसित पढ़ना

1. वैटोलिन डी।, रतुश्नायक ए।, स्मिरनोव एम।, युकिन वी। डेटा संपीड़न विधियों। छवि संपीड़न एल्गोरिदम। - एम।: डायलॉग-एमईपीएचआई, 2002 ।-- 99 पी।
2. गोंजालेज आर।, वुड्स आर। डिजिटल इमेज प्रोसेसिंग। - एम ।: टेक्नोस्फीयर, 2005 ।-- 1072 पी।
3. Lizardtech DjVu संदर्भ, www.lizardtech.com
4. कुरोत्तेव ए.वी., निकोलेव डी.पी., पोस्टनिकोव वी.वी., यूएसलिन एस.ए. मॉर्फोलॉजिकल ऑपरेशंस // MIPT के 51 वें वैज्ञानिक सम्मेलन की कार्यवाही का उपयोग करते हुए दस्तावेजों की छवियों पर ग्राफिक आदिम और पाठ ब्लॉक का अलगाव। मौलिक और अनुप्रयुक्त विज्ञान की आधुनिक समस्याएं। भाग 9. नवाचार और उच्च प्रौद्योगिकी। - एम .: एमआईपीटी, 2008, एस 29 - 31।
5. एम। वैन हेर्क। आयताकार और अष्टकोणीय गुठली // पैटर्न मान्यता पत्र पर स्थानीय न्यूनतम और अधिकतम फ़िल्टर के लिए एक तेज़ एल्गोरिथम। - 1992 ।-- सी। 517-521।
6. आईएसओ 19005-1: 2005। दस्तावेज़ प्रबंधन - लंबी अवधि के संरक्षण के लिए इलेक्ट्रॉनिक दस्तावेज़ फ़ाइल प्रारूप - भाग 1: पीडीएफ 1.4 का उपयोग (पीडीएफ / ए -1)।
7. एडोब सिस्टम्स शामिल। एक्स्टेंसिबल मेटाडेटा प्लेटफ़ॉर्म (XMP) विशिष्टता, www.adobe.com