कैसे टेक्स्ट रिकॉग्निशन टेक्नोलॉजीज डेटा लीक से लड़ने में मदद करती हैं

साक्षात्कारों में, हमें अक्सर पूछा जाता है कि डेवलपर उत्पाद विभाग क्या करता है। हम संक्षेप में ABBYY FineReader Engine के बारे में बात करते हैं, लेकिन कई नौकरी चाहने वालों को पहले से पता है कि एसडीके क्या है और इसका उपयोग कैसे किया जा सकता है, और हमारी कहानी को सामान्य शब्दों के रूप में देखें।

आज का एक शानदार उदाहरण है कि वास्तविक समस्याओं को हल करने के लिए वास्तविक कंपनी के वास्तविक उत्पाद में ABBYY फाइनरडर इंजन का उपयोग कैसे किया जाता है। हाल ही में, रूसी कंपनी SECURIT ने फाइनट्रेडर इंजन को अपने डेटा लीक डिटेक्शन (DLP) उत्पादों में एकीकृत किया है, जिसमें Ggate नामक उत्पाद भी शामिल है। इस बारे में एक प्रेस विज्ञप्ति जारी की गई थी, और हम ध्यान से तकनीकी पक्ष को देखेंगे।

डेटा लीक की पहचान करने के लिए, Zgate काम की प्रक्रिया में उपयोगकर्ताओं द्वारा बनाए गए संदेशों का विश्लेषण करता है - मेल संदेश (वेबमेल सेवाओं के माध्यम से भेजे गए), सामाजिक नेटवर्क, मंचों, ब्लॉग और इंटरनेट पेजर पर संदेश। ऐसा करने के लिए, यह मेल सर्वर और प्रॉक्सी सर्वर के साथ एकीकृत होता है और इस प्रकार सभी ट्रैफ़िक को नियंत्रित कर सकता है (आमतौर पर यह केवल आउटगोइंग ट्रैफ़िक को नियंत्रित करने के लिए पर्याप्त है)।

जैसे ही एक संदिग्ध संदेश का पता चला है (उत्पाद ने फैसला किया है कि संदेश में गोपनीय जानकारी है), इसके प्रसारण को अवरुद्ध किया जा सकता है, इसे मानव जांच के अंत तक रद्द किया जा सकता है या संदेश को तुरंत स्थानांतरित किया जा सकता है और आगे के सत्यापन के लिए स्थगित कर दिया जा सकता है। यदि संदेश प्रवाह बड़ा है और निलंबन की आवश्यकता नहीं है या कंपनी के लिए हानिकारक हो सकता है, तो आप Zgate को एक समर्पित सर्वर पर रख सकते हैं और रूटिंग को कॉन्फ़िगर कर सकते हैं ताकि सभी ट्रैफ़िक इस सर्वर पर डुप्लिकेट हो जाएं - Zgate पूरी तरह से स्वतंत्र रूप से काम करेगा और संदेश हस्तांतरण को प्रभावित नहीं करेगा ।

संदिग्ध संदेशों की खोज करते समय, व्यवस्थापक द्वारा निर्दिष्ट नियमों का उपयोग किया जाता है। खोज का उपयोग करते हुए शब्दकोश का उपयोग किया जाता है, जिसमें नियमित अभिव्यक्ति और आकारिकी ("रोलबैक आकार" और "रोलबैक आकार" का उपयोग पहचान योग्य रूप से विश्वसनीय होना चाहिए), या नमूना दस्तावेजों के साथ प्रेषित संदेश की तुलना करके - इस मामले में, डुप्लिकेट की पहचान करने के लिए समान तरीकों का उपयोग किया जाता है। Google खोज और अन्य खोज इंजन में। पाठ विश्लेषण विधियों में सुखद छोटी चीजें शामिल हैं - उदाहरण के लिए, एक उत्पाद एक ही फ़ॉन्ट के साथ अलग-अलग वर्णमाला के अक्षरों पर विचार कर सकता है ("एक" सिरिलिक वर्णमाला और "एक" लैटिन वर्णमाला से) या संख्याओं और अक्षरों के कुछ संयोजन ("w8ing" और "प्रतीक्षा")।

यह एक बहुत ही सरल विवरण है, उत्पाद प्रशासक के मैनुअल में लगभग दो सौ पृष्ठ होते हैं, और उत्पाद के अच्छे कार्यान्वयन के लिए आमतौर पर आपूर्तिकर्ता की करीबी भागीदारी की आवश्यकता होती है ताकि सही हार्डवेयर का चयन किया जा सके, किसी विशेष ग्राहक की जरूरतों के अनुसार सिस्टम को कॉन्फ़िगर किया जा सके। उदाहरण के लिए, आपको ट्रैफ़िक की विशिष्ट मात्रा और इसे नियंत्रित करने के लिए आवश्यकताओं को ध्यान में रखना होगा ताकि वे आने वाले संदेशों को संसाधित करने के लिए पर्याप्त सर्वरों की संख्या और क्षमता का चयन कर सकें।

ज़गेट एक अच्छी तरह से समझी गई कार्यक्षमता के साथ एक जटिल डीएलपी उत्पाद है जो अपने दम पर काम करना जारी रख सकता है। उसी समय, इससे पहले कि उत्पाद केवल डिजिटल रूप से प्रारूपित दस्तावेज़ों को देख सकता है - आरटीएफ, एमएस वर्ड, पीडीएफ एक पाठ परत के साथ, आदि, लेकिन सभी दस्तावेज़ इस रूप में संगठनों में मौजूद नहीं हैं। दस्तावेज़ एक पाठ परत के बिना ग्राफिक चित्र (स्कैन और फोटोग्राफ) या पीडीएफ के रूप में हो सकते हैं, और ऐसे प्रारूपों में दस्तावेजों के हस्तांतरण को भी नियंत्रित करने की आवश्यकता हो सकती है।

FR इंजन को एम्बेड करने के बाद, Zgate बिल्कुल उसी परिदृश्य में काम करता है, लेकिन अब यह छवि फ़ाइलों को देख और विश्लेषण कर सकता है। तदनुसार, यदि पहले ऐसी फ़ाइलों को या तो हमेशा छोड़ दिया जाना था (बिना शर्त विश्वास) या हमेशा अवरुद्ध (बिना शर्त अविश्वास), अब आप प्रत्येक फ़ाइल पर एक सूचित निर्णय ले सकते हैं।

Zgate संदेशों से फाइलें निकालता है, उन्हें मान्यता के लिए FR इंजन में भेजता है, मान्यता प्राप्त पाठ पहले की तरह ही विश्लेषण विधियों के इनपुट में प्रेषित होता है। विभिन्न भाषाओं में ग्रंथों की मान्यता की उच्च सटीकता के लिए धन्यवाद, ज़गेट की प्रयोज्यता का विस्तार हो रहा है।

अगर SDK नहीं होता, तो Zgate डेवलपर्स को खुद ही मान्यता देनी होती, और यह इतना आसान नहीं होता (हमारी कंपनी कई वर्षों से मान्यता प्रौद्योगिकियों को विकसित और सुधार रही है)। इसके बजाय, वे हमारे एसडीके को लाइसेंस देते हैं और उदाहरण के लिए, बस ऐसे कोड को सी # में लिख सकते हैं (एसडीके के साथ आपूर्ति किए गए उदाहरण के आधार पर):

 void processOneImage( FREngine.IEngine engine, string imageFilePath, string resultPath ) { FREngine.FRDocument document = engine.CreateFRDocument(); try { document.AddImageFile( imageFilePath, null, null ); document.Process( null, null, null ); document.Export( resultPath, FREngine.FileExportFormatEnum.FEF_Text, null ); } finally { document.Close(); // ,     - www.abbyy.ru/vacancy } } 

और वह यह है - FR इंजन छवि को खोलेगा, इसे डिफ़ॉल्ट सेटिंग्स के साथ मान्यता देगा, परिणाम को टेक्स्ट फ़ाइल में निर्यात करेगा। यदि आवश्यक हो, तो आप आसानी से भाषाओं के वांछित सेट, अन्य मापदंडों का चयन कर सकते हैं। इससे कोई फर्क नहीं पड़ता कि विभिन्न उप-प्रणालियों के कोड की कई मिलियन लाइनें अंदर काम करती हैं, जैसे कि छवियां खोलना, पहचानना, निर्यात करना। एफआर इंजन उपयोगकर्ता एक अच्छी तरह से सोचे हुए सॉफ़्टवेयर इंटरफ़ेस के साथ प्रदान किया जाता है जो आपको उत्पाद की सभी सुविधाओं का उपयोग करने की अनुमति देता है।

उत्पाद सुविधाओं में शामिल हैं, उदाहरण के लिए, लगभग दो सौ मान्यता भाषाओं, शब्दकोश समर्थन के साथ उनमें से कई, छवि प्रारूपों की एक विस्तृत श्रृंखला का उद्घाटन, और बहुत उच्च मान्यता सटीकता। उत्पाद के डेवलपर्स यह सब स्वयं नहीं कर सकते हैं, लेकिन एसडीके के रूप में लाइसेंस। एफआर इंजन द्वारा जारी मान्यता परिणामों के साथ एक पाठ फ़ाइल को पाठ विश्लेषण विधियों के इनपुट पर स्थानांतरित किया जा सकता है और यह तय कर सकता है कि छवि के साथ क्या करना है।

SECURIT Zgate FR इंजन एकीकरण का एक बेहतरीन उदाहरण है। इसलिए उत्पाद की कार्यक्षमता का एक हिस्सा खुद Zgate डेवलपर्स द्वारा बनाया गया है, और आंशिक रूप से हमारे द्वारा लाइसेंस प्राप्त है। यह हर किसी को वह करने का अवसर देता है जो वह सबसे अच्छा जानता है।

लिनक्स के बारे में कुछ शब्द। ज़गेट जैसे समाधान खुद को एक सिस्टम पर काम करने की अनुमति दे सकते हैं - इस मामले में, विंडोज पर, क्योंकि कार्यान्वयन की लागत आमतौर पर पर्याप्त होती है ताकि विंडोज के लिए लाइसेंस की लागत चिंता का कारण न हो - आप सिर्फ सही ऑपरेटिंग सिस्टम के साथ सही हार्डवेयर खरीदते हैं। उदाहरण के लिए, कई हजार उपयोगकर्ताओं के साथ वैक्यूम में एक गोलाकार कंपनी में, आमतौर पर उपयोग किए जाने वाले क्वाड-कोर प्रोसेसर के साथ HP ProLiant DL160 G6 E5620 स्तर के सर्वर की एक जोड़ी के प्रसंस्करण के लिए आउटगोइंग ट्रैफ़िक की मात्रा लगभग 20 गीगाबाइट होती है। यदि Zgate डेवलपर्स लिनक्स पर स्विच करने का निर्णय लेते हैं, तो हमारे पास लिनक्स के लिए FR इंजन संस्करण है ।

दिमित्री मेश्चेरीकोव,
डेवलपर उत्पाद विभाग