पाठ विश्लेषक: मान्यता मान्यता (प्रारंभ)

सुप्रभात, प्रिय हरजितेली। मैं लंबे समय से अपने "टेक्स्ट एनालाइज़र" ( [1] ) को जीपीएल-लाइसेंस के तहत प्रकाशित करना चाहता था। आखिर में हाथ पहुंच गए। "टेक्स्ट एनालाइज़र" एक शोध परियोजना है जिसे मैंने विश्वविद्यालय के 3 जी, 4 वें और 5 वें पाठ्यक्रमों में तीन वर्षों के लिए विकसित किया है। मुख्य लक्ष्य था: हेमिंग या हॉपफील्ड तंत्रिका नेटवर्क का उपयोग करके एक टेक्स्ट ऑथरशिप मान्यता एल्गोरिदम बनाना। विचार यह था: ये तंत्रिका तंत्र छवियों को पहचानते हैं, और लेखकों की पहचान के कार्य को छवियों को पहचानने के कार्य में कम किया जा सकता है। ऐसा करने के लिए, प्रत्येक पाठ के लिए आंकड़े एकत्र करना आवश्यक है, और अधिक भिन्न मानदंड, बेहतर: अक्षरों का आवृत्ति विश्लेषण, शब्द / वाक्य / पैराग्राफ की लंबाई का विश्लेषण, दो-अक्षर संयोजनों का आवृत्ति विश्लेषण, और इसी तरह। तंत्रिका-तंत्र उन विशेषताओं को प्रकट कर सकता है जिनमें से ग्रंथ सबसे समान हैं। वहाँ काम था - शाफ्ट। कोड, मुश्किल एल्गोरिदम, OOP, डिजाइन पैटर्न के बहुत सारे। मुख्य कार्य के अलावा, मैंने एक और जानकारी भी लागू की: "सद्भाव का कार्ड"। जैसा कि योजना बनाई गई है, इस तरह के कार्ड को सभी बुरे और अच्छे-अच्छे दिखने वाले स्थानों को दिखाना चाहिए, उन्हें रंग के साथ उजागर करना चाहिए। सद्भाव के मूल्यांकन के मानदंड कुछ सार्वभौमिक तरीके से दिए जाने चाहिए, उदाहरण के लिए, नियमों द्वारा। इस उद्देश्य के लिए, मैंने एक विशेष ग्राफिक भाषा, आरआरएल (रीसाउंडिंग रूल्स लैंग्वेज) भी विकसित की। वहाँ काम था - शाफ्ट। कोड, मुश्किल एल्गोरिदम, OOP, डिजाइन पैटर्न के बहुत सारे। परिणाम एक बड़ा और जटिल कार्यक्रम था, जिसमें एक भद्दा इंटरफेस था। इस परियोजना के साथ, मैंने एक डिप्लोमा प्रतियोगिता भी जीती, विश्वविद्यालय के सम्मेलनों में प्रथम और तृतीय स्थान प्राप्त किया, साथ ही अंतर्राष्ट्रीय वैज्ञानिक और व्यावहारिक में दूसरा स्थान प्राप्त किया।

दो साल से अधिक समय बीत चुका है, और मुझे शायद ही याद है कि यह कैसे काम करता है। आइए एक साथ जानने की कोशिश करें कि एक एल्गोरिथ्म के हुड के नीचे क्या है जो लेखकों को पहचानता है। खैर, अगले लेख के लिए सद्भाव कार्ड छोड़ दें।

(लेख में एक अगली कड़ी और एक अंत है ।)

लेख संरचना:

1. प्रामाणिक विश्लेषण
2. कोड जानने के लिए
3. TAuthoringAnalyser इंटर्नल और टेक्स्ट स्टोरेज
4. रणनीतियों पर राज्य मशीन द्वारा समतल करना
5. आवृत्ति प्रतिक्रिया संग्रह
6. हैमिंग तंत्रिका नेटवर्क और प्रमाणीकरण विश्लेषण

अतिरिक्त सामग्री:

• पाठ विश्लेषक परियोजना के स्रोत (बोरलैंड सी ++ बिल्डर 6.0)
• एक्सेल में हैमिंग न्यूरल सिस्टम का परीक्षण ( [xls] )
• अंतरिक्षयान के स्तर में पाठ तोड़ने के लिए संक्रमण तालिका ( [xls] )
• व्यक्तिगत पत्रों के सामंजस्य की गणना ( [xls] )
• पाठ विश्लेषक डिप्लोमा परियोजना की प्रस्तुति ( [पीपीटी] )
• "सद्भाव के मानचित्र" परियोजना की प्रस्तुति ( [पीपीटी] )
• ये सभी सामग्रियां संकुचित हैं ( [ज़िप] , [thesez] , [rar] )

1. प्रमाणीकरण विश्लेषण

आवश्यक:

1. नमूना पाठ और "कुंजी" पाठ अपलोड करें (जिनमें से अज्ञात है);
2. तुलनीय नमूना ग्रंथों की पहचान करें:
   • शब्दों, वाक्यों, अनुच्छेदों में ग्रंथों को तोड़ना,
   • प्रत्येक पाठ के लिए शब्दों, वाक्यों, पैराग्राफों की समान लंबाई ब्लॉक करें,
   • "शब्द", "वाक्य", "पैराग्राफ" के स्तरों के लिए एक ही आकार के केवल तुलनीय ब्लॉकों का चयन करें;
3. इन तीन स्तरों पर आंकड़े इकट्ठा करें;
4. हैमिंग न्यूरोसिस्टम में डेटा अपलोड करें;
5. इसकी मदद से छवि पहचान का संचालन करना;
6. सभी तीन स्तरों पर नमूना ग्रंथों की पहचान करना जो विशेषताओं द्वारा प्रमुख पाठ के सबसे करीब हैं। इन ग्रंथों के लेखक संभवतः प्रमुख पाठ के मालिक हैं।

यहाँ योजना से कुछ निष्कर्ष दिए गए हैं:

• मेगाबाइट्स तक बड़ी मात्रा में डेटा के साथ काम होगा - ग्रंथों पर निर्भर करता है।
• ग्रंथ पूरी तरह से अलग आकार के हो सकते हैं: कहानियों से लेकर बहु-मात्रा वाले उपन्यास तक। इसलिए, किसी भी तरह विभिन्न कार्यों की बुनियादी तुलना सुनिश्चित करना आवश्यक है।
• बिंदु 2 को मान्यता सटीकता बढ़ाने, स्तरों द्वारा प्रक्रिया को अलग करने और ग्रंथों की बुनियादी तुल्यता प्रदान करने के लिए आवश्यक है।
• पाठ को शब्दों, वाक्यों और पैराग्राफों में बदलना एक स्टेट मशीन का कार्य है।
• कई अलग-अलग आंकड़े हो सकते हैं, मैं चाहूंगा कि उन्हें एक सार्वभौमिक तरीके से एकत्र किया जाए, ताकि आप हमेशा कुछ अन्य संग्रह एल्गोरिदम जोड़ सकें।
• हैमिंग न्यूरोसिस्टम केवल कुछ जानकारी के साथ काम करता है, जिसका अर्थ है कि आपको एकत्रित डेटा को एक ऐसे रूप में परिवर्तित करने की आवश्यकता है जिसे वह समझता है।

2. कोड जानने के लिए

"वार्म अप" के लिए, हम पहले मुख्य रूप के वर्ग पर विचार करते हैं - TAuthoringAnalyserTable ( [cpp] , [h] )। (यदि मुझे "वार्म अप" की आवश्यकता नहीं है, तो आप तुरंत अगले अनुभाग पर जा सकते हैं।) फॉर्म ही भयानक, प्रयोज्य है, हम कह सकते हैं, शून्य पर। लेकिन हम कोड में रुचि रखते हैं, बटन-बटन नहीं।

सीपीपी-फ़ाइल की शुरुआत में हम कक्षाओं की तात्कालिकता देखते हैं:

Copy Source | Copy HTML TVCLControllersFasade VCLFasade; // 1 - VCL TAnalyserControllersFasade AnalyserFasade; // 2 - TVCLViewsContainer ViewsContainer; // 3 -

1. Copy Source | Copy HTML TVCLControllersFasade VCLFasade; // 1 - VCL TAnalyserControllersFasade AnalyserFasade; // 2 - TVCLViewsContainer ViewsContainer; // 3 -
2. Copy Source | Copy HTML TVCLControllersFasade VCLFasade; // 1 - VCL TAnalyserControllersFasade AnalyserFasade; // 2 - TVCLViewsContainer ViewsContainer; // 3 -
3. Copy Source | Copy HTML TVCLControllersFasade VCLFasade; // 1 - VCL TAnalyserControllersFasade AnalyserFasade; // 2 - TVCLViewsContainer ViewsContainer; // 3 -

यहाँ (1) और (2) के लिए "मुखौटा" पैटर्न का उपयोग किया जाता है (मुखौटा, [1] , [2] , [3] , [4] )। मुखौटा वर्ग (1) के अंदर, वीसीएल के दृश्य घटकों के साथ काम करने के लिए एक बड़ा इंटरफ़ेस छिपा हुआ है। यह वहाँ है कि "डाउनलोड टेक्स्ट" बटन पर क्लिक करने की प्रतिक्रियाएं, ग्रंथों की सूची को अपडेट करने के लिए, और आमतौर पर फॉर्म से किसी भी घटना के लिए पंजीकृत हैं। एक फॉर्म इन फंक्शन्स को एक्सेस करता है बिना यह जाने कि क्या होगा। मोहरा रूप से सब कुछ छुपाता है। लेकिन, वास्तव में, VCLFasade ( [cpp] , [h] ) केवल रूपों और एल्गोरिदम से घटनाओं को जोड़ता है; इसमें ये एल्गोरिदम नहीं हैं, लेकिन वे कहीं और झूठ बोलते हैं - (2), एनालिसिसफैसडे ( [सीपीपी] , [एच] )। क्लास (1) केवल ऑब्जेक्ट (2) पर पुनर्निर्देश करता है और अतिरिक्त कार्य करता है, जैसे सूची के दृश्य घटक को भरना। हां, ऐसा राक्षसी निर्माण: वस्तु (1) वस्तु (2) और उसके कार्यों के बारे में जानता है। वह कैसे जानता है? मुख्य रूप के कंस्ट्रक्टर में, थोड़ा कम, दूसरे द्वारा पहले मोहरे का एक मानकीकरण है:

Copy Source | Copy HTML

1. // .......
2. VCLFasade.SetAnalyserControllersFasade (& AnalysisserFasade); // एक वस्तु का दूसरे द्वारा समांतरीकरण।
3. // .......

अब मुझे यकीन नहीं है कि वर्ग (1) का मुखौटा है, शायद यह कुछ और है, या यहां तक ​​कि बस। "सिंगल" पैटर्न (सिंगलटन, [1] , [2] , [3] , [4] ) में facades रखना अच्छा होगा। दुर्भाग्य से, दो साल पहले मैंने इसके बारे में नहीं सोचा था। ऐसा नहीं है कि कार्यक्रम का सामना करना पड़ा है, नहीं, सब कुछ काम करता है, जैसा कि इसे काम करना चाहिए। लेकिन हम लोनर पैटर्न से जुड़ी कुछ संभावनाओं को खो रहे हैं। आखिरकार, हम एक सबसिस्टम में कई प्रवेश बिंदु नहीं बना सकते हैं? हम नहीं कर सकते यह प्रतिबंध के लायक होगा।

मुख्य रूप निर्माता में और क्या दिलचस्प है?

Copy Source | Copy HTML

1. // .......
2. VCLFasade.SetViewsContainer (& ViewsContainer); // मुखौटा (1) में विचारों के कंटेनर को स्थानांतरित किया जाता है
3. VCLFasade.SetAuthoringAnalyserTable ( यह ); // और मुख्य रूप के लिए एक सूचक।
5. / * नोट: हम निष्कर्ष निकाल सकते हैं कि कहीं-कहीं एच-फाइलों के चक्रीय समावेश हैं और, संभवतः, पूर्वनिर्धारण। बेशक, यह बुरा है, लेकिन फिर भी यह कैसे हुआ। * /
7. / / रिपोर्टिंग प्रणाली द्वारा मुखौटा (2) के पैरामीटर:
8. एनालाइज़रफैसडे.सैटऑथरिंगअनलिसिसरिपोर्ट (और एनालिसिसरिपोर्ट);
9. एनालाइज़रफैसडे.सेटएंडाउंडिंगअनलिसिसरिपोर्टर (और एनालिसिसरिपोर्टर);
10. // .......

और आगे - दृश्य घटकों (नियंत्रण) के कंटेनर को भरने के लिए एक बड़ी शीट। एक तत्व (उदाहरण के लिए, एक बटन) फॉर्म से लिया जाता है और कंटेनर में प्रवेश किया जाता है, और अपने स्वयं के समूह में:

Copy Source | Copy HTML

1. // .......
2. TVCLViewsContainer * vc = & ViewsContainer; // नाम छोटा करने के लिए।
4. vc-> AddViewsGroup (cCurrentTextInfo); // घटकों का एक समूह बनाएँ, cCurrentTextInfo - समूह का पाठ नाम।
5. vc-> AddView (cCurrentTextInfo, LCurrentTextNumber); // LCurrentTextNumber, LCurrentTextAuthor,
6. vc-> AddView (cCurrentTextInfo, LCurrentTextAuthor); // LCurrentTextTitle, आदि, दृश्य घटकों के लिए संकेत हैं।
7. vc-> AddView (cCurrentTextInfo, LCurrentTextTitle); // उदाहरण के लिए: TLabel * LCurrentTextNumber;
8. vc-> AddView (cCurrentTextInfo, CLBTextsListBox);
9. vc-> AddView (cCurrentTextInfo, MSelectedTextPreview);
10. vc-> AddViewsGroup (cKeyTextInfo); // एक और ग्रुप बनाएं।
11. vc-> AddView (cKeyTextInfo, LKeyTextNumber);
12. vc-> AddView (cKeyTextInfo, LKeyTextAuthor);
13. vc-> AddView (cKeyTextInfo, LKeyTextTitle);
14. vc-> AddView (cKeyTextInfo, CLBTextsListBox);
15. // ... और इतने पर ...

एक बहुत उत्सुक दृष्टिकोण, हालांकि बहुत स्पष्ट नहीं है। नियंत्रण कंटेनर (3) में स्थानांतरित किए जाते हैं, जो बदले में, मुखौटा (1) में स्थानांतरित किया जाता है। वहाँ, जाहिर है, नियंत्रण किसी भी तरह से उपयोग किया जाता है। TVCLViewsContainer ( [cpp] , [h] ) और TVCLView ( [h] ) कक्षाओं की समीक्षा करने के बाद, यह स्पष्ट हो जाता है कि नियंत्रण के साथ जो कुछ भी किया गया है वह अद्यतन, दिखाएँ / छिपाएँ, सक्षम / अक्षम और समूहों में है। आप एक समूह को पूरी तरह से अपडेट कर सकते हैं, दूसरे को छिपा सकते हैं, केवल नाम जानकर ... इसके लिए क्या जरूरत थी, अब मैं केवल अनुमान लगा सकता हूं। यह दृष्टिकोण एन्कैप्सुलेशन का उल्लंघन करता है, क्योंकि आप नियंत्रण के साथ कुछ भी कर सकते हैं, जिसमें निकालना भी शामिल है। उन्हें अपने फॉर्म के कोष्ठक से बाहर रखा गया है, जो बदले जाने का जोखिम चलाता है।

मुख्य रूप वर्ग में अधिक दिलचस्प कुछ नहीं है, तो चलो कक्षा (2) ( [सीपीपी] , [एच] ) पर करीब से नज़र डालें। यह दूसरा पहलू पहले से ही वास्तविक है, चुटकुले के बिना, सिवाय इसके कि नाम एस के माध्यम से लिखा गया है, न कि सी ("मुखौटा" - एक शब्द की सही वर्तनी, जैसा कि हर जगह दिया गया है, जिसमें GOF ( [1] , [2] , [3 ] ] )। वर्ग विश्लेषण उप-प्रणालियों के साथ काम को सरल करता है, वास्तविक कक्षाओं को इंटरफेस के पीछे छिपाता है। और तीन वास्तविक वर्ग हैं:

Copy Source | Copy HTML

1. वर्ग TAnalyserControllersFasade
2. {
3. TTextsController _TextsController;
4. TAuthoringAnalyser _AuthoringAnalyser;
5. TResoundingMapAnalyser _ResoundingAnalyser;
6. // .......

TAnalyserControllersFasade वर्ग के सरल कार्य तीन वास्तविक वर्गों के अधिक जटिल कार्यों तक पहुँचते हैं, लेकिन ग्राहक इस जटिलता के बारे में कुछ नहीं जानते हैं। यह विकास और उपयोग को सरल करता है। हम ग्रंथों को लोड करते हैं (फ़ंक्शन LoadAsPrototype (), LoadAsKeyText ()), विश्लेषक सेटिंग्स लोड करें (LoadResoundingAnalysisRules ()), विश्लेषण (DoAnalysis () फ़ंक्शन) चलाएँ, और यह किसी तरह जादुई रूप से कहीं काम करता है। यदि हम DoAnalysis () फ़ंक्शन को करीब से देखते हैं, तो हम देखेंगे कि वांछित विश्लेषण को टेक्स्ट नाम से पुकारा जाता है। यह अच्छा है। बुरी खबर यह है कि जब एक मुखौटा के साथ जोड़ा जाता है, तो यह एक बहुत ही एक्स्टेंसिबल समाधान नहीं है। अगर मैं कुछ और विश्लेषण करना चाहता था, उदाहरण के लिए, व्याकरण की जाँच, तो मुझे एक चौथी वास्तविक कक्षा - व्याकरणालीनियर जोड़ने की ज़रूरत होगी - और मुखौटा में कुछ अतिरिक्त कार्य लिखेंगे। और अगर मैं एक सुपर-सार्वभौमिक पाठ विश्लेषण उपकरण लिखता हूं, और मेरे पास ऐसे विश्लेषक हैं - अंधेरे और अंधेरे? तब मुझे एकीकृत इंटरफेस के साथ आना होगा, विश्लेषणकर्ताओं पर अमूर्तता को बढ़ाना होगा, एल्गोरिदम को रन-टाइम में परिवर्तनशील बनाना होगा ... यह बहुत ... बहुत होगा। सौभाग्य से, मैं बहुत कम उन्माद का शिकार हूं, और उस समय इसकी आवश्यकता नहीं थी।

3. TAuthoringAnalyser इंटर्नल और टेक्स्ट स्टोरेज

एक क्लास TAuthoringAnalyser ( [cpp] , [h] ) पर एक नज़र डालें - एक वास्तविक वर्ग जो लेखकत्व का वास्तविक विश्लेषण करता है। एच-फाइल की शुरुआत में, राक्षसी टाइपफेड हड़ताली हैं:

Copy Source | Copy HTML

1. वर्ग TAuthoringAnalyser : सार्वजनिक TAnalyser
2. {
3. जनता :
5. typedef नक्शा < TTextString , ParSentWordFSM :: TCFCustomUnitDivisionTreeItem, कम < TTextString >> TTextsParSentWordTrees;
6. टाइपडिफ नक्शा < TUInt , TRangeMapsEqualifer :: TEqualifiedMapsContainer, कम < TUInt >> TLeveledEqualifiedMaps;
7. टाइपडिफ नक्शा < TUInt , TFrequencyTablesContainer , कम < TUInt >> TLeveledFrequencyContainers;
8. टाइपडिफ नक्शा < TUInt , TTextString , कम < TUInt >> TIndexToAliasAssociator ;
9. टाइपडिफ नक्शा < TUInt , TIndexToAliasAssociator , कम < TUInt >> TLeveledIndexToAliasAssociators;
11. // <असुरक्षित कोड> // नोट: यह कोड असुरक्षित क्यों है, इसे याद रखने की संभावना नहीं है ...
12. टाइपडिफ नक्शा < TUInt , TResultVector , कम < TUInt >> TLeveledResultVectors;
13. // </ असुरक्षित कोड>
14. // .......

सभी प्रकार के मध्यवर्ती डेटा, गणनाओं, परिणामों को संग्रहीत करने के लिए इन प्रकारों की आवश्यकता होती है। तो, TTextsParSentWordTrees में स्पष्ट रूप से संरचनात्मक पाठ पेड़ शामिल हैं: "सभी पाठ -> पैराग्राफ -> वाक्य -" शब्द "; TLeveledFrequencyContainers में ग्रंथों की स्तर-वितरित आवृत्ति विशेषताएँ शामिल हैं, और इसी तरह। आप यह भी देख सकते हैं कि सभी अंतर्निहित प्रकार ( [h] ) पुनर्परिभाषित हैं। TUInt == अहस्ताक्षरित int, TTextString == AnsiString। यह कल्पना करना मुश्किल है कि यह कब काम आ सकता है। ओवरराइड प्रकार, निश्चित रूप से, परियोजना फाइलों में बदलाव किए बिना, कुछ समय में बदला जा सकता है, लेकिन ऐसी स्थिति कितनी बार उत्पन्न होती है? जब यह अचानक पता चलता है कि 32-बिट पूर्णांक गायब है? जब अचानक AnsiString ने हमें संतुष्ट करना बंद कर दिया और हम std :: string चाहते थे? स्थिति बहुत काल्पनिक है, और यह मुख्य रूप से खराब तरीके से तैयार किए गए कार्यक्रम के साथ होता है। जैसा कि हो सकता है, प्रकारों को फिर से परिभाषित किया गया है, वे वास्तव में हस्तक्षेप नहीं करते हैं, वे वास्तव में मदद नहीं करते हैं, और आपको इसकी आदत डालनी होगी।

हमारे मुखौटा विश्लेषक के संरक्षित खंड में नीचे, इन और अन्य प्रकार की वस्तुओं को घोषित किया गया है:

Copy Source | Copy HTML

1. // .......
2. निजी :
3. TTextsConfigurator * _AllTextsConfigurator;
4. TTextsConfigurator _AnalysedTextsConfigurator;
5. TTextsParSentWordTrees _Trees;
6. TLeveledEqualifiedMaps _LeveledEqualifiedMaps;
7. TLeveledFrequencyContainers _FrequencyContainers;
8. TLeveledIndexToAliasAssociators _IndexToAliasAssociators;
9. // .......

TTextsConfigurator वर्ग की एक जटिल संरचना है। उनके कार्यों में ग्रंथों को डाउनलोड करना, संग्रह करना और प्रदान करना शामिल है - गहरी नकल के बिना। एक कार्यक्रम अच्छा होगा यदि मापदंडों में पारित ग्रंथों को पूरी तरह से कॉपी किया गया था। फिर कोई मेमोरी, कोई प्रोसेसर समय नहीं होगा। इसलिए, TTextsConfigurator संकेत के माध्यम से पहुँच प्रदान करता है। यह माना जाता है कि एक बार लोड होने के बाद, पाठ हमेशा उपलब्ध रहता है। "पाठ विन्यासकर्ता" अतिरिक्त जानकारी भी संग्रहीत करता है: पाठ एक उदाहरण है या यह कुंजी है; पाठ सक्रिय है या नहीं (कार्यक्रम में आप विश्लेषण से ग्रंथों को बाहर कर सकते हैं), लेखक कौन है, क्या शीर्षक है, आदि। इसे कैसे लागू किया जाता है, इसे वर्गों में देखा जा सकता है और TTextDataProvider ( [सीपीपी] , [एच] )। यह इस क्रम में है कि इन वर्गों की वस्तुएं एक दूसरे में अंतर्निहित हैं, और हमें एक प्रकार की नेस्टेड गुड़िया मिलती है। यह विचार पाठ के तार्किक और भौतिक प्रतिनिधित्व को अलग करने के साथ-साथ विभिन्न स्रोतों से "कच्चे डेटा" को डाउनलोड करने की क्षमता प्रदान करता है, बिना स्रोतों या उस प्रारूप के बारे में कुछ भी जाने बिना जिसमें पाठ संग्रहीत है। इसलिए, कच्चे डेटा लोडर को बदला जा सकता है। अन्य बातों के अलावा, यह अपने हाइपोस्टैसिस "मास्टर पॉइंटर" ( [1] , [2] ) में स्मार्ट पॉइंटर पैटर्न (TMPRawDataItem और TMPLogicalTextItem वर्गों) का उपयोग करता है। एक वर्ग पदानुक्रम भी है जो आपको ग्रंथों की भौतिक प्रस्तुति से अमूर्त करने की अनुमति देता है। यह सब शायद ही मेरे लिए उपयोगी था; शायद मैंने एक अतिरिक्त काम किया, लेकिन बहुत सारे अनुभव और सकारात्मक भावनाएं प्राप्त कीं।