पाठ एल्गोरिथ्म विकास का परीक्षण करें

परीक्षण पाठ हाइलाइट पाठ में शब्दों को रोक देता है। शब्दों को रोकना पाठ को भारी, कमजोर, लंबा बनाता है।

स्टॉप शब्दों को कई श्रेणियों में विभाजित किया गया है:
- मोडल क्रियाएं;
- सुदृढ़ीकरण और सामान्यीकृत परिभाषाएँ और क्रियाविशेषण;
- क्लिच और लिपिकवाद;
- हाइपरोनियम;
- समय के परजीवी;
- मौखिक संज्ञा;
- निष्क्रिय आवाज़;
- क्रियाविशेषण;
- भाग लेता है।

प्रोटोटाइप ने सभी रूपों में "सक्षम", "होना चाहिए" और "आवश्यकता" का उपयोग करते हुए मोडल क्रियाओं को एकल कर दिया:

'modal': { 'can': u""", , , , , , , , , , , , , , , """, 'need': u', , , , ', 'should': u', , , ', 'other': u', , , , ' }, 

पाठ को एक नियमित अभिव्यक्ति द्वारा शब्दों में तोड़ दिया गया था (?: [\ _S ;:] | \ A | \ Z), प्रत्येक शब्द की तुलना स्टॉप शब्दों के साथ की गई थी। स्रोत पाठ में मिलानों को चिह्नित किया गया था <span class = "stop word class">, चिह्नित पाठ वापस लौट आया और पृष्ठ पर पाठ को प्रतिस्थापित कर दिया।

प्रोटोटाइप ने काम किया, स्टॉप शब्दों की सूची बढ़ी, लेकिन जब मुझे क्लिच मिला, तो मैंने महसूस किया कि मैं सभी रूपों में स्टॉप शब्दों को सूचीबद्ध करना जारी नहीं रख सकता। प्रत्येक स्टॉप शब्द 63 में बदल गया। तीन जेनरा × तीन गुना × सात मामले। मैं एक pystemmer में खामियों को दूर किया।

स्टीमर एक शब्द के अंत और प्रत्यय को हटाता है, जिससे यह सामान्य रूप में होता है।

  →   →   →   →   →  

स्नोबॉल एल्गोरिथ्म पर Pystemmer चलता है।

अब एल्गोरिथ्म स्टॉप शब्दों में भाग गया, अपने अंत और प्रत्ययों को त्यागते हुए, फिर पाठ के अनुसार। पाठ में स्टॉप शब्द और शब्दों के शुरुआती रूपों की तुलना की गई थी। वाक्यांशों को रोकें, जैसे, "संदिग्ध खुशी", एल्गोरिथ्म शब्द, स्टैम्प में पार्स करता है और वापस इकट्ठा होता है। पाठ शब्दों की सूची में एक स्टॉप वाक्यांश की खोज करते समय, शब्द की जाँच की जा रही है और इसके पीछे कई शब्द हैं।

दुर्भाग्य से, स्टॉप शब्दों के शब्दकोशों के माध्यम से क्रियाविशेषण, निष्क्रिय आवाज और सहभागी पासवर्ड की जांच करना संभव नहीं है। रूसी भाषा की सभी बोलियों की सूची की कल्पना करें? यह रूपात्मक विश्लेषक में प्लग करने का समय है। अजगर के लिए कोई विकल्प नहीं है, सिवाय kmike के pymorphy2 को छोड़कर, इसलिए मैं उस पर रहता हूं।

शब्द के लिए रूपात्मक विश्लेषक शब्द (संज्ञा, क्रिया, विशेषण, ...), लिंग, एकवचन / बहुवचन, मामला, व्यक्ति, समय, क्रियाओं के लिए आवाज का एक हिस्सा निर्धारित करता है। स्रोत में पूरी सूची Pymoprhy2 कैसे काम करता है पर एक रोमांचक लेख ।

 [Parse(word=u'', tag=OpencorporaTag('PRTS,perf,past,pssv masc,sing'), normal_form=u'', score=1.0, methods_stack=((<DictionaryAnalyzer>, u'', 745, 71),))] [Parse(word=u'', tag=OpencorporaTag('ADJF plur,nomn'), normal_form=u'', score=0.212962962962963, methods_stack=((<DictionaryAnalyzer>, u'', 162, 20), (<UnknownPrefixAnalyzer>, u''))), Parse(word=u'', tag=OpencorporaTag('ADJF inan,plur,accs'), normal_form=u'', score=0.212962962962963, methods_stack=((<DictionaryAnalyzer>, u'', 162, 24), (<UnknownPrefixAnalyzer>, u''))), Parse(word=u'', tag=OpencorporaTag('PRTF,impf,tran,pres,actv plur,nomn'), normal_form=u'', score=0.212962962962963, methods_stack=((<DictionaryAnalyzer>, u'', 1609, 33), (<UnknownPrefixAnalyzer>, u''))), Parse(word=u'', tag=OpencorporaTag('PRTF,impf,tran,pres,actv inan,plur,accs'), normal_form=u'', score=0.212962962962963, methods_stack=((<DictionaryAnalyzer>, u'', 1609, 37), (<UnknownPrefixAnalyzer>, u''))), Parse(word=u'', tag=OpencorporaTag('PRTF,impf,intr,pres,actv plur,nomn'), normal_form=u'', score=0.03703703703703704, methods_stack=((<FakeDictionary>, u'', 1670, 33), (<KnownSuffixAnalyzer>, u''))), Parse(word=u'', tag=OpencorporaTag('PRTF,impf,intr,pres,actv inan,plur,accs'), normal_form=u'', score=0.03703703703703704, methods_stack=((<FakeDictionary>, u'', 1670, 37), (<KnownSuffixAnalyzer>, u''))), Parse(word=u'', tag=OpencorporaTag('PRTF,impf,tran,pres,actv plur,nomn'), normal_form=u'', score=0.03703703703703704, methods_stack=((<FakeDictionary>, u'', 2631, 33), (<KnownSuffixAnalyzer>, u''))), Parse(word=u'', tag=OpencorporaTag('PRTF,impf,tran,pres,actv inan,plur,accs'), normal_form=u'', score=0.03703703703703704, methods_stack=((<FakeDictionary>, u'', 2631, 37), (<KnownSuffixAnalyzer>, u'')))] 

मॉर्फोलॉजिकल एनालाइज़र टेस्ट कनेक्ट करने के बाद टेक्स्ट एक ही समय में, क्रिया विशेषण, निष्क्रिय आवाज़, संस्कार और पहचान देता है।

यह क्लाइंट पर समस्याओं से निपटने के लिए बनी हुई है। मुझे संदेह नहीं था कि एक साधारण पाठ इनपुट क्षेत्र के साथ इतनी समस्याएं हो सकती हैं। मुझे प्रविष्टि डालने पर पाठ और प्रविष्टि कोड को सम्मिलित करने के लिए एक जावा-स्क्रिप्ट लिखना था। नए संस्करण में, मैंने अपना कोड Wysihtml5 से बदल दिया। Wysihtml5 एक हल्का html संपादक है। मुझे यह पता चला, कि स्टडी को बेसकैंप में कैसे बनाया गया।

इसके अलावा, मुझे टेक्स्ट का मार्कअप क्लाइंट को ट्रांसफर करना था। पाठ की जाँच करना त्वरित नहीं है, जवाब देने से पहले उपयोगकर्ता कुछ और वाक्य दर्ज कर सकता है। और चूंकि पाठ सर्वर पर चिह्नित किया गया था, सभी उपयोगकर्ता परिवर्तन मिटा दिए गए थे।

इसके बजाय, सर्वर ने अपनी कक्षा, प्रारंभ और समाप्ति स्थितियों के साथ रोक शब्दों की एक सूची लौटाना शुरू किया। और क्लाइंट पर पहले से ही मार्कअप हो चुका है। यदि स्थिति में शब्द सर्वर से प्रतिक्रिया से मेल नहीं खाता है, तो शब्द चिह्नित नहीं है। यदि उपयोगकर्ता ने पाठ बदल दिया है और शब्द की स्थिति बदल गई है।

विकास योजनाएं:
- हाइलाइटिंग वाक्य 17 से अधिक शब्द हैं, उन्हें पढ़ना मुश्किल है।
- हाईलाइट पैराग्राफ 8 लाइनों से अधिक। सबसे अधिक संभावना है कि ऐसे पैराग्राफ को तोड़ने की आवश्यकता है।
- पाठ की " लय " पर नज़र रखना । एक अच्छे पाठ में, लंबे वाक्य मध्यम और छोटे वाक्यों के साथ वैकल्पिक होते हैं, पाठ नीरस नहीं होता है। पाठक सोता नहीं है।
- आसन्न वाक्यों में शब्दों को दोहराते हुए।
- उपशामक मूड।
- सार्वजनिक एपीआई।

---

हमारे हाबरा ब्लॉग और उपयोगी पत्रों की सदस्यता लें। हम सूचना शैली के बारे में लिखते हैं, हम अन्य लोगों के पदों का विश्लेषण करते हैं।