यूक्रेनी भाषा की आवृत्ति विश्लेषण

एक अच्छे कारण के लिए, मुझे यूक्रेनी भाषा के लिए अक्षरों के जोड़े की आवृत्तियों (तथाकथित बिगोग्राम या डिग्राम) की एक तालिका की आवश्यकता थी। और न केवल यूक्रेनी भाषा, बल्कि आधुनिक जीवित इंटरनेट भाषा, नाममात्र एक जिसमें यूक्रेनी भाषी वातावरण में आधुनिक संचार होता है। मेरे लिए ज्ञात एकमात्र परिणाम एक छोटे से नमूने पर बनाए गए थे, जो मुझे ज़रूरत थी, उससे अलग और उनमें पाठ का एक गंभीर रूपांतरण परिणाम को प्रभावित कर सकता था (और शायद किया था, लेकिन उस पर बाद में और अधिक)।

कार्य आम तौर पर मुश्किल नहीं है, केवल गंभीर समस्या प्रसंस्करण के लिए सामग्री का स्रोत है - पाठ का सबसे बड़ा टुकड़ा जिसे फावड़ा जा सकता है।

पहला विचार कुछ आईआरसी चैनल के एक टुकड़े को डंप करने का था। दुर्भाग्य से, मुझे भाषा पर कटऑफ के साथ एक भी सक्रिय लाइव फ्लेम नहीं मिला।

अगला विचार: मंच।

कई बड़े यूक्रेनी-भाषा मंचों को पीड़ितों के रूप में चुना गया था। सभी प्रवेशकर्ताओं ने डेटाबेस से पाठ भाग के एक डंप के अनुरोध के लिए नकारात्मक प्रतिक्रिया व्यक्त की, और कुछ भी काफी तेज ...

... वे दोषी हैं, मैंने कहा, और शुरू कर दिया।

वास्तव में कोई विशेष समस्याएँ नहीं थीं। सुनिश्चित करें कि wget केवल जरूरत के अनुसार खींचती है (केवल मंच पृष्ठ, व्यक्तिगत संदेश पृष्ठ नहीं - पीड़ित मंच पर ऐसा कोई विकल्प था), html से xHTML से प्राप्त पृष्ठों के एक टन को अधिभारित करने के लिए शक्तियां ज्ञान को खींचने के लिए थोड़ा सा। एक ही नाम की उपयोगिता, फिर से, वांछित पाठ तत्वों को मिटाने के लिए xslt को थोड़ा ऊपर खींचो, और एक ही समय में उद्धरणों को काट दिया, साथ ही दोहराया तत्वों को भी। इस मामले के परिणाम का पहले ही विश्लेषण किया जा सकता था, जिसके लिए C # में एक छोटा कार्यक्रम बनाया गया था। सामान्य तौर पर, सभी को दो सप्ताह लगते हैं, दिन में कई मिनट।

परिणामों के बारे में थोड़ा सा।

Wget का उपयोग करते हुए, शुद्ध html के दो गीगाबाइट डाउनलोड किए गए थे, जो लगभग एक दिन और एक आधा ले लिया था (मैं अधिक सटीक रूप से नहीं कहता, कोई और फाइल नहीं हैं :))
सभी सहायक पृष्ठों, अनुक्रमित, सामग्री और फ़ोरम को काटने के बाद, एक्सएचटीएमएल को डिस्टिल करने और त्रुटियों वाली फ़ाइलों को काटने के लिए, 2.2GB के कुल आकार के साथ 49,492 फाइलें प्राप्त की गईं।
Xslt चलने के बाद, फ़ाइलों की संख्या में बदलाव नहीं हुआ है, लेकिन वॉल्यूम में काफी कमी आई है - 160MB तक, जबकि सभी एक ही, अधिकांश मात्रा xslt के बाद छोड़े गए रिक्त स्थान से बनी होती है। डबल व्हाट्सएप पात्रों को हटाने के बाद शुद्ध आकार, संसाधित पाठ का आधार 65 525 151 वर्ण हैं, जो पिछले अध्ययन की तुलना में 10 गुना अधिक है।

दरअसल परिणाम यहां देखा जा सकता है । संग्रह में चार फाइलें हैं: क्रमशः संसाधित और कच्चे डिग्राम और मोनोग्राम परिणाम। संसाधित परिणामों से, वे सभी जो यूक्रेनी भाषा की वर्णमाला से कड़ाई से संबंधित नहीं हैं + को डिगराम परिणाम एक तालिका में बदल दिया गया है। पिछले परिणामों के साथ तुलना करने पर, हम शीर्ष दस में पहले से ही अंतर देखते हैं। इस तरह के अंतर का एकमात्र सुझाव यह है कि उपर्युक्त अध्ययन में, शब्द रूपों को रद्द कर दिया गया था।

नीचे ध्वन्यात्मक मानदंड के अनुसार रूसी और यूक्रेनी भाषाओं में पत्र आवृत्तियों का एक तुलनात्मक चार्ट है:

प्रश्न खोलें।

1. तृतीय-पक्ष भाषाओं में समावेशन काटना। ज्यादातर रूसी, अंग्रेजी। वे कम हैं, लेकिन फिर भी ध्यान देने योग्य हैं। यहां तक ​​कि इस तथ्य के आधार पर कि आप पोस्ट को अन्य वर्णमाला से अक्षरों की उपस्थिति से काट सकते हैं, परिणाम की सटीकता की गारंटी देना अभी भी असंभव है। आप रूसी में एक लंबी स्ट्रिंग लिख सकते हैं, जिसमें यूक्रेनी वर्णमाला में गायब एक भी चरित्र नहीं होगा। और इसकी पुष्टि करने के लिए पिछले चार वाक्य।

2. दुर्लभ वर्ण "ґ" और "" "(एपोस्ट्रोफी)। पहला लगभग सार्वभौमिक रूप से "जी" द्वारा प्रतिस्थापित किया गया है, क्योंकि "is" एक वर्ग के रूप में अधिकांश कीबोर्ड पर अनुपस्थित है, और AltGr के माध्यम से टाइप करने का तरीका लगभग अज्ञात है। इसके अलावा, पत्र स्वयं बहुत दुर्लभ है, और कई लोगों को इसका उपयोग नहीं किया जाता है (यह 1990 में वर्णमाला में वापस आ गया था)।
एपोस्ट्रोफ (रूसी हार्ड साइन का एक एनालॉग) के रूप में, एकल उद्धरण चिह्न "'" का मुख्य रूप से उपयोग किया जाता है (जो कि टाइपोग्राफिक रूप से गलत है), लेकिन चूंकि यह विंडोज के पुराने संस्करणों पर अनुपस्थित है, और नए लोगों में यह एक भागने के तहत होना बहुत स्पष्ट है, यह या तो छोड़ दिया गया है या बदल दिया गया है। किसी भी अन्य उपयुक्त (या ऐसा नहीं) चरित्र, जैसे कि तारांकन। विश्लेषण में, मैंने एक एकल उद्धरण को एपोस्ट्रोफ के रूप में लिया, लेकिन तालिकाओं के परिणाम स्पष्ट रूप से दिखाते हैं कि इसका उपयोग केवल एपोस्ट्रोफ के रूप में नहीं किया जाता है (नियमों के अनुसार, एपोस्ट्रोफ को बी, पी, सी, एम, एफ, पी और उससे पहले, यू, є के बाद जाना चाहिए) ,,। तालिका में कई अन्य घटनाएं भी दिखाई देती हैं)।

निष्कर्ष।

मुझे उम्मीद है कि विषय में पोस्ट किए गए परिणाम किसी के लिए आवश्यक या दिलचस्प होंगे।
... खैर, एक ही समय में मुझे दो खुली समस्याओं को हल करने के विचारों पर खुशी होगी।