कथा के पुस्तकालय के विश्लेषण के आधार पर एक आवृत्ति शब्दकोश बनाना

सभी को नमस्कार।

हाल ही में, (संभवतया) एक रूपात्मक शब्दकोश को चमकाने के लिए (संभवत:) एक इनफिनिटिव से सभी संभव शब्द रूपों को उत्पन्न करने के लिए, मुझे रूसी भाषा का एक बहुत अच्छा आवृत्ति वाला शब्दकोश चाहिए। फ़्रीक्वेंसी डिक्शनरी एक बहुत ही साधारण सी चीज़ है, इसमें दिए गए शब्द उस फ़्रीक्वेंसी द्वारा आर्डर किए जाते हैं जिसके साथ उनका विश्लेषण टेक्स्ट में होता है।

कार्य, यह बहुत सरल प्रतीत होता है और संभवतः सबसे आगे प्रोग्रामिंग का अध्ययन करते समय हल किया जाता है। लेकिन इस तरह के भारी पुस्तकालय के विश्लेषण के लिए, और पुस्तकालय मैं 157 हेक्टेयर से अधिक का उपयोग करता है, एक औसत घरेलू कंप्यूटर के संसाधन काफी तंग हैं। अधिक सटीक रूप से, पुस्तकालय को 0.5 - 2 जीबी के पचास ज़िप अभिलेखागार में संग्रहीत किया जाता है, जिनमें से प्रत्येक में fb2 प्रारूप में 20-30 हजार कार्य शामिल हैं। संकुचित रूप में, इसका वजन 60 जीबी है।

समस्या # में हल हो गई थी। परिणाम पर्याप्त समय में प्राप्त किया जाना चाहिए, जिसके लिए मैंने 8 घंटे से अधिक नहीं चुना, ताकि मैं शाम को प्रदर्शन शुरू कर सकूं और सुबह परिणाम प्राप्त कर सकूं।

समाधान के लिए खोजें

सरणी

"माथे" कहा जाता है, जो हल करने का सबसे स्पष्ट तरीका दो सरणियां हैं, पहले - शब्दों में, दूसरे में - एक संख्या। एक नया शब्द मिलने के बाद, इसे पहले अनुपस्थिति में जोड़ दें यदि यह वहां अनुपस्थित है या दूसरे सरणी में अनुक्रमणिका को जोड़ते हैं यदि हम पहले शब्द को पाते हैं। इस विकल्प की कोशिश करने के बाद, मैं तुरंत इसमें निराश हो गया, कुछ घंटों के बाद कार्यक्रम पहले संग्रह के पहले छमाही के साथ क्रैक हो गया। कोई भी पेशेवर प्रोग्रामर शायद पहले से ही इस दृष्टिकोण पर हंसता है। हालांकि, मैं कबूल करता हूं - मैंने कल्पना भी नहीं की थी कि एक कैच मेरा इंतजार कर रहा है।

फिर मैंने खोजना शुरू किया - कहाँ बहुत अड़चन है जो कार्यक्रम को सांस लेने से रोकती है। नया शब्द जोड़ने के समय अड़चन थी। सरणी को व्यवस्थित रखने के लिए - शब्द को बीच में कहीं और कभी-कभी बहुत शुरुआत में डालना पड़ता है। ऐसा करने के लिए, आपको सरणी के प्रत्येक तत्व को चयनित स्थिति के दाईं ओर स्थानांतरित करना होगा। जब लाखों शब्दों की बात आती है, तो यह गतिविधि प्रोसेसर के लिए बहुत थकाने वाली हो जाती है और आने वाले हफ्तों के लिए कार्यक्रम के पूरा होने को स्थगित करते हुए इसका बदला लेती है।

आदेशित सूची

मुझे ऐसी डेटा संरचना की तलाश करनी थी जो प्रत्येक तत्व को उस संरचना के अंत में जोड़ दे, लेकिन उन्हें उसी समय ऑर्डर करने की अनुमति दें। तब मुझे आदेशित सूचियाँ मिलीं। एक ऑर्डर की गई सूची का एक सेल स्वयं डेटा का एक टुकड़ा और एक अन्य सेल के लिए एक पॉइंटर को संग्रहीत करता है। सब कुछ उत्कृष्ट है, हम बस एक नया शब्द जोड़ते हैं और 2 इंडेक्स बदलते हैं, पिछले शब्द का सूचकांक यह दर्शाता है और इस शब्द का सूचकांक निम्नलिखित दर्शाता है। लेकिन, यह दुर्भाग्य है, ऐसी सूची में एक खोज बहुत कम्प्यूटेशनल रूप से मांग है। यदि एक क्रमबद्ध सरणी में हम बीच से खोज शुरू कर सकते हैं और इसे एक पुनरावृत्ति में आधा भाग में विभाजित कर सकते हैं, तो आदेशित सूची में हमें एक गेंद से एक धागे की तरह एक दूसरे से बिंदुओं पर चढ़ना होगा, जब तक कि हम पूरी गेंद में सही जगह न पा लें। मैंने इस विकल्प की कोशिश नहीं की, पिछली विफलता से सिखाया मैंने तुरंत एक घात को सूँघ लिया।

बाइनरी सर्च ट्री

मुझे केवल कुछ घंटों के बाद निम्नलिखित डेटा संरचना मिली। मैं बाइनरी सर्च ट्री में आया था। विभिन्न विकल्पों के बारे में थोड़ा पढ़ने के बाद, मैं एक आत्म संतुलन एवीएल पेड़ पर बस गया, जिस तरह से, सोवियत वैज्ञानिकों एडेल्सन-वेल्स्की जार्ज मैक्सीमोविच और लैंडिस एवगेनी मिखाइलोविच द्वारा बनाया गया, और उनके उपनाम से उनका नाम विरासत में मिला।

बाइनरी ट्री की संरचना एक आदेशित सूची के समान है, लेकिन प्रत्येक तत्व, कुछ पत्तियों (तथाकथित पत्तियों) को छोड़कर दो तत्वों को संदर्भित करता है। रूट एलीमेंट ऑर्डर किए गए एरे के बीच में एक है। यह छोटे (बाएं) और बड़े (दाएं) तत्व को संदर्भित करता है, इसके अलावा - यह गारंटी दी जाती है कि बाईं शाखा के सभी तत्व इससे कम होंगे, और सही शाखा के सभी तत्व अधिक होंगे। बाएं या दाएं तत्व की जांच करने के बाद, जिसमें हम आए हैं - हम एक ही पदानुक्रम देखेंगे, यह दो तत्वों को भी संदर्भित करता है, बाईं शाखा भी छोटी है, दाईं ओर एक बड़ा है। इस तरह के पेड़ को कैसे संतुलित किया जाए, यह समझने के लिए, संबंधित लेख को पढ़ना सबसे अच्छा है, उदाहरण के लिए यहां: एवीएल-पेड़ । यह ध्यान रखना महत्वपूर्ण है कि बाइनरी सर्च ट्री पूरी तरह से मेरी आवश्यकताओं को पूरा करता है। एक नए आइटम की त्वरित खोज और त्वरित जोड़।

परिणाम

नतीजतन, अनुकूलन पर कुछ और घंटे बिताने के बाद, मुझे एक बहु-थ्रेडेड एप्लिकेशन मिला जो संग्रह को रैम में अनपैक करता है, विभिन्न शब्दों की आवृत्ति को गिना जाता है और एवीएल पेड़ का उपयोग करके डेटा को संसाधित करता है।

यहाँ कार्यक्रम के परिणामों पर कुछ पंक्तियाँ हैं, बाईं ओर शब्द है, दाईं ओर आवृत्ति है। ये विभिन्न लंबाई के सबसे सामान्य शब्द हैं:

• i 34361402
• एक 36192092
• 52479822 से
• 126422246 में
• और 158458227 है

...

• 23978868 द्वारा
• वह 32602346 है
• फिर 42163693
• 83001625 पर
• सं 97183097

...

• सभी 19576264
• यह 21318968 है
• इसका 27719894 है
• 30228770 की तरह
• वह 63106338

...

• 6789652 पर भी
• 6832494 था
• अगर 7750404 है
• मुझे 12381969
• 15450767 था

...

• 5455561 हो सकता है
• बहुत 5,477,013
• समय 6317279
• जब 9788599
• से 9987225 रु

...

• 296 से नफरत है
• अत्यधिक योग्य 350
• उत्कृष्टता 384
• महामहिम 489
• उत्कृष्टता 3739

...

• नफ़रत ४६
• घृणा करना ५२
• निजी व्यवसाय ६०
• उत्कृष्टता 91
• राष्ट्रीय समाजवादी 96

कुल में, 9.5 मिलियन शब्द प्राप्त हुए, विश्लेषण 8482 सेकंड तक चला, अनपैक किए गए पाठ की औसत प्रसंस्करण गति 18.57 mb / s थी।

अब आप मेरी रूपात्मक शब्दावली को परिष्कृत करने के लिए डेटा का उपयोग कर सकते हैं, और शब्दावली प्राप्त करने के बाद "आवृत्ति विश्लेषण" में सुधार करना संभव होगा, क्योंकि समान मूल शब्दों को समूह में रखना संभव होगा। इसके अलावा, काम के लिए विभिन्न एन्कोडिंग आदि के साथ "आवृत्ति विश्लेषक" की आवश्यकता होती है। इसके बाद सजा सुनाई जा रही है। अंत में, मैं कुछ प्रकार के पर्याप्त अर्थ नेटवर्क प्राप्त करना चाहता हूं।

इस तथ्य के बावजूद कि मेरी "रिपोर्ट" प्रोग्रामिंग और भाषा विज्ञान के विषय को कवर करती है - मैं आपसे पूछता हूं कि मुझे लिखित रूप से गलतियां करने के लिए दोष न दें (विशेष रूप से विराम चिह्न) या समस्या का सबसे आसान समाधान नहीं है, लेकिन मैं आपसे इन त्रुटियों को इंगित करने या अधिक सुरुचिपूर्ण समाधान सुझाने के लिए कहता हूं, मुझे खुशी होगी।

आप सभी को धन्यवाद।