समुद्र की कीचड़ के साथ जाल वापस आ गया ...

लगभग डेढ़ साल पहले, मैंने एक छोटा सा प्रयोग करने का फैसला किया। लक्ष्य केंद्रित अखबार देखना था। मैंने निम्न कार्य किया:
1) Rarsarsil bash.im (तब अभी भी bash.org.ru) और वहाँ पाए जाने वाले शब्दों का एक आवृत्ति शब्दकोश बनाया।
2) रार्सरसिल विकिपीडिया और एक आवृत्ति शब्दकोश बनाया (अधिक सटीक रूप से, ऐसा नहीं है, मेरे पास पहले से ही उस समय तक एक विकिपीडिया शब्दकोश था, मैंने इसे पूरी तरह से अलग उद्देश्यों के लिए किया था)।
3) मैंने बैश के शब्दकोश को घटते क्रम में घटित किया, उसके साथ-साथ चला और उन शब्दों को टाइप किया, जो कभी विकिपीडिया पर नहीं मिले थे।

सामान्य तौर पर, सभी तैयारियों के बाद, मैंने स्क्रिप्ट लॉन्च की और इसकी सभी महिमा में आधुनिक कठबोली देखने के लिए तैयार किया। कार्यक्रम छपने लगा ...
जिन लोगों को अपवित्रता से एलर्जी नहीं है, वे लिंक का अनुसरण कर सकते हैं और मुझे प्राप्त सूची के शीर्ष की प्रशंसा कर सकते हैं (कोई संपादन नहीं, मैं जारी किए गए कार्यक्रम के रूप में प्रकाशित करता हूं):

मैंने आपको चेतावनी दी थी!

उन लोगों के लिए, जिन्होंने लिंक का अनुसरण नहीं किया है, मैं कहता हूं कि मुझे वास्तव में बहुत अधिक कठबोली मिली - व्यवस्थापक, सर्वर, टिप्पणियां, फोटीक, आदि। लेकिन वह और भी अधिक मजबूर हाफोग्रॉफिस्किह एशबोक और मैट मिला।
एक सांत्वना - रूसी विकिपीडिया में, ये शब्द अभी भी मौजूद नहीं थे!

आवेदन ।

चूंकि लेख अभी भी प्रोग्रामर के लिए है, मैं आपको बताऊंगा कि विकिपीडिया आवृत्ति शब्दकोश कैसे बनाया जाए (यदि मुझे स्रोत मिल सकते हैं, तो मैं उन्हें लेख में संलग्न करूंगा)।
1) रूसी विकिपीडिया का डंप डाउनलोड करें, नवीनतम संस्करण हमेशा यहाँ रहता है - download.wikimedia.org/ruwiki/latest/ruwiki-latest-pages-articles.xml.bz2
2) हम सभी टैग हटाते हैं और नंगे पाठ को इटली के कॉमरेडों द्वारा लिखी गई इस पायथन स्क्रिप्ट की मदद से छोड़ते हैं - medialab.di.unipi.it/wiki/Wikipedia_Extractor इसे हमारे और हमारी मशीन के लिए सुविधाजनक आकार की फ़ाइलों के साथ लिखना।
3) प्रत्येक फ़ाइल के लिए हम पाठ को विभाजक के रूप में विभाजित करते हैं जो सब कुछ है जो सिरिलिक नहीं है और एक हाइफ़न नहीं है (ताकि सभी प्रकार की रॉकिंग कुर्सियों को विभाजित न करें) और टोकन की गणना करें (आप संग्रह का उपयोग कर सकते हैं। पायथन मानक पुस्तकालय से मुठभेड़)
4) परिणामी शब्दकोशों को एक साथ मिलाएं।

परिशिष्ट २

लेकिन वास्तविक विकिपीडिया शब्दकोश , लगभग दो साल पहले किया था।
आप इसके साथ सभी प्रकार की दिलचस्प चीजों का एक टन कर सकते हैं, उदाहरण के लिए, सभी प्रकार के दिलचस्प गुणों के साथ शब्दों की तलाश करें (ठीक है, "" ठीक करने के लिए कठिन "- रूसी भाषा का सबसे लंबा शब्द जिसमें सभी अक्षर अलग हैं)। या मान लें कि एनाग्राम जनरेटर बनाते हैं। हालाँकि, मैं शब्दकोश के साथ प्रयोगों के बारे में एक अलग पोस्ट बनाने की कोशिश करूँगा।