👨🏽‍✈️ 🏈 👸🏽 और फिर से बूढ़े आदमी ने जाल फेंक दिया ... (हास की पार्सिंग, जारी) 💰 🅰️ 👨‍👦

लगभग एक महीने पहले, मैंने एक पोस्ट प्रकाशित किया था जिसमें मैंने समुद्र के एक कीचड़ के साथ एक जाल लौटाया था ... यह विकिपीडिया और बैशॉर्ज के आवृत्ति शब्दकोशों की तुलना करने के बारे में था। टिप्पणियों में इसे सही तरीके से करने के बारे में बहुत सारे विचार थे, साथ ही साथ अन्य साइटों - लर्कमोर और निश्चित रूप से हब्राब्र के पार्स करने का अनुरोध किया गया था।

संदर्भ के अनुसार, हबर की टिप्पणियों के आवृत्ति शब्द हैं जिन्हें कभी भी हैबर के पदों में नहीं देखा गया है (ध्यान से, बहुत अधिक अपवित्रता):
docs.google.com/file/d/0B-1U-yPHh8eSbk52bW84NXFyYm8/edit?usp=sharing

यहां थोड़े समय के लिए, मैं मदद नहीं कर सकता था लेकिन "हैब्रास्लोव" के निर्माण और उपयोग के लिए स्थानीय निवासियों के प्यार को नोटिस कर सकता था, मैं घटना के पैमाने का मूल्यांकन करना चाहता था।
खबरासलोवा (अधिक सटीक, शब्द रूप, उपजी में संलग्न नहीं) उपयोग की आवृत्ति द्वारा क्रमबद्ध:
docs.google.com/file/d/0B-1U-yPHh8eST3l6M0tuZzVEOFE/edit?usp=sharing
वे हैं, लेकिन लेक्सिकोग्राफिक क्रम में क्रमबद्ध हैं:
docs.google.com/file/d/0B-1U-yPHh8eSaFVsYTdJaGtlQUU/edit?usp=sharing

कोड का एक बिट:

#          html- def generic_get(soup,search_tag,condition): l=[] for e in soup.findAll(search_tag): d=dict(e.attrs) if condition(d): l.append(e) return l #   def get_post_text(main_soup): return generic_get(main_soup, "div", lambda d:d.get("class",[''])[0]=="post")[0].text #    def get_comments_text(main_soup): return ' '.join([x.text for x in generic_get(main_soup, "div", lambda d:d.get("class",[''])[0]=="message")])

उदाहरण के लिए, इस पोस्ट का पाठ पाने के लिए, आपको निम्नलिखित कार्य करने होंगे:

 >>> import BeautifulSoup >>> import urllib >>> bs=BeautifulSoup(urllib.urlopen("http://habrahabr.ru/post/192670/")) >>> print get_post_text(bs)

और मिलता है

शायद एक पोस्ट जो खुद को पूरी तरह से उद्धृत करती है, जिसमें खुद को उद्धृत करना शामिल है, ... आदि। यह मूल होगा ... मैंने पढ़ा कि एक पादरी अपने कुत्ते की कब्र पर कुछ ऐसा ही लिख सकता था, लेकिन मैं, शायद कोशिश नहीं करूँगा ...

अद्यतन
टिप्पणियों में बशॉर्ग की आवृत्ति शब्दकोश पोस्ट की गई - habrahabr.ru/post/192670/#comment_1693042

हैबर की फ्रिक्वेंसी डिक्शनरी भी होगी, मैंने गलती से शब्दों को तोड़ते समय गलती की, मेरा पत्र "ई" सीमांकक में गिर गया, मैं भूल गया कि यह कोड तालिका में "ए" और "आई" के बीच नहीं है, और कुछ शब्द कट गए थे। शाम को मैं सब कुछ ठीक करना शुरू कर दूंगा, और कल सुबह मैं इसे पोस्ट करूंगा।

और फिर से बूढ़े आदमी ने जाल फेंक दिया ... (हास की पार्सिंग, जारी)

More articles: