किसी साइट को अनुक्रमित करते समय पृष्ठों के महत्वहीन हिस्सों को हटाने के बारे में

अन्य ryushechek से आवश्यक और उपयोगी सामग्री को अलग करने का प्रश्न अक्सर वेब पर इस या उस जानकारी को इकट्ठा करने वालों का सामना करता है।

मुझे लगता है कि एक पेड़ में HTML पार्स करने के लिए एल्गोरिथ्म पर ध्यान केंद्रित करने का कोई विशेष कारण नहीं है, खासकर जब से सामान्यीकृत रूप में ऐसे पार्सर को 3-4 विश्वविद्यालयों में एक कोर्स लिखने के लिए सिखाया जाता है। सामान्य स्टैक, तर्कों को छोड़ने के लिए कुछ चिप्स (बाद में जिनकी आवश्यकता होगी) को छोड़कर, और पार्सिंग के परिणामस्वरूप आउटपुट ट्री। पाठ को पार्स करने की प्रक्रिया में शब्दों में तोड़ा जाता है, और शब्दों को एक अलग सूची में भेजा जाता है, जहां, सामान्य जानकारी के अलावा, दस्तावेज़ में शब्द के सभी पदों को याद किया जाता है। यह स्पष्ट है कि सूची में शब्द पहले से ही सामान्य रूप में हैं, मैंने पहले से ही आकृति विज्ञान के बारे में लिखा है, यहां मैं पिछले लेख से बस कॉपी करता हूं।


सबसे पहले, ज़ालिज़िनेक के रूपात्मक शब्दकोश के आधार पर, हम सबसे बड़े आधार का चयन करते हैं, समाप्ति को काटते हैं, और 1 शब्दकोश फ़ॉर्म को प्रतिस्थापित करते हैं। इस पूरी प्रक्रिया को त्वरित पार्सिंग के लिए एक पेड़ में इकट्ठा किया जाता है, समाप्त पत्तियों में अंत के वेरिएंट होते हैं। हम शब्द से चलाते हैं, मिले हुए पत्र के आधार पर पेड़ के समानांतर नीचे जाते हुए, जब तक कि हमें सबसे कम संभव पत्ती नहीं मिलती - वहाँ, अंत के आधार पर, हम सामान्यीकृत को प्रतिस्थापित करते हैं।
यदि हमें एक सामान्य रूप नहीं मिला है, तो हम स्टेमिंग का उपयोग करते हैं - lib.ru से डाउनलोड की गई पुस्तकों के ग्रंथों के आधार पर, मैंने अंत की घटना की आवृत्ति की एक तालिका बनाई, सबसे उपयुक्त (एक पेड़ के साथ) की सामान्य खोज करें और इसे सामान्य रूप से बदलें। यदि शब्द 5-10 वर्ष पहले भाषा में नहीं था, तो स्टेमिंग अच्छी तरह से काम करता है - यह "क्रॉलर" को "क्रॉलर" में आसानी से पार्स कर देगा


HTML पार्सिंग के साथ लंबे प्रयोगों के बाद, मैंने देखा कि HTML में समान ब्लॉक स्पष्ट रूप से एक ही उपप्रकार बनाते हैं - मोटे तौर पर बोलते हुए, अगर उनके बीच 2 पृष्ठ और 2 पेड़ और XOR हैं, तो केवल आवश्यक सामग्री ही रहेगी। ठीक है, या अगर यह बहुत सरल है - एक ही स्थान पर इन पेड़ों को पार करना एक संभाव्य मॉडल देगा - जितने अधिक ब्लॉक होंगे, उतना ही कम इसका महत्व होगा। वह सब जो 20% -30% से अधिक में पाया जाता है - मैं इसे फेंक देता हूं, डुप्लिकेट सामग्री पर समय बर्बाद करने का कोई मतलब नहीं है।

जाहिर है, एक समाधान का जन्म हुआ: यह एक निश्चित सीआरसी को एक सबट्री से गिनना सीखता है, फिर प्रत्येक उपप्रकार के लिए पुनरावृत्ति की संख्या को गिनना आसान होता है। फिर, जब फिर से पार्स करते हैं, तो उस पेड़ के शीर्ष को रीसेट करना जो बहुत आम है, आसान है, और आप हमेशा शेष पेड़ से पेज टेक्स्ट एकत्र कर सकते हैं (हालांकि यह आवश्यक रूप से कहीं भी आवश्यक नहीं है)।

इसलिए साइट के सभी पृष्ठों पर 2 रन में - पहले हम आंकड़े एकत्र करते हैं, फिर सूचकांक - अलग-अलग पैटर्न का मुद्दा आसानी से हल हो जाता है। इसके अलावा, हमें बहुत सारे लाभ मिलते हैं - निर्माण जैसे <td></td> , <b></b> और अन्य अर्थहीन पहले बाहर फेंक दिए जाएंगे

मेरे लेखों की पूरी सामग्री और सूची यहां अपडेट की जाएगी: http://habrahabr.ru/blogs/search_engines/123/1/