यह कैसे करें: लेखों को पार्स करना

मेरे लिए, यह हमेशा कुछ प्रकार का जादू था कि कैसे गेटपॉकेट, पठनीयता और Vkontakte पृष्ठों के लिंक पार्स करते हैं और विज्ञापन, साइडबार और मेनू के बिना देखने के लिए तैयार लेख प्रस्तुत करते हैं। हालांकि, वे लगभग कभी गलत नहीं होते हैं। और हाल ही में, एक समान कार्य हमारी परियोजना में परिपक्व हो गया है, और मैंने थोड़ा गहरा खुदाई करने का फैसला किया है। मुझे तुरंत कहना होगा कि यह "श्वेत" पार्सिंग है, वेबमास्टर्स स्वयं स्वेच्छा से हमारी सेवा का उपयोग करते हैं।


एक आदर्श दुनिया में, पन्नों पर सभी जानकारी को स्पष्ट रूप से चिह्नित किया जाना चाहिए। स्मार्ट लोग माइक्रोडेटा, ओपनग्राफ, आर्टिकल, एनएवी ... इत्यादि जैसे कई उपयोगी चीजें लेकर आए हैं, लेकिन मैं शब्दार्थ के संदर्भ में वेबमास्टर्स की चेतना पर भरोसा करने की जल्दी में नहीं हूं। यह अपने आप लोकप्रिय साइटों के पृष्ठों का कोड देखने के लिए पर्याप्त है। ओपन ग्राफ, वैसे, सबसे लोकप्रिय प्रारूप है, हर कोई सामाजिक नेटवर्क में सुंदर दिखना चाहता है। नेटवर्किंग

लेख और तस्वीर के शीर्षक का पृथक्करण मेरे पोस्ट के दायरे से परे है, क्योंकि शीर्षक आमतौर पर शीर्षक या ओग से लिया जाता है, और अगर यह ओगाज़ी से नहीं लिया गया है, तो चित्र एक अलग कहानी है।

हम सबसे दिलचस्प बात की ओर मुड़ते हैं - लेख के शरीर को अलग करना।
यह पता चला है कि इस समस्या के लिए समर्पित (वैज्ञानिक कर्मचारियों सहित) काफी वैज्ञानिक कागज हैं। यहां तक ​​कि एक CleanEval प्रतियोगिता है जिसमें परीक्षण पृष्ठों का एक सेट है, जिसमें से डेटा निकालने के लिए, और एल्गोरिदम प्रतिस्पर्धा करते हैं कि कौन इसे और अधिक सटीक बनाता है।

निम्नलिखित दृष्टिकोण प्रतिष्ठित हैं:

• केवल HTML दस्तावेज़ (DOM और पाठ स्तर) का उपयोग करके डेटा निष्कर्षण। हम नीचे इस तकनीक पर चर्चा करेंगे।
• कंप्यूटर विज़न का उपयोग करके प्रदान किए गए दस्तावेज़ का उपयोग करके डेटा निकालें। यह एक बहुत ही सटीक एल्गोरिदम है, लेकिन सबसे जटिल और लसदार भी है। आप देख सकते हैं कि यह कैसे काम करता है, उदाहरण के लिए, यहां: www.diffbot.com (स्टैनफोर्ड के लोगों द्वारा एक परियोजना)।
• साइट स्तर पर डेटा को एक पूरे के रूप में निकालना, एक ही प्रकार के पृष्ठों की तुलना करना और उनके बीच अंतर खोजना (विभिन्न ब्लॉक मूल रूप से सही सामग्री हैं)। बड़े सर्च इंजन ऐसा कर रहे हैं।

अब हम हाथ पर केवल एक HTML दस्तावेज़ के साथ एक लेख निकालने के दृष्टिकोण में रुचि रखते हैं। समानांतर में, हम पेजों से लेखों की सूची के साथ पृष्ठों को परिभाषित करने की समस्या को हल कर सकते हैं। इस लेख में, हम तरीकों और दृष्टिकोणों के बारे में बात कर रहे हैं, न कि अंतिम एल्गोरिथ्म।

हम पृष्ठ को http://habrahabr.ru/post/198982/ पर पार्स करेंगे

एक लेख बनने के लिए उम्मीदवारों की सूची

हम पृष्ठ संरचना के सभी मार्कअप तत्वों को लेते हैं (सादगी के लिए - एक div ) और पाठ जिसमें वे होते हैं (यदि कोई हो)। हमारा कार्य दिव्य तत्व की एक फ्लैट सूची प्राप्त करना है - इसमें पाठ

उदाहरण के लिए Habré पर मेनू ब्लॉक:



हमें एक तत्व देता है जिसमें पाठ "कंपनी के हब की क्यू और एक घटना" पोस्ट करता है

यदि नेस्टेड डिव तत्व हैं, तो उनकी सामग्री को छोड़ दिया जाता है। बाल विभाग को बदले में कार्रवाई की जाएगी। एक उदाहरण:



हम दो तत्वों को प्राप्त करेंगे, एक पाठ में © habrahabr.ru , और दूसरा समर्थन सेवा मोबाइल संस्करण में

हम मानते हैं कि 21 वीं सदी के तत्व जो किसी संरचना (div) को चिह्नित करने के लिए शब्दार्थ हैं, पाठ में पैराग्राफ को चिह्नित करने के लिए उपयोग नहीं किया जाता है, और यह शीर्ष 100 समाचार साइटों के लिए सच है।

नतीजतन, हमें लकड़ी का एक फ्लैट सेट मिलता है:



और इसलिए, हमारे पास एक सेट है जिसमें लेख को वर्गीकृत करना है। इसके अलावा, प्रत्येक तत्व के लिए विभिन्न सरल एल्गोरिदम का उपयोग करते हुए, हम इसमें लेखों की उपस्थिति की संभावना के गुणांक को कम या बढ़ाएंगे।

हम डोम ट्री को बाहर नहीं फेंकते हैं, हमें एल्गोरिदम में इसकी आवश्यकता होगी।

दोहराए जाने वाले पैटर्न का पता लगाएं।

DOM ट्री के सभी एलिमेंट्स में, हम एट्रिब्यूट्स (क्लास, id ..) में रिपीटिंग पैटर्न वाले एलिमेंट्स ढूंढते हैं। उदाहरण के लिए, यदि आप टिप्पणियों को करीब से देखते हैं:



यह स्पष्ट हो जाता है कि दोहराव पैटर्न क्या है:

• तत्वों के लिए कक्षाओं का एक ही सेट
• आईडी में एक ही पाठ प्रतिस्थापन

हम इन सभी तत्वों और उनके "बच्चों" को कम करते हैं, अर्थात्, हमने पाया गया पुनरावृत्ति की संख्या के आधार पर एक निश्चित कम गुणांक निर्धारित किया है।
जब मैं "बच्चों" के बारे में बात करता हूं तो मेरा मतलब है कि सभी नेस्टेड तत्व (जो हमारे वर्गीकरण सेट में गिर गए थे) निराशावाद प्राप्त करेंगे। उदाहरण के लिए, टिप्पणी पाठ वाला एक तत्व भी वितरण के अंतर्गत आता है:

किसी तत्व में सादे पाठ के लिंक का अनुपात।

विचार स्पष्ट है - मेनू में और कॉलम में हम ठोस लिंक देखते हैं, जो स्पष्ट रूप से एक लेख जैसा नहीं है। हम अपने सेट से तत्वों पर जाते हैं और प्रत्येक के लिए एक गुणांक डालते हैं।
उदाहरण के लिए, फ्रीलांसिम ब्लॉक में तत्वों में पाठ (हम पहले से ही दोहराए जाने वाले वर्ग के लिए एक ऋण प्राप्त करते हैं), एक के बराबर पाठ के लिए लिंक के एक बदसूरत अनुपात के लिए पकड़ में एक शून्य प्राप्त करें। यह स्पष्ट है कि यह गुणांक जितना छोटा होता है, पाठ उतना ही सार्थक लेख की तरह दिखता है:

पाठ तत्वों के लिए पाठ मार्कअप का अनुपात

किसी भी मार्कअप (सूची, हाइफ़नेशन, स्पैन ...) के अधिक ब्लॉक, कम मौका है कि यह लेख। उदाहरण के लिए, विज्ञापन शायद एक सम्मानित एसईओ कंपनी एक लेख के समान नहीं है, क्योंकि यह पूरी सूची है। पाठ अनुपात के लिए मार्कअप कम, बेहतर।

पाठ में अंकों (वाक्यों) की संख्या।

यहाँ हम संख्यात्मक भाषाविज्ञान के क्षेत्र में लगभग रेंग चुके हैं। तथ्य यह है कि हेडर और मेनू में डॉट्स व्यावहारिक रूप से नहीं डाले जाते हैं। लेकिन लेख के शरीर में उनमें से कई हैं।
यदि साइट पर नई सामग्री के कुछ मेनू और सूचियां अभी भी पिछले फिल्टर के माध्यम से क्रॉल की जाती हैं, तो आप गिनती बिंदुओं को समाप्त कर सकते हैं। ब्लॉक में उनमें से बहुत अच्छे नहीं हैं:



अधिक अंक, बेहतर, और हम एक लेख का गर्व शीर्षक प्राप्त करने के लिए इस तत्व की संभावना बढ़ाते हैं

एक ही लंबाई के बारे में पाठ के साथ ब्लॉक की संख्या

एक ही लंबाई के बारे में पाठ के साथ कई ब्लॉक एक बुरा संकेत हैं, खासकर अगर पाठ छोटा है। हम इस तरह के ब्लॉक को कम कर रहे हैं। विचार एक समान लेआउट पर अच्छी तरह से काम करेगा:



उदाहरण में, हैबर नहीं, क्योंकि यह एल्गोरिथम कठोर ग्रिड पर बेहतर काम करता है। उदाहरण के लिए हैबे की टिप्पणियों पर, यह बहुत अच्छी तरह से काम नहीं करेगा।

तत्व में पाठ की लंबाई।

एक सीधा संबंध है - तत्व में पाठ जितना लंबा होगा, यह लेख जितना अधिक होगा।



इसके अलावा, तत्व के अंतिम ग्रेड के लिए इस पैरामीटर का योगदान बहुत महत्वपूर्ण है। लेख पार्सिंग के 90% मामलों को अकेले इस विधि द्वारा हल किया जा सकता है। पिछले सभी सर्वेक्षण इस अवसर को 95% तक बढ़ा देंगे, लेकिन साथ ही वे प्रोसेसर के समय के शेर के हिस्से को खाते हैं।

लेकिन कल्पना कीजिए: एक टिप्पणी लेख का आकार। यदि आप लेख को पाठ की लंबाई से निर्धारित करते हैं, तो भ्रम होगा। लेकिन एक उच्च संभावना है कि पिछले एल्गोरिदम हमारे ग्राफ कमेंटेटर के पंखों को थोड़ा काट देंगे, क्योंकि आईडी या कक्षा में दोहराए जाने वाले पैटर्न के लिए तत्व को pimimized किया जाएगा।

या एक और मामला - एक वज़नदार ड्रॉप-डाउन मेनू का उपयोग करके बनाया गया



"boilerplate algorithm", "readability algorithm"