इंडेक्सिस्टो के रचनाकारों से - "हेब्र II के लिए खोजें"

एक उदास शरद ऋतु की सुबह, एक प्रयोग के रूप में, हमने संरचना और गति के साथ हैबर के लिए अपनी खोज को फिल्माया। सभी काम में लगभग 10 मिनट लगे। जो लोग एक नई खोज (ब्लॉग प्रविष्टि के शरीर में सीधे खोज इनपुट) को देखने के लिए tyk पढ़ने के लिए बहुत आलसी हैं।

इस तरह की खोज प्राप्त करने के लिए, हमने अपने एपीआई के माध्यम से डेटाबेस तक पहुंच या लेख अपलोड करने के लिए नहीं कहा। एक नियमित क्रॉलर के माध्यम से सब कुछ बहुत सरलता से किया जाता है। उदाहरण के लिए, हमने लगभग 5,000 लेखों की छानबीन की।

प्रागितिहास

सभी को नमस्कार। मैं आपको याद दिला दूं कि हम Indexisto साइटों ( हब पर हमारी पोस्ट ) के लिए एक त्वरित संरचित खोज करते हैं। लंबे समय तक हमारे बारे में कुछ भी नहीं सुना गया था, और अब हम अंततः रिलीज के साथ बाहर आते हैं।

पहले प्रकाशन के बाद, बहुतों को पसंद आया कि हम क्या कर रहे थे और कई लागू करना चाहते थे। मैं पहले लोगों से बहुत आभारी हूं जो जुड़े हुए हैं - हमने बहुत सारी "सूक्ष्मताएं" देखीं जो हमें नहीं मिलीं। हमने जल्दी से सब कुछ ठीक कर दिया, और एक ही समय में एक भी "लाइव" सूचकांक नहीं गिराया। हालाँकि, एक संरचनात्मक समस्या थी:
- बहुत उच्च प्रवेश दहलीज। परिष्कृत डेटाबेस कनेक्शन, टेम्पलेट्स के लिए परिष्कृत सेटिंग्स, खोज क्वेरी, विश्लेषक आदि।

हमने क्लाइंट कॉन्फ़िगरेशन को मैन्युअल रूप से कॉन्फ़िगर करके इस समस्या को हल किया (उदाहरण के लिए, आप मैक्सिमनलाइन पर हमारा आउटपुट देख सकते हैं), और स्पष्टीकरण के साथ कि हमें जल्दी अपनाने की आवश्यकता है। उसी समय, विकास (बग के अलावा) लगभग उठ गया, और हमें एहसास हुआ कि हम या तो एक इंटीग्रेटर बन रहे थे, या हमें इंटरनेट प्रोजेक्ट रहने के लिए कुछ बदलना पड़ा।

घटनाओं का विकास

आज हम कनेक्शन के साथ समस्या का एक मौलिक समाधान प्रस्तुत करना चाहते हैं - आपको बस साइट URL दर्ज करने और खोज परिणाम तैयार करने की आवश्यकता है। यह बात है।



बाकी सब कुछ अपने आप हो जाता है। कई जटिल सेटिंग्स एक तैयार किए गए टेम्पलेट से ली गई हैं और आपके सूचकांक पर लागू होती हैं। उसी समय, व्यवस्थापक पैनल पूरी तरह से सिकुड़ गया है - चेकबॉक्स और ड्रॉप-डाउन सूचियों के लिए। कट्टर के प्रशंसकों के लिए, हमने उन्नत मोड पर स्विच करने का अवसर छोड़ दिया।

क्रॉलर और पार्सर

और इसलिए, अब हमारे पास एक क्रॉलर और एक सामग्री पार्सर है। क्रॉलर अपेक्षाकृत उचित पृष्ठ देता है: हमने कमोबेश पेजिंग, विभिन्न फ़ीड्स, प्रस्तुति में बदलाव (जैसे? सॉर्ट = डेट.स्क) को त्यागना सीख लिया है। लेकिन भले ही क्रॉलर पूरी तरह से काम करता है, हमारे पास लेखों के साथ पृष्ठ होंगे जिनमें एक टन शानदार है: मेनू, दाएं और बाएं कॉलम में ब्लॉक। आइए इसका सामना करें, मैं वास्तव में खोज परिणामों में यह सब नहीं देखना चाहूंगा, अगर हम अपनी स्थिति का पालन करते हैं।

यहां हम बिना किसी संदेह के उबर सिस्टम पर जाते हैं: एक पार्सर जो आपको पृष्ठ से किसी भी डेटा को निकालने की अनुमति देता है।

वैचारिक रूप से, प्रणाली दो तरीकों को जोड़ती है:

• स्वचालित रूप से एल्गोरिथ्म पर आधारित सामग्री को पुनः प्राप्त करना जैसे कि शैलो टेक्स्ट फीचर्स का उपयोग करके यह बॉयलरप्लेट डिटेक्शन । इसके बारे में एक अलग पोस्ट होगी।
• Xpath का उपयोग करके "माथे में डेटा" निकालना। मुझे याद दिलाएं, अगर एक सरल तरीके से - xpath आपको कुछ टैग्स में पाठ खोजने की अनुमति देता है, उदाहरण के लिए //span[contains(@class, 'post_title')] - पोस्ट-शीर्षक क्लास के साथ स्पैन टैग से हेडर को बाहर //span[contains(@class, 'post_title')] ।

सिस्टम अतिरिक्त सेटिंग्स के बिना, या किसी विशिष्ट साइट के लिए मैन्युअल सेटिंग्स का उपयोग करके दोनों काम कर सकता है।

सामग्री निकालने के लिए पार्सर मास्क

सभी xpath सेटिंग्स हम मास्क में स्टोर करते हैं
पार्सर प्रवेश द्वार पर एक पृष्ठ प्राप्त करता है और इसे अलग-अलग मुखौटे में चलाना शुरू करता है, एक से दूसरे में गुजरता है। प्रत्येक मुखौटा html पृष्ठ से कुछ को अलग करने की कोशिश करता है और प्राप्त दस्तावेज को संलग्न करता है: शीर्षक, चित्र, लेख पाठ। उदाहरण के लिए, एक मुखौटा है जो ओपन ग्राफ़ टैग को निकालता है और दस्तावेज़ में उनकी सामग्री को जोड़ता है:

 <mask name="ogHighPrecision" level="0.50123"> <document name="ogHighPrecisionTags"> <field name="_url">//meta[contains(@property, 'og:url')]/@content</field> <field name="_subtype">//meta[contains(@property, 'og:type')]/@content</field> <field name="_image">//meta[contains(@property, 'og:image')]/@content</field> <field name="title">//meta[contains(@property, 'og:title')]/@content</field> <field name="description">//meta[contains(@property, 'og:description')]/@content</field> <field name="siteName">//meta[contains(@property, 'og:site_name')]/@content</field> </document> </mask> 

जैसा कि हम पहले से ही समझते हैं, हम एक्सएमएल में मास्क का वर्णन करते हैं। कोड को विशेष स्पष्टीकरण की आवश्यकता नहीं है)

हमारे पास इस तरह के बहुत सारे मुखौटे हैं - ओजी के लिए, माइक्रोडाटा, नोइंडेक्स के साथ पृष्ठों को त्यागना, आदि।

इस प्रकार, आप सिद्धांत रूप में, साइट का पता दर्ज कर सकते हैं, और स्वीकार्य रिटर्न प्राप्त कर सकते हैं।
हालांकि, कई लोग न केवल स्वीकार्य चाहते हैं, बल्कि सही भी हैं। और यहाँ हम आपको xpath लिखने का अवसर देते हैं।

कस्टम मास्क

अतिरिक्त पानी के बिना, आइए देखें कि हमने हैबर से डेटा कैसे निकाला

 <?xml version="1.0" encoding="UTF-8"?> <mask name="habrahabrBody" level="0.21"> <allowUrl>/company/</allowUrl> <allowUrl>/events/</allowUrl> <allowUrl>/post/</allowUrl> <allowUrl>/qa/</allowUrl> <document name="habrahabrBody"> <field name="body" required="true">//div[contains(@class, 'html_format')]</field> <field name="title" required="true">//span[contains(@class, 'post_title')]</field> </document> </mask> 

कोड को किसी स्पष्टीकरण की आवश्यकता नहीं है) वास्तव में, हमने इस मास्क को बताया: केवल पोस्ट, कंपनियों, घटनाओं और प्रश्नों के पृष्ठों पर काम करें, लेख के शरीर को html_format वर्ग के साथ ले जाएं, पोस्ट_टाइट क्लास के साथ स्पैन से हेडर।
चित्र निष्कर्षण सिस्टम के स्तर पर (बिल्ट-इन) मास्क ओपन ग्राफ टैग का उपयोग करके होता है, इसलिए हमें अपने मास्क में चित्र के बारे में कुछ भी याद नहीं है।

भविष्य में, हम इस प्रक्रिया को और भी आसान बनाने का प्रयास करेंगे, जैसे Google के पास वेबमास्टर पैनल ( वीडियो ) में है