खरीदारी साइटों पार्सिंग। व्यक्तिगत अनुभव और थोड़ा-सा कैसे

हम साइटों के पार्सिंग (स्क्रैपिंग) को दो उप-प्रकारों में विभाजित करते हैं।

1. पार्सिंग स्वयं उन डेटा की खोज है जो हमारे लिए पृष्ठों पर रुचि रखते हैं।
2. प्राप्त आंकड़ों की समझ।

सबसे पहले, हम अनुप्रयोगों का वर्णन करते हैं:

1. साइट से उत्पादों के बारे में "स्थायी" जानकारी के पार्सर। यह पार्सर शायद ही कभी चलेगा (केवल नए उत्पादों के लिए जांच करने के लिए), यह पृष्ठों को पार्स करेगा और इससे उत्पाद जानकारी निकालेगा: नाम, फोटो, गुण।
2. सशर्त रूप से चर जानकारी के पार्सर। यह एप्लिकेशन अक्सर और स्वचालित रूप से लॉन्च किया जाएगा, यह डेटाबेस में इस जानकारी को अपडेट करने के लिए गोदाम में कीमतों और उपलब्धता की खोज करने के लिए साइट के पृष्ठों को पार्स करेगा (हम इस पर विचार नहीं करेंगे, यहां कुछ भी असामान्य नहीं है)।
3. व्यवस्थापक, प्राप्त डेटा को संरचित करना। यह एप्लिकेशन "स्थायी" जानकारी के पार्सर के बाद लॉन्च किया जाएगा और व्यवस्थापक को प्राप्त डेटा को पार्स / संरचना करने की अनुमति देगा।

तो, चलो पार्सर्स के बारे में बात करते हैं

कई पार्सिंग विधियां हैं, ये नियमित अभिव्यक्ति हैं और एक सामान्य विकल्प खोज है। इन सभी विधियों में एक बड़ी खामी है - साइट पर छोटे बदलाव के साथ, आपको पार्सर को स्वयं संपादित करना होगा।
खुद के लिए (मैं व्यक्तिगत रूप से .net in c #) लिखता हूं। मैं HtmlAgilityPack लाइब्रेरी में रुका , उदाहरण के लिए , हैबे पर वर्णन।
वह जो देती है, वह HTML (यहां तक ​​कि कई गैर-वैध दस्तावेजों) को पढ़ती है और एक DOM ट्री बनाती है। और फिर XPATH प्रश्नों की पूरी शक्ति खेल में आती है। सही ढंग से लिखे गए XPATH अनुरोधों के साथ, साइट में परिवर्तन के लिए पार्सर को संपादित करने की आवश्यकता नहीं है।

एक उदाहरण:
डोम में अभिविन्यास के लिए अक्सर कक्षाओं का उपयोग किया जाता है, लेकिन साइट डिज़ाइन में और भी अक्सर छोटे बदलाव तत्वों में संबंधित वर्गों को जोड़कर किए जाते हैं (यह वर्ग था = "productInfo" वर्ग बन गया = "productInfo clearfix")। इसलिए, XPATH में लिखना बेहतर है:

div[contains(@class,'productInfo')] 

के बजाय

 div[@class='productInfo'] 

हां, यह प्रदर्शन को प्रभावित कर सकता है, लेकिन ज्यादा नहीं। कोड बहुमुखी प्रतिभा अधिक महत्वपूर्ण है।

उसी तरह, जब आईडी तत्वों का उपयोग करते हुए पेड़ में उन्मुख होता है, तो मैं आमतौर पर "//" (यानी, पूरे उप-विषय को खोजता हूं) का उपयोग करता हूं, बजाय "/" (केवल बाल तत्वों के बीच खोज)। यह उन स्थितियों में बचाता है जहां डिजाइनर किसी भी टैग को लपेटता है (आमतौर पर कुछ डिस्प्ले बग को ठीक करने के लिए):

 div[@id='productInfo']//h1 

के बजाय

 div[@id='productInfo']/h1 

अगला सवाल "क्या करना है?"

हमें माल के बारे में मूल जानकारी को पार्स करने की आवश्यकता है: नाम, फोटो और, सबसे महत्वपूर्ण, गुणों की एक सूची। हम प्राप्त डेटा को एक आदिम संरचना के साथ डेटाबेस में संग्रहीत करेंगे:


यानी प्रत्येक उत्पाद के लिए मूल्यों के जोड़े की एक सूची होगी: संपत्ति का नाम (संपत्ति का नाम) और इसका मूल्य (संपत्तिवैल्यू)।
मान लीजिए कि हमने एक पार्सर लिखा है, साइट से सभी डेटा को पार्स किया है, और अब हम मापदंडों द्वारा माल की खोज के लिए एक डेटाबेस और एक साइट बनाना चाहते हैं। ऐसा करने के लिए, हमें डेटा की संरचना करने की आवश्यकता है।

डेटा संरचना

चलो संरचित डेटा संग्रहीत करने के लिए डेटाबेस में कुछ और तालिकाओं का निर्माण करते हैं।


Dict_Property - गुणों की एक निर्देशिका (रंग, आकार, वजन, आदि, यानी सभी गुण जो हम बाद में देखेंगे)
Product_Property - किसी विशेष उत्पाद के लिए इन गुणों का मान।

सांख्यिक गुणों के लिए एक छोटा "ट्रिक" - फ्लोटवैल्यू फील्ड - एक वेलवेट के लिए मान फ़ील्ड को बदलने की कोशिश करके बनाया गया है:

 update product_property set floatvalue = CASE WHEN ISNUMERIC(value + 'e0') = 1 THEN CAST(value AS float) ELSE null END 

यह खोज के लिए आवश्यक होगा (उदाहरण के लिए: "वजन" फ़ील्ड, अनुरोध 100 से 300 ग्राम तक है, "मूल्य" पाठ क्षेत्र में खोज धीमी और गलत होगी, और फ्लोटवैल्यू के साथ - तेज और सही)।

अब सब कुछ डेटा की संरचना के लिए शुरू करने के लिए तैयार है।

अभ्यास से पता चला है कि यहां तक ​​कि सबसे खराब तरीके से डिज़ाइन किए गए चीनी स्टोर उत्पाद विवरणों को एकजुट करने का प्रयास करते हैं।
उदाहरण: वेबसाइट dx.com, 1267 उत्पाद पार्स हैं। कुल में, उनके पास 49398 गुण हैं। यदि हम नाम से समूह बनाते हैं, तो हमें केवल 580 मान मिलते हैं, जो, सिद्धांत रूप में, बहुत अधिक नहीं है।

नाम और मूल्य के आधार पर गुणों को समूहित करें, एक प्लेट प्राप्त करें (संपत्ति, मूल्य, कितनी बार होती है) और उन्हें घटना की आवृत्ति द्वारा क्रमबद्ध करें।


यह पूरी तालिका देने के लिए कोई मतलब नहीं है, हम कुछ बिंदुओं पर ध्यान दें:

• तालिका की पहली 100 पंक्तियाँ (सबसे आम संपत्ति मान) सभी संपत्ति मूल्यों का लगभग 35-40% कवर करती हैं।
• बहुत सारे गुण और मूल्य हैं जो केवल मामले और / या रिक्त स्थान / टाइपो में एक दूसरे से भिन्न होते हैं।
• डिजिटल डेटा - आमतौर पर एक प्रारूप में - उदाहरण के लिए, वजन, आयाम, रैम।

डेटा की संरचना के लिए, हम "पार्सिंग नियम" बनाने के लिए एक आवेदन लिखेंगे। हम 2 प्रकार के नियम पेश करते हैं:

• सटीक संयोग। उदाहरण के लिए: संपत्ति "रंग", मूल्य "काला"
• नियमित अभिव्यक्ति मैच। उदाहरण के लिए: वजन संपत्ति, मूल्य
  (?\d*\.?\d+)g