वेब दस्तावेज़ सामग्री चिमटा

हेलो, हेब्र!

यह मेरी पहली पोस्ट है जिसमें मैं एक पृष्ठ पर सामग्री को हाइलाइट करने जैसी समस्या को हल करने में अपनी सर्वोत्तम प्रथाओं को साझा करना चाहता हूं। दरअसल, पहेली लंबे समय से पृष्ठभूमि में सिर पर लटकी हुई है। लेकिन ऐसा हुआ कि अभी मुझे उपकरण की आवश्यकता थी, इसके अलावा मैं हब पर एक लेख के पार आया: habrahabr.ru/company/mailru/blog/200394 और निर्णय लिया कि यह समय था। ठीक है, चलिए।

विचार की ट्रेन

दरअसल, लेख की शुरुआत में ऐसी तस्वीर क्यों? तथ्य यह है कि समस्या को पूरी तरह से अलग-अलग तरीकों से हल किया जा सकता है। मैं संभव समाधानों, उनके पेशेवरों और विपक्षों के बारे में लंबी चर्चा में नहीं आया। मुख्य बात यह है कि इस पोस्ट में मैं एक वर्गीकरण समस्या के रूप में कार्य को देखता हूं। तो, यहाँ सोचा की ट्रेन है:

• हम कारकों के एक सेट के साथ आते हैं ताकि डोम में किसी भी तत्व को वेक्टर किया जा सके।
• किसी तरह हम दस्तावेजों का एक बंडल इकट्ठा कर रहे हैं।
• प्रत्येक दस्तावेज़ में, हम पेड़ में BODY के नीचे DOM में सभी तत्वों को वेक्टर करते हैं। फिर किसी तरह।
• प्रत्येक सदिश तत्वों के लिए, 1 या 0. 0 का वर्ग निर्दिष्ट करें लक्ष्य नहीं है, 1 लक्ष्य है।
• हमने नमूने को 50/50 या उसके अनुपात में दो भागों में हराया।
• हम अपने क्लासिफायर को एक टुकड़े पर प्रशिक्षित करते हैं, दूसरे पर हम इसका परीक्षण करते हैं, हमें पूर्णता, सटीकता के रूप में परिणाम मिलता है। खैर, या उनमें से किसी भी मीट्रिक की तरह एफ-स्कोर हजारों ।

एक कसौटी पाठक निश्चित रूप से यह कहेगा कि अंतिम दो बिंदुओं के बजाय यह करना बेहतर है, उदाहरण के लिए, क्रॉस-वैलिडेशन और सही होगा। सामान्य तौर पर, इस मामले में यह महत्वपूर्ण नहीं है, क्योंकि लेख मुख्य रूप से उपकरण के लिए समर्पित है, और संबंधित गणितीय / एल्गोरिथम विवरण के लिए नहीं।

चीजों के वैचारिक पक्ष के बारे में सब कुछ स्पष्ट प्रतीत होता है। चलो तकनीकी पक्ष को देखें।

• मैंने भाषा के रूप में अजगर को चुना। ज्यादातर इसलिए क्योंकि मुझे यह पसंद है (:
• Sklearn को सीखने के लिए तुरंत एक गणित पुस्तकालय के रूप में चुना गया था।
• चूंकि किसी कारण से मैंने फैसला किया कि जावास्क्रिप्ट पृष्ठों को भी सफलतापूर्वक संसाधित किया जाना चाहिए, PyQt4 को पार्सिंग के लिए इंजन के रूप में चुना गया था। जैसा कि यह पता चला है, यह एक बहुत अच्छा विकल्प है।

निर्णय

हमेशा की तरह, यह पता चला कि विचार अप्रिय "छोटी चीजों" के सभी प्रकारों को ध्यान में नहीं रखता है। लेकिन तथ्य यह है कि पिछले पैराग्राफ में सब कुछ बहुत अच्छा लगता है, लेकिन यह पूरी तरह से स्पष्ट नहीं है कि नमूने को कैसे चिह्नित किया जाए? यानी आगे के प्रशिक्षण के लिए DOM में लक्ष्य तत्वों का चयन कैसे करें? और फिर सही विचार मेरे दिमाग में आया: इसे एक इंटरैक्टिव ब्राउज़र होने दो। हम माउस और कीबोर्ड का उपयोग करके लक्ष्य ब्लॉकों का चयन करेंगे। ब्राउज़र को छोड़े बिना एक प्रकार का विज़ुअलाइज़्ड मार्कअप प्रक्रिया।

निम्नलिखित सोचा गया था: एक ब्राउज़र है जिसमें आप माउस के साथ ड्राइव कर सकते हैं, और माउस के नीचे का तत्व "हाइलाइटेड" है। जब वांछित आइटम का चयन किया जाता है, तो उपयोगकर्ता एक विशिष्ट हॉटकी पर क्लिक करता है। नतीजतन, पृष्ठ को पार्स किया जाता है, डीओएम को सदिश किया जाता है, और चयनित तत्व को कक्षा 1 मिलता है, जबकि शेष को कक्षा 0 मिलता है।

परिणाम

मैं यहां कोड से फुटक्लॉथ की प्रतिलिपि नहीं बनाना चाहता - सब कुछ स्पष्ट है और भंडार में उपलब्ध है । यह किसके लिए आवश्यक है - वहां पढ़ें। हां, जिसे आलस्य को पाइप का उपयोग करके सेट किया जा सकता है, लेकिन ध्यान रखें, केवल Ubuntu> = 12.04 पर लिखा और परीक्षण किया गया है।

परिणाम तीन मुख्य विशेषताओं के साथ एक पुस्तकालय था:

• एक ब्राउज़र में सामग्री को पहचानने के लिए इंटरएक्टिव सीखने। परिणामी क्लासिफायर मॉडल एक फ़ाइल में क्रमबद्ध है।
• ब्राउज़र में सामग्री की मान्यता का इंटरएक्टिव परीक्षण। पृष्ठ पर लक्षित किए गए तत्वों को हाइलाइट किया गया है।
• एक कंसोल टूल जो किसी दिए गए URL और मॉडल फ़ाइल में लक्ष्य DOM तत्व के HTML को फाड़ सकता है।

वैसे, कॉन्स्ट्रेक्टर बैग स्थापित करने के बाद, दो स्क्रिप्ट लॉन्च के लिए उपलब्ध होंगी:

• constractor_train.py एक इंटरएक्टिव ट्यूटोरियल / टेस्ट है। तुलसा माउस पॉइंटर के तहत एक तत्व को उजागर कर सकती है, हॉटकी दबाकर एक पृष्ठ को वेक्टर कर सकती है, विभिन्न पृष्ठों से प्राप्त आंकड़ों से सीख सकती है, कारकों और मॉडल को फाइलों में सहेज सकती है, उन्हें फाइलों से लोड कर सकती है, वर्तमान मॉडल के आधार पर एक तत्व को उजागर कर सकती है।
• constractor_predict.py लक्ष्यित तत्वों का कंसोल HTML रिप है। सामान्य तौर पर, यह वह सब है जो तुलज़ा जानता है (:

तस्वीरें

बहुत आलसी के लिए, मैं चित्रों के साथ उदाहरण देता हूं। उदाहरण के लिए, हम हैज़ा की टोपी का निर्धारण करने के लिए तुल्ज़ा सिखाना चाहते हैं।

1) हेडर पर माउस को इंगित करें। जब वांछित क्षेत्र हाइलाइट किया जाता है (काली पृष्ठभूमि), Ctrl + S दबाएं। इस प्रकार, हमने चयन में वेक्टरकृत तत्वों को जोड़ा।


प्रक्रिया को कई बार दोहराएं।


2) अगला, जानने के लिए Ctrl + T दबाएं। हम अपने हेडर के साथ एक मनमाने पेज पर जाते हैं। पूर्वानुमान के लिए Ctrl + P दबाएं।

निष्कर्ष

लाइब्रेरी अभी भी बहुत कच्ची है और इसमें बहुत सुधार की आवश्यकता है, मैं आपसे अपने स्नीकर के साथ कड़ाई से आलोचना नहीं करने के लिए कहता हूं - सब कुछ बहुत कम समय में लिखा गया था।

सुधार की योजनाओं के लिए: डिफ़ॉल्ट कारकों के सेट का विस्तार करना, विभिन्न प्रकार के ब्लॉकों को पहचानने के लिए अंतर्निहित मॉडल को जोड़ना, और बहुत कुछ। बेशक, मैं अपने खाली समय में धीरे-धीरे यह सब काट दूंगा। हालांकि, मैं बहुत आभारी रहूंगा अगर वहाँ हैबोर्लोत्से जो पुस्तकालय के लिए योगदान करने के लिए अपने खाली समय में भी तैयार हैं।

आपका ध्यान के लिए धन्यवाद!