👗 🚥 😍 वेब पेजों को शब्दार्थ खंडों में विभाजित करना 🦒 👆🏻 🖨️

साइट ऑटोकैडबरा पर एल्गोरिथ्म का एक उदाहरण।

कार्य

शायद, हर कोई Webvisor सेवा के बारे में जानता है, जो आपको अपनी साइट पर आगंतुकों की क्रियाओं को रिकॉर्ड करने और उन्हें वीडियो मोड में देखने की अनुमति देता है। उपकरण दिलचस्प है, लेकिन जब साइट पर बहुत सारे आगंतुक होते हैं, तो साइट के जीवन की एक तस्वीर बनाने के लिए यह समस्याग्रस्त है, आप प्रत्येक वीडियो नहीं देख सकते हैं, और आप उन्हें समूह नहीं बना सकते हैं।

यह साइट के साथ आगंतुकों की बातचीत को ट्रैक करने के लिए बहुत अधिक उपयोगी है, यह पता लगाने के लिए कि साइट कैसे रहती है, एक ही समय में कई आगंतुकों तक पहुंचने की क्षमता के साथ। नतीजतन, यह विचार आगंतुकों के कार्यों की एक सार्थक सूची के रूप में जानकारी दर्ज करने के लिए प्रकट हुआ:

Dima : Sepyra के अनुरोध पर Yandex RU सर्च इंजन से साइट पर जाएँ (3 सेकंड पहले 10 सेकंड)
Dima : सेप्रा वेब एनालिटिक्स से संक्रमण। आधिकारिक वेबसाइट पेज के बारे में पेज । सेपायरा वेब एनालिटिक्स (1। 30 सेकंड। एगो)।
दीमा : ब्लॉक में पाठ " समय " को उजागर करना " सेप्रा वेब एनालिटिक्स की प्रमुख विशेषताओं में से एक अवसर है ... जो आगंतुकों के हर कदम के बारे में जानना चाहता है " (40 सेकंड।)
Dima : " टैरिफ " सिस्टम के बारे में " कनेक्ट " उप-ब्लॉक में औसत रुचि सामान्य प्रश्न FAQ अंग्रेजी रूसी संपर्क लॉगिन (20 सेकंड पहले)
Dima : " पंजीकरण " फॉर्म में " आपका नाम " फ़ील्ड भरना / बदलना (10 सेकंड पहले)

रिकॉर्ड में दो भाग होते हैं: वह ब्लॉक जिसमें आगंतुक की कार्रवाई होती है और कार्रवाई खुद होती है, उदाहरण के लिए, " प्रमुख विशेषताओं में से एक ... " में " समय " पाठ को उजागर करना। इस विवरण के लिए, आपको पृष्ठ और उसके नाम पर ब्लॉक को परिभाषित करना होगा। यदि नाम कम या ज्यादा स्पष्ट था, तो मुझे ब्लॉक के आवंटन के बारे में सोचना था।

समाधान के विकल्प

पहला कदम इस समस्या का मौजूदा समाधान खोजना है। उनमें से एक "समान दस्तावेजों की पहचान करने के लिए शब्दार्थ ब्लॉकों में वेब पृष्ठों को तोड़ने की विधि है" (डी। आई। कोसिनोव। वोरोनिश राज्य विश्वविद्यालय)। यहां सबसे बड़ा तत्व निर्धारित किया गया था और पेज से बाहर ले जाया गया था, और इसी तरह, जब तक सामग्री बनी रही। एक बार में पूरे <BODY> को बाहर निकालने के लिए नहीं, सबसे कम संभव स्तरों पर ब्लॉकों का चयन करने के लिए एक नोड डेप्थ इंडिकेटर को वजन फ़ंक्शन में पेश किया गया था। कार्यान्वयन और परीक्षण की प्रक्रिया में, यह पता चला कि समस्या कई स्थानों पर होती है, सबसे पहले, आपको वजन फ़ंक्शन के लिए गुणांक को सही ढंग से चुनने की आवश्यकता है, और दूसरी बात, सामग्री को हटाने के बाद, पृष्ठ पर "छेद" होते हैं, और अगला ब्लॉक फट जाता है, उदाहरण के लिए, आंकड़ा 4 में ब्लॉक 4। ।

उसके बाद, उनके निर्णयों पर काम किया जाने लगा, एक विकल्प यह था कि एक निश्चित लंबाई की सामग्री के साथ ब्लॉक का चयन किया जाए, जो पूरी तरह से सफल नहीं हुआ। एक शाम एक और फैसला आया, जो अंतिम बन गया। सार सरल था, क्यों एक पृष्ठ पर सिमेंटिक ब्लॉकों की तलाश करें, जब लेआउट मूल रूप से ब्लॉक को अर्थ से जोड़ता है, तो आपको केवल यह निर्धारित करने की आवश्यकता है कि ब्लॉक किस स्तर पर और कौन से हैं।

अंतिम संस्करण

ब्लॉक में एक वेब पेज को तोड़ने के लिए एल्गोरिथ्म

एल्गोरिथ्म का मूल विचार यह मानना है कि एक वेब पेज के आम तत्व अक्सर DOM ट्री में एक आम माता-पिता होते हैं । यह प्रयोगात्मक रूप से स्थापित किया गया था कि पृष्ठ पर पृथक सिमेंटिक ब्लॉकों की संख्या औसत रूप से DOM पेड़ के निम्नतम स्तर पर तत्वों की संख्या के वर्गमूल के बराबर है (यानी, उन तत्वों की संख्या का वर्गमूल जिसमें बच्चे नहीं हैं)।
संक्षेप में, एल्गोरिथ्म को निम्नलिखित चरणों में वर्णित किया जा सकता है:

हम DOM ट्री के मूल तत्व को सरणी में रखते हैं
जबकि DOM ट्री में निचले एलिमेंट में एलीमेंट्स के तत्वों की संख्या वर्गाकार रूट से कम होती है, हम निम्न चक्र को दोहराते हैं:
1. उस तत्व का चयन करें जिसमें सबसे बड़ा वजन है जिसमें बच्चे हैं। अगर ऐसा नहीं है, तो छोड़ दें।
2. यदि एक उपयुक्त तत्व पाया गया था, तो इसे सरणी से हटा दें, दूरस्थ तत्व के बच्चों को सरणी में जोड़ें और लूप की शुरुआत में लौटें।

स्प्लिट फंक्शन उदाहरण

function getSeparatedNodes(rootObj, numBlocks) { var nodes = [rootObj]; while (nodes.length < numBlocks) { var maxWeightNode = nodes[0]; var nodeIndex = 0; for (var i = 0; i < nodes.length; i++) { if (((nodes[i].weight > maxWeightNode.weight) || (maxWeightNode.lowerChildrenCount == 1)) && (nodes[i].lowerChildrenCount > 1)) { maxWeightNode = nodes[i]; nodeIndex = i; } } if (maxWeightNode.lowerChildrenCount <= 1) { break; } nodes.splice(nodeIndex, 1); nodes = nodes.concat(maxWeightNode.children); } return nodes; }

आइटम वजन

वजन निर्धारित करेगा कि कौन सा तत्व बच्चों में विभाजित होगा, यह सामग्री के आकार और तत्व के क्षेत्र दोनों को ध्यान में रखता है,
Element_weight = लॉग (text_length * 0.1 + 1.01) * log (क्षेत्र * 0.9 + 0.11)।
तत्व क्षेत्र को उच्च प्राथमिकता दी जाती है, जादू नंबर 1.01 और 0.11 लघुगणक को सीमित करते हैं ताकि वजन एक सकारात्मक संख्या बनी रहे। एल्गोरिदम द्वारा खाली नोड्स को बाहर रखा गया है, इसलिए पाठ आकार और क्षेत्र के लिए न्यूनतम मान एक हैं। उन वस्तुओं के लिए जिनके अंदर पाठ नहीं हो सकता है (चित्र, एम्बेडेड ऑब्जेक्ट्स, आदि), text_length पैरामीटर को क्षेत्र / 140 माना जाता है (140 एक पाठ चरित्र के क्षेत्र का औसत मूल्य है)। पाठ की लंबाई की गणना करते समय, दोहराया रिक्त स्थान को बाहर रखा जाता है, और <STYLE> और <SCRIPT> तत्वों के आंतरिक पाठ को भी ध्यान में नहीं रखा जाता है।

ब्लॉक का नाम

ब्लॉक नाम की खोज काफी सरल है:

हेडर तत्वों को ब्लॉक के अंदर खोजा जाता है (H1 - H6)
यदि कोई शीर्षक तत्व नहीं मिलते हैं, तो अधिकतम फ़ॉन्ट आकार वाले तत्व खोजे जाते हैं
यदि सभी तत्वों में एक ही फ़ॉन्ट है, तो अधिकतम फ़ॉन्ट भार वाले तत्व खोजे जाते हैं
यदि सभी पाठ में समान बोल्डनेस है, तो पाठ का आरंभ और अंत लिया जाता है।

क्या हुआ?

नीचे दिए गए उदाहरणों के उदाहरण नीचे दिए गए हैं (चित्र क्लिक करने योग्य हैं):

Autokadabra

Sepyra

हैबे पर लेखों की सूची

समान एल्गोरिथ्म का उपयोग करके, ब्लॉक को सबब्लॉक में विभाजित करना संभव है:

आप यहां लाइव देख सकते हैं , साथ ही अन्य उदाहरण भी देख सकते हैं।

इसी तरह के समाधान

साथ ही, इस विषय पर कई पेटेंट थे, जो काम में आ सकते हैं।

पेटेंट "मोबाइल संचार टर्मिनल में वेब पेज को प्रदर्शित करने के लिए एप्लिकेशन और विधि" (यूएसए 2007/0110037 A1), मोबाइल उपकरणों पर प्रदर्शन के लिए एक वेब पेज को विभाजित करने के लिए एक विधि का प्रतिनिधित्व करता है (यदि इसके बाद प्रत्येक ब्लॉक के रूप में संदर्भित किया जाता है, जिसकी अपनी कुंजी है, जो सुविधाजनक है नेविगेशन के लिए);
पेटेंट यूएस 2011/0289435 A1, टीवी स्क्रीन पर डिस्प्ले के लिए पेज को ब्लॉक में विभाजित करता है जब नेविगेशन के लिए टीवी रिमोट कंट्रोल का उपयोग किया जाता है;
US 2004/0103371 A1, पृष्ठ को ब्लॉकों में विभाजित किया गया है, लेकिन छोटे स्क्रीन वाले उपकरणों पर बेहतर प्रदर्शित करने के लिए, और ब्लॉक को उपयोगकर्ता के लिए ब्याज के आधार पर रैंक किया जाता है, जो कि उपयोगकर्ता द्वारा इन ब्लॉकों को कितनी बार देखा जाता है, इसकी गणना की जाती है;
पेटेंट यूएस 2011/0285750 A1, विभिन्न स्क्रीन पर एक वेब पेज के सुविधाजनक प्रदर्शन के लिए;
पेटेंट यूएस 2012/0005573 A1 ट्रैक करता है कि कोई उपयोगकर्ता किस चीज में दिलचस्पी रखता है, फिर पृष्ठ के इस क्षेत्र को उसके लिए हाइलाइट करता है;
यूएस 2006/0149726 वेब पेज का ए 1 विभाजन, खाते में विश्लेषण को ध्यान में रखते हुए;
यूएस 2005/0066269 A1 (वेब पेजों से सूचना ब्लॉकों को निकालने के लिए उपकरण और विधि), वेब पेज को बार-बार पैटर्न के आधार पर सूचना ब्लॉकों में विभाजित करने के लिए कई तरीके प्रस्तुत किए जाते हैं।

निष्कर्ष

एल्गोरिथ्म काम करने के लिए निकला, काफी सरल और समझ में आता है, जो महत्वपूर्ण है। माइनस में से, यह बहुत स्थिर नहीं है, यह कोड में छोटे बदलावों से बचेगा, लेकिन पृष्ठ पर विजेट जोड़ने पर, दस्तावेज़ की संरचना में अन्य परिवर्तन, ब्लॉक अलग तरीके से टूट सकते हैं।

वेब पेजों को शब्दार्थ खंडों में विभाजित करना