भू-संदर्भित साइटें: यह कैसे किया जाता है?

हर दिन अधिक से अधिक जानकारी इंटरनेट पर जमा हो रही है। और यह इंटरनेट के लिए धन्यवाद है कि हर व्यक्ति उसके लिए आवश्यक डेटा तक पहुंच प्राप्त कर सकता है। दूसरी ओर, विशेष उपकरणों का उपयोग किए बिना इतने बड़े सरणी में नेविगेट करना लगभग असंभव है। और खोज इंजन, निश्चित रूप से इस तरह के एक उपकरण बन जाते हैं, जिससे लोगों को सूचना के विस्तार वाले समुद्र को नेविगेट करने में मदद मिलती है।



जिस क्षण से खोज इंजन ने अपने पहले कदम उठाए हैं, डेवलपर्स संगठन, नेविगेशन और दस्तावेजों की खोज में सुधार करने के लिए भारी मात्रा में प्रयास करते हैं। आज, शायद सबसे अधिक उपयोग की जाने वाली तकनीक एक कीवर्ड खोज है, जो उपयोगकर्ताओं को किसी दिए गए विषय पर जानकारी खोजने की क्षमता देती है। उसी समय, इंटरनेट का वैश्विक विस्तार इस तथ्य की ओर जाता है कि किसी व्यक्ति द्वारा केवल कीवर्ड का उपयोग करते हुए खोज की गई जानकारी की मात्रा बहुत बड़ी है। खोज बार में एक ही शब्द लिखकर, अलग-अलग लोग अलग-अलग परिणाम चाहते हैं।

आंकड़े बताते हैं कि नोवोसिबिर्स्क और येकातेरिनबर्ग शहरों में रहने वाले उपयोगकर्ताओं द्वारा एक ही क्वेरी कैसे दिखती है। यह स्पष्ट है कि खोज इंजन से शब्द "हवाई अड्डे" को कहा जाता है, लोग शहर के हवाई अड्डे के टर्मिनल की वेबसाइट का पता प्राप्त करना चाहते हैं:



कीवर्ड खोज का उपयोग करके ऐसी समस्या को हल करना असंभव है। उसी समय। यह उच्च-स्तरीय अर्थ संबंधी प्रश्नों के गठन के लिए शुरुआती बिंदु बन जाता है, जिसका उपयोग ऐसी जानकारी खोजने के लिए किया जा सकता है। इस प्रकार, अतिरिक्त मेटाडेटा को पेज से जोड़ा जा सकता है, जिसका उपयोग करके। खोज इंजन प्रतिक्रिया की गुणवत्ता में सुधार। उदाहरण के लिए, भू-निर्भर प्रश्नों के लिए, इस तरह के मेटाडेटा संसाधन की भौगोलिक स्थिति के बारे में जानकारी होगी। यह जानने के बाद कि वांछित वस्तु भौतिक रूप से कहां स्थित है और उपयोगकर्ता की स्थिति के बारे में जानकारी है, कोई भी इन आंकड़ों से संबंधित हो सकता है और व्यक्ति को वांछित वस्तु के बारे में जानकारी दे सकता है।

सामान्य स्थिति में, कार्य को दो भागों में विभाजित किया जा सकता है:

क) उपयोगकर्ता के स्थान का निर्धारण;
ख) मांगे गए संसाधन के स्थान का निर्धारण करना।

लेख में, हम समस्या के दूसरे भाग का समाधान प्रस्तावित करते हैं, अर्थात्। इंटरनेट संसाधन के स्थान का निर्धारण कैसे करें।

कई स्रोत हैं जहां आप साइट के भूगोल के बारे में जानकारी प्राप्त कर सकते हैं। इनमें निम्नलिखित शामिल हैं: WHOIS आधार, निर्देशिका, पृष्ठ संदर्भ, आदि। इस लेख में, हम इस बात पर विचार करेंगे कि आप पृष्ठ संदर्भ के विश्लेषण के आधार पर भूगोल से किसी साइट को कैसे जोड़ सकते हैं।

हम साइट के पृष्ठों की सामग्री का विश्लेषण करते हैं

एक नियम के रूप में, वे स्रोत जो भूगोल के बारे में जानकारी की आपूर्ति कर सकते हैं वे संगठनों के स्थल हैं जहां उनके स्थानों के डेटा - पते और फोन नंबर - प्रकाशित किए जाते हैं। हमारे मामले में जानकारी निकालने की समस्या का समाधान, हम कई भागों में विभाजित करेंगे:
• मानक साइट टेम्प्लेट की परिभाषा जिस पर संगठन के स्थान के बारे में जानकारी पोस्ट की जा सकती है;
भौगोलिक जानकारी के लिए साइट के बाद के बंधन के लिए उम्मीदवारों को निकालना;
• उम्मीदवारों को छानना।

हम मानक पैटर्न को परिभाषित करते हैं

इस स्तर पर, हम उन पृष्ठों के लिए खोज पैटर्न का सेट निर्धारित करने का प्रयास करते हैं जिन पर प्रस्तावित पता स्थित है। संपर्क जानकारी के लिए सबसे आम स्थानों में से एक मूल पृष्ठ है। उसी समय, यह पृष्ठ हमेशा जानकारी का एक विश्वसनीय स्रोत नहीं है, क्योंकि साइटें हैं, उदाहरण के लिए, विज्ञापन पोस्ट करना जिसमें अच्छी तरह से पठनीय पते शामिल हैं, जिनमें से कुछ मुख्य पृष्ठ पर जा सकते हैं, इसलिए हम भविष्य में मुख्य पृष्ठ से निकाले गए पते को फ़िल्टर करेंगे । संपर्क जानकारी के लिए एक अन्य सामान्य स्थान संपर्क पृष्ठ है। एक नियम के रूप में, मुख्य पृष्ठ से इसके लिंक हैं, और ज्यादातर मामलों में वे कई नियमों के अधीन हैं। उदाहरण के लिए, लिंक के पाठ में शब्द "संपर्क", "हमारे बारे में", आदि हो सकते हैं।

विभिन्न संगठनों की साइट संरचना का विश्लेषण करने के बाद, हम सबसे आम विशिष्ट पृष्ठ टेम्पलेट्स का चयन करते हैं, जिस पर आप पता प्राप्त कर सकते हैं। संक्षेप में, आप निम्न तीन चरण लिख सकते हैं:
• साइट के रूट पेज पर पतों की खोज करें।
• संपर्क पृष्ठ के लिंक के लिए खोजें।
• संपर्क पृष्ठ पर पतों के लिए खोजें।

पता पुनः प्राप्त करना

जैसा कि हमने ऊपर कहा, पहले चरण में हमें सबसे अधिक संभावना वाले पृष्ठ मिलते हैं जिन पर संपर्क जानकारी रखी जा सकती है। इन पृष्ठों से आप कुछ ऐसा निकाल सकते हैं जो पते के समान हो। यह "बहुत समान" क्यों है? क्योंकि निष्कर्षण के लिए हम छिपे हुए मार्कोव मॉडल का उपयोग करेंगे।
अपने मॉडल का निर्माण शुरू करने से पहले, हम डेटा पर फैसला करेंगे और चीजों को थोड़ा सरल बनाने की कोशिश करेंगे। शुरू करने के लिए, हम यह निर्धारित करेंगे कि रूस में महत्वपूर्ण शहरों की संख्या परिमित है और तदनुसार, एक शब्दकोश द्वारा वर्णित किया जा सकता है। पहला सरलीकरण मिला - शहरों के शब्दकोश का उपयोग करके, आप पृष्ठ पर संदर्भ बिंदु पा सकते हैं। यह माना जा सकता है कि यदि हम सबसे संभावित संपर्क पृष्ठ पर हैं, तो हमें जो शहर मिला है वह पते में शामिल हो सकता है।
आगे बढ़ो। यदि आप प्रवेश बिंदु से बाएँ या दाएँ चलते हैं। आप पता प्राप्त कर सकते हैं, लेकिन आपको पात्रों के अनुक्रम के मूल्यांकन के लिए एक प्रणाली की आवश्यकता है जो पते में होने की संभावना है। HMM या छिपे हुए मार्कोव मॉडल हमारी मदद कर सकते हैं। लेकिन मॉडल बनाने के लिए, हमें निम्नलिखित डेटा निर्धारित करने की आवश्यकता है:
• मॉडल के सेट से संबंधित राज्य यह है कि राज्यों के लिए क्या गलत हो सकता है;
• सेट से संबंधित अनुक्रम v के तत्व ; यानी, एक अनुक्रम के तत्वों के रूप में क्या लिया जा सकता है।

उदाहरण के लिए, पता करें: 654007, नोवोकुज़नेट्सक, सेंट। ऑर्डोज़ोनिकिडेज़, 36, और अनुक्रम वी और राज्य एस के चुनिंदा तत्व।


जैसा कि तालिका 1 में देखा जा सकता है, हमें अनुक्रम के छह तत्व और मॉडल के पांच राज्य मिले। इस प्रकार, यदि हम एक अनुक्रम के तत्वों के रूप में व्यक्तिगत शब्द लेते हैं, तो हम कल्पना कर सकते हैं कि मॉडल की गणना करते समय यह क्या होगा। लेकिन हम सेट S के अनुक्रम में सेट S के राज्यों की संख्या और तत्वों की संख्या को कम करने के लिए कई सरलीकरण करेंगे। यदि आप तालिका 1 को करीब से देखते हैं, तो आप देखेंगे कि राज्यों के तत्व s (2) और अनुक्रम v (2) के तत्वों को दोहराया जाता है। यदि पते के सभी तत्वों को प्रकारों में विभाजित किया जाता है, तो यह हमें मॉडल की स्थिति में कमी की ओर ले जाएगा। उदाहरण के लिए, आप सभी स्ट्रीट मॉडिफायर को एक तत्व में जोड़ सकते हैं। इस मामले में, सड़क, राजमार्ग, लेन ... अनुक्रम का एक तत्व बनाते हैं । इस प्रकार, हम दूसरे सरलीकरण प्राप्त करते हैं - अनुक्रम के एक तत्व में कई प्रसिद्ध भौगोलिक नामों का अनुवाद। हम एक तालिका के रूप में एक उदाहरण देते हैं:



इस प्रकार, हमें V के सेट के केवल 19 टाइप किए गए तत्व मिलते हैं। वही सेट S के साथ किया जा सकता है, अर्थात मॉडल के राज्यों के साथ। उदाहरण के लिए, यदि विश्लेषण के दौरान मॉडल सड़क के बारे में जानकारी देता है, तो हम कहते हैं कि मॉडल राज्य S (सड़क) में है, यदि मॉडल शहर के बारे में जानकारी देता है, तो हम कहते हैं। यह मॉडल राज्य T (शहर) में है। हमें मॉडल राज्यों का तीसरा सरलीकरण मिलता है। उदाहरण तालिका 3 में दिए गए हैं।



अब, मॉडल राज्यों और अनुक्रम तत्वों के विवरण को जानते हुए, हम प्रशिक्षण सेट बनाते हैं, जिस पर हमारा मॉडल बनाया गया है। प्रशिक्षण सेट से, हमें उस समय V से सेट डेटा प्राप्त करने की संभावना मैट्रिक्स के रूप में संक्रमण संभावना मैट्रिक्स ए और बी प्राप्त करने की आवश्यकता है जब मॉडल राज्य में होता है।
उदाहरण के लिए, हमारे मामले में, मैट्रिक्स बी और ए के टुकड़े निम्नानुसार हैं:



तस्वीर को पूरा करने के लिए, हमें प्रारंभिक वितरण को भी ध्यान में रखना होगा । और अब, जब हमने एक मॉडल बनाया है, एक छोटे से रिकॉर्ड में ऐसा दिखता है हम अपने अनुक्रम डी को पाए गए शहर के चारों ओर ले जाते हैं और संभावना पाते हैं कि शब्द, अर्थात् डेटा, मॉडल के समान हैं। हम संभावना पर विचार करते हैं:


चूंकि इस समस्या में शहर के आसपास के क्षेत्र में पते के अनुक्रम की उपस्थिति की संभावना की गणना करना आवश्यक है, इसलिए हम इसे हल करने के लिए "आगे-पीछे" एल्गोरिथ्म का उपयोग करते हैं।

हम प्राप्त डेटा को फ़िल्टर करते हैं

निकाले गए पते फ़िल्टर किए जाते हैं। छानने का पहला चरण यह है कि पृष्ठ से अतिरिक्त जानकारी भी निकाली जाती है, जैसे कि एक फ़ोन, जिसे पृष्ठ से निकाले गए एक या अधिक पते पर मैप किया जाता है।
तुलनाओं में से एक पते में निर्दिष्ट शहर के खिलाफ फोन नंबर में इंगित क्षेत्र कोड की जांच कर रहा है।
फ़िल्टरिंग के दूसरे चरण में अंगूठे के नियमों का एक सेट शामिल होता है जो चयनित पते पर आरोपित होते हैं। इस तरह के नियम, उदाहरण के लिए, घर की संख्या में निहित अंकों की संभावित संख्या पर प्रतिबंध शामिल करते हैं। कई नियमों को लागू करने के बाद, निकाले गए पते को या तो संगठन के स्थान का वर्णन करने वाले पतों में से एक के रूप में स्वीकार किया जाता है, या अस्वीकार कर दिया जाता है।

आपको क्या मिला?

प्रयोगों के लिए, इंटरनेट से डाउनलोड किए गए पृष्ठों का एक डेटाबेस लिया गया था, जिसमें लगभग 20 मिलियन साइटें और 3.9 बिलियन पृष्ठ थे। इस डेटा से, पृष्ठों की सामग्री के विश्लेषण के आधार पर, साइट ऊपर वर्णित एल्गोरिथ्म का उपयोग करके भू-संदर्भित थी। परिणाम तालिका 6 में प्रस्तुत किए गए हैं।

जैसा कि प्रयोगों ने दिखाया है, वर्णित विधि काफी सटीक है। उनके मामले में, सटीकता 97% तक पहुंच जाती है। यह कई प्रतिबंधों के कारण है, अर्थात्: एक पते के साथ एक पृष्ठ खोजने के लिए पूर्वनिर्धारित टेम्पलेट्स का उपयोग; शहरों के शब्दकोश का उपयोग करना; फ़ोन नंबर और शहरों से मेल खाना, साथ ही साथ पतों की रिकॉर्डिंग के लिए मौजूदा औपचारिक नियम। ये सभी प्रतिबंध आपको वेब संसाधन के भूगोल का निर्धारण करते समय उच्च सटीकता प्राप्त करने की अनुमति देते हैं। दूसरी ओर, ये प्रतिबंध उन मामलों में पूर्णता में कमी का कारण बनते हैं जहां पता शहर के प्रत्यक्ष संकेत के बिना या किसी अज्ञात शहर के साथ दर्ज किया जाता है, अगर संपर्क पृष्ठ एक ऐसे पते पर स्थित है जिसे ज्ञात खोज टेम्प्लेट में वर्णित नहीं किया गया है। आरेख 1 क्षेत्र द्वारा साइटों के वितरण को दर्शाता है - जैसा कि आरेख से देखा जा सकता है, मास्को सबसे बड़ा क्षेत्र है जिसमें साइटें गिरती हैं।




वर्तमान में, हम वर्णित विधि का उपयोग साइटों के भू-संदर्भित के बारे में जानकारी निकालने के तरीकों में से एक के रूप में करते हैं और इसे एक खोज इंजन के सूचकांक में जोड़ते हैं। इस प्रकार, एक व्यक्ति अपने क्षेत्र की साइटों पर जानकारी खोज सकता है। इसके अतिरिक्त, निकाले गए पते को पता स्निपेट में प्रदर्शित किया जा सकता है।
दिमित्री सोलोवोव
खोज डेवलपर: Mail.Ru