वेब का कौन सा हिस्सा संग्रहीत है

इंटरनेट आर्काइव टाइम मशीन सबसे बड़ा और सबसे प्रसिद्ध संग्रह है जो 1995 से वेब पेजों का संग्रह कर रहा है। इसके अलावा, दर्जनों अन्य सेवाएं भी हैं जो वेब को भी संग्रहित करती हैं: ये सर्च इंजन इंडेक्स और अति-विशिष्ट अभिलेखागार हैं जैसे आर्काइव-इट , यूके वेब आर्काइव , वेब काइट , आर्किटिविब , डिइगो , आदि। यह जानना दिलचस्प है कि वेब पेज इन अभिलेखागार में कैसे आते हैं। इंटरनेट पर दस्तावेजों की कुल संख्या के बारे में?

यह ज्ञात है कि 2011 के लिए इंटरनेट आर्काइव डेटाबेस में 2.7 बिलियन से अधिक यूआरआई शामिल हैं , उनमें से कई प्रतियां कई समय में विभिन्न बिंदुओं पर बनाई गई हैं। उदाहरण के लिए, 3 जुलाई, 2006 से हैबर का मुख्य पृष्ठ "फोटो" पहले से ही 518 बार था ।

यह भी ज्ञात है कि पांच साल पहले Google लिंक आधार ने एक ट्रिलियन अद्वितीय URL के निशान को पार कर लिया था, हालांकि कई दस्तावेजों की नकल की जाती है। Google सभी URL का विश्लेषण करने में असमर्थ था, इसलिए कंपनी ने इंटरनेट पर दस्तावेजों की संख्या को अनंत मानने का निर्णय लिया।

Google एक कैलेंडर वेब एप्लिकेशन को "वेब पृष्ठों के अनन्तता" के उदाहरण के रूप में उद्धृत करता है। लाखों वर्षों से इसके सभी पृष्ठों को डाउनलोड करने और अनुक्रमित करने का कोई मतलब नहीं है, क्योंकि प्रत्येक पृष्ठ अनुरोध द्वारा उत्पन्न होता है।

फिर भी, वैज्ञानिकों को कम से कम यह जानने के लिए दिलचस्पी है कि वेब का कौन सा हिस्सा संग्रहीत है और पोस्टीरिटी के लिए संग्रहीत है। अब तक, कोई भी इस सवाल का जवाब नहीं दे सका। नॉरफ़ॉक में ओल्ड डोमिनियन यूनिवर्सिटी के विशेषज्ञों ने एक अध्ययन किया और एक मोटा अनुमान प्राप्त किया।

डेटा को संसाधित करने के लिए, उन्होंने मेमेंटो HTTP फ्रेमवर्क का उपयोग किया, जो निम्नलिखित अवधारणाओं के साथ काम करता है:

1. मूल संसाधन के पते की पहचान करने के लिए यूआरआई-आर।
2. यूआरआई-एम समय पर इस संसाधन की संग्रहीत स्थिति की पहचान करने के लिए टी।

तदनुसार, प्रत्येक यूआरआई-आर में शून्य या अधिक यूआरआई-एम राज्य हो सकते हैं।

नवंबर 2010 से जनवरी 2011 तक, अभिलेखों में आने वाले सार्वजनिक रूप से उपलब्ध पृष्ठों के अनुपात को निर्धारित करने के लिए एक प्रयोग जारी रखा गया था। चूंकि इंटरनेट पर यूआरआई की संख्या अनंत है (ऊपर देखें), यह एक स्वीकार्य नमूना खोजने के लिए आवश्यक था जो पूरे वेब का प्रतिनिधि है। यहाँ, वैज्ञानिकों ने कई दृष्टिकोणों के संयोजन का उपयोग किया:

1. ओपन डायरेक्टरी प्रोजेक्ट (DMOZ) से एक चयन।
2. खोज इंजन से यूआरआई का यादृच्छिक नमूना, जैसा कि ज़िव बार-जोसेफ और मैक्सिम गुरेविच द्वारा वर्णित है, "एक खोज इंजन के सूचकांक से यादृच्छिक नमूना" (एसीएम (जेएसीएम) के जर्नल, 55 (5), 2008)।
3. अंतिम यूआरआई स्वादिष्ट हालिया रैंडम यूआरआई जेनरेटर का उपयोग करके स्वादिष्ट सोशल बुकमार्किंग साइट में जोड़ा गया।
4. बिट लिंक को छोटा करने वाली सेवा, हैश जनरेटर का उपयोग करके लिंक का चयन किया गया था।

व्यावहारिक कारणों से, प्रत्येक नमूने का आकार एक हजार पते तक सीमित था। विश्लेषण परिणाम चार नमूनों में से प्रत्येक के लिए सारांश तालिका में दिखाए गए हैं।



अध्ययन से पता चला कि इंटरनेट पर सभी यूआरआई के 35% से 90% संग्रह में कम से कम एक प्रति है। 17% से 49% तक यूआरआई की 2 से 5 प्रतियां हैं। 1% से 8% तक यूआरआई 6-10 बार "फोटो खिंचवाने" जाते हैं, और 8% से 63% यूआरआई 10 या अधिक बार होते हैं।

सापेक्ष निश्चितता के साथ, हम कह सकते हैं कि सभी URI का कम से कम 31.3% महीने में एक बार या इससे अधिक बार होता है। अभिलेखागार में सभी पृष्ठों के कम से कम 35% में कम से कम एक प्रति है।

स्वाभाविक रूप से, उपरोक्त आंकड़े तथाकथित डीप वेब पर लागू नहीं होते हैं, जिसमें डेटाबेस, पासवर्ड संरक्षित निर्देशिका, सामाजिक नेटवर्क, अखबारों और पत्रिकाओं के पेड अभिलेखागार, फ्लैश साइट्स, डिजिटल पुस्तकों और अन्य छिपी वस्तुओं के डायनामिक रूप से उत्पन्न पृष्ठों को शामिल करने की प्रथा है। एक फ़ायरवॉल के पीछे, सार्वजनिक डोमेन में और / या खोज इंजन द्वारा अनुक्रमण के लिए उपलब्ध नहीं हैं। कुछ अनुमानों के अनुसार , एक गहरी नेटवर्क सतह परत की तुलना में बड़े परिमाण के कई आदेश हो सकते हैं।