SaveWeb: साइट इतिहास

आधुनिक इंटरनेट बहुत तेजी से विकसित हो रहा है और लगातार बदल रहा है। पहले, पाठ के साथ सरल पृष्ठ थे, अब एक मूल डिजाइन के साथ "लाइव" साइटें हैं, जिनके जीवन हम प्रभावित करते हैं और जो बदले में, खुद को बदलते हैं, बाहरी दुनिया को गिरगिट की तरह समायोजित करते हैं।

जब मुझे एहसास हुआ कि समय उड़ गया है, पुराने को जलाना और एक नए को जन्म देना, मैं एक पल के लिए रुकना चाहता था, चारों ओर मुड़ गया, चारों ओर देखो। अतीत में लौटना दिलचस्प होगा - वहां आप वही देख सकते हैं जो मैंने पहले नहीं देखा था, जो वर्तमान में मौजूद नहीं है, लेकिन भविष्य में अलग होगा। एक सरल जिज्ञासा को संतुष्ट करने के लिए, यह तुलना करने के लिए कि साइट एक साल पहले कैसे दिखती थी और अब कैसी दिखती है - यह वह प्रोत्साहन है जिसने मुझे सेववेब बनाया, जो अभी भी बहुत युवा है, लेकिन समय को रोकने में सक्षम लगता है :)

विचार

स्क्रीनशॉट के रूप में साइटों की स्थिति को नियमित रूप से बनाए रखने का विचार लंबे समय से मेरे सिर में है। पहले तो मैंने इसके क्रियान्वयन का साहस नहीं किया, इसमें बहुत सी कठिनाइयाँ थीं - हमें सर्वरों की ज़रूरत थी, डेटा को बचाने के लिए बहुत सारे डिस्क स्थान, एक विस्तृत चैनल और अन्य संसाधन जिन्हें फिर से बनाना मुश्किल था। सब के बाद, वास्तव में, विचार जन्म के क्षण से लाभहीन था, और सभी ने मुझे यह समझाने की कोशिश की। हालांकि, जिज्ञासा, रुचि और मामूली ऐतिहासिक महत्व प्रबल हुआ और अंत में खुद को सबसे पहले समझाने के लिए, मैंने एक प्रोटोटाइप बनाने के बारे में निर्धारित किया।

बैकएंड

प्रोटोटाइप के लिए, एलेक्सा रेटिंग से सबसे लोकप्रिय साइटों में से 10 हजार को लिया गया था, पहले से एक निश्चित मात्रा में कचरा हटा दिया था (दुर्भाग्य से, सभी नहीं)। फिर दो पायथन लिपियों को लिखा गया - नियंत्रक और, वास्तव में, स्क्रीनशॉट ही (बाद में शॉटर के रूप में संदर्भित)। शॉटर एक कंसोल एप्लिकेशन है जो कुछ मापदंडों को स्वीकार करता है और परिणाम को एक सहेजे गए स्क्रीनशॉट (यदि सफल) या त्रुटि कोड के रूप में आउटपुट करता है। स्क्रीनशॉट को Xvfb के माध्यम से लॉन्च किए गए वेबकिट (qt) का उपयोग करके बनाया गया है। नियंत्रक इस पूरी प्रक्रिया को नियंत्रित करता है और शॉटर्स के परिणामों के तर्क और प्रसंस्करण के लिए जिम्मेदार है, साथ ही साथ मल्टीथ्रेडिंग भी प्रदान करता है। जैसा कि प्रयोगों से पता चला है, यह निक्स के तहत बैच "स्क्रीनशॉट" के लिए सबसे इष्टतम और स्थिर समाधान है।

दृश्यपटल

सभी सरल तर्क PHP में लिखे गए थे। साइटें एक विशिष्ट तिथि के लिए देखी जा सकती हैं। साइटों के डेटाबेस की पुनःपूर्ति स्वचालित मोड में की गई थी, अगर कोई URL दर्ज नहीं किया गया है, तो यह जल्द ही होगा। साइट पृष्ठ पर भी, आप R कुंजी दबा सकते हैं और अन्य साइटों के इतिहास से भटक सकते हैं। शायद यह सब अब के लिए है :)

डिज़ाइन

न्यूनतावादी डिजाइन विकास की शुरुआत से बहुत पहले तैयार किया गया था (एक दस्तावेज विचार के रूप में) और इसे पूरे दिन के लिए निर्धारित किया गया था।

मजबूर प्रतिबंध

दुर्भाग्य से, मेरे पास अपनी जेब से परियोजना को पूरी तरह से वित्त करने का अवसर नहीं है (उन लोगों के लिए जो वित्तीय मदद करना चाहते हैं - साइट पर एक बटन है, मैं बहुत आभारी रहूंगा), इसलिए संसाधन कुछ हद तक सीमित हैं:
- साइट, SaveWeb की समझ में, मुख्य पृष्ठ (वास्तव में एक डोमेन नाम) है। पृष्ठों को अलग से स्कैन नहीं किया जाता है। यह एक वैचारिक सीमा है, लेकिन अगर संसाधनों की अनुमति हो तो भविष्य में इसे हटाया जा सकता है (इनके लिए बहुत कुछ होना चाहिए)
संपीड़न के साथ इस्तेमाल किया JPEG (बहुत मजबूत नहीं है, लेकिन कभी-कभी ध्यान देने योग्य)
- स्क्रीनशॉट को 1280x1024 के आकार में लिया गया है, लेकिन फिर इसकी चौड़ाई 1024 पिक्सेल (छोटी मात्रा के लिए) में घट जाती है
- स्क्रीनशॉट की ऊंचाई क्रमशः 3072 पिक्सेल है, अगर पृष्ठ की ऊंचाई (लंबाई) अधिक है, तो सब कुछ "फ्रेम" में नहीं आएगा।
- अस्थायी रूप से सर्वर (हॉटलिंक संरक्षण) से सीधे छवियों के दूरस्थ सम्मिलन पर प्रतिबंध को चालू कर दिया गया

भविष्य की योजना

- स्वाभाविक रूप से, मैं अधिक से अधिक प्रतिबंधों को हटाना चाहूंगा
- साइटों के लिए मेटा-जानकारी एकत्र करें: स्तन, पीआर, एलेक्सा रैंक, अन्य संकेतक और पैरामीटर; उन पर ग्राफिक्स बनाएं। मैं साइट के स्नैपशॉट को अन्य, समान रूप से उपयोगी और दिलचस्प जानकारी के साथ विविधता देना चाहूंगा
- साइट का अंग्रेजी संस्करण (प्रकट होने के बारे में)
- सिस्टम को पूरी तरह से अनुकूलित करने, संसाधनों की लागत को कम करने और इतने पर कई विचार और विचार हैं।
- सर्विस इंटरफेस में अतिरिक्त सुविधाएं जोड़ें, अधिक सुविधा और स्पष्टता के लिए (उदाहरण के लिए, तुलना मोड करें)

कुल मिलाकर

सेववेब अब महीने में एक बार के लिए समय रोकता है। फिलहाल, कई पुनरावृत्तियाँ पूरी हो चुकी हैं और आप पहले से ही कुछ देख सकते हैं। जबकि परियोजना के छह महीने के लिए धन और संसाधन हैं।


पुनरावर्ती SaveWeb। यदि आप दोनों तिथियों को देखते हैं, तो आप छोटे बदलाव देख सकते हैं :)

यह सब क्यों?

मैंने एक सरल लेकिन महत्वाकांक्षी परियोजना के निर्माण का वर्णन किया, जिसके विचार ने मुझे लंबे समय तक परेशान किया। मुझे बहुत खुशी है कि एक प्रोटोटाइप पहले से ही बनाया गया है (या एक अल्फा संस्करण - जैसा भी आप चाहें)। साइटें पहले से ही सहेजी गई हैं और इतिहास पहले से ही बनाया जा रहा है, जिसका अर्थ है कि मुख्य लक्ष्य पूरा हो चुका है। हालाँकि, मैं वहाँ रुकने वाला नहीं हूँ और मैं वास्तव में आशा करता हूँ कि कुछ वर्षों में हम अभी भी SaveWeb के परिणामों को देख पाएंगे। सब के बाद, अब यह काम करता है, और अधिक महत्वपूर्ण इसका अस्तित्व।

इस पोस्ट के साथ, मैं इस परियोजना पर एक राय के लिए विचार और विचारों के रूप में प्रतिक्रिया एकत्र करने के लिए हैब्रोसोकेविटी पूछना चाहूंगा। और आपके ध्यान के लिए अग्रिम धन्यवाद।

लेकिन वेबैक मशीन के बारे में क्या?

टिप्पणियों में वे पूछते हैं कि प्रसिद्ध परियोजना से क्या अंतर है। मुझे ऐसे प्रश्नों की उम्मीद थी, इसलिए मैं लेख के भाग के रूप में उत्तर दूंगा :)

लक्ष्यों और दृष्टिकोणों में मुख्य अंतर - वेबैक मशीन मुख्य रूप से संसाधन के सूचना घटक को बचाता है, और यथासंभव कई साइटों को कवर करने की कोशिश करता है। सेवविब का विचार यह बताने का है कि इंटरनेट ने सब कुछ बचाने की कोशिश करने के बजाय पहले कैसे देखा । आपको लाखों अज्ञात साइटों को सहेजने की ज़रूरत नहीं है, बस गिरगिट की तरह बदलने वाले लोकप्रिय, बड़े पैमाने पर बचाने के लिए।

हालांकि, वेकबैक मशीन का एक निर्विवाद और बड़ा फायदा है - समय। लेकिन उसके साथ कुछ भी नहीं किया जाना चाहिए, यह उड़ जाता है। जैसा कि वे कहते हैं कि यह देर से शुरू होना (कभी नहीं) से बेहतर है;