वेब अभिलेखागार विकसित करने के विषय पर थोड़ा सा

एक वेब संग्रह एक प्रणाली है जो समय-समय पर किसी साइट (या किसी साइट का हिस्सा) को उसके मूल रूप में सहेजती है। ज्यादातर यह अक्सर पोस्टीरिटी के लिए किया जाता है, ताकि वे "खेल, क्लिक और उदासीन " कर सकें।

एक वेब संग्रह के लिए बुनियादी आवश्यकता सरल और व्यापक लगती है।

साइट का ऑफ़लाइन संस्करण पूरी तरह कार्यात्मक होना चाहिए। सभी मूल छवियां, फ्लैश एनीमेशन, एम्बेडेड वीडियो, स्क्रिप्ट और इतने पर इसमें दिखाई देना चाहिए। आदर्श रूप से, यह मूल से अलग नहीं होना चाहिए।

हमारे डेवलपर्स के लिए, अभिव्यक्ति "पूर्ण-चित्रित ऑफ़लाइन संस्करण" बहुत ही संदिग्ध लगता है। आप यह भी कह सकते हैं कि यह राजसी लगता है। आखिरकार, एक आधुनिक साइट स्क्रिप्ट के बिना मौजूद नहीं है, और स्क्रिप्ट हमेशा व्यवहार में अनिश्चितता उत्पन्न करती है। लेकिन, जैसा कि एक चरित्र कहता था: "आपको निष्कर्ष निकालने की जल्दी नहीं है, या निष्कर्ष आप पर हमला करेंगे।"

materiel

ईमानदारी से, जानकारी के खुले स्रोतों में फिर से न पढ़ें। आप एक विकिपीडिया लेख के साथ शुरू कर सकते हैं। दुर्भाग्य से, वहाँ बहुत अधिक कार्यान्वयन नहीं है, लेकिन अधिक संगठनात्मक और कानूनी समस्याओं के बारे में कहा जाता है।

रुचि रखने वालों के लिए - मैं पढ़ने की सलाह देता हूं। बाकी के लिए, मैं सामान्य विकास के लिए कुछ शर्तें दूंगा।

वेब संग्रह । उदाहरण के लिए, सबसे महत्वपूर्ण इंटरनेट संग्रह है। यह इसकी मात्रा और उपयोग की जटिलता से डराता है।

वेब क्रॉलर - एक प्रोग्राम जो लिंक के बाद साइट के पृष्ठों के माध्यम से पुनरावृति कर सकता है। वर्तमान में, उन्होंने बहुत तलाक दिया। शायद सबसे प्रसिद्ध रोबोट जो आगंतुकों के लिए इंतजार कर रहा है वह Google Bot है। POC के लिए हमने ABOT का इस्तेमाल किया।

एक पूरी प्रणाली के निर्माण के लिए भंडारण, इंटरफेस आदि की आवश्यकता होती है, लेकिन, दुर्भाग्य से, सब कुछ एक लेख में फिट नहीं होगा। इसलिए, यहां मैं केवल सबसे कठिन भाग के बारे में बात करूंगा - साइट को क्रॉल करने और डेटा को बचाने का एल्गोरिथ्म।

समाधान दृष्टिकोण

मुझे लगता है कि अभिलेखीय समस्या को कैसे हल किया जाए, यह स्पष्ट है। साइटें उपयोगकर्ताओं के लिए बनाई गई हैं। उपयोगकर्ता क्या करता है? एक पृष्ठ खोलता है, आवश्यक जानकारी को याद रखता है, अगले पृष्ठ के लिंक का अनुसरण करता है।

आइए एक आभासी उपयोगकर्ता बनाने की कोशिश करें - एक रोबोट - और कार्य को थोड़ा स्वचालित करें।

रोबोट के संचालन का "इतिहास" (नमस्ते, फुर्तीला) इस तरह दिखता है:

रोबोट लिंक के माध्यम से पेज से पेज पर जाता है (उपयोगकर्ता के रूप में)। संक्रमण के बाद पृष्ठ सहेजता है। लिंक की एक सूची बनाता है जिसे आप पृष्ठ से अनुसरण कर सकते हैं। पहले से ही पारित लिंक पर ध्यान नहीं दिया। अधूरा - बचाता है, और इसी तरह।

यह बहुत संक्षिप्त लगता है, और बहुत सार। डिजाइनिंग में पहला कदम हमेशा सार है, यही कारण है कि यह पहला है। अब मैं इसका विस्तार करूंगा।

पता लगाना नंबर 1

पहले आपको अपने लिए निर्धारित करना होगा कि हमारे डेटा मॉडल में मूल "अविभाज्य" इकाई क्या होगी। इसे रिसोर्स कहा जाए। मैं इसे इस तरह परिभाषित करता हूं:

एक संसाधन कोई भी सामग्री है जिसे हम एक लिंक से डाउनलोड कर सकते हैं।

यही है, इसके मुख्य गुण एक लिंक (यूआरआई) और सामग्री की उपस्थिति है जो सर्वर लौटता है। पूर्णता के लिए, मेटाडेटा (प्रकार, लिंक, अंतिम परिवर्तन का समय, आदि) के साथ संसाधन के विवरण को पूरक करना आवश्यक है। वैसे, संसाधन में अन्य संसाधनों के लिंक शामिल हो सकते हैं।

इस अवधारणा के आधार पर, मैं क्रॉलर के सामान्य एल्गोरिथ्म को निर्धारित करता हूं।

1. तैयारी: प्रसंस्करण के लिए कतार प्रविष्टि URIs
2. मुख्य लूप: कतार से एक लिंक का चयन करें
3. निर्दिष्ट लिंक पर संसाधन डाउनलोड करें
4. संसाधन के साथ कुछ उपयोगी बनाएं
5. पता लगाएँ कि संसाधन किस संसाधन को संदर्भित करता है (संदर्भित संसाधन)
6. उन्हें कतारबद्ध करें
7. चक्र की शुरुआत करने के लिए जाओ

सामान्य तौर पर, यह तर्कसंगत लगता है। आप आगे विस्तार कर सकते हैं।

पता लगाने नंबर 2

चरण शून्य। तैयार करना।

इसलिए, रोबोट प्रक्रिया की शुरुआत में है: इसमें केवल साइट पर प्रवेश बिंदु के लिए एक लिंक है, तथाकथित सूचकांक पृष्ठ। इस कदम पर, रोबोट एक कतार बनाता है, और इसमें प्रवेश बिंदु के लिए एक लिंक डालता है।

सारगर्भित बोलते हुए, कतार रोबोट के लिए कार्यों का एक स्रोत है। अब इसके एकमात्र तत्व के साथ रेखा इस तरह दिखती है।



(नोट: छोटी साइटों के लिए प्रसंस्करण कतार को मेमोरी में संग्रहीत किया जा सकता है, लेकिन बड़े लोगों के लिए डेटाबेस में सहेजना बेहतर होता है। यदि प्रक्रिया बीच में कहीं बाधित हो जाती है)।

पहला कदम। सामग्री विश्लेषण।

संसाधन के लिए कतार से संसाधन का चयन करें। (पहली पुनरावृत्ति पर, यह प्रवेश बिंदु है)। पेज डाउनलोड करें और पता करें कि वह किन संसाधनों को संदर्भित करता है।



यहां, सामान्य तौर पर, सब कुछ सरल है। पृष्ठ साइट पर स्थित है। रोबोट इसे डाउनलोड करता है और लिंक के लिए HTML सामग्री का विश्लेषण करता है। (लिंक प्रकारों के लिए, नीचे "संसाधन के प्रकार" देखें)। उदाहरण में कई लिंक दिखाए गए हैं: robots.txt (उसका रोबोट इसे अनदेखा करता है :), इस बारे में लिंक html है, CSS और जावास्क्रिप्ट फ़ाइलों के लिंक, एक Youtube वीडियो का लिंक।

दूसरा कदम

अनावश्यक संसाधनों को फ़िल्टर करें। इसके लिए, रोबोट को एक बहुत ही लचीला कॉन्फ़िगरेशन इंटरफ़ेस प्रदान करना होगा (अधिकांश मौजूदा वाले करते हैं)। उदाहरण के लिए, एक रोबोट प्रकार, विस्तार, आकार और अद्यतन समय द्वारा फ़ाइलों को फ़िल्टर करने में सक्षम होना चाहिए। आउटबाउंड लिंक के लिए, आपको घोंसले की गहराई की जांच करने की भी आवश्यकता है। जाहिर है, अगर संसाधन पहले से ही किसी लिंक द्वारा संसाधित किया गया है, तो आपको इसे नहीं छूना चाहिए।

शेष आवश्यक संसाधनों के लिए, विवरण संरचनाएं बनाएं और उन्हें कतार में रखें। यह ध्यान रखना महत्वपूर्ण है कि इस स्तर पर संरचनाएं पूरी तरह से भरी नहीं हैं: केवल मूल (ऑनलाइन) लिंक उनमें इंगित किए गए हैं। (यह है, चरण शून्य पर मूल प्रविष्टि बिंदु की तरह)।



महत्वपूर्ण: इस स्तर पर, "इंडेक्स पेज" पेज की सामग्री में अभी भी मूल लिंक हैं, और इसलिए इसे ऑफ़लाइन संस्करण के रूप में उपयोग नहीं किया जा सकता है। प्रसंस्करण को पूरी तरह से पूरा करने के लिए, आपको लिंक को बदलने की आवश्यकता है: उन्हें संसाधनों के सहेजे गए ऑफ़लाइन संस्करणों को इंगित करना होगा। कतार का उपयोग करना, इसे लागू करना आसान है: आपको कतार के अंत में इंडेक्स पेज लिंक को अपडेट करने का काम करना होगा। यह सुनिश्चित करता है कि इस कार्य के शुरू होने से, सभी संदर्भित संसाधनों पर कार्रवाई की जाएगी।

तीसरा कदम

सामान्य तौर पर, यह पहला चरण है, केवल प्रत्येक संदर्भित संसाधनों के लिए। (यही है, एल्गोरिथ्म कार्यान्वयन में सरल होगा। यहां चित्र को सरल बनाने के लिए चक्र के चरणों को तैनात किया गया है)। इस चरण में, रोबोट कतार से अगला कार्य प्राप्त करता है (पिछले चरण में जोड़े गए कार्य डाउनलोड करें )।

तब यह पता चलता है कि ऑफ़लाइन उपयोग के लिए संसाधन को किन परिवर्तनों से गुजरना पड़ता है। इस उदाहरण में, सभी संसाधनों को केवल "एम्बेडेड" वीडियो के अपवाद के साथ डाउनलोड किया जाता है: इसे यूट्यूब के माध्यम से एक विशेष तरीके से डाउनलोड किया जाता है और स्थानीय रूप से एक एवीआई फ़ाइल के रूप में सहेजा जाता है।

उसके बाद, संदर्भित संसाधनों के लिए स्थानीय (ऑफ़लाइन) लिंक बनते हैं।



महत्वपूर्ण: पहले चरण की तरह, उनके प्रत्येक संसाधन के लिए आउटगोइंग लिंक की पहचान करना और उन्हें सही ढंग से - कतार में रखना आवश्यक है।



(इस उदाहरण में, CSS फ़ाइल image.png को संदर्भित करती है)।

चौथा चरण

संदर्भित संसाधनों को हटाने के बाद कतार में अगला कार्य (और, निश्चित रूप से, image.png) सूचकांक पृष्ठ में लिंक को अद्यतन करेगा। यहां, html पृष्ठों के लिए संरचना को बदलना आवश्यक हो सकता है। उदाहरण के लिए, किसी खिलाड़ी के माध्यम से वीडियो का "एम्बेड" ऑफ़लाइन संस्करण।

पांचवां चरण

पहले चरण पर जाएं और कतार खाली रहने तक जारी रखें।

scalability

कतार-आधारित एल्गोरिथ्म एक दोष से ग्रस्त है: संसाधनों को क्रमिक रूप से संसाधित किया जाता है, जिसका अर्थ है कि यह उतना तेज़ नहीं है जितना कि यह एक आधुनिक सर्वर पर हो सकता है।

इसलिए, यह समानांतर प्रसंस्करण की संभावना पर विचार करने के लायक है। संगामिति के लिए दो विकल्प हैं:

• मैक्रो स्तर: कई क्रॉलर विभिन्न साइटों पर समानांतर में काम करेंगे
• सूक्ष्म स्तर: एक क्रॉलर समानांतर में संसाधनों को संसाधित करेगा

सूक्ष्म स्तर ताले के साथ सवाल उठाता है। यदि आप याद करते हैं, "लिंक को अपडेट करने" का कार्य निरंतरता के लिए ठीक कतार के अंत में रखा गया है। हम उम्मीद करते हैं कि जब तक यह कार्य शुरू नहीं हो जाता, तब तक सभी संबंधित संसाधनों को पहले ही स्थानीय लिंक मिल चुके हैं और संसाधित हो चुके हैं। समानांतर ऑपरेशन में, इस स्थिति का उल्लंघन किया जाता है, और आपको सिंक्रनाइज़ेशन अंक दर्ज करने की आवश्यकता होगी। उदाहरण के लिए, एक सरल विकल्प डाउनलोड कार्यों को अतुल्यकालिक रूप से शुरू करना है। जब लिंक अपडेट करने का कार्य दिखाई देता है, तो सक्रिय डाउनलोड कार्यों (तथाकथित बैरियर) के पूरा होने की प्रतीक्षा करें। एक कठिन विकल्प यह है कि सेमाफोर के माध्यम से स्पष्ट रूप से कार्यों के बीच निर्भरता का परिचय दिया जाए। शायद अभी भी ऐसे विकल्प हैं जिनका गहराई से विश्लेषण नहीं किया गया है।

संसाधन प्रकार

जाहिर है, इस तरह के क्रॉलर से निपटने के लिए सभी प्रकार के संसाधनों को छोड़ना असंभव है। लेकिन हम कोशिश करेंगे, कम से कम यह जानने के लिए कि हम किन कठिनाइयों का सामना करेंगे।

• HTML पेज। सबसे आम प्रकार का संसाधन। (HtmlAgilityPack और CsQuery का उपयोग करके .net) को संसाधित करना बहुत आसान है। इस तरह के संसाधनों का उल्लेख कर सकते हैं:
  
  
  • <a> के माध्यम से अन्य पृष्ठ या फाइलें
  • छवियाँ <img>
  • सीएसएस शैलियों <लिंक rel = "स्टाइलशीट">
  • लिपियों <स्क्रिप्ट>
  • फ्लैश एनिमेशन <ऑब्जेक्ट>
  • एंबेडेड वीडियो <ऑब्जेक्ट>, <एम्बेड> या <iframe>
  • नोट : सिस्टम पर्याप्त रूप से लचीला होना चाहिए ताकि मुख्य कोड (अच्छी तरह से ज्ञात ओपन-क्लोज सिद्धांत) को बदलने के बिना नए प्रकार के लिंक और उनके प्रसंस्करण के लिए घटकों को जोड़ा जाए।
  
  
• सीएसएस शैलियों। के रूप में डाउनलोड करें। "Url" फ़ंक्शन के माध्यम से अन्य संसाधनों (सीएसएस और छवियां) का उल्लेख कर सकते हैं
• स्क्रिप्ट। के रूप में डाउनलोड करें। यह संभव नहीं है कि स्क्रिप्ट से सीधे लिंक का पता न लगाएं (डायनामिक पृष्ठों पर अधिक जानकारी के लिए नीचे देखें)
• वीडियो। यह विशेष दृष्टिकोणों का उपयोग करके डाउनलोड किया जाता है, जो प्रदाता के आधार पर भिन्न होता है। कहीं भी रेफर नहीं करते
• फ्लैश एनीमेशन। इसे एक swf फ़ाइल के रूप में डाउनलोड किया जाता है। यह अन्य संसाधनों का उल्लेख कर सकता है और अन्य फ़्लैश फ़ाइलों को डाउनलोड कर सकता है, लेकिन हम इससे निर्धारित नहीं करेंगे।
• गतिशील लिंक। पहला दृश्य: परिणामस्वरूप अतिरिक्त फ़ाइलों (चित्र, स्क्रिप्ट) के डाउनलोड की आवश्यकता के परिणामस्वरूप DOM जोड़तोड़ उत्पन्न होती है। दूसरा दृश्य: XHR अनुरोध।

गतिशील पृष्ठ

रोबोट मुझसे एक सवाल पूछता है: "लेकिन फिर भी - हमने डायनेमिक पेज, स्क्रिप्ट और बहुत कुछ के बारे में क्या फैसला किया?" जवाब है: सत्यापन पर, यह पता चला है कि सभी पृष्ठ समान रूप से "गतिशील" नहीं हैं। मैं पृष्ठ की गतिशीलता के निम्नलिखित स्तरों को परिभाषित करता हूं:

• स्तर 1. अच्छे पुराने HTML- पृष्ठ । सीएसएस शैलियों के साथ स्टेटिक HTML सामग्री।
  
• स्तर 2. एक स्क्रिप्ट द्वारा प्रबलित Html सामग्री । यहाँ स्क्रिप्ट अजाक्स अनुरोध नहीं करती है, लेकिन केवल उस सामग्री का हेरफेर करती है जो सर्वर से आई है। उदाहरण के लिए, एक टेबल सॉर्टर, या विस्तारक।
• स्तर 3. लोड लोडर । पृष्ठ लोड करने के बाद, स्क्रिप्ट काम करना शुरू कर देती है और कुछ अतिरिक्त सामग्री लोड करती है।
• स्तर 4. क्लाइंट अनुप्रयोग । उपयोगकर्ता इंटरफ़ेस उपयोगकर्ता क्रियाओं के अनुसार संशोधित किया गया है। स्क्रिप्ट डेटा को गैर-नियतात्मक रूप से लोड करती है। यह एकल-पृष्ठ अनुप्रयोग, "अंतहीन" सूची, स्मार्ट विस्तारक काम करते हैं

गत्यात्मकता का स्तर जितना अधिक होगा, ऑफ़लाइन सामग्री रखना उतना ही कठिन होगा:

• स्तर 1 और 2 - पूरी तरह से बनाए रखा, महान ऑफ़लाइन काम करता है।
• स्तर 3 - ऐसे पृष्ठ को ठीक से संभालने का केवल एक ही तरीका है। ऐसा करने के लिए, ब्राउज़र लॉन्च करें (निश्चित रूप से, निश्चित रूप से), और मुख्य पृष्ठ और सभी अतिरिक्त सामग्री लोड होने तक प्रतीक्षा करें:
  
  • हम अंतर्निहित ब्राउज़र स्थापित करते हैं और पृष्ठ को उसमें लोड करते हैं।
  • मूल HTML के बाद, शैलियों, लिपियों, छवियों को लोड किया जाता है।
  • लिपियों से उनके गंदे काम होते हैं (HOUSE को संशोधित करें, XHR अनुरोध करें)।
  • सिस्टम पेज लोड के दौरान होने वाले सभी अनुरोधों की निगरानी करता है। (एक सरल उदाहरण है कि फायरबग क्या करता है)।
  • सभी अनुरोधों को संसाधन लिंक माना जाता है। सर्वर से प्रतिक्रिया डेटाबेस में दर्ज की जाती है, और पिछले भाग से एल्गोरिदम के अनुसार संसाधित की जाती है।
    POC के लिए, मैंने Webkit.Net (git@github.com: webkitdotnet / webkitdotnet.git) का उपयोग किया, जिसे थोड़ा अपडेट किया जाना था।
    
    
    
    यह फायरबग की तरह ही काम करता है, इस अंतर के साथ कि यह .Net से है।
    
    
  • स्तर 4. एकल-पृष्ठ अनुप्रयोग। हमारे प्रौद्योगिकी विकास के स्तर पर नहीं। और क्यों, एक चमत्कार, क्या आपको ऐसे एप्लिकेशन के ऑफ़लाइन संस्करण को रखने की आवश्यकता है? एसपीए आमतौर पर बहुत व्यक्तिपरक सामग्री दिखाते हैं, जो उपयोगकर्ता और अन्य कई मापदंडों पर निर्भर करता है। मेरी व्यक्तिगत राय है कि यह आवश्यक नहीं है, और यह बेहद मुश्किल है - प्रकाश की तुलना में तेजी से कैसे उड़ना है। वैसे भी, कोई भी नहीं देखेगा और सराहना करेगा।
    
    लेकिन समाधान की पेशकश करना मेरा कर्तव्य है। मैं कर रहा हूँ। मेरे पास दो विकल्प भी हैं।
    
    ऑपरेटर के साथ विकल्प।
    
    
    • ऑपरेटर ब्राउज़र के लिए एक विशेष एक्सटेंशन स्थापित करता है (या संपूर्ण रूप से हमारे ब्राउज़र का उपयोग करता है)।
    • पृष्ठ के प्रारंभिक लोडिंग के बाद, उसके होम का स्नैपशॉट बनाया गया है। मुझे नहीं पता कि रूसी में कैसे। "स्नैपशॉट" किसी भी तरह अजीब लगता है। (वे एक और "कास्ट" का सुझाव देते हैं)।
    • उपयोगकर्ता एप्लिकेशन, "क्लिक और टैप" के साथ काम करना शुरू कर देता है।
    • HOUSE में किसी भी परिवर्तन के लिए, यह निर्धारित किया जाता है कि क्या बदल गया है, और हम HOUSE के अगले "फ्रेम" को बचाते हैं।
    • परिणाम एक प्रकार का HOUSE एनीमेशन है। हम अपने लिए सुविधाजनक किसी भी प्रारूप में बचत करते हैं।
    • संग्रहीत संस्करण केवल-पढ़ने के लिए होगा, लेकिन मूल पृष्ठ की कार्यक्षमता संचारित होगी।
    
    
    मशीन सीखने या स्क्रिप्ट विकल्प। सामान्य तौर पर, यह पहले विकल्प के समान है, लेकिन ऑपरेटर के कदम स्पष्ट या अंतर्निहित रूप से आगे स्वचालित प्लेबैक के लिए याद किए जाते हैं। आप स्वचालित क्लासिफायर और यहां तक ​​कि तंत्रिका नेटवर्क का उपयोग कर सकते हैं: शोधकर्ताओं के लिए संभावनाओं का एक विशाल क्षेत्र है। दुर्भाग्य से, हम शोधकर्ता नहीं हैं, लेकिन डेवलपर्स हैं। जटिलता, ईमानदार होने के लिए, मैं मूल्यांकन नहीं कर सकता।
    
  
  
  

  निष्कर्ष

  
  
  रोबोट के अलावा, वेब संग्रह प्रणाली में भंडारण, अनुक्रमण और एक इंटरफ़ेस होना चाहिए - मैंने जानबूझकर उन्हें विचार से बाहर रखा। सबसे पहले, ये घटक रोबोट की तुलना में एकीकृत और कॉन्फ़िगर करने के लिए काफी सरल हैं। दूसरे, बस ध्यान भंग न करने के लिए।
  
  एक वेब संग्रह प्रणाली उचित समय में बनाई जा सकती है, लेकिन आधुनिक साइटों की गतिशील प्रकृति के कारण इसकी सीमाएं होंगी। तीसरे स्तर तक के गतिशील पृष्ठ स्वीकार्य संग्रह के लिए खुद को उधार देते हैं। चौथे स्तर के लिए बहुत प्रयास की आवश्यकता होगी।
  
  सामान्य तौर पर, रोबोट विकसित करने के दो तरीके हैं। पहला कृत्रिम बुद्धि के उपयोग के साथ है। क्रॉलर को विकसित करना आवश्यक है ताकि यह "समझे" कि यह क्या कर रहा है। दूसरा तकनीकी है। आपको साइटों के लिए एक मंच बनाने की आवश्यकता है, स्मार्ट सीएमएस जैसा कुछ। इस पर चलने वाली साइटें संग्रह के लिए सरल रूप में रोबोट सामग्री को उजागर कर सकती हैं।