यूआरएल और उनके भंडारण के साथ काम करें

खैर, यहाँ डेटाबेस के सबसे स्वादिष्ट भागों में से एक है - यह अरबों अलग-अलग लिंक को संग्रहीत करता है, और उन्हें यादृच्छिक क्रम में एक्सेस करता है।

सबसे पहले, आप स्पष्ट रूप से देख सकते हैं कि सभी URL साइट के भीतर समूहीकृत हैं, अर्थात्। 1 साइट के भीतर सभी लिंक गति के लिए एक साथ संग्रहीत किए जा सकते हैं। मैंने साइट URL का चयन किया, और साइटों की सूची को अलग से संग्रहीत करना शुरू किया - अब 600 हजार हैं और पहले वर्णित एक अलग डेटाबेस तालिका आसानी से उनके साथ सामना कर सकती है। सभी ज्ञात साइटों के सीआरसी के साथ एवीएल पेड़ लगातार मेमोरी में स्थित है, और URL पहली चीज के अस्तित्व की जांच कर रहा है, मुझे इसके लिए साइट आईडी मिलती है, अगर यह डेटाबेस में पहले से ही है।

शेष लिंक - साइट के नाम के अलावा, मैंने काट दिया, और मुझे लगता है कि इसके लिए सीआरसी, चलो इसे हैश कहते हैं। इस प्रकार, किसी भी लिंक को अपेक्षाकृत स्पष्ट रूप से एक सूचकांक (साइट आईडी, हैश) है। सभी लिंक एक अलग साइट के भीतर हैश द्वारा सॉर्ट किए जा सकते हैं, और फिर आप आसानी से मौजूदा के लिए खोज कर सकते हैं या नहीं - इस साइट पर सभी लिंक की सूची के माध्यम से जाएं जब तक कि हम वांछित हैश से नहीं मिलते हैं या एक बड़े हैश से नहीं मिलते हैं - तब कोई लिंक नहीं है। त्वरण बहुत बड़ा नहीं है, लेकिन 2 बार, सभी समान, औसतन।

मुझे कहना होगा कि प्रत्येक लिंक को मैंने एक आईडी सौंपा है, ताकि यह 2 * 4 के बजाय सूचकांक में कम जगह ले - 4 बाइट्स। एक अलग तालिका में त्वरित आईडी लाने के लिए डेटा आईडी - (साइट आईडी, हैश) है।

अब एक लाख लिंक की सूची कैसे संग्रहीत करें और यहां तक ​​कि 600 हजार साइटों के लिए क्रमबद्ध करें। इसके लिए, एक अन्य प्रकार की तालिका लागू की जाती है - दो-आयामी सूचकांक के साथ, अर्थात्। सबसे पहले, ID1 द्वारा हमें ID2 द्वारा सॉर्ट किए गए डेटा की सूची तक पहुंच मिलती है, और विशेष रूप से ID2 को 1 से N तक नहीं होना चाहिए, जैसा कि ज्यादातर मामलों में किया जाता है। मैंने रिवर्स इंडेक्स को स्टोर करने के लिए इस तरह की तालिका का भी इस्तेमाल किया, लेकिन अब एक और प्रभावी समाधान वहां काम कर रहा है। तालिका को स्वयं कार्यान्वित किया जाता है ताकि सूची में ID2 जोड़ना सूची की छंटाई को सुरक्षित रखता है।

URL पर सभी डेटा को ID1 द्वारा 64 भागों में विभाजित किया गया है, तालिका K में साइट ID% 64 = K के साथ साइटों के बारे में रिकॉर्ड हैं, प्रत्येक तालिका को प्रत्येक विशिष्ट ID1 के लिए आवंटित खंडों में विभाजित किया गया है। जब आपको रिकॉर्ड की एक विशिष्ट सूची तक पहुंचने की आवश्यकता होती है - आईडी 1 द्वारा, वे सभी पहले से ही डिस्क पर एक पंक्ति में पड़े हुए हैं, और स्थिति यह है कि कहां क्या करना है और कहां पढ़ना शुरू करना है, तुरंत ज्ञात हो जाता है। हम ठीक उसी क्षण तक पढ़ते हैं जब हम आवश्यक हैश से मिलते हैं

ऐसी तालिका में सम्मिलित करना बहुत तेज़ नहीं है, दूसरी ओर, एक बड़ी कैश और एक छोटी मात्रा में एक रिकॉर्ड आपको जल्दी से एक पैकेज सम्मिलित करने की अनुमति देता है। अपडेट पैकेज जमा हो रहा है - अब प्रत्येक तालिका के लिए लगभग 32,000 लिंक, फिर 1 पास में डाले गए - तालिका की एक अस्थायी प्रतिलिपि बनाई जाती है जिसमें कैश और पुरानी तालिका के डेटा को मिला दिया जाता है।

Www के बिना और बिना यूआरएल को समान रूप से ध्यान में रखा जाता है - उनमें से किस पर निर्भर करता है कि पहले लिंक को मुख्य एक माना जाता था - इसे डेटाबेस में जोड़ा जाएगा, और अन्य सभी लिंक इससे चिपके रहेंगे। यह आपको बिना सोचे समझे कट लगाने या www को काटने से बचने की अनुमति देता है - आखिरकार, साइट www के बिना काम नहीं कर सकती है, लेकिन यह इस तथ्य से जुड़ी सभी समस्याओं को पूरी तरह से हल नहीं करता है कि www के साथ और बिना पते वाले विभिन्न साइटें हो सकती हैं।

सबसे श्रमसाध्य काम रिश्तेदार लिंक को हल करना था - एक उदाहरण:
"site.ru/index" पृष्ठ पर एक लिंक "./" है, तो इसे "site.ru/" में हल किया जाना चाहिए, हालांकि यदि आप पहले लिंक में एक स्लैश जोड़ते हैं: "site.ru/index/" और यद्यपि यह समान हो सकता है साइट पर पृष्ठ, अनुमत लिंक "site.ru/index/" होगा, इसलिए आप अंत में स्लैश नहीं काट सकते, आप लिंक तर्कों, और निष्पादन योग्य फ़ाइल का नाम नहीं काट सकते।

सामान्य तौर पर, मैं लिंक को भागों में बांटता हूं: प्रोटोकॉल, साइट, पथ, फ़ाइल नाम, तर्क, नाम लिंक (सभी के बाद #)
दो लिंक से, इसलिए कट, मैं सूची के माध्यम से जाकर और परिणाम में लापता तत्वों (यदि आवश्यक हो) को प्रतिस्थापित करके एक नया इकट्ठा करता हूं।
तब हमें यह नहीं भूलना चाहिए कि फॉर्म के निर्माण "/ .///////" और उन्हें हटाया जाना चाहिए, साथ ही "../../../", और फिर "#", "हटाए गए या प्रतिस्थापित किए गए हैं। ? ”
सामान्य तौर पर, प्रक्रिया लंबे समय तक नहीं होती है, लेकिन सभी संभावित संयोजनों के प्रसंस्करण के तरीकों और परीक्षणों के साथ आने में बहुत ही डरावना है। लेकिन जब मैंने लिखा था - सब कुछ पहले से ही जैसा काम करना चाहिए

खोज इंजन पर मेरे लेखों की पूरी सामग्री और सूची यहां अपडेट की जाएगी: http://habrahabr.ru/blogs/search_engines/123671/