एक खोज इंजन के लिए डेटाबेस डिजाइन करने के बारे में थोड़ा

डेटाबेस के बिना, यहां तक ​​कि कई मौलिक रूप से अलग-अलग बिना, ऐसी परियोजना असंभव है। इसलिए, मैं इस मुद्दे पर थोड़ा समय समर्पित करूंगा।

तो, कम से कम, एक डेटाबेस "सामान्य" ("2 डी") डेटा की सेवा के लिए आवश्यक होगा - अर्थात। कुछ पहचानकर्ता आईडी को डेटा फ़ील्ड में मैप किया जाता है।
मैं डेटा फ़ील्ड एक पर विचार क्यों कर रहा हूं? क्योंकि:

• चयन केवल आईडी फ़ील्ड द्वारा किया जाता है - डेटा खोजा नहीं गया है। इसके लिए विशेष सूचकांक हैं - अन्यथा, इस तरह की जानकारी के साथ, बहुत कम समझ होगी
• किसी भी संख्या में फ़ील्ड्स को एक में पैक किया जा सकता है, इसके लिए मैंने "मेरे घुटने पर" छोटे एप्लिकेशन लाइब्रेरीज़ का एक सेट बनाया है, विशेष रूप से, सीआरसी डेटा को पैकेजिंग के दौरान बचाया जाता है ताकि भगवान को मना किया जाए

यदि आप डेटा और थोड़ी सुविधा के साथ काम करने के लिए कोड की पंक्तियों की संख्या को कम करने का कार्य स्वयं निर्धारित नहीं करते हैं, तो लगभग किसी भी कार्य को उस बिंदु तक कम किया जा सकता है जहां ये बिंदु पर्याप्त होंगे। और इष्टतमता और गति के लिए इस तरह की उच्च आवश्यकताओं के मामले में, मेरी राय में यह काफी उचित है।

ऐसी डेटाबेस तालिकाओं के लिए मुख्य कार्य हैं:

• आईडी चयन
• पूरे डेटाबेस को क्रमिक रूप से (मेमोरी या हैश में) पढ़ें
• आईडी द्वारा अद्यतन रिकॉर्ड
• अंत में एक नया डालें, एक आईडी प्राप्त करें

मुझे यह "पेज प्रकार" तालिकाओं का उपयोग करने के लिए इष्टतम मिला, जहां डेटा संग्रहीत, लिखित और पृष्ठों से डिस्क से पढ़ा जाता है। प्रत्येक पृष्ठ में प्रविष्टियों की एक निश्चित संख्या होती है। यह काफी सरल है अगर मुझे पहले से तय रिकॉर्ड आकार में पता है - तो तालिका और भी तेजी से काम करेगी, हालांकि, भले ही रिकॉर्ड आकार बदल जाए - अनिवार्य रूप से प्रसंस्करण में कुछ भी नहीं बदलता है। मेमोरी में पेज के भीतर अपडेट करना, अंत तक जोड़ना, फिर पेज को डिस्क पर लिखा जाता है। तालिका फ़ाइल में, पृष्ठों को क्रमिक रूप से संग्रहीत किया जाता है।

सवाल उठता है: जब उनके आकार में परिवर्तन होता है, तो टेबल के मध्य में रिकॉर्ड कैसे अपडेट किया जाता है - क्योंकि यदि पूरी तालिका 10-20-200 जीबी से अधिक है, तो आधी तालिका को एक अस्थायी फ़ाइल में कॉपी करें, और फिर इसे वापस घंटे लगेंगे? मैंने इस प्रश्न को फाइल सिस्टम पर रखा, जिससे सभी पेज ब्लॉक हो गए। एक ब्लॉक - डिस्क पर एक फ़ाइल, एक तालिका में फ़ाइलों की संख्या सीमित नहीं है। प्रत्येक फ़ाइल क्रमिक रूप से पृष्ठों की सीमित संख्या को संग्रहीत करती है। फिर यदि आपको तालिका के मध्य में रिकॉर्ड को अपडेट करने की आवश्यकता है, तो मुझे बहुत छोटी और अक्सर, सीमित मात्रा की केवल 1 फ़ाइल को बदलने की आवश्यकता है। फ़ाइल सिस्टम को कुछ बेवकूफ बनाने के लिए न कहने की ज़िम्मेदारी पहले शुरुआत में, फिर अंत तक, फिर शुरू में फिर से लिखना है - मैंने इसे खुद पर ले लिया। बस सर्वर को तनाव में नहीं करने के लिए, मैं हमेशा बैचों में लिखता हूं, इसी कार्यक्षमता को जितना संभव हो उतना अनुकूलित किया जाता है, सब कुछ स्मृति में होता है। खैर, निश्चित रूप से, खोज इंजन मॉड्यूल की पूरी प्रणाली इस आधार पर बनाई गई है कि अंत तक 1000 रिकॉर्ड लिखना 1 से शुरू होने की तुलना में तेज है - इसलिए, जब शुरुआत में लिखते हैं, तो कभी-कभी तालिका की प्रतिलिपि बनाना आसान होता है।

ठीक है, सामान्य तालिकाओं के साथ फैसला किया। अब वर्णित डेटाबेस बहुत अच्छा है, विशेष रूप से, यह मनमाने ढंग से चयन के साथ, खोज प्रक्रिया में ग्रंथों के 35 जीबी टुकड़े को संसाधित करता है।

लेकिन सीमाएं हैं - ऐसी तालिका में एक पत्राचार रखने के लिए: प्रत्येक शब्द के लिए, दस्तावेजों की सूची जिसमें शब्द पाया गया था (अतिरिक्त जानकारी के साथ) लगभग असंभव है - प्रत्येक शब्द के लिए बहुत सारे दस्तावेज होंगे, और तदनुसार, वॉल्यूम बहुत बड़ा होगा।

तो ऐसे डेटाबेस के साथ क्या कार्य करना चाहिए:

• वांछित मनमानी शब्द के लिए सूची की शुरुआत से क्रमिक चयन और जब तक आप ऊब नहीं जाते
• अच्छे के लिए, शब्द के लिए दस्तावेजों की सूची को बदलना आवश्यक होगा, लेकिन यहां आप एक संकेत बना सकते हैं - केवल डेटाबेस के अंत में डालें

ऐसे इंडेक्स को कैसे अपडेट करें? जाहिर है, अगर इंडेक्स खाली है और हम इसमें दस्तावेजों की सूची डालना शुरू करते हैं और पहले शब्द से शुरू करते हैं और अंतिम के साथ समाप्त होते हैं - हम केवल फ़ाइल के अंत में लिखेंगे। इसके अलावा, भले ही प्रत्येक शब्द के लिए भौतिक रूप से अलग-अलग ब्लॉक लिखना हो - डिस्क पर अलग से, डेवलपर का व्यवसाय - दोनों ही मामलों में, आप बस याद कर सकते हैं: जहां अगला ब्लॉक समाप्त हो गया और इसकी लंबाई, इसे सबसे सरल सूची में सहेजें। फिर अनुक्रमिक पढ़ने की प्रक्रिया निम्नानुसार होगी: हम फ़ाइल में वांछित शब्द के लिए सूची की शुरुआत में जाते हैं, और क्रमिक रूप से तब तक पढ़ते हैं जब तक कि सूची अगले शब्द के लिए शुरू न हो जाए: 1 तलाश है, और रीड की न्यूनतम आवश्यक संख्या जीत है (यहां विशेष रूप से फाइल सिस्टम के संचालन पर विचार नहीं करते हैं) - आप अलग से उनके अनुकूलन के साथ सौदा कर सकते हैं)

अब, जाहिर है, जब हम नए अनुक्रमित पृष्ठों के बारे में जानकारी को सूचकांक में जोड़ना चाहते हैं, तो हम नई जानकारी को अलग से सहेज सकते हैं, पढ़ने के लिए वर्तमान सूचकांक को खोल सकते हैं, और लिखने के लिए एक नया बना सकते हैं, और पढ़ने-लिखने के क्रम में पहले शब्द से शुरू होने वाली जानकारी के साथ विलय कर सकते हैं। और अंत। सूची में दस्तावेज़ों को जोड़ने के लिए मुझे किस क्रम में सवाल है, जब मैं सूचकांक के निर्माण के बारे में बात करूंगा।

खोज इंजन पर मेरे लेखों की पूरी सामग्री और सूची यहां अपडेट की जाएगी: http://habrahabr.ru/blogs/search_engines/123671/