MongoDB में पूर्ण पाठ खोज

यह लेख MongoDB संस्करण 2.4 - पूर्ण-पाठ खोज की नई विशेषताओं में से एक पर चर्चा करेगा। इस लेख में से अधिकांश प्रलेखन का एक नि: शुल्क अनुवाद होगा, जो संयोगवश, बहुत विस्तृत है, लेकिन खंडित है। यहां सब कुछ एक साथ रखा जाएगा। चूँकि यह मुझे एक पूर्ण लेख के लिए पर्याप्त नहीं लगा, इसलिए मैंने MongoDB की तुलना एक अन्य लोकप्रिय पाठ खोज कार्यक्रम - स्फिंक्स के साथ करने का फैसला किया। मेरी तुलना बहुत सतही होगी, क्योंकि मैंने पहले स्फिंक्स के साथ काम नहीं किया था। मैं 16 मिलियन रिकॉर्ड के साथ एक तालिका बनाऊंगा और देखूंगा कि कौन तेज है।




यदि आप एक तुलना में रुचि रखते हैं, तो यह बहुत अंत में है, लेकिन यहां मैं आपको बताऊंगा कि कैसे मैंगो में एक पाठ सूचकांक बनाया जाए और इसके साथ क्या किया जा सकता है।

पहले, एक मोंग में पाठ की खोज करने के लिए, कोई भी नियमित अभिव्यक्ति का उपयोग कर सकता है, या खुद को शब्दों के साथ बनाया और अनुक्रमित सरणियों का उपयोग कर सकता है। नियमित अभिव्यक्ति खोजों का मुख्य दोष यह था कि यह सभी प्रश्नों के लिए प्रभावी रूप से अनुक्रमित का उपयोग नहीं कर सकता था, और गैर-तुच्छ नियमित अभिव्यक्ति लिखना मुश्किल है। जब सूचकांक ने आपको लाइन के बहुत शुरुआत में और कई अन्य मामलों में खोजने के लिए कहा था, तो सूचकांक का अच्छी तरह से उपयोग किया गया था। विभाजन के बाद प्राप्त शब्दों की एक सरणी से बना एक सूचकांक के साथ एक अन्य विकल्प इस खामी से बचा था, लेकिन सुविधाजनक नहीं था।
अब एक त्वरित पाठ खोज पाने के लिए कुछ भी करने की आवश्यकता नहीं है। हम एक टेक्स्ट इंडेक्स बनाते हैं, एक निवेदन करते हैं, और सिस्टम स्वयं स्टॉप शब्द को हटा देता है, टोकन बनाता है, मुद्रांकन करता है और परिणाम की प्रासंगिकता को इंगित करते हुए एक संख्यात्मक विशेषता को चिपकाता है। स्टेमिंग के लिए, पोर्टर स्टीमर का उपयोग किया जाता है। स्टॉप शब्दों की सूची जीथब पर देखी जा सकती है - उदाहरण के लिए, रूसी भाषा के लिए ।


चलिए परिणाम के साथ शुरू करते हैं:

db.text.runCommand( "text" , { search: "",project:{text:1,_id:0},limit: 3 } ) 

जैसा कि आप देख सकते हैं, मोंगो ने ऐसे वाक्य पाए जहां शब्द "तलवार" सबसे अधिक बार पाया गया था, साथ ही एक वाक्य भी था जहां "तलवार" शब्द समाप्त हो गया था।

पाठ खोज कनेक्ट करें

पाठ खोज अभी भी परीक्षण मोड में है, इसलिए आपको स्टार्टअप पर संबंधित मोंगॉड विकल्प को स्पष्ट रूप से निर्दिष्ट करना होगा:

 mongod --setParameter textSearchEnabled=true 

टेक्स्ट इंडेक्स बनाएं

सूचकांक बनाने के लिए मुख्य आदेश:

 db.collection.ensureIndex( {subject: "text", content: "text"} ) 

जिसके बाद चयनित संग्रह के विषय और सामग्री क्षेत्रों के सभी पाठ अनुक्रमित हो जाएंगे

डिफ़ॉल्ट रूप से, अंग्रेजी भाषा के लिए एक इंडेक्स बनाया जाता है, इसे बदलने के लिए आपको default_language विकल्प सेट करना होगा:

 db.collection.ensureIndex( { content : "text" }, { default_language: "russian" }) 

यह एक सूचकांक बनाना भी संभव है जो प्रत्येक दस्तावेज़ पर उस भाषा पर लागू होगा जो दस्तावेज़ - दस्तावेज़ के निर्दिष्ट क्षेत्र में निर्दिष्ट है
आप एक इंडेक्स भी बना सकते हैं जो दस्तावेज़ में सभी क्षेत्रों में खोज करेगा।
एक इंडेक्स बनाने की कमांड जो बनाते समय निर्दिष्ट फ़ील्ड के वजन के आधार पर परिणाम के वजन की गणना करेगा:

 db.blog.ensureIndex( {content: "text",keywords: "text", about: "text"}, {weights: { content: 10,keywords: 5, },name: "TextIndex" }) 

इंडेक्स बनाने के बारे में अधिक जानें।

क्वेरी निष्पादन खोजें

एक नया आदेश जोड़ा गया था जो आपको एक पाठ खोज करने की अनुमति देता है - "पाठ":

 db.collection.runCommand( "text", { search: "" } ) 

"टेक्स्ट" एक कमांड है, "तलवार" एक खोज शब्द है

यदि आप खोज के लिए एक स्थान के साथ कई शब्द निर्दिष्ट करते हैं, तो वे तार्किक या ऑपरेटर (तार्किक और नहीं के लिए विकल्प) द्वारा संयुक्त हो जाएंगे

दिए गए शब्द या अभिव्यक्ति के साथ एक सटीक मिलान खोजने के लिए, आपको इसे उद्धृत करना होगा:

 db.quotes.runCommand( "text", { search: "\" \"" } ) 

यदि परिणामों से किसी विशिष्ट शब्द के साथ ग्रंथों को बाहर करना आवश्यक है, तो क्वेरी में इस शब्द से पहले "-" डालना पर्याप्त है, उदाहरण के लिए:

 db.quotes.runCommand( "text" , { search: " -" } ) 

परिणामों की संख्या की सीमा सीमा विकल्प द्वारा निर्धारित की जाती है:

 db.quotes.runCommand( "text", { search: "tomorrow", limit: 2 } ) 

लौटे फ़ील्ड प्रोजेक्ट विकल्प द्वारा निर्दिष्ट किए गए हैं:

 db.quotes.runCommand( "text", { search: "tomorrow", project: { "src": 1 } } ) 

दिए गए फ़ील्ड के साथ दस्तावेज़ खोजने के लिए, आपको फ़िल्टर विकल्प सेट करना होगा:

 db.quotes.runCommand( "text", { search: "tomorrow", filter: { speaker : "macbeth" } } ) 

अधिक जानकारी

परिणाम को पार्स करना

खोज परिणाम पर विचार करें:
कोष्ठक का हिस्सा काट दिया जाता है

 { "queryDebugString" : "||||||||", "language" : "russian", "results" : "score" : 1.25, "obj" : { "text" : "-   " "score" : 0.9166666666666667, "obj" : { "text" : "        ,       " "score" : 0.8863636363636365, "obj" : { "text" : "        … -     " "stats" : { "nscanned" : 145, "nscannedObjects" : 0, "n" : 3, "nfound" : 3, "timeMicros" : 155 }, "ok" : 1 } 

यहां:
queryDebugString - दस्तावेज़ीकरण यह नहीं कहता है कि यह क्या है, लेकिन शायद ये शब्द स्टेमिंग के बाद के शब्द हैं
भाषा - वह भाषा जिसका उपयोग खोज करने के लिए किया गया था
परिणाम - परिणामों की सूची
स्कोर - एक विशेषता यह दिखाती है कि अनुरोध परिणाम से कैसे मेल खाता है
आँकड़े शब्दकोश - अतिरिक्त जानकारी
nscanned - सूचकांक का उपयोग करके कितने दस्तावेज़ पाए जाते हैं
nscannedObjects - एक सूचकांक (यह छोटा पैरामीटर, बेहतर) का उपयोग किए बिना स्कैन किए गए दस्तावेज़
n लौटे परिणामों की संख्या है
nfound - मैचों की संख्या
timeMicros - खोज अवधि और माइक्रोसेकंड

अधिक जानकारी

पाठ खोज बनाम $ रेगेक्स + इंडेक्स

 db.text.runCommand( "text" , { search: "",project:{text:1,_id:0}} ).stats { "nscanned" : 77, "nscannedObjects" : 0, "n" : 77, "nfound" : 77, "timeMicros" : 153 } db.text2.find( { text: { $regex: ''} }).explain(); { "cursor" : "BtreeCursor text_1 multi", "n" : 5, "nscannedObjects" : 5, "nscanned" : 15821, "nscannedObjectsAllPlans" : 5, "nscannedAllPlans" : 15821, "indexOnly" : false, "millis" : 31, "indexBounds" : { "text" : [["",{}], [ //, // ] ] }, } 

पाठ और text2 टेबल समान हैं:

जैसा कि आप परिणामों से देख सकते हैं, नियमित अभिव्यक्ति खोज 31 मिलीसेकंड में पूरी हो गई है, और पाठ सूचकांक 151 माइक्रोसेकंड में खोज करता है, जो 200 गुना कम है।

MongoDB बनाम स्फिंक्स

तुलना उबंटू 12.10 ओएस (कोर i5, 8 जीबी रैम, हार्ड ड्राइव (बिना छापे के बिना)) पर की गई थी। उम्मीदवार: MongoDM 2.4.1 और स्फिंक्स 2.0.6। मोंग और माईसक्ल में, फॉर्म आईडी, पाठ के टेबल बनाए गए थे। टेबल समान थे और 16 मिलियन रिकॉर्ड थे। मोंग में एक पाठ सूचकांक बनाया गया था। पाठ खोज के लिए एक सूचकांक भी स्फिंक्स में कॉन्फ़िगर किया गया था, स्टॉप वर्ड शीट और स्टेमिंग एल्गोरिथ्म का उपयोग करने के विकल्प इसके अतिरिक्त शामिल थे। प्रतियोगियों के साथ बातचीत करने के लिए, पायथन क्लाइंट्स का इस्तेमाल किया गया - स्फिंक्सपी और पाइमोन्गो।

परीक्षण एक मेज में एक हजार शब्द खोजने के लिए था। इसे "वार्मिंग अप" और कई बार निष्पादित किया गया। स्फिंक्स में, कोई अतिरिक्त सेटिंग्स शामिल नहीं थीं, केवल स्टिमिंग, स्टॉप शब्द और उपलब्ध मेमोरी में वृद्धि के अलावा। कार्यक्रमों का मेमोरी उपयोग लगभग समान है, 2.2 जीबी ने स्फिंक्स का इस्तेमाल किया, 2.5 जीबी ने मैंगो का इस्तेमाल किया।



जैसा कि आप परिणामों से देख सकते हैं, मोंगो हार जाता है। ओपी के साथ विशिष्ट कार्य के कारण, मोंगो पहले की तुलना में दूसरी बार तेजी से खोज करता है। यह इस तथ्य के कारण है कि मैंगो मेमोरी में केवल अनुरोधित डेटा संग्रहीत करता है। पहले टेस्ट रन पर, इंडेक्स को अभी तक मेमोरी में लोड नहीं किया गया है। लेकिन एक व्यस्त सूचकांक के साथ भी, मोंगो 20 गुना से अधिक धीमा है।

जब छोटे तालिकाओं की खोज की जाती है, तो अंतर कम हो जाता है, लेकिन यह स्फिंक्स के 10 गुना लाभ में अभी भी है।

यह भी ध्यान देने योग्य है कि मोंग में पाठ सूचकांक अनुक्रमित डेटा की तुलना में स्वयं को संग्रहीत करने के लिए लगभग 2 गुना अधिक मेमोरी का उपयोग करता है।

निष्कर्ष

पाठ की खोज में एक प्रभावशाली मार्जिन के साथ, स्फिंक्स जीत जाता है।
मानगो की रक्षा में, हम कह सकते हैं कि:

• mongo में पाठ खोज के अलावा और भी कई कार्य हैं
• उत्पादकता बढ़ाते समय क्षैतिज रूप से स्केल करना आसान है
• पाठ खोज अभी भी परीक्षण मोड में है
• मोंगो में पाठ खोज स्फिंक्स की तुलना में सरल है और अध्ययन के लिए कुछ घंटों की आवश्यकता है

नया MongoDB फ़ंक्शन डेटा संग्रहण के क्षेत्र में शक्ति के संतुलन को बहुत अधिक नहीं बदलेगा।