🐤 👨🏽‍🏫 🤦 उदाहरण के रूप में MongoDB का उपयोग कर मानचित्र को कम करें 👧🏾 🏌️ 🙈

हाल ही में, डेटा प्रोसेसिंग दृष्टिकोण और कार्यप्रणाली का एक परिवार, जिसे आम नामों बिग डेटा और NoSQL द्वारा एकजुट किया गया है, लोकप्रियता प्राप्त कर रहा है। कम्प्यूटेशनल मॉडल में से एक जो बड़ी मात्रा में डेटा पर लागू होता है, वह है Google की आंतों में विकसित की गई मैप-रिड्यूस तकनीक। इस पोस्ट में मैं बात करने की कोशिश करूंगा कि यह मॉडल MongoDB गैर-संबंधपरक DBMS में कैसे लागू किया जाता है।

सामान्य रूप से गैर-संबंधपरक डेटाबेस और विशेष रूप से मैप-रिड्यूस तकनीक के भविष्य के लिए, कोई भी इस विषय पर अनिश्चित काल के लिए बहस कर सकता है, और पोस्ट इस बारे में बिल्कुल नहीं है। किसी भी मामले में, वैकल्पिक पारंपरिक DBMS डेटा प्रोसेसिंग विधियों के साथ परिचित किसी भी प्रोग्रामर के सामान्य विकास के लिए उपयोगी है, बस, उदाहरण के लिए, कार्यात्मक प्रोग्रामिंग भाषाओं के साथ परिचित होना अनिवार्य प्रोग्रामर के लिए उपयोगी हो सकता है।

MongoDB गैर-संबंधपरक DBMS JSON प्रारूप में दस्तावेजों के संग्रह के रूप में डेटा प्रस्तुत करता है और इस डेटा को संसाधित करने के विभिन्न तरीके प्रदान करता है। विशेष रूप से, मैप-रिड्यूस मॉडल का एक कस्टम कार्यान्वयन है। व्यावहारिक उद्देश्यों के लिए इस विशेष कार्यान्वयन का उपयोग करना कितना व्यावहारिक है, इसके बारे में नीचे चर्चा की जाएगी, लेकिन अब हम खुद को मैप-रिड्यूस प्रतिमान के साथ खुद को परिचित करने के लिए प्रतिबंधित करेंगे।

तो मैप-रिड्यूस में ऐसा क्या खास है?

मान लीजिए हम एक बड़ा ऑनलाइन एप्लिकेशन विकसित कर रहे हैं, जिसका डेटा दुनिया के सभी कोनों में कई सर्वरों पर वितरित तरीके से संग्रहीत है। इसके अलावा, उपयोगकर्ता को अपने हितों को इंगित किया गया है। हमने इस रुचि को साझा करने वाले उपयोगकर्ताओं की संख्या को निर्धारित करके प्रत्येक ब्याज की लोकप्रियता की गणना करने का निर्णय लिया। यदि हम एक संबंधपरक DBMS का उपयोग करते हैं और सभी उपयोगकर्ताओं को एक सर्वर पर संग्रहीत करते हैं, तो ऑपरेशन द्वारा समूह का उपयोग करने वाली एक सरल क्वेरी हमें जवाब पाने में मदद करेगी। विभिन्न नोड्स के मामले में, हम चाहेंगे कि यह समूहीकरण समान रूप से किया जाए, सभी सर्वरों को समान रूप से लोड किया जाए। संबंधपरक डीबीएमएस और एसक्यूएल प्रश्नों की दुनिया में, इसकी कल्पना करना मुश्किल है, लेकिन मैप-रिड्यूस की मदद से यह समस्या काफी हल हो सकती है।

हमारे डेटाबेस में एक उपयोगकर्ता संग्रह होने दें जिनके तत्व फॉर्म के हैं:

{ name : "John", age : 23, interests : ["football", "IT", "women"] }

आउटपुट पर हम इस प्रकार का एक संग्रह प्राप्त करना चाहते हैं:

 { key: "football", value: 1349 }, { key: "MongoDB", value: 58 }, //...

निष्पादन के दौरान, सिस्टम डेटा पर मैप और रिड्यूस ऑपरेशन करता है, जो प्रोग्रामर द्वारा निर्धारित किए जाते हैं। MongoDB में, ये ऑपरेशन जावास्क्रिप्ट में लिखे गए कार्यों के रूप में हैं। यही है, प्रोग्रामर स्वयं फ़ंक्शन लिखता है, और मोंगो उनकी कॉल का प्रबंधन करता है।

शुरुआत में, संग्रह में प्रत्येक दस्तावेज़ पर एक मैप ऑपरेशन लागू किया जाता है, जो <कुंजी, मूल्य> जोड़े बनाता है। इन जोड़ियों को फिर से एक समूहित रूप में कम करने के लिए पारित किया जाता है। कमी ऑपरेशन एक <कुंजी, मान> जोड़ी बनाता है। एक कुंजी के रूप में, और एक मूल्य के रूप में वस्तुओं सहित कोई भी चर हो सकता है।

हमारे उदाहरण के लिए मानचित्र फ़ंक्शन पर विचार करें:

 function map(){ for(var i in this.interests) { emit(this.interests[i], 1); } }

जैसा कि आप देख सकते हैं, जिस दस्तावेज़ को मैप ऑपरेशन लागू किया गया है वह इस सूचक द्वारा सुलभ है। एमिट फ़ंक्शन का उपयोग आगे की प्रक्रिया के लिए अगली जोड़ी <कुंजी, मूल्य> को स्थानांतरित करने के लिए किया जाता है। जैसा कि आप देख सकते हैं, एक दस्तावेज़ के लिए मैप ऑपरेशन कई <कुंजी, मूल्य> जोड़े का उत्पादन कर सकता है। इस उदाहरण में, सब कुछ सरल है - हम ब्याज को कुंजी के रूप में पास करते हैं, और मूल्य के रूप में एक, क्योंकि इस मामले में ब्याज बिल्कुल एक बार मिला था।

उत्पन्न जोड़े कुंजी द्वारा समूहीकृत किए जाते हैं और फॉर्म <कुंजी, मूल्यों की सूची> में कम फ़ंक्शन को पारित किया जाता है। हमारे उदाहरण के लिए कम समारोह इस तरह दिखता है:

 function reduce(key, values) { var sum = 0; for(var i in values) { sum += values[i]; } return sum; }

अंतिम मान प्राप्त करने के लिए, हम उन सभी मूल्यों को संक्षेप में प्रस्तुत करते हैं जो हमारे पास हैं मान सरणी में। कमी ऑपरेशन के साथ कुंजी बदलना प्रदान नहीं की जाती है, इसलिए फ़ंक्शन केवल परिणाम के रूप में परिणामी मान लौटाता है।

स्मार्ट रीडर निम्नलिखित प्रश्न पूछ सकता है - पूरे मान सरणी के माध्यम से क्यों चलते हैं और इसके तत्वों को जोड़ते हैं यदि हम जानते हैं कि वे एक के बराबर हैं? क्या सरणी की लंबाई को वापस करना आसान नहीं है? इस प्रश्न का उत्तर नहीं है, और स्पष्टीकरण मैप-रिड्यूस की एक प्रमुख विशेषता पर प्रकाश डालेगा।

तथ्य यह है कि MongoDB मध्यवर्ती एकत्रीकरण करने के लिए Reduce कार्रवाई शुरू करता है। जैसे ही एक ही कुंजी के साथ कई जोड़े बनते हैं, MongoDB उनके लिए रिड्यूस कर सकता है, जिससे एक <कुंजी, मान> जोड़ी प्राप्त होती है, जिसे बाद में दूसरों के साथ संसाधित किया जाता है, जैसे कि यह मैप ऑपरेशन का उपयोग करके प्राप्त किया गया था।

यह कम फ़ंक्शन के कार्यान्वयन पर कुछ आवश्यकताओं को लगाता है। यहाँ वे हैं:

कम फ़ंक्शन का रिटर्न प्रकार मानचित्र फ़ंक्शन ( एमिट फ़ंक्शन का दूसरा पैरामीटर) द्वारा दिए गए मान के प्रकार से मेल खाना चाहिए
समानता को संतुष्ट किया जाना चाहिए: कम करना (कुंजी, [ए, कम (कुंजी, [बी, सी])]] == कम करना (कुंजी, [ए, बी, सी])
प्राप्त जोड़ी में कमी ऑपरेशन के बार-बार आवेदन <कुंजी, मूल्य> परिणाम (प्रभावहीनता) को प्रभावित नहीं करना चाहिए
कम फ़ंक्शन को दिए गए मानों का क्रम परिणाम को प्रभावित नहीं करना चाहिए।

दूसरी आवश्यकता यह भी है कि क्या हो सकता है। यदि <कुंजी, B> और <कुंजी, C> जोड़े एक नोड पर प्राप्त किए गए थे, और <कुंजी, A> दूसरे पर, तो नोड्स में से पहले पर ऑपरेशन को कम करने का प्रारंभिक निष्पादन नेटवर्क ट्रैफ़िक को कम करेगा और समानता बढ़ाएगा। लेकिन इसके लिए कीमत कम फ़ंक्शन पर महत्वपूर्ण प्रतिबंध है, जो उपरोक्त पहचान को बनाए रखने की आवश्यकता के कारण है।

सभी मैप और रिड्यूस ऑपरेशन पूरे होने के बाद, आउटपुट पर फॉर्म के तत्वों का एक संग्रह बनता है

 { key:"football", value: 1349 },

इस तरह के एक ऑपरेशन को शुरू करने के लिए, आपको इन दो कार्यों को मोंगो शेल कंसोल में घोषित करने की आवश्यकता है, और फिर कमांड चलाएं:

 db.users.mapReduce(map, reduce,{out:"interests"})

आइए एक और समस्या पर विचार करें। मान लीजिए कि हम विभिन्न आयु के लोगों की औसत संख्या जानना चाहते हैं। इस मामले में नक्शा समारोह फार्म का हो सकता है:

 function map(){ emit(this.age, {interests_count: this.interests.length, count: 1}); }

यहां कुंजी उम्र है, और वस्तु को मूल्य के रूप में पारित किया जाता है - हितों की संख्या और इन हितों को साझा करने वाले किसी आयु के लोगों की संख्या (एक दस्तावेज़ के लिए यह एक इकाई है)।

यदि आप ध्यान से घटाए गए फ़ंक्शन के लिए आवश्यकताओं को देखते हैं, तो यह स्पष्ट हो जाता है कि इसकी रूपरेखा में अंकगणितीय माध्य की गणना नहीं की जा सकती है, क्योंकि यह गणितीय ऑपरेशन दूसरी आवश्यकता को पूरा नहीं करता है। इसलिए, हम सभी कम कार्य के हिस्से के रूप में कर सकते हैं, हितों की संख्या और उपयोगकर्ताओं की संख्या को अलग-अलग जोड़ना है:

 function reduce(key, values) { var sum = 0; var count = 0; for(var i in values){ count += values[i].count; sum += values[i].interests_count; } return {interests_count: sum, count: count}; }

अंतिम संग्रह में वांछित अंकगणित माध्य प्राप्त करने के लिए, आप अंतिम ऑपरेशन का उपयोग कर सकते हैं - यह अंतिम जोड़ी पर लागू होता है <कुंजी, मूल्य> कुंजी कुंजी के साथ सभी संचालन को कम करने के बाद प्राप्त किया जाता है:

  function finalize(key, reducedValue) { return reducedValue.interests_count / reducedValue.count; }

कॉल करने का आदेश:

  db.users.mapReduce(map, reduce, {finalize: finalize, out:"interests_by_age"})

यह ध्यान दिया जाना चाहिए कि Apache Hadoop सहित Map-Reduce के अन्य कार्यान्वयन में, Reduce के संचालन पर इस तरह के प्रतिबंध नहीं हैं। वहां, कम फ़ंक्शन को हमेशा कुंजी से संबंधित मूल्यों की पूरी सूची के साथ आपूर्ति की जाएगी। और मध्यवर्ती एकत्रीकरण एक अन्य ऑपरेशन के माध्यम से किया जा सकता है, गठबंधन , शब्दार्थ में कमी के समान।

अब मानगो में मेप्रेड्यूस के मूल कार्यान्वयन के व्यावहारिक अनुप्रयोग की व्यवहार्यता के बारे में कुछ शब्द। इस DBMS में एकत्रीकरण करने के लिए, एकत्रीकरण फ्रेमवर्क नामक एक शक्तिशाली उपकरण है, जो मैप-रिड्यूस की तुलना में लगभग 5-10 गुना तेजी से समान एकत्रीकरण करता है। लेकिन इस मामले में समानता समाप्त हो जाती है जहां छंटाई और समूहीकरण शुरू होता है। ऑपरेशन द्वारा उपभोग की जाने वाली रैम पर कुछ प्रतिबंध भी हैं।

सामान्य तौर पर, एग्रीगेशन फ्रेमवर्क का उपयोग किया जाना चाहिए, जहां तेजी से प्रतिक्रिया की आवश्यकता होती है, जबकि मैप-रिड्यूस को कच्ची जानकारी को पूर्व-प्रक्रिया के लिए डिज़ाइन किया गया है। मोंगो, हडोप के साथ बातचीत करने के अवसर प्रदान करता है, जिसके मानचित्र-कटौती को लागू करना मूल की तुलना में अधिक कुशलता से काम करता है। एक तरह से या किसी अन्य, MongoDB आपको Apache Hadoop जैसे अपेक्षाकृत भारी टूल को इंस्टॉल और कॉन्फ़िगर किए बिना मैप-रिड्यूस मॉडल से परिचित होने की अनुमति देता है।

उदाहरण के रूप में MongoDB का उपयोग कर मानचित्र को कम करें

More articles: