आपको noSQL का उपयोग करने से पहले 1000 बार सोचने की आवश्यकता क्यों है

मैं यह लेख क्यों लिख रहा हूँ? सबसे पहले, मैं nosql के सार के बारे में लोगों की समझ में योगदान करना चाहूंगा और क्यों इस प्रकार के भंडारण को जानबूझकर चुनना आवश्यक है। दूसरे, मुझे समान विचारधारा वाले विरोधियों से मिलने और संभवतः बहस करने में खुशी होगी। और अगर आपको यह लेख पसंद आया है, तो मुझे उन सवालों को सुनकर खुशी होगी जो नए लेखों में अधिक विस्तार से सामने आ सकते हैं :)

इस तथ्य के बावजूद कि नोसक्ल समाधान अब अंधेरा है, लोग नए प्रकार के भंडारण पर स्विच करने के लिए अनिच्छुक हैं। क्या यह सही है? मेरी राय में, हाँ। और मैं यह कहने की कोशिश करूंगा कि क्यों, मैं अपने पेशेवर रास्ते पर मिले विभिन्न नोसक्ल रिपोजिटरी के उदाहरण का उपयोग कर रहा हूं।

कहानी की शुरुआत

सभी को शुभ दिन। यह एक बड़े संस्करण में मेरा पहला "पेन टेस्ट" है, मुझे उम्मीद है कि यह दिलचस्प हो जाएगा :) इस लेख में नोसकल शब्द लिखा गया है , और हम जीवन के उदाहरणों की ओर मुड़ेंगे और निष्कर्ष निकालने की कोशिश करेंगे।

सबसे लोकप्रिय DBMS पर विचार करें: MySql, PostgreSql, Oracle। बहुत सारे अंतर हैं, लेकिन सभी तीन अमीर क्षमताओं के साथ रिलेशनल डेटाबेस डिबग किए जाते हैं। वे आपको एक छोटे कैफे के लिए वर्कफ़्लो सिस्टम, बैंकिंग एप्लिकेशन और व्यवसाय कार्ड साइट बनाने की अनुमति देते हैं। यह आपके लगभग किसी भी कार्य का एक सामान्य समाधान है।

अपने पहले एसक्यूएल डेटाबेस को पूरा करते समय एक नौसिखिया डेवलपर मुठभेड़ में क्या समस्याएं आती हैं?

1. SQL सिंटैक्स सीखने की आवश्यकता है
2. आपको रिलेशनल मॉडल के बहुत सार को समझने की जरूरत है
3. अपनी पसंदीदा विकास भाषा में डेटाबेस में क्लाइंट को मास्टर करने की आवश्यकता है

और यह वह है, उसके बाद एक व्यक्ति सिर्फ एक डेटाबेस में मास्टर नहीं करेगा, वह डेटाबेस के एक परिवार को मास्टर करेगा और आसानी से स्विच करेगा, उदाहरण के लिए, मैसकल से ओरेकल तक। (PL / SQL और अन्य महत्वपूर्ण अंतर के बारे में एक पल के लिए भूल जाएं)। और अगर आप अभी भी ORM ... सुंदरता का उपयोग करते हैं।

यह काल्पनिक सादगी एक क्रूर मजाक खेल सकती है। उदाहरण के लिए: ओरेकल में 5-लाइन क्वेरी डीबग करते समय, इसे और अधिक इष्टतम बनाने के प्रयास में। यहां आप यह समझना शुरू करते हैं कि मुफ्त पनीर केवल एक चूहादान में है।

और फिर भी: यह एक बड़ी मात्रा में क्वेरी भाषा के साधनों का उपयोग करके जानकारी का चयन करने की सुविधा है - क्या यह खुशी नहीं है?

सच कहूँ तो, 2 साल से अधिक समय से, मैंने गंभीरता से mysql, oracle पर विचार नहीं किया है। और फिर मैं वर्णन करूंगा कि मुझे क्या विचलित किया और मुझे लालच दिया ...

खुली हवा में

और भले ही इसे काम करने के लिए SQL समाधान की आवश्यकता हो, फिर भी मैं अपने पहले nosql डेटाबेस को alfresco मानता हूं।

इस अद्भुत मंच के आधार पर विकसित होने के लिए सबसे पहले बैठने वाले व्यक्ति के लिए क्या अध्ययन करने की आवश्यकता है? हाँ, वास्तव में, यह बात है :)

वह पूरी तरह से अलग है। इसमें डेटा संरचनाएं xml का उपयोग करके वर्णित हैं। तथाकथित संघों का उपयोग करके कनेक्शन परिभाषित किए गए हैं। उदाहरण के लिए: एक पोस्ट, इसमें टिप्पणियों की एक सूची संघ हैं। और मॉडल वंशानुक्रम है। एक "टेबल" दूसरे द्वारा विरासत में मिला जा सकता है।

एक राय है कि नोसक्ल समाधान जरूरी एक तेजी से भंडार है। लेकिन अल्फ्रेस्को एक बहुत ही धीमा भंडार है। वास्तव में, वास्तव में। कमियों में से, मैं अनुरोध एपीआई का नाम भी दे सकता हूं। रिपॉजिटरी तक पहुंचने के दो तरीके हैं: जावा एपी के माध्यम से संघों और वस्तुओं को प्राप्त करना, और ल्यूसीन क्वेरी इंजन के माध्यम से विशेषताओं और संघों द्वारा चयन के साथ अधिक जटिल प्रश्न। क्वेरी डरावनी दिखती है, लेकिन मैंने क्वेरी इंजन पर एक साधारण आवरण लिखा है, जिससे आप इस तरह के प्रश्नों का निर्माण कर सकते हैं: Query.field(title).eq("").and(Query.field(text).like("**")); और जीवन और अधिक सुंदर और मजेदार हो गया है। अनुरोध मेमोरी से लिखा गया था, लेकिन सहकर्मियों को पता चलेगा (हैलो! :))

और फिर भी, यह एक अद्भुत बात है, क्योंकि इस पर वर्कफ़्लो सिस्टम लिखना बहुत सुविधाजनक है, बड़ी और जटिल व्यावसायिक प्रक्रियाओं के माध्यम से जिसके माध्यम से दस्तावेज़ यात्रा करेंगे, "रात बिताने" एक उपयोगकर्ता या किसी अन्य के साथ। जब तक वे अंततः किसी निष्कर्ष पर नहीं पहुंचते। उदाहरण के लिए, संकल्प के लिए: किया।

तब यह संस्करण 3 की शुरुआत थी, 2011 में इसे 4 जारी किया गया था। बहुत सारी स्वादिष्ट चीजों को जोड़ा गया था, शायद प्रदर्शन में सुधार हुआ था, लेकिन मैं भी नए स्टोरेज से दूर हो गया था ...

कैसेंड्रा

यह मेरा प्यार है , जिसे मैं अब तक नहीं बदलता। सहकर्मियों में उसके बारे में बहुत उत्साह नहीं था, लेकिन मुझे अभी भी लगता है कि यह सब सर्वर पर रैम की कमी से है। स्वाभाविक रूप से, जब सर्वर पर ब्लॉब्स के साथ 500 मिलियन लाइनों की बात आती है, तो आपको 8 जीबी से अधिक रैम का उपयोग करने की आवश्यकता होती है ... नोड ठीक नहीं हुआ।

लेकिन ... बहुत तेज़ रिकॉर्डिंग, तेज़ पढ़ना। डेटा पर पूर्ण नियंत्रण, विश्वास है कि डेटाबेस को लिखने या पढ़ने की गति में प्लग नहीं किया जाएगा। मैं अभी भी इसे अपनी परियोजनाओं में उपयोग करता हूं और उसने मुझे अभी तक निराश नहीं किया है। इस आधार की एक विशिष्ट विशेषता यह है कि इसे मारना मुश्किल है। मुझे कभी डर नहीं है कि सर्वर को काट दिया जाएगा और मुझे पुनर्स्थापित करना होगा, जैसा कि ऐसा होता है, उदाहरण के लिए, डिफ़ॉल्ट सेटिंग्स के साथ MongoDb के साथ।

डेटाबेस के अनुरोधों को थ्रस्ट एपी का उपयोग करके बनाया गया है, जो दिखने में बहुत डरावना है। इसमें कनेक्शन पूल जैसी सभी आवश्यक सुविधाओं का अभाव है। हम बाइट्स का एक सेट रखते हैं, हम वास्तव में, बाइट्स का एक सेट प्राप्त करते हैं। मैंने इस समस्या को हल करने के साथ-साथ अल्फ्रेस्को के मामले में भी बड़े पैमाने पर हल किया: मुझे एक ORM फ्रेमवर्क लिखना था, जो थ्रिफ्ट के लिए एक ऐड-ऑन बन गया, और साथ ही साथ प्रदर्शन प्रतिबंध भी नहीं लगाए। साइकिल के लिए खुला स्रोत विकल्प थे, लेकिन वे सभी हल किए जा रहे कार्यों के संदर्भ में असहज लग रहे थे।

टीम लीडर और रोगी सहयोगियों के लिए धन्यवाद जिन्होंने निस्वार्थ रूप से मेरे उत्पाद का उपयोग करना शुरू कर दिया और तुरंत बग रिपोर्ट का एक टन फेंक दिया :)

फिर भी, कैसंड्रा ने अभी भी स्मृति को खाया और इसकी कमी के साथ लटका दिया ...

Riak

उसके साथ मेरा परिचय छोटा था। मैं एक कूबड़ पर पढ़ा - शांत। मैंने साइट पर पढ़ा - शांत। स्थापित किया, परीक्षण करना शुरू किया। सबसे पहले, मैं डेटाबेस के लिए प्रश्नों के लिए आवश्यक कार्यक्षमता की कमी से उलझन में था। दूसरे, 20 मिलियन लाइनों के रिकॉर्ड पर, आधार ने बहुत अजीब व्यवहार किया। वह बस मर गई। पुनः आरंभ किए गए आधार ने भी अजनबी व्यवहार किया: बोर्ड पर 20 मिलियन लाइनों से इसे 10 मिनट के लिए लोड किया गया, किसी कारण से, 100% केवल चार में से एक कोर को मजबूर करता है।
यह मेरा व्यक्तिगत शोध था, इसलिए मैं अब इस डेटाबेस पर समय नहीं बिताना चाहता था।

Hypertable

यह डेटाबेस एक मोक्ष प्रतीत हुआ, क्योंकि यह सर्वर पर एक अरब रिकॉर्ड पर बहुत स्मृति गहन नहीं था, और यह रिकॉर्डिंग में बहुत तेज था। हालाँकि, ज़ाहिर है, वहाँ लिखने की गति पूरी तरह से चयनित टाइमआउट के डिस्क पर फ्लशिंग के लिए निर्भर करती है। कैसंड्रा के बाद थ्रिफ्ट एप ने समस्या पैदा नहीं की, यह सिर्फ ओआरएम के लिए हाइपरटेबल समर्थन को जोड़ने के लिए बनी रही।

लेकिन यह आधार इतना अनिश्चित था, और लॉग इतने असंक्रामक थे कि कोई केवल यह सोच सकता था कि क्या उत्पाद को स्थिर कहा जा सकता है। नेट पर समस्याओं पर सहकर्मियों को खोजने का प्रयास कुछ नहीं मिला। आप बस पुनः आरंभ कर सकते हैं और आधार की प्रतीक्षा कभी नहीं कर सकते। और इसे एक तंबू के साथ उठाना आवश्यक था: 2 बार पुनरारंभ करें, लॉग को हटा दें, 2-3 बार फिर से शुरू करें। या 5 बार। हालांकि समस्याएं तुरंत सामने नहीं आईं और वह उत्पादन के लिए लगभग छुट्टी देने में कामयाब रहीं। सामान्य तौर पर, एक विकल्प नहीं ...

mysql

(सिर्फ उदाहरण के लिए)

सहकर्मियों के उदास चेहरे, मुझे दुखी करते हैं। नोस्कल ने हमारी समस्याओं का समाधान नहीं किया। सब व्यर्थ हो गया। अनिच्छा से, हमने अपने कार्यों पर mysql का परीक्षण किया और 3 बिलियन रिकॉर्डों में इसने बहुत अच्छा प्रदर्शन किया। यह वास्तव में मुझे परेशान करता है, "ऐसा कैसे!" सब के बाद, nosql! बड़ा डेटा! ”मुझे वास्तविक डेटा पर मैसकल का उपयोग करना पड़ा। स्वाभाविक रूप से: कोई जुड़ता नहीं, जटिल कनेक्शन। मुझे कहना होगा कि वास्तविक डेटा ने तस्वीर बदल दी और mysql के साथ कार्यों में से एक ने काम नहीं किया। वह पूरी तरह से है। 4 सेकंड का अनुरोध इससे परे है। यहां तक ​​कि एक कसकर अनुकूलित क्वेरी के साथ, इस बार कनेक्शन और SQL सुविधाओं का उपयोग करके। लेकिन मैसिकल ने काफी अलग काम किया। मुख्य बात रिकॉर्डिंग बैच में लाइनों की सही संख्या है।

सामान्य तौर पर: हम आर्थिक रूप से सीमित थे, कई शक्तिशाली सर्वर खरीदना असंभव था। हमने वही दिया जो वे देते हैं। और उन्होंने जल्द से जल्द बचाने की कोशिश की।

MongoDB

सूचीबद्ध डेटाबेस के साथ समानांतर में, मैंने इस एक का उपयोग / उपयोग किया। यह भी एक पसंदीदा डेटाबेस है, मैंने पहले से ही 6 परियोजनाओं में इसका इस्तेमाल किया था। सुविधाओं के रूप में, जावा के लिए एक सुविधाजनक ओआरएम फ्रेमवर्क है - मॉर्फिया , डेटा सैंपलिंग, स्केलेबिलिटी और गति के लिए विशाल अवसर।

बेशक, यहाँ बारीकियाँ हैं:

1. अत्यधिक अनुशंसित मोंगो संस्करण> 2 का उपयोग करें
2. यदि आपने अच्छा सेटअप नहीं किया है तो मैंगो को बंद किए बिना सर्वर रिबूट से सावधान रहें
3. मंगोलोर और जर्नलिंग के बारे में पढ़ें :)

मेरी राय में, यह डेटाबेस एक संक्रमण के रूप में अद्भुत है - SQL समाधान और नोस्कल दुनिया के बीच। व्यक्तिगत रूप से मेरे लिए इस डेटाबेस के क्या फायदे हैं? स्कीमा मुक्त, अनुरोधों की सरलता, दस्तावेज़ अभिविन्यास, मापनीयता। मैं उस प्रतिमान से प्रसन्न हूं जो यह डेटाबेस पहन रहा है।

और फिर भी: मूंगो पर 6 परियोजनाओं से, 3-4 mysql पर लिखना संभव होगा और न स्नान करना। मैंने उन्हें Mongo में सिर्फ इसलिए लिखा क्योंकि मुझे Mongo पसंद है।

Hadoop

मैंने हाल ही में इस चीज का उपयोग करना शुरू किया - लगभग 3 महीने पहले, एक नई नौकरी के लिए संक्रमण के साथ। Hadoop बड़ी मात्रा में डेटा के भंडारण और प्रसंस्करण के लिए समाधान का एक पारिस्थितिकी तंत्र है। मानचित्र-कम करने और हडूप के सार को समझना, इस समाधान की शुरुआत में एल्गोरिदम और सिद्धांतों की सादगी amazes। फिर भी, यह सरलता 200 गीगाबाइट पाठ्य सूचनाओं को संसाधित करने में मदद करती है जैसे कि आप एक छोटे से लेख को संसाधित कर रहे थे। बात यह है कि सरल विचारों का एक सेट एक त्वरित, सरल समाधान में परिणाम करता है। और अगर यह आपको लगता है कि डेटा को तेजी से संसाधित नहीं किया जा रहा है, तो क्लस्टर में एक नोड जोड़ें।

बेशक, सार को समझना, हडॉप स्रोत कोड पर शोध करना, पहले गणना कार्यों को लागू करने में कुछ समय लगता है।

मेरे लिए इस निर्णय का मुख्य आश्चर्य यह था कि डेटाबेस को बिल्कुल भी ज़रूरत नहीं पड़ सकती है यदि आपको वास्तव में बड़े डेटा को स्टोर करने और संसाधित करने की आवश्यकता है।

निष्कर्ष के रूप में , मैं इस सब के बारे में अपनी व्यक्तिगत राय व्यक्त करना चाहूंगा:
सभी कार्यों के लिए एक भी समाधान नहीं है। सबसे करीब, कोई फर्क नहीं पड़ता कि sql समाधान है। प्रत्येक nosql रिपॉजिटरी एक उपकरण है जो केवल कुछ निश्चित कार्यों को हल करता है, साथ ही इसे एक फाइल के साथ काम करने, इनसाइड्स का अध्ययन करने और ध्यान से सेटिंग करने या यहां तक ​​कि अपने क्लाइंट को लिखने की आवश्यकता होती है।

निष्कर्ष के अलावा:
सबसे पहले यह सोचना जरूरी है क्योंकि चांदी की गोली नहीं होगी। और कोई फर्क नहीं पड़ता कि डेटाबेस के लिए मैनुअल कितना स्पष्ट है, इससे आश्चर्य की संख्या कम नहीं होगी। वर्तमान नॉस्कल समाधान युवा हैं और त्रुटिपूर्ण टूल के बिना नहीं। फिर भी, उनमें से कुछ उत्पादन के उपयोग के लिए काफी तैयार हैं, उदाहरण के लिए: मोंगोडब, रेडिस, हबेस, कैसेंड्रा।

लेकिन प्रश्न "क्या उपयोग करें" के उत्तर में आने के लिए और किस मामले में, मेरी राय में, आपको इसकी आवश्यकता है। अपनी विशिष्ट समस्या के समाधानों का परीक्षण और शोध करके।