YAWNDB - समय श्रृंखला डेटाबेस

हमारी कई सेवाओं के हिस्से के रूप में, हमें नियमित रूप से ग्राहकों को विभिन्न सांख्यिकीय जानकारी प्रदान करने की आवश्यकता है। समर्पित सर्वर किराए पर लेने वाले ग्राहकों को ट्रैफ़िक खपत के बारे में जानकारी की आवश्यकता होती है। क्लाउड सर्वर उपयोगकर्ताओं को हार्डवेयर और नेटवर्क संसाधनों के उपयोग पर आँकड़े की आवश्यकता होती है, और क्लाउड स्टोरेज उपयोगकर्ताओं को फ़ाइल डाउनलोड पर आँकड़ों की आवश्यकता होती है।

आँकड़ों को प्रस्तुत करने का सबसे सरल और दृश्य तरीका चार्ट्स को प्लॉट करना है। बाद के विज़ुअलाइज़ेशन के साथ सांख्यिकीय डेटा का विश्लेषण करने के लिए डिज़ाइन किए गए कई विशेष सॉफ़्टवेयर समाधान हैं। हमने एक उपयुक्त उपकरण की तलाश शुरू की; मुख्य आवश्यकता उच्च प्रदर्शन था। इन खोजों के परिणामस्वरूप ... हालाँकि, पहली चीजें पहले। आइए एक संक्षिप्त सैद्धांतिक परिचय के साथ शुरू करते हैं।

सिद्धांत की बिट

नेटवर्क गतिविधि के किसी भी ग्राफ पर, कुछ मापदंडों में परिवर्तन एक निश्चित अवधि के लिए (एक महीने के लिए, एक सप्ताह के लिए, एक दिन के लिए, आदि) प्रदर्शित किए जाते हैं। ग्राफ का निर्माण करने के लिए, सांख्यिकीय सामग्री को संसाधित करना आवश्यक है, जो निर्दिष्ट समय के लिए समय-मूल्य जोड़े का एक सेट है। अंतराल। ऐसी सामग्री को समय श्रृंखला कहा जाता है।

समय श्रृंखला के विश्लेषण के लिए काफी कुछ सॉफ्टवेयर टूल हैं। उनकी सामान्य विशेषता रिंग डेटाबेस (अंग्रेजी दौर रॉबिन डेटाबेस) का उपयोग है। एक अंगूठी को एक डेटाबेस कहा जाता है, जिसमें संग्रहीत डेटा की मात्रा समय के साथ नहीं बदलती है, क्योंकि डेटा की मात्रा स्थिर है: डेटाबेस सेल चक्रीय होते हैं।

एक गोलाकार डेटाबेस एक या अधिक डेटा सेट संग्रहीत करता है जो अभिलेखागार (अंग्रेजी दौर रॉबिन अभिलेखागार, आरआरए) में संयुक्त होते हैं। उनकी संरचना में, रिंग टेबल सरणियों के समान हैं जिसमें अंतिम तत्व का पता पहले तत्व के पते से मेल खाता है। अंतिम अद्यतन किए गए आइटम की स्थिति को एक पॉइंटर के रूप में संग्रहीत किया जाता है। अभिलेख परस्पर जुड़े हुए हैं ताकि प्रत्येक बाद के संग्रह पिछले एक से जानकारी संग्रहीत करता है: एक संग्रह अभिलेखों के बीच एक छोटे अंतराल के साथ डेटा बचाता है, दूसरे एक निर्दिष्ट अंतराल के बाद समेकित डेटा को पिछले एक से बचाता है, तीसरा इसे कम बार भी करता है, और इसी तरह।

ऐसा करने के लिए, डेटाबेस में निर्मित समेकन कार्यों का उपयोग करें और जानकारी को अपडेट करते समय स्वचालित रूप से उपयोग किया जाता है। समेकन कार्यों को एक निर्दिष्ट अवधि के लिए न्यूनतम, अधिकतम, औसत और कुल मूल्यों को प्राप्त करने के रूप में समझा जाता है। रिंग बेस में डेटा समेकन रिकॉर्डिंग के दौरान किया जाता है, न कि पढ़ने के दौरान (इसके कारण, ऑपरेशन की एक उच्च गति सुनिश्चित की जाती है)।

RRDTool

टाइम सीरीज़ और उसके बाद के विज़ुअलाइज़ेशन का विश्लेषण करने के लिए सबसे प्रसिद्ध और आम उपकरण, निश्चित रूप से, आरआरडीटूल है।

हमने अपने स्वयं के अभ्यास में आरआरडीटूल का उपयोग करने की कोशिश की, लेकिन कई कारणों से यह हमें सूट नहीं किया - मुख्य रूप से क्योंकि यह बहुत खराब तरीके से लोड के साथ सामना करता है।

जब हमने जिन फाइलों को दर्ज किया, उनकी संख्या 1000 से अधिक हो गई, तो समस्याएं उत्पन्न हुईं: उदाहरण के लिए, इन आंकड़ों को रिकॉर्ड करने में बहुत अधिक समय लगने लगा। कभी-कभी डेटा बस रिकॉर्ड नहीं किया गया था, हालांकि कोई त्रुटि या रुकावट नहीं हुई।

उपरोक्त तथ्य यह निष्कर्ष निकालने के लिए पर्याप्त हैं कि RRDTool हमें बिल्कुल भी पसंद नहीं है: हमारे पास क्लाउड में आभासी मशीनों की संख्या के साथ, प्रति सेकंड हजारों लिखने के संचालन की आवश्यकता होती है।

RRDcacheD डेमन का उपयोग करके RRD टूल में बड़ी मात्रा में डेटा के साथ काम करने पर आप डिस्क की संख्या को कम कर सकते हैं, जो डेटा को कैश करता है और एक निश्चित राशि जमा करने के बाद डेटाबेस को लिखता है। हालांकि, अभ्यास से पता चला है कि RRDcacheD हमारी समस्याओं को हल करने के लिए उपयुक्त नहीं है।

डेटा को मानते हुए, एक ही समय में, यह उन्हें कैश से पढ़ने की अनुमति नहीं देता है, लेकिन केवल डिस्क पर लिखता है। यदि आपको किसी तरह डेटा संसाधित करने की आवश्यकता है, तो आपको डिस्क पर सब कुछ लिखना होगा और फिर डिस्क से पढ़ना होगा। डेटा की मात्रा जितनी बड़ी होगी, कैश उतना ही बुरा काम करेगा: हार्ड डिस्क भारी लोड हो रहा है, प्रोसेसर पर अतिरिक्त भार पैदा कर रहा है ...

RRDcacheD की एक अन्य विशेषता यह है कि यह सबसे अप्रत्याशित और असंगत क्षण पर डिस्क पर डेटा लिखता है।

RRDTool के खिलाफ एक तर्क रिंग डेटाबेस की सेटिंग्स को बदलने में असमर्थता थी। बेशक, यह डेटा निर्यात करके, नए मापदंडों के साथ एक फ़ाइल बनाकर और फिर इसमें पुराना डेटा आयात करके किया जा सकता है, लेकिन यह विधि बहुत असुविधाजनक और समय लेने वाली है।

सभी वर्णित कठिनाइयों का सामना करते हुए, हमने RRDTool के उपयोग को छोड़ने का फैसला किया। हमने डेटा के प्रसंस्करण और विज़ुअलाइज़ेशन के अन्य साधनों की कोशिश की, उदाहरण के लिए, ग्रेफाइट, जो खराब प्रदर्शन के कारण हमारे अनुकूल नहीं था।

मौजूदा उपकरणों के साथ हमारे परिचित के पाठ्यक्रम में, हम अधिक से अधिक स्पष्ट रूप से समझते हैं कि उनमें से कोई भी हमारी बारीकियों को नहीं मानता है। हमें अपना समाधान विकसित करने की इच्छा थी जो हमारी सभी आवश्यकताओं को पूरी तरह से पूरा करे। उत्पाद के लिए मुख्य आवश्यकताएं थीं, सबसे पहले, लचीलापन, कस्टमाइज़ेबिलिटी और हमारी सेवाओं की बारीकियों के अनुकूल होने की क्षमता, और दूसरा - उच्च प्रदर्शन। तो रिंग इन-मेमोरी YAWNDB डेटाबेस दिखाई दिया।

YAWNDB: सामान्य जानकारी

YAWNDB (नाम के लिए अंग्रेजी क्रिया के साथ नाम - "जम्हाई" - करने के लिए कुछ भी नहीं है; संक्षिप्त नाम YAWN का मतलब है फिर भी एक और iNvented व्हील) एक इन-मेमोरी डेटाबेस है; सभी डेटा को मेमोरी में स्टोर किया जाता है और समय-समय पर डिस्क पर लिखा जाता है। यह एरलांग में लिखा गया है। इस भाषा को रेखांकित करने वाली हल्की प्रक्रियाओं का मॉडल सिस्टम संसाधनों की एक छोटी खपत के साथ बड़े डेटा सेटों के तेजी से प्रसंस्करण के लिए अनुमति देता है।

कुछ नियमों के अनुसार YAWNDB में आने वाले डेटा को अभिलेखागार (YAWNDB शब्दावली में बाल्टी भी कहा जाता है) में वितरित किया जाता है।

एक नियम का अर्थ है एक विशेष सांख्यिकीय (डेटा का आकार, संग्रह अवधि, आदि) के लिए गुणों का एक सेट।

यह सारा डेटा समय, मूल्य और कुंजी (YAWNDB शब्दावली में कुंजी को पथ भी कहा जाता है) से मिलकर ट्रिपल है। एक पथ लोअरकेस अक्षरों और संख्याओं का एक क्रम है जो निर्धारित करता है कि ट्रिपलेट को कहाँ संग्रहीत किया जाना चाहिए। इस क्रम में, पहला घटक सबसे महत्वपूर्ण है - उपसर्ग। नियम में उपसर्ग क्षेत्र भी शामिल है और इस प्रकार यह निर्धारित करता है कि डेटा किसी विशेष उपसर्ग के लिए कैसे संग्रहीत किया जाता है। आप एक ही उपसर्ग के लिए कई नियम बना सकते हैं। इस मामले में, इन नियमों में से प्रत्येक के अनुसार ट्रिपल को डेटाबेस में दर्ज किया जाएगा।

इसका मतलब है कि एक विशिष्ट समय-मूल्य जोड़ी एन बास्केट में जाएगी, जहां एन नियमों की संख्या है जो इस जोड़ी के लिए पथ उपसर्ग के अनुरूप है।

हमारे द्वारा उपयोग किया जाने वाला दृष्टिकोण हमें निम्नलिखित लाभ प्राप्त करने की अनुमति देता है:

• अनावश्यक रूप से महंगे संसाधनों के बिना पुराने डेटा को हटाना;
• निश्चित संख्या के लिए निश्चित मेमोरी खपत;
• रैंडम रिकॉर्डिंग के लिए निश्चित समय।

आंतरिक उपकरण

YAWNDB C में Ecirca लाइब्रेरी में लागू एक राउंड-रॉबिन एल्गोरिथ्म पर आधारित है।

Erlang में लिखे गए अन्य मॉड्यूल NIF (Native Implemented Functions) का उपयोग करके इसके साथ इंटरैक्ट करते हैं। डिस्क में डेटा को सेव करने के लिए, बिटकैश Erlang एप्लिकेशन का उपयोग किया जाता है।

REST API काउबॉय वेब सर्वर पर आधारित है।
डेटा सॉकेट के माध्यम से लिखा जाता है, और REST API के माध्यम से पढ़ा जाता है।

कार्य सिद्धांत

प्रत्येक पथ के लिए एक अलग पथ N प्रक्रिया बनाई जाती है। यह प्रक्रिया सीधे डेटा, साथ ही साथ ओवरहेड जानकारी को संग्रहीत करती है।
डेटा के लिए प्रत्येक आने वाले अनुरोध को एक मुफ्त हैंडलर द्वारा अनुरोध किया जाता है, अनुरोध हैंडलर एन (यदि अनुरोध के समय कोई मुफ्त हैंडलर नहीं है, तो एक नया बनाया जाता है)। परिणामी पैरामीटर पथ प्रबंधक को दिए जाते हैं, जो संबंधित प्रक्रियाओं से आवश्यक डेटा निकालता है।

डिस्क को सहेजने के लिए डम्पर प्रक्रिया जिम्मेदार है। यह समय-समय पर सभी पथ प्रक्रियाओं का सर्वेक्षण करता है और उन आंकड़ों को संग्रहीत करता है जो पिछली बचत के बाद से पारित होने वाली अवधि में बदल गए हैं।

स्थापना

YAWNDB के साथ काम करने के लिए, आपको LibYAML पार्सर स्थापित करना होगा। फिर आपको रिपॉजिटरी को क्लोन करना होगा:

$ git clone git@github.com:selectel/yawndb.git 

और निम्नलिखित कमांड निष्पादित करें:

 $ cd yawndb $ make all 

YAWNDB कमांड का उपयोग करके लॉन्च किया गया है:

 $ ./start.sh 

शुरू करने से पहले, आपको वर्तमान के स्थान पर उदाहरण कॉन्फ़िगरेशन फ़ाइल को कॉपी करने की आवश्यकता है:

 $ cp priv/yawndb.yml.example priv/yawndb.yml 

या एक उपयुक्त सीलिंक बनाएं।

का विन्यास

सभी YAWNDB सेटिंग्स को yawndb.yml कॉन्फ़िगरेशन फ़ाइल में संग्रहीत किया जाता है।
एक उदाहरण के रूप में, कॉन्फ़िगरेशन फ़ाइल पर विचार करें जिसका उपयोग हमारे क्लाउड स्टोरेज में आँकड़ों को प्रोसेस करने के लिए किया जाता है:

 नियम:
     # उपयोगकर्ता
     # मिनट (24 घंटे) द्वारा विस्तृत आँकड़े
     - नाम: per_min
       उपसर्ग: क्लाइंटस्टेट्स
       प्रकार: योग
       समय सीमा: 60
       सीमा: 1440
       विभाजित, पिछड़ा
       value_size, बड़ा
       अतिरिक्त_कार्य: []

     # घंटे के हिसाब से आंकड़े (आखिरी महीने के लिए)
     - नाम: per_hour
       उपसर्ग: क्लाइंटस्टेट्स
       प्रकार: योग
       समय सीमा: 3600
       सीमा: 720
       स्प्लिट: बैकवर्ड
       value_size: बड़ी
       अतिरिक्त_कार्य: []

     # दिन के आंकड़े (पिछले दो वर्षों के लिए स्टोर)
     - नाम: प्रति_दिन
       उपसर्ग: क्लाइंटस्टेट्स
       प्रकार: योग
       समय सीमा: 86400
       सीमा: 730
       स्प्लिट: बैकवर्ड
       value_size: बड़ी
       अतिरिक्त_कार्य: []

उपयोग के उदाहरण

डेटा लिखने के लिए एक पैकेज का गठन (पायथन)

 def encode_yawndb_packet(is_special, path, time, value): """       yawndb. :param bool is_special:  ?   additional_values :param str path:   :param int value:   """ is_special_int = 1 if is_special else 0 pck_tail = struct.pack( ">BBQQ", YAWNDB_PROTOCOL_VERSION, is_special_int, time, value ) + path pck_head = struct.pack(">H", len(pck_tail)) return pck_head + pck_tail 

सी में डेटा रिकॉर्डिंग के लिए एक पैकेज का गठन

 //    #define YAWNDB_PROTOCOL_VERSION 3 //    struct yawndb_packet_struct { uint16_t length; uint8_t version; int8_t isSpecial; uint64_t timestamp; uint64_t value; char path[]; }; //   yawndb_packet_struct *encode_yawndb_packet(int8_t isSpecial, uint64_t timestamp, uint64_t value, const char * path) { yawndb_packet_struct *packet; uint16_t length; lenght = sizeof(uint8_t) + sizeof(int8_t) + sizeof(uint64_t) + sizeof(uint64_t) + strlen(path); packet = malloc(length + sizeof(uint16_t)); packet->length = htobe16(length); packet->version = YAWNDB_PROTOCOL_VERSION; packet->isSpecial = isSpecial; packet->timestamp = htobe64(timestamp); packet->value = htobe64(value); strncpy(packet->path, path, strlen(path)); return packet; } 

निष्कर्ष

आज, हम सार्वजनिक सेवाओं और आंतरिक परियोजनाओं दोनों में YAWNDB का उपयोग करते हैं। प्रोजेक्ट के लिए सोर्स कोड GitHub पर होस्ट किया गया है। हमें खुशी होगी अगर हमारा कोई पाठक हमारे उत्पाद का लाभ उठाएगा। हम इसे सुधारने के लिए टिप्पणियों और सुझावों के लिए भी बहुत आभारी होंगे।

28 मार्च को हमने अपने ओपन सोर्स डेवलपमेंट: selectel.io को समर्पित एक साइट प्रकाशित की। इस पर आप रूसी में YAWNDB के लिए विस्तृत दस्तावेज पा सकते हैं, साथ ही साथ हमारी अन्य परियोजनाओं के बारे में भी जानकारी प्राप्त कर सकते हैं।

पाठक जो एक कारण या किसी अन्य के लिए Habré के पदों पर टिप्पणी नहीं कर सकते हैं उनका हमारे ब्लॉग पर स्वागत है।