रेडिस, हेंडिस, लिबेव, और मल्टीथ्रेड। भाग 1

समस्या उत्पन्न हुई: कई ग्राहकों के डेटा का एक बड़ा प्रवाह है, जिसे बहुत तेज़ी से संसाधित किया जाना चाहिए (अधिमानतः वास्तविक समय में), डेटाबेस में जोड़ा जाता है और दूसरे कई क्लाइंट्स को भेजा जाता है, जबकि डेटा टेबल या दस्तावेज़ों में संरचित नहीं होता है। कार्यान्वयन के लिए प्रौद्योगिकियों का विकल्प Redis + C ++ पर गिर गया।

रेडिस के लिए एक पुस्तकालय चुनना

यदि आप यहां देखते हैं , तो हम इस कार्य के लिए रेडिस के लिए अपने क्लाइंट को लागू करने के लिए 4 पुस्तकालय विकल्प देखते हैं: हायरिस, क्रेडिट, लिब्रेडिस और सी ++ क्लाइंट।
ऐसा लगता है कि उत्तरार्द्ध की जरूरत है। लेकिन यह पुस्तकालय "समाप्ति" स्थिति में है, जो तुरंत इस तथ्य पर संकेत देता है कि आपको अपने आप को एक फ़ाइल, उत्साह और महान धैर्य के साथ बांटने की आवश्यकता है। और श्रम की राशि के लिए पैसे का भुगतान नहीं किया जाता है, लेकिन परिणाम के लिए। इसके अलावा, इस ग्राहक की कार्यक्षमता अब तक वांछित होने के लिए बहुत कुछ छोड़ देती है।
Libredis। यह बात जाहिर तौर पर PHP इंजन के लिए एक प्लगइन है। उपयुक्त नहीं है।
Credis। एक बहुत ही सरल पुस्तकालय जो आपको केवल कम्पाउंड कमांड बनाने की क्षमता के बिना केवल मूल रेडिस कमांड को निष्पादित करने की अनुमति देता है (वे अब TODO में यह सुविधा है), लेकिन एक डेटा मॉडल है, और मैं एक ही समय में परमाणु कई अनुरोध करना चाहूंगा।
तो, चुनाव भाड़े पर गिर गया - आधिकारिक ग्राहक।

इवेंट-ओरिएंटेड लाइब्रेरी का चयन

आईटी प्रौद्योगिकी के नवीनतम रुझानों के बाद और बड़ी संख्या में ग्राहकों को देखते हुए, मैंने रेडिस के साथ एक गैर-अवरोधक कनेक्शन का उपयोग करने की आवश्यकता के बारे में सोचा, खासकर जब से यह डीबीएमएस ऐसा अवसर प्रदान करता है। बदले में, हायरिस 3 ईवेंट-ओरिएंटेड डेटा प्रोसेसिंग लाइब्रेरी के साथ उपयोग के लिए एडेप्टर प्रदान करता है: एई, लीबवेंट और लिबेव।
यहां इस बात पर जोर देना महत्वपूर्ण है कि रेडिस के लिए क्लाइंट केवल उस सेवा का एक हिस्सा है जिसे एक अलग स्ट्रीम में भेजने की आवश्यकता है और किसी तरह इस स्ट्रीम डेटा को अन्य स्ट्रीम से भेजा जाता है जो क्लाइंट के साथ कनेक्शन की प्रक्रिया करते हैं।
एई । मुझे यह समझ में नहीं आया कि अगर किसी को पता है, तो Google किस तरह की लाइब्रेरी में मेरी मदद करेगा - कृपया एक प्रूफ़लिंक के साथ टिप्पणी करें।
Libevent। संस्करण 2.xx के लिए कोई समर्थन नहीं है, केवल 1.xx यह तथ्य बहु-थ्रेडेड एप्लिकेशन में कार्यक्षमता का उपयोग करना असंभव बनाता है।
लिहाजा, चुनाव कामवासना पर गिर गया। आगे का विवरण।

हेरीडिस + लिबाव + मल्टीथ्रेड

लेख, जैसा कि यह निकला, इस विषय के अंतर्गत नहीं हैं। एकल-थ्रेडेड ईवेंट-ओरिएंटेड डेटा प्रोसेसिंग (यहाँ प्रमाण है ) को कैसे कार्यान्वित किया जाए, इस पर रेंटीज़ निर्माताओं से प्रकाशन हैं और स्पष्ट रूप से कहा गया है कि स्पष्ट रूप से कहा गया है: मल्टीथ्रेडिंग डिफ़ॉल्ट रूप से समर्थित नहीं है, क्योंकि थ्रेड-सुरक्षित कार्यान्वयन करने के लिए एकल-मूल्यवान एल्गोरिथ्म नहीं है, लेकिन इसे बनाना संभव है Ev_async प्रकार के साथ एक अलग चौकीदार, जो अन्य धाराओं से डेटा प्राप्त करेगा।
मैं तुरंत एक आरक्षण करना चाहता हूं: मैंने कोड लिखने के लिए कई विकल्पों की कोशिश की, लेकिन या तो मुझे पर्याप्त ज्ञान नहीं है, या मुझे स्रोत में गहरी खुदाई करने की आवश्यकता है, सामान्य तौर पर, परिणामस्वरूप, अब तक का सबसे अच्छा विकल्प केवल आपके प्रोजेक्ट में दिए गए एडाप्टर को लिपेव में कॉपी करना और आवश्यक कार्यक्षमता जोड़ना है।
So. सबसे पहले, redisLibevEvents इवेंट संरचना में एक और द्रष्टा जोड़ें:

typedef struct redisLibevEvents { redisAsyncContext *context; struct ev_loop *loop; int reading, writing; ev_io rev, wev; ev_async aev; //    watcher      . } redisLibevEvents; 

अगला। अन्य थ्रेड्स से आने वाली घटनाओं को संभालने के लिए कॉलबैक फ़ंक्शन जोड़ें:

 void redisLibevAsyncEvent(EV_P_ ev_async *watcher, int revents) { //       callback-  watcher-  ev_io. #if EV_MULTIPLICITY ((void)loop); #endif ((void)revents); redisLibevEvents *e = (redisLibevEvents*)watcher->data; redisAsyncHandleRead(e->context); //    . free((redisLibevEvents*)watcher->data); //   ,       . } 

अगला। संदर्भ को इवेंट प्रोसेसिंग लूप में बाइंड करने के कार्य में, जिसे redisLibevAttach कहा जाता है, हम निम्नलिखित को अंत में जोड़ते हैं:

 ev_async_init(&e->aev, redisLibevAsyncEvent); //  watcher. ev_async_start(e->loop, &e->aev); //  . 

अब केवल एक चीज गायब है: बनाए गए चौकीदार को एक संकेतक मिलना, क्योंकि यह घटनाओं को भेजने के लिए आवश्यक है। ऐसा करने के लिए, हम redisLibevAttach फ़ंक्शन को एक बार फिर फ़ाइल के साथ संसाधित करते हैं:

 int redisLibevAttach(EV_P_ redisAsyncContext *ac, ev_async **_pEvAsync) { ... *_pEvAsync = &e->aev; return REDIS_OK; } 

दरअसल इसके बाद आप पहले से ही इसका इस्तेमाल कर सकते हैं।
इवेंट लूप के लिए प्रारंभिक कार्य:

 m_pRedisAsyncContext = redisAsyncConnect(m_strIP, m_nDBPort); //  . m_pEventLoop = ev_loop_new(EVFLAG_AUTO); //    . redisLibevAttach(m_pEventLoop, m_pRedisAsyncContext, &m_pAEV); //     . redisAsyncSetConnectCallback(m_pRedisAsyncContext, redisConnectCallbackFunction); //  callback     Redis. redisAsyncSetDisconnectCallback(m_pRedisAsyncContext, redisDisconnectCallbackFunction); //  callback  . 

स्ट्रीम फ़ंक्शन:

 ev_loop(m_pEventLoop, 0); //    . 

खैर, एक नई घटना को जोड़ने का कार्य:

 //   ,   (   )   . redisAsyncCommand(m_pRedisAsyncContext, redisAsyncCommandCallbackFunction, _pPrivData, _pcQuery); //     (_pcQuery)      (_pPrivData)  callback-   . redisLibevEvents * pRedisLibevEvent = (redisLibevEvents*)malloc(sizeof(redisLibevEvents)); //    . pRedisLibevEvent->context = m_pRedisAsyncContext; //    . m_pAEV->data = pRedisLibevEvent; //  watcher-   . ev_async_send(m_pEventLoop, m_pAEV); //    . //  /. 

खैर, यह सब है। सी और सी ++ का परिणामी मिश्रण काफी व्यवहार्य है, हालांकि यह बहुत अच्छा नहीं लगता है।
मुझे उम्मीद है कि आधिकारिक वैध सी ++ कार्यान्वयन जारी होने तक कोई काम आता है।

पुनश्च: दूसरे भाग में निरंतरता पढ़ें।