DBMS कैश + एर्लैंग

इस लेख में मैं इस बारे में बात करूंगा कि कैसे हमने Cache + Erlang से दोस्ती की, और हमें इसकी आवश्यकता क्यों है। Cache DBMS को डेटा वेयरहाउस के रूप में चुना गया था। हमने MCA (Cache Applications के लिए Middleware) भी बनाया और संचालित किया है - मिडलवेयर जो Erlang और Cache के इंटरैक्शन के लिए एक प्रतिस्पर्धी मॉडल प्रदान करता है।

Erlang और Intersystems कैश की बातचीत के लिए निम्नलिखित विशेषताएं कार्यान्वित की जाती हैं:

• कैश में एर्लैंग से प्रक्रिया संदेश, एरलांग टुपल्स (एर्लांग के आंतरिक पेड़ डेटा प्रारूप) को कैशे ग्लोबल्स में अनुवाद करना।
• Cache से Erlang प्रक्रियाओं में Erlang tuples में Cache globals का अनुवाद करके संदेश भेजें।

विकसित MCA में तीन मुख्य घटक होते हैं:

• संदेश डिस्पैचर (एमडी) - विभिन्न एर्लांग-नोड (ईएन) और कैश-प्रक्रियाओं के बीच प्रतिस्पर्धी माहौल में संदेश का प्रबंधन करता है, कुछ नियमों के अनुसार संदेश कैशिंग प्रदान करता है। इसी EN में चलता है।
• सी-नोड - सी / सी ++ पुस्तकालयों को लोड करना और उनके बीच संदेशों का आदान-प्रदान करना, साझा-मेमोरी के साथ सिस्टम इंटरैक्शन, एन, कॉलइन / कॉलऑट (सी भाषा में कैश में लागू की गई कार्यक्षमता), आदि प्रदान करता है। फिलहाल, हमने XSLT रूपांतरण, नियमित अभिव्यक्ति प्रसंस्करण का समर्थन करने के लिए Cache का उपयोग करते हुए, वेब अनुप्रयोगों के लिए C- नोड से पुस्तकालयों को जोड़ा है।
• पोर्टे - कैश के लिए एमडी के साथ मैसेजिंग गेटवे। यह एक अलग पृष्ठभूमि के काम के रूप में शुरू होता है, जिसे हम पोर्टे-जॉब (पीजे) कहेंगे।

एमडी

एमडी को yaws वेब सर्वर से अनुरोध प्राप्त होते हैं (याद रखें: yaws, जिसे Erlang में भी लिखा गया है)। यदि वर्तमान में संसाधित किया जा रहा है या प्रतिक्रिया कैश में ऐसा कोई अनुरोध है, तो एमडी जाँच करता है। यदि हर जगह खाली है, तो अनुरोध कतार में जोड़ा जाता है। जब जवाब तैयार हो जाता है, तो एमडी इसे उन सभी को लौटा देगा, जिन्होंने इस दौरान इसका अनुरोध किया था। एमडी सेटिंग्स आपको इस स्तर पर प्रतिक्रिया कैश को स्टोर करने की अनुमति देती है, उच्च स्तर पर मेमेकेश का उपयोग किया जाता है। निष्पक्षता में - मैं कहता हूं कि हम एमडी स्तर पर कैशिंग का उपयोग नहीं करते हैं - लेकिन ऐसी संभावना है। एक साथ संसाधित एमडी अनुरोधों की संख्या - yaws वेब सर्वर से प्राप्त अनुरोधों की संख्या के बराबर - अर्थात, मूल्य यादृच्छिक है।

सी-नोड

C-Node EN से संदेशों की प्रतीक्षा कर रहा है, कनेक्टेड लाइब्रेरी और कैश को अनुरोध भेज रहा है, अनुरोध का परिणाम वापस भेज रहा है। प्रत्येक चल रहे C-Node के लिए - एक चल रहा है PJ (अनुरोध को संसाधित करने वाली कैश में एक प्रक्रिया)। पीजे में, अनुरोध डेटा एक अद्वितीय वैश्विक नोड (कॉलइन का उपयोग करके) में दर्ज किया गया है। इस मामले में, अर्लंग-टुपलोव के रूप में अनुरोध पैरामीटर वैश्विक शाखाओं में परिवर्तित हो जाते हैं। वैश्विक लेखन के पूरा होने के तुरंत बाद, अनुरोध का प्रसंस्करण शुरू होता है। वास्तव में, सी-नोड की उपस्थिति के कारण, प्रत्येक PJ, Erlang के संबंध में, सामान्य EN (Erlang-node) के एक सेट की तरह दिखता है। साथ ही, C- नोड की मदद से, विशेष रूप से, एक XSLT रूपांतरण को कैश में उत्पन्न XML फ़ाइल के लिए कहा जाता है। XSLT प्रदर्शन करने के बाद, हम तैयार HTML प्राप्त करते हैं, जो वापस एमडी - और फिर वेब सर्वर पर वापस आ जाती है।

पोर्टे

पोर्टे सीधे कैशे में चलने वाली एक प्रक्रिया है। अनुरोध को एक सरलीकृत तार्किक आउटपुट मशीन के रूप में संसाधित किया जाता है। वैश्विक अनुरोध और वैश्विक नियम हैं - वैश्विक अनुरोध के आधार पर, कुछ नियमों का चयन किया जाता है - कैश में कुछ कार्य किए जाते हैं। इस स्तर पर भी, परिवर्तनों का एक सेट निर्धारित किया जाता है जो कैशे के अंदर प्रसंस्करण के बाद किया जाना चाहिए (एक नियम के रूप में, यह एक XSLT परिवर्तन का विकल्प है)।

हमें इसकी आवश्यकता क्यों है

Middleware का उपयोग Cache को बाहरी दुनिया के अनुरोधों के साथ संवाद करने के लिए किया जाता है। इसके साथ, सिस्टम सीमित कंप्यूटिंग संसाधनों की स्थिति या पीजे की कमी के तहत भारी भार का सामना कर सकता है। इंटरफ़ेस विकास के लिए कैश में निर्मित न केवल csp / zen टूल का उपयोग करने का एक सुविधाजनक अवसर है, बल्कि इंटरफेस को लागू करने के अन्य सभी तरीके भी हैं (हमारे मामले में, यह xml-xslt-html चेन है)। एरलैंग को चुना गया क्योंकि इसमें आंतरिक डेटा प्रारूप, जैसे कि कैश, ट्री-लाइक है, पेड़ों के आदान-प्रदान को गंभीर मध्यवर्ती परिवर्तनों की आवश्यकता नहीं होती है। Yaws को इसलिए भी चुना जाता है क्योंकि यह Erlang में लिखा गया है - इस प्रकार एक पूरे के रूप में पूरे सिस्टम की एकरूपता की उच्च डिग्री प्राप्त कर रहा है।

कैश में लागू किया गया डेटा वेयरहाउस, नियम वैश्विक नियम पर आधारित है। यही है, यहां तक ​​कि आंतरिक प्रक्रियाएं जो बाहरी दुनिया के साथ सीधे संपर्क नहीं करती हैं, इनपुट पर एक वैश्विक डेटा ("तथ्य") प्राप्त करती हैं और वैश्विक नियमों के आधार पर, आवश्यक क्रियाओं और परिवर्तनों का एक सेट का चयन करती हैं।

पुनश्च: लेख के कुछ हिस्सों को हमारे आंतरिक दस्तावेजों से कॉपी किया गया था, जिनके लिंक मैं नहीं दे सकता। मैंने मिडलवेयर के विकास में सीधे भाग नहीं लिया, लेकिन मैं उन सभी सवालों के जवाब देने की कोशिश करूंगा, जो सलाह के लिए मैं वरिष्ठ कॉमरेडों के पास करूंगा। मैंने डेटा वेयरहाउस के डिजाइन और कार्यान्वयन में भाग लिया, अर्थात, डेटा के पोर्टे में आने के बाद जो कुछ भी होता है, और एन के जवाब में आने से पहले। यदि यह दिलचस्प है, तो मैं विस्तार से वर्णन कर सकता हूं कि रिपॉजिटरी को कैसे लागू किया जाता है, इसमें कौन से सबसिस्टम का उपयोग किया जाता है (शब्दकोशों, अनुक्रमण, आउटपुट) और इसी तरह और इसके आगे।