👩🏼‍🤝‍👨🏻 📺 🥩 PHP + Java, या इन-मेमोरी क्लस्टर अब PHP डेवलपर्स के लिए भी है 🍭 🛐 🏴

पहचान

PHP + जावा। चित्र यहाँ से लिया गया है।

"हर दिन कोड लिखें" शीर्षक वाले लेख पर इस टिप्पणी में, मैंने कहा कि मैं जल्द ही अपनी परियोजना दिखाऊंगा, जिसके लिए मुझे प्रतिदिन 1 घंटा (सप्ताहांत को छोड़कर) आवंटित किया गया था। चूंकि हाल ही में, मेरा काम वितरित जावा अनुप्रयोगों को लिखने से संबंधित है जो डेटा वेयरहाउस के रूप में इन-मेमोरी डेटा ग्रिड (आईएमडीजी) का उपयोग करते हैं, मेरी परियोजना इसके साथ जुड़ी हुई है।

आप IMDG के बारे में मेरे पिछले लेखों ( 1 , 2 ) में अधिक पढ़ सकते हैं। लेकिन संक्षेप में, यह कुंजियों द्वारा वस्तुओं का भंडारण वितरित क्लस्टर है, जो सभी डेटा को मेमोरी में रखता है, जिसके कारण डेटा तक पहुंच की एक उच्च गति प्राप्त होती है। यह न केवल स्टोर करने की अनुमति देता है, बल्कि डेटा को क्लस्टर से निकाले बिना भी प्रोसेस करता है।
और यदि प्रत्येक ठोस IMDG के पास डेटा प्रोसेसिंग के लिए अपना स्वयं का इंटरफ़ेस है, तो डेटा एक्सेस इंटरफ़ेस आमतौर पर हैश तालिका के समान है।

यह लेख किस बारे में है

अधिकांश IMDGs जावा में लिखे गए हैं और जावा, C ++, C # के लिए API का समर्थन करते हैं, जबकि वेब प्रोग्रामिंग भाषाओं (Python, Ruby, PHP) के लिए API समर्थित नहीं है, और क्लाइंट लिखने के लिए प्रोटोकॉल बहुत सीमित है। यह तथ्य है कि मैं IMDG को आम जनता में प्रवेश पर मुख्य ब्रेक मानता हूं - सबसे लोकप्रिय भाषाओं के लिए समर्थन की कमी।

चूंकि IMDG निर्माता अभी तक वेब भाषाओं के लिए सहायता प्रदान नहीं करते हैं, वेब प्रोग्रामर के पास आसानी से जावा सर्वर डेवलपर्स के रूप में अनुप्रयोगों को स्केल करने की क्षमता नहीं है। इसलिए, मैंने अपने दम पर कुछ ऐसा ही करने का फैसला किया और इसे ओपन सोर्स में डाल दिया, ओपन सोर्स इंजन IMDG JBoss Infinispan (Red Hat के स्वामित्व वाली JBoss कंपनी, java Developers के सर्कल में काफी प्रसिद्ध है) के रूप में ले रही है। मेरी परियोजना को स्प्रोट ग्रिड कहा जाता है, अब तक केवल PHP के लिए उपलब्ध है, लेकिन अगर समुदाय में रुचि है, तो मैं रूबी और पायथन के साथ भी एकीकरण करूंगा।

इस लेख में, मैं एक बार फिर से इन-मेमोरी डेटा ग्रिड और कैसे कॉन्फ़िगर करें, चलाऊं और Sproot ग्रिड का उपयोग करने के बारे में बात करूंगा।

मुझे IMDG की आवश्यकता क्यों है?

कई अत्यधिक भरी हुई परियोजनाओं की अड़चन डेटा वेयरहाउस है, विशेष रूप से संबंधपरक डेटाबेस। पारंपरिक डेटाबेस के नुकसान का सामना करने के लिए, 2 दृष्टिकोण मुख्य रूप से उपयोग किए जाते हैं:

1) कैशिंग
प्लसस :

उच्च गति डेटा का उपयोग

विपक्ष :

वास्तविक क्लस्टर समाधान बहुत दुर्लभ हैं, ज्यादातर उपयोगकर्ता को सर्वर के बीच डेटा के वितरण से निपटना पड़ता है, और डेटा एक्सेस करते समय, उस सर्वर को निर्धारित करता है जिस पर यह डेटा स्थित है। ऐसी प्रणाली में सभी क्लस्टर नोड्स के अधिभोग की एकरूपता हासिल करना मुश्किल है
डेटा की प्रासंगिकता और पहुंच की गति के बीच एक समझौता की आवश्यकता है, क्योंकि कैश में डेटा पुराना हो सकता है, और पुराने डेटा को कैश से हटाना और फिर नए को कैशिंग करना अतिरिक्त विलंब और सिस्टम लोड है
आमतौर पर, डेटा को उन डोमेन ऑब्जेक्ट्स के रूप में कैश नहीं किया जाता है जो एप्लिकेशन में उपयोग किए जाते हैं, लेकिन BLOBs या स्ट्रिंग्स के रूप में, अर्थात। कैश से प्राप्त डेटा का उपयोग करते समय, आपको पहले आवश्यक वस्तुओं का निर्माण करना चाहिए

2) NoSQL समाधान
प्लसस :

अच्छी क्षैतिज क्षमता

विपक्ष :

डिस्क का उपयोग करते समय इतना तेज़ परिणाम नहीं
आंतरिक कॉर्पोरेट सॉफ़्टवेयर के संचालन को सुनिश्चित करना लगभग असंभव है जो एक विशिष्ट रिलेशनल डेटाबेस के साथ काम करने पर केंद्रित है

IMDG दोनों दृष्टिकोणों के लाभों को जोड़ती है और साथ ही ऊपर उल्लिखित समाधानों पर कई फायदे हैं:

अच्छी क्षैतिज क्षमता
उच्च गति का उपयोग
सही क्लस्टरिंग (आप किसी भी नोड पर डेटा डाल सकते हैं, आप क्लस्टर के किसी भी नोड पर डेटा का अनुरोध कर सकते हैं), नोड्स पर डेटा का स्वचालित संतुलन
क्लस्टर ऑब्जेक्ट के सभी क्षेत्रों के बारे में जानता है, इसलिए, आप न केवल कुंजियों द्वारा, बल्कि फ़ील्ड मानों के लिए भी ऑब्जेक्ट खोज सकते हैं
खेतों द्वारा या उनके संयोजन से अनुक्रमित बनाना संभव है
रीड-थ्रू और राइट-बैक (या राइट-थ्रू) तंत्र का उपयोग करते समय, डेटा को डेटाबेस के साथ सिंक्रनाइज़ किया जाएगा, जो अन्य अनुप्रयोगों (या अन्य एप्लिकेशन मॉड्यूल) को पारंपरिक डेटाबेस (MySQL या Mongo - का उपयोग करने के लिए जारी रखने की अनुमति देगा) - यह महत्वपूर्ण नहीं है।
पिछले पैराग्राफ से कार्य योजना का उपयोग करते समय, कैश में डेटा को अपडेट करने की समस्या गायब हो जाती है, क्योंकि वे हमेशा डेटाबेस में ही रहेंगे

आइए इन 2 दिलचस्प तंत्रों पर करीब से नज़र डालें: पढ़ने-लिखने और लिखने के पीछे (लिखने के माध्यम से)

पढ़ने के लिए के माध्यम से

रीड-थ्रू एक तंत्र है जो आपको अनुरोध के दौरान डेटाबेस से डेटा खींचने की अनुमति देता है।
उदाहरण के लिए, आप कैश से कुंजी ' कुंजी ' का उपयोग करके एक ऑब्जेक्ट प्राप्त करना चाहते हैं, और यह पता चलता है कि क्लस्टर में ऐसी कुंजी के साथ कोई ऑब्जेक्ट नहीं है, तो यह ऑब्जेक्ट डेटाबेस (या किसी अन्य दृढ़ता भंडारण) से स्वचालित रूप से पढ़ा जाएगा, फिर कैश में डाल दिया जाएगा, जिसके बाद अनुरोध के जवाब के रूप में वापस किया जाएगा।
डेटाबेस में ऐसी वस्तु की अनुपस्थिति में, अशक्त उपयोगकर्ता को वापस कर दिया जाएगा।
स्वाभाविक रूप से, आवश्यक एसक्यूएल क्वेरी, साथ ही क्वेरी का मानचित्रण ऑब्जेक्ट के लिए होता है, उपयोगकर्ता के कंधों पर निहित होता है

लिखने के पीछे (लिखने के माध्यम से)

लिखने की गति को अनुकूलित करने के लिए, आप डेटाबेस पर नहीं, बल्कि सीधे कैश में लिख सकते हैं। यह पहली नज़र में अजीब लगता है, लेकिन व्यवहार में यह डेटाबेस को अच्छी तरह से लोड करता है और एप्लिकेशन की गति बढ़ाता है।
यह कुछ इस तरह दिखता है:

उपयोगकर्ता cache.put (कुंजी, मूल्य) के लिए एक कॉल करता है, वस्तु ' मूल्य ' कुंजी ' कुंजी ' द्वारा कैश में संग्रहीत होती है
इस ईवेंट के हैंडलर को क्लस्टर में ट्रिगर किया गया है, डेटाबेस और इसके निष्पादन के लिए डेटा लिखने के लिए sql-request संकलित किया गया है
प्रबंधन को उपयोगकर्ता को लौटा दिया जाता है

इस इंटरैक्शन स्कीम को राइट-थ्रू कहा जाता है। यह आपको क्लस्टर में अपडेट के साथ डेटाबेस के साथ अपडेट को सिंक्रनाइज़ करने की अनुमति देता है। जैसा कि आप देख सकते हैं, यह दृष्टिकोण डेटा लिखने की प्रक्रिया को गति नहीं देता है, लेकिन कैश और डेटाबेस के बीच डेटा स्थिरता सुनिश्चित करता है। इस प्रकार के रिकॉर्ड के साथ, डेटा कैश में चला जाता है, जिसका अर्थ है कि उनके लिए रीडिंग एक्सेस अभी भी डेटाबेस अनुरोध से अधिक होगी।

यदि डेटाबेस के साथ-साथ लेखन एक महत्वपूर्ण स्थिति नहीं है, तो आप अधिक लोकप्रिय लिखने के पीछे के तंत्र का उपयोग कर सकते हैं, यह आपको डेटाबेस (किसी अन्य सेवा) को लंबित लेखन को व्यवस्थित करने की अनुमति देता है। कुछ इस तरह:

उपयोगकर्ता cache.put (कुंजी, मूल्य) के लिए एक कॉल करता है, वस्तु ' मूल्य ' कुंजी ' कुंजी ' द्वारा कैश में संग्रहीत होती है
प्रबंधन को उपयोगकर्ता को लौटा दिया जाता है
थोड़ी देर के बाद (उपयोगकर्ता कॉन्फ़िगर करने योग्य), एक कैश ईवेंट हैंडलर फायर करता है
हैंडलर उन वस्तुओं के पूरे पैक को इकट्ठा करता है जिन्हें पिछले हैंडलर के बाद से बदल दिया गया है
पैक को रिकॉर्डिंग के लिए डेटाबेस में भेजा जाता है

राइट-बैक का उपयोग करते समय, लेखन ऑपरेशन में काफी तेजी आती है, क्योंकि उपयोगकर्ता तब तक इंतजार नहीं करता है जब तक कि अपडेट डेटाबेस तक नहीं पहुंच जाता है, लेकिन बस डेटा को कैश में डालता है, और डेटाबेस में लिखते समय एक ही ऑब्जेक्ट के सभी अपडेट को एक परिणामी अपडेट में मिला दिया जाएगा। पैक, जो डेटाबेस सर्वर के लोडिंग को भी सकारात्मक रूप से प्रभावित करता है,
इस प्रकार, आप अपने IMDG को कॉन्फ़िगर कर सकते हैं ताकि हर 3 सेकंड (या तो 2 मिनट या 50 एमएस) सभी डेटा अपडेट डेटाबेस में अतुल्यकालिक रूप से भेजे जाएं।

स्प्रोट ग्रिड में यह क्या है?

पहले संस्करण में, मैंने तुरंत उस सब पर अमल करने का फैसला किया जो मैंने ऊपर के बारे में बात की थी, क्योंकि इसमें बहुत समय लगेगा, लेकिन मैं उपयोगकर्ताओं से तुरंत प्रतिक्रिया प्राप्त करना चाहूंगा।
तो, Sproot ग्रिड 1.0.0 में क्या उपलब्ध है:

क्षैतिज मापनीयता और उचित क्लस्टरिंग, क्लस्टर नोड्स के बीच डेटा की मात्रा को संतुलित करता है
अंतर्निहित PHP प्रकार और डोमेन ऑब्जेक्ट दोनों को संग्रहीत करने की क्षमता
इस सूचकांक पर क्षेत्र और खोज द्वारा एक सूचकांक बनाने की क्षमता

शुरुआत हो रही है

सबसे पहले आपको यहां से वितरण पैकेज डाउनलोड करना होगा और इसे अनज़िप करना होगा।

आवश्यक सॉफ़्टवेयर स्थापित करना

चूँकि JBoss Infinispan एक जावा अनुप्रयोग है, इसलिए जावा और PHP के बीच बातचीत का तरीका चुनना आवश्यक था। अपाचे थ्रिफ्ट को इस तरह के लिंक के रूप में चुना गया था (कैसंड्रा में नोड्स के बीच क्रमांकन और परिवहन के लिए प्रोटोकॉल विकसित किया गया था), इसलिए आपके सिस्टम पर काम करने के लिए स्प्रोट ग्रिड के लिए, आपको निम्नलिखित स्थापित करने की आवश्यकता है:

जावा
थ्रिफ्ट - उत्पादन में स्थापना की आवश्यकता नहीं है, स्थापना की आवश्यकता केवल विकास मशीन (विवरण के लिए, कोड उत्पन्न करना ) पर है। उत्पादन के लिए तैनात करते समय, आपको केवल थ्रिफ्ट लाइब्रेरी की .php फ़ाइलों और जावा लाइब्रेरी के प्रारूप में कॉपी करने की आवश्यकता होती है।
PHP (यदि पहले से स्थापित नहीं है)

स्थापना निर्देश परियोजना विकी पर स्थित हैं

विन्यास

कॉन्फ़िगरेशन फ़ाइल $ परिनियोजन में होनी चाहिए फ़ोल्डर / स्प्रोट-ग्रिड / कॉन्फ़िगर / परिभाषा। Xml, जहाँ परिनियोजन फ़ॉल्डर निर्देशिका का पथ है जहाँ आपने वितरण को अनपैक किया है

विन्यास उदाहरण:

<?xml version="1.0" encoding="UTF-8"?> <sproot-config> <dataTypes> <dataType type="some\package\User" cache-name="user-cache"> <field name="id" type="integer" /> <field name="name" type="string" indexed="true" /> <field name="cars" type="array" key-type="string" value-type="some\package\Car"/> </dataType> <dataType type="some\package\Car" cache-name="car-cache"> <field name="model" type="string" /> <field name="isNew" type="boolean" /> </dataType> <dataType type="string" cache-name="string-cache"/> <dataType type="array" value-type="some\package\Car" cache-name="list-car-cache"/> </dataTypes> <cluster name="Sproot"> <multicast host="224.3.7.0" port="12345"/> <caches> <cache name="user-cache" backup-count="1"> <eviction max-objects="1000" lifespan="2000" max-idle-time="5000" wakeup-interval="10000" /> </cache> <cache name="car-cache" backup-count="1" /> <cache name="string-cache" backup-count="1" /> <cache name="list-car-cache" backup-count="1" /> </caches> <nodes> <node id="1" role="service" thrift-port="34567" minThreads="5" maxThreads="100" /> <node id="2" role="storage-only" /> </nodes> </cluster> </sproot-config>

आप प्रोजेक्ट विकी पर कॉन्फ़िगरेशन के बारे में अधिक पढ़ सकते हैं

जैसा कि आप कॉन्फ़िगरेशन से देख सकते हैं, प्रत्येक प्रकार की वस्तु के लिए हम कैश का नाम लिख सकते हैं (या हम इसे पंजीकृत नहीं कर सकते हैं यदि हम ऐसी वस्तुओं को एक अलग कैश में संग्रहीत नहीं करना चाहते हैं)। कैश एक क्लस्टर में वितरित की गई हैश टेबल है; क्लस्टर में जितने संभव हो उतने कैश हो सकते हैं। एक ही प्रकार की वस्तुओं को केवल एक कैश में संग्रहीत किया जा सकता है।
सभी कैश का वर्णन <कैश /> अनुभाग में किया जाना चाहिए।
कॉन्फ़िगरेशन में क्लस्टर संरचना और कैश की एक सूची का वर्णन करने के लिए एक अलग अनुभाग है जो इसमें संग्रहीत किया जाएगा।

<datatypes /> - आपके क्लस्टर में संग्रहीत किए जाने वाले प्रकारों का विवरण। आप अंतर्निहित PHP प्रकार और कस्टम दोनों का उपयोग कर सकते हैं। जैसा कि आप देख सकते हैं, प्रत्येक प्रकार की वस्तु के लिए हम कैश का नाम लिख सकते हैं (या हम इसे पंजीकृत नहीं कर सकते हैं यदि हम ऐसी वस्तुओं को एक अलग कैश में संग्रहीत नहीं करना चाहते हैं)

<क्लस्टर /> - क्लस्टर संरचना का वर्णन और इसमें संग्रहीत किए गए कैश की एक सूची।
<caches /> caches का वर्णन करता है। कैश नाम अद्वितीय होना चाहिए, बैकअप-गणना पैरामीटर यह निर्धारित करता है कि आप डेटा खोए बिना क्लस्टर में कितने नोड खो सकते हैं। जितना अधिक बैकअप-काउंट मायने रखता है, उतना ही विश्वसनीय आपका क्लस्टर है, लेकिन यह जितनी अधिक मेमोरी का उपभोग करता है। आप विकी पेज पर बेदखली (कैश से ऑब्जेक्ट्स को स्वचालित रूप से हटाने) को भी कॉन्फ़िगर कर सकते हैं
<मल्टिकास्ट /> बहुस्त्र्पीय पते को परिभाषित करता है जिसका उपयोग क्लस्टर बनाने के लिए किया जाएगा। जैसा कि आप जानते हैं, मल्टीकास्ट के लिए केवल क्लास डी नेटवर्क उपलब्ध हैं (224.0.0.0 - 239.255.255.255)
<नोड्स /> क्लस्टर नोड्स की संख्या और प्रकार का वर्णन करता है। अब केवल 2 प्रकार के नोड्स हैं: स्टोरेज-ओनली - केवल डेटा भंडारण और आंतरिक सेवा अनुरोधों से संबंधित है - यह न केवल डेटा संग्रहीत करता है, बल्कि बाहरी अनुरोधों को भी संसाधित करता है, इसलिए इस प्रकार के नोड्स के लिए आपको उस पोर्ट को निर्दिष्ट करने की आवश्यकता है जिस पर PHP क्लाइंट से अनुरोध प्राप्त होंगे।

अपने आवेदन के साथ एकीकरण के लिए कोड पीढ़ी

कुशल संचालन के लिए, क्लस्टर को आपके एप्लिकेशन (आपके डोमेन मॉडल) के लिए विशिष्ट कोड बनाने और इसके जावा भाग को संकलित करने की आवश्यकता है, क्योंकि यह प्रतिबिंब के माध्यम से वस्तुओं तक पहुंचने की तुलना में तेजी से काम करता है। सभी आवश्यक कोड बनाने और संकलित करने के लिए, आपको निम्न करना होगा:

  1) cd $deploymentFolder/sproot-grid/scripts 2) build.sh(or build.cmd)

जहाँ $ परिनियोजन फ़ोल्डर निर्देशिका है जहाँ आपने वितरण को अनपैक किया है
कोड पीढ़ी को केवल तभी करने की आवश्यकता है जब डोमेन मॉडल विवरण बदलता है, अर्थात। यदि आपका मॉडल स्थिर है, तो आपको यह ऑपरेशन केवल एक बार करना होगा, उसके बाद उत्पन्न php स्रोतों को कोड रिपॉजिटरी में संग्रहीत किया जा सकता है, और जावा भाग को एक लाइब्रेरी में संकलित किया जाएगा। यानी आपको अपने आवेदन को लागू करने से पहले 10 बार कुछ भी उत्पन्न करने की आवश्यकता नहीं है, यह विकास के स्तर पर केवल 1 बार किया जाता है।
कोड निर्माण पूरा करने के बाद, $। परिनियोजन से .php फ़ाइलों के साथ फ़ोल्डर की प्रतिलिपि बनाएँ / अपने आवेदन के मूल में sproot-grid / php / org

लांच

  1) cd $deploymentFolder/sproot-grid/scripts 2) run.sh(run.cmd) nodeId memorySize

जहां नोडआई कॉन्फ़िगरेशन फ़ाइल में अनुभाग की आईडी विशेषता का मूल्य है,
मेमोरीसाइज़ - मेमोरी की मात्रा (एमबी या जीबी में) जिसे आप नोड को आवंटित करना चाहते हैं

उदाहरण के लिए:

 run.sh 1 256m

या

 run.cmd 2 2g

एप्लिकेशन के अंदर उपयोग करें

कोड जनरेशन स्टेप में, आपको अपने एप्लिकेशन के साथ एकीकृत करने के लिए आवश्यक सब कुछ मिल गया। यह केवल आपके आवेदन में इस कोड को कॉपी करने के लिए बना हुआ है, इसके लिए $ परिनियोजन से सबकुछ कॉपी करें। आपके एप्लिकेशन के मूल में फ़ोल्डर / स्प्रोट-ग्रिड / php फ़ोल्डर
वह सब है! अब आप अपने एप्लिकेशन से क्लस्टर का उपयोग कर सकते हैं।

कोड उदाहरण:

 <?php require_once 'org/sproot_grid/SprootClient.php'; require_once 'some/package/User.php'; use org\sproot_grid\SprootClient; use some\package\User; $client = new SprootClient('localhost', 12345); //             'service' echo $client -> cacheSize('user-cache'); $user = new User(); $user->setName('SomeUser'); $user->setId(1234); $client->put('user-cache', '1234', $user); echo $client -> cacheSize('user-cache'); ?>

आप यहाँ एपीआई का वर्णन पा सकते हैं, लेकिन संक्षेप में, एपीआई अब इस तरह है:

प्राप्त करें ($ कैशनेम, $ कुंजी)
getAll ($ cacheName, सरणी $ कुंजियाँ)
कैशसाइज़ ($ कैशनेम)
cacheKeySet ($ cacheName)
शामिल हैके ($ कैशनेम, $ कुंजी)
खोज ($ cacheName, $ fieldName, $ searchWord)
निकालें ($ कैशनेम, $ कुंजी)
निष्कासन ($ cacheName, सरणी $ कुंजियाँ)
डाल ($ कैशनेम, $ कुंजी, $ डोमेनऑब्जेक्ट)
putAll ($ cacheName, सरणी $ domainObjects)
ClearCache ($ cacheName)

निष्कर्ष

Sproot ग्रिड MIT लाइसेंस के तहत प्रकाशित होता है।
स्रोत कोड
विकी
वितरण

PHP + Java, या इन-मेमोरी क्लस्टर अब PHP डेवलपर्स के लिए भी है