सितारे क्या सोचते हैं? गैया में InterSystems Caché eXtreme का उपयोग करना

मैं लेख तैयार करने में उनकी मदद के लिए 0leo , morisson और adaptun को धन्यवाद देना चाहूंगा।

Stargazer उपकरण

जैसा कि आप जानते हैं, कल, 19 दिसंबर, 2013 को गैया टेलीस्कोप लॉन्च किया जाएगा। कई लोग पहले ही मिशन के बारे में एक लेख पढ़ चुके हैं, लेकिन कम ही लोग जानते हैं कि यूरोपीय अंतरिक्ष एजेंसी के डेवलपर्स ने गैया डेटा को संसाधित और संग्रहीत करने के लिए क्या चुना । 2011 में, IBM DB2 , PostgreSQL , Hadoop , Cassandra, और Caché (अधिक सटीक रूप से, Caché eXtreme Event Persistence तकनीक; उदाहरण के लिए, लुइस मैनुअल सारो द्वारा संपादित " एस्ट्रोस्टेटिस्टिक्स एंड डेटा माइनिंग ") को उम्मीदवार माना जाता था। लॉरेंट आइर और विलियम ओ'मुलेन, पीपी। 111-112)।


लगभग हर छात्र उद्योग में पहले चार "खिलाड़ियों" के बारे में जानता है। लेकिन कैच एक्सईपी क्या है?

कैच में जावा टेक्नोलॉजीज

यदि आप InterSystems द्वारा प्रदान किए गए जावा एपीआई स्टैक को देखते हैं, तो हम निम्नलिखित कुछ देखेंगे:

• कैच ऑब्जेक्ट बाइंडिंग तकनीक, जावा में डेटा के ऑब्जेक्ट ओरिएंटेड प्रतिनिधित्व को पारदर्शी रूप से पेश करती है। Caché के संदर्भ में , उत्पन्न जावा प्रॉक्सी वर्गों को "अनुमान" कहा जाता है। यह दृष्टिकोण उपयोग करने में सबसे आसान है, क्योंकि यह ऑब्जेक्ट मॉडल में कक्षाओं के बीच "प्राकृतिक" कनेक्शन को संरक्षित करता है, लेकिन एक ही समय में कम गति में भिन्न होता है: "बहुत से आधिकारिक (मेटा) जानकारी जो ऑब्जेक्ट मॉडल का वर्णन तारों पर प्रसारित होती है"।
• JDBC और सभी प्रकार के ऐड-ऑन ( Jalapeño , Hibernate , JPA )। यहाँ, मैं शायद कुछ भी नया नहीं कह सकता, सिवाय इसके कि कैच लेनदेन के दो स्तरों को अलग करता है: READ_UNCOMMITTED और READ_COMMITTED - और डिफ़ॉल्ट रूप से यह READ_UNCOMMITTED मोड में काम करता है।
• कैच ईएक्सट्रीम परिवार ( .NET और Node.js के लिए संस्करणों में भी मौजूद है)। इस दृष्टिकोण को निम्न-स्तरीय डेटा प्रतिनिधित्व (तथाकथित "वैश्विक" - कैचे की दुनिया में सूचना क्वांटा) तक सीधी पहुंच की विशेषता है, जो बहुत तेज़ गति प्रदान करता है।

जटिल घटनाओं को संभालना

यदि आप उल्लिखित तकनीक का नाम पढ़ते हैं, तो आप नग्न आंखों से देख सकते हैं कि यह ऐसा है जैसे कि जटिल घटनाओं के प्रसंस्करण (XEP - eXtreme जटिल इवेंट प्रोसेसिंग ) के कनेक्शन के साथ जुड़ना। यह समस्या हर जगह हल हो गई है:

• एल्गोरिथम ट्रेडिंग सिस्टम सहित ट्रेडिंग सिस्टम में;
• बैंक सुरक्षा प्रणालियों में;
• वास्तविक समय में आँकड़ों को एकत्र करने और उनका विश्लेषण करने के लिए सिस्टम (यातायात की स्थिति का विश्लेषण, मौसम का पूर्वानुमान, सामाजिक नेटवर्क की निगरानी)।

प्रौद्योगिकियों के लिए वर्तमान आवश्यकताएं क्या हैं जो समस्या को हल करने में मदद करती हैं? आवश्यकताएं सरल और कुछ हैं:

• कम से कम 1000 ईपीएस (प्रति सेकंड की घटनाओं) के वास्तविक समय में प्रसंस्करण (संभवतः बचत सहित), और व्यवहार में हम अक्सर प्रति सेकंड दसियों लेनदेन के साथ सौदा करते हैं, और वर्णित उत्पाद, अर्थात्, एक्सटीपी सिस्टम के वर्ग से संबंधित हैं ( [१] , [२] );
• संसाधित घटनाओं के बीच सहसंबंधों की मान्यता (जैसा कि क्लासिक उदाहरण में: घंटी बजाना प्लस एक आदमी काले रंग में, हाथ से एक महिला को अग्रणी, सबसे अधिक संभावना है, शादी हो रही है);
• पैटर्न मिलान , अर्थात् फ़िल्टरिंग (फिर से, वास्तविक समय में);
• स्वाभाविक रूप से, XML प्रसंस्करण (इसके बिना कोई कैसे कर सकता है?);
• व्यावसायिक नियमों ( व्यावसायिक नियमों ) के कार्यान्वयन के लिए समर्थन;
• जटिल संरचना की प्रसंस्करण की घटनाओं (बड़ी संख्या में क्षेत्रों के साथ);
• घटनाओं के इतिहास का अभिलेखीय भंडारण, कम से कम पिछले 24 घंटों में (यानी, लगभग 100 मी इवेंट);
• अंत में, दोष सहिष्णुता।

यदि आप आईटी बाजार को देखते हैं, तो आप तुरंत निम्नलिखित दिलचस्प कार्यान्वयन कह सकते हैं:

• आईबीएम वेबस्फेयर बिजनेस इवेंट्स
• Sybase ईएसपी - आप उत्पाद के परीक्षण संस्करण को डाउनलोड और "टच" भी कर सकते हैं (वितरण पैकेज "1000 एमबी के बारे में वजन");
• सॉफ्टवेयर एजी Apama CEP प्लेटफार्म ;
• TIBCO BusinessEvents ;
• TIBCO StreamBase (कई सफल खरीद के कारण TIBCO, अब दो प्रतिस्पर्धी उत्पाद हैं)।

निष्पक्षता में, यह ध्यान देने योग्य है कि कैच ईएक्सट्रीम तकनीक खुद सीईपी / एक्सईपी कार्यान्वयन नहीं है: एक्सईपी को यहां ईएक्सट्रीम इवेंट प्रोसेसिंग के रूप में डिक्रिप्ट नहीं किया गया है, बल्कि ईएक्सट्रीम इवेंट पर्सिस्टेंस के रूप में । हालांकि, हम कोई कारण नहीं देखते हैं कि कुख्यात CEP प्रतिमान तकनीकी रूप से एन्सेम्बल जैसे उत्पाद के साथ इंटरसिस्टम प्रौद्योगिकी स्टैक के भीतर लागू करना असंभव था। इसके अलावा, कई कार्यान्वयनों ने इसी तरह के लक्ष्यों को प्राप्त किया जैसे कि कैच ईएक्सट्रीम का उपयोग ओक्सो या नीस्पर के साथ मिलकर किया गया।

वापस हमारे मेढ़े

यदि आप कैच ईएक्सट्रीम के उच्च-स्तरीय वास्तुकला को देखते हैं , तो यह काफी सरल है:



यहां ग्लोबल्स एपीआई ग्लोबल्स तक तेज, निम्न-स्तरीय पहुंच प्रदान करता है। ग्लोबल्स एपीआई की कार्यक्षमता नि: शुल्क NoSQL डेटाबेस - ग्लोबल्सबीडी के रूप में भी उपलब्ध है।

कैच XDO तेजी से "डायनेमिक" डेटा एक्सेस है जिसे क्लाइंट साइड पर ऑब्जेक्ट मॉडल की उपस्थिति की आवश्यकता नहीं है। जावा दुनिया से निकटतम एनालॉग रिफ्लेक्शन है ।

अंत में, काचे एक्सईपी नाम का मॉड्यूल, जो रूसी कान के लिए काफी सामंजस्यपूर्ण नहीं है, ग्लोबल्स एपीआई पर भी भरोसा करता है, तेज वस्तु और अर्ध-रिलेशनल डेटा एक्सेस प्रदान करता है। ऑब्जेक्ट - इस मायने में कि एपीआई क्लाइंट को ऑब्जेक्ट-रिलेशनल मैपिंग के बारे में चिंता करने की आवश्यकता नहीं है: जावा ऑब्जेक्ट मॉडल की छवि और समानता में (यहां तक ​​कि जटिल बहु-स्तरीय विरासत के मामले में) , ऑब्जेक्ट मॉडल स्वचालित रूप से Caché वर्ग स्तर (या डेटाबेस स्कीमा) पर बनाया जाता है, अगर हम शर्तों पर जाते हैं संबंधपरक प्रतिनिधित्व)। और अर्ध-संबंधपरक - इस अर्थ में कि आप SQL प्रश्नों को निष्पादित कर सकते हैं (अधिक सटीक रूप से, SQL के सबसेट का उपयोग करके क्वेरीज़) सीधे डेटाबेस में लोड किए गए "ईवेंट" के सेट पर एक चरम कनेक्शन के संदर्भ से, और इसके अलावा, अनुक्रमणिका और लेनदेन भी समर्थित हैं। । बेशक, सभी अपलोड किए गए डेटा JDBC के माध्यम से एक रिलेशनल व्यू (ANSI SQL की पूरी शक्ति के साथ और Caché बोली के लिए विशिष्ट SQL एक्सटेंशन) के माध्यम से तुरंत सुलभ हो जाते हैं, लेकिन एक्सेस स्पीड पूरी तरह से अलग होगी। एक बार फिर, सारांश के रूप में, हमारे पास है:

• एक "स्कीमा" का आयात ( Caché कक्षाएं स्वचालित रूप से बनाई जाती हैं), incl।
• जावा कक्षाओं के आयात पदानुक्रम;
• त्वरित संबंधपरक डेटा एक्सेस - आप टेबल के रूप में कैच क्लास के साथ काम कर सकते हैं;
• Caché eXtreme का उपयोग करके अनुक्रमित और लेनदेन के लिए समर्थन;
• Caché eXtreme का उपयोग करते हुए सरल एसक्यूएल प्रश्नों के लिए समर्थन;
• अंतर्निहित eXtreme JDBC कनेक्शन के माध्यम से मनमाने ढंग से SQL प्रश्नों का समर्थन।

यह दृष्टिकोण समान रिलेशनल (उच्च पहुंच गति) और विभिन्न NoSQL समाधान (रिलेशनल स्टाइल में डेटा तक तत्काल पहुंच) पर कुछ लाभ प्रदान करता है।

इसके अतिरिक्त, आप कह सकते हैं कि एक eXtreme कनेक्शन दो प्रकार का हो सकता है: JNI का उपयोग कर एक कनेक्शन (लेकिन आवश्यक है कि कैच सर्वर स्थानीय रूप से उपलब्ध हो - टाइप 2 के JDBC कनेक्शन से अंतर यह है कि यह नेटवर्क पर डेटा का समर्थन नहीं करता है), और एक नियमित टीसीपी कनेक्शन जहां डेटा एक मानक प्रकार 4 JDBC ड्राइवर का उपयोग करके स्थानांतरित किया जाता है।

जेएनआई संस्करण की "ट्यूनिंग की सूक्ष्मता" पूरी तरह से इस तथ्य में शामिल है कि आपको पर्यावरण को कॉन्फ़िगर करने की आवश्यकता है:

• GLOBALS_HOME चर को Caché संस्थापन वाली निर्देशिका को इंगित करना चाहिए, और
• LD_LIBRARY_PATH ( DYLD_LIBRARY_PATH Mac OS X या Windows के लिए PATH ) में ${GLOBALS_HOME}/bin होना चाहिए।

टीसीपी संस्करण के लिए, यह ढेर के आकार और जेवीएम ( -Xss2m -Xmx768m ) के ढेर को बढ़ाने के लिए पर्याप्त है।

थोड़ा अभ्यास

लेखक इस बात में रुचि रखते थे कि लोकप्रिय डेटा प्रोसेसिंग प्रौद्योगिकियों की तुलना में एक सतत डेटा स्ट्रीम को रिकॉर्ड करने के कार्य में कैच ईएक्सट्रीम कैसे व्यवहार करता है। फिनम होल्डिंग साइट के ऐतिहासिक उद्धरण, जिसे सीएसवी प्रारूप में डाउनलोड किया जा सकता है, डेटा स्रोत के रूप में लिया गया था (लेखक ऐसे अद्भुत संसाधन के रचनाकारों के आभारी हैं)।



चूंकि साइट पर लिंक को खोजने के लिए यह बहुत ही यथार्थवादी है (हम दूसरे और बाद के समय में सफल नहीं हुए), हम इसे यहां साझा करेंगे।

नतीजतन, एक बल्कि भोली परीक्षण लिखा गया था जो जावा में प्रदर्शन के लिए माइक्रोटेस्ट्स लिखने के नियमों को पूरी तरह से अनदेखा करता है। विशेष रूप से, उन्होंने JMH को तेज करने के लिए लगभग नहीं मिला। कुछ औचित्य यह हो सकता है कि हम JIT द्वारा उत्पन्न कोड की गति को नहीं मापते हैं, लेकिन जिस गति से गैर- JVM कोड ( अपाचे डर्बी को छोड़कर) डिस्क पर लिख सकते हैं। सवाल यह है कि परीक्षण में भाग लेने वाली हार्ड डिस्क syscall fsync() , अफसोस का पालन करती है, हमने इसे भी अनदेखा कर दिया।

तो, दौड़ में भाग लिया:

• अपाचे डर्बी 10.9 (कुछ प्रसिद्ध वाणिज्यिक संबंधपरक डीबीएमएस ने समान प्रदर्शन दिखाया)
• इंटरसिस्टम कैच 2013.1 (JDBC)
• InterSystems Caché 2013.1 (eXtreme)

हमें तुरंत यह कहना होगा कि परीक्षणों की निकटता के कारण, हम सटीक संख्या लाने के बिंदु को नहीं देखते हैं: त्रुटि काफी बड़ी है, और लेख का उद्देश्य केवल सामान्य प्रवृत्ति को प्रदर्शित करना है। समान कारणों से, और GC को कॉन्फ़िगर करने में असमर्थता के कारण , हम JDK और कचरा कलेक्टर सेटिंग्स के सटीक संस्करण को निर्दिष्ट नहीं करते हैं: सर्वर 6u45 और 7u40 के साथ -Xmx2048m -Xss128m ने लिनक्स और मैक ओएस एक्स पर अपना प्रदर्शन दिखाया। प्रत्येक परीक्षण में लगभग दस लाख घटनाओं को बचाया गया; प्रत्येक व्यक्तिगत डेटाबेस के लिए परीक्षण कई (10 तक) से पहले "वार्मिंग अप" लॉन्च किया गया था। कैच सेटिंग्स के लिए, प्रोग्राम कैश (रूटीन कैश) को बढ़ाकर 256 एमबी कर दिया गया, और आठ-किलोबाइट डेटाबेस कैश (8kb डेटाबेस कैश) - 1024 एमबी तक।

दरअसल, परिणाम इस प्रकार हैं:



डर्बी और अन्य संबंधपरक डीबीएमएस 1000 से 1500 घटनाओं / सेकंड तक की गति लिखते हैं। जेडीबीसी मोड में कैच एक उच्च गति (6000 से 7000 ईपीएस तक) देता है, लेकिन इस गति की कीमत है: लेन-देन अलगाव का डिफ़ॉल्ट स्तर, जैसा कि ऊपर बताया गया है, READ_UNCOMMITTED । इसके अलावा, कैच ईएक्सट्रीम शुद्ध जावा मोड में 45000-50000 ईपीएस और 80,000 से अधिक ईपीएस प्रदान करता है जब जेएनआई के माध्यम से एक स्थानीय कैच उदाहरण के साथ संचार करता है। अंत में, यदि आप कुछ जोखिम लेते हैं और लेन-देन लॉग (एक वर्तमान प्रक्रिया के लिए) बंद करते हैं, तो एक परीक्षण मशीन पर जेएनआई कनेक्शन के लिए लेखन गति को 100,000 ईपीएस तक बढ़ाने के लिए संभव हो गया।

जो भी अधिक सटीक संख्याओं में रुचि रखते हैं, या परीक्षणों को अधिक सही बनाना चाहते हैं, या जिन्होंने दिए गए परिणामों का हवाला दिया है, हम आपको सुझाव देते हैं कि आप अपने आप को स्रोत कोड से परिचित कराएं। निर्माण और चलाने के लिए, आपको JDK 1.6+, Git , Maven ( Maven Install Plugin सहित स्थानीय कलाकृतियों Caché JDBC और Caché eXtreme ) बनाने की आवश्यकता होगी, और अंत में Caché (हम एक अस्थायी लाइसेंस कुंजी का आदेश दे सकते हैं - यह मुफ़्त है।) हम विश्वविद्यालयों को इंटरसिस्टम कैंपस कार्यक्रम में शामिल होने के लिए आमंत्रित करते हैं और एक शैक्षणिक लाइसेंस के साथ आधिकारिक कैचे वितरण प्राप्त करते हैं, किसी भी मामले में, इंटरसिस्टम सलाहकार आपकी परियोजना में लोड परीक्षण के साथ मदद करने के लिए तैयार हैं)।

टिप्पणियों का स्वागत है।

CHMBSL

• जब तक वे याहू के लिए एक कैच बैकेंड लिखने के लिए चारों ओर हो गए ! क्लाउड सर्विसिंग बेंचमार्क ।
• घर में बने स्पीडोमीटर बाइक के बजाय जेएमएच सीखना दिलचस्प होगा।