अपाचे जेमीटर को एक ओरेकल डेटाबेस पर लॉग ऑन करना

परिचय

यह लेख मुख्य रूप से सॉफ्टवेयर उत्पादों की गुणवत्ता और प्रदर्शन को सुनिश्चित करने के क्षेत्र से तकनीकी विशेषज्ञों के उद्देश्य से है। लेख Oracle डेटाबेस में अपाचे जेमीटर लॉगिंग के उच्च-प्रदर्शन संस्करण की क्षमताओं के बारे में विस्तृत जानकारी प्रदान करता है। विकास का उपयोग लोड परीक्षण परियोजनाओं पर युद्ध की स्थिति में किया गया था, जो प्रदर्शन लैब एलएलसी के कर्मचारियों द्वारा किए गए थे।
प्रस्तुत समाधान भार परीक्षण के परिणामों के केंद्रीकृत भंडारण के लिए अनुमति देता है जो जेमीटर का उपयोग करते हैं, साथ ही परीक्षण के परिणामों के प्रसंस्करण और विश्लेषण के लिए समय को काफी कम करते हैं।
इंजीनियर के लिए, डेटा के साथ काम करने के लिए सभी ओरेकल DBMS कार्यक्षमता अब उपलब्ध होगी।

अवसरों

Apache JMeter के लिए डिज़ाइन किए गए टूल का विकसित सेट आपको वास्तविक समय में Oracle डेटाबेस में परीक्षा परिणाम (लेन-देन, प्रतिक्रिया समय, सर्वर प्रतिक्रिया, संचालन समय) लॉग इन करने की अनुमति देता है।

इसके लिए क्या है?

वर्णित डेटा प्रोसेसिंग दृष्टिकोण Apache JMeter का उपयोग करते हुए लगातार लोड परीक्षणों के साथ डेटा संग्रह और प्रसंस्करण को स्वचालित करने की अनुमति देता है।
मामले में जब परीक्षण के परिणामों के प्रसंस्करण का समय बहुत सीमित है और लॉग की मात्रा काफी बड़ी है, तो यह उपकरण आपको तालिकाओं या ग्राफ़ के रूप में संचालन (मात्रा, प्रतिक्रिया समय, आदि) के परिणामों पर रिपोर्ट बनाने की अनुमति देता है। कुछ घंटों के परीक्षण में लॉग को संसाधित करने का समय कई सेकंड है - एक SQL क्वेरी निष्पादित की जाती है।
परिणामों को संसाधित करने के लिए, आप ओरेकल डीबीएमएस की सभी संभावित कार्यक्षमता का उपयोग कर सकते हैं, जिससे हर स्वाद के लिए एक बहुत अलग रिपोर्ट संरचना प्राप्त हो सकती है।

गौरव

- परीक्षण से प्रसंस्करण लॉग की उच्च गति;
- किए गए सभी परीक्षणों के डेटा एक ही स्थान पर हैं - डेटाबेस;
- रिपोर्ट तैयार करने में सुविधा - वह सीमा निर्धारित करता है जिसके लिए आप आँकड़े उत्पन्न करना चाहते हैं, और SQL क्वेरी निष्पादित की जाती है;
- प्रसंस्करण लॉग की लचीलापन - संभावनाएं केवल ओरेकल की कार्यक्षमता और परीक्षक की कल्पना द्वारा सीमित हैं;
- बड़ी संख्या में VU के संचालन के दौरान ताले (डेटाबेस तक पहुंच) की अनुपस्थिति के कारण लॉगिंग की उच्च गति, क्योंकि रिकॉर्डिंग केवल एक थ्रेड (डिफ़ॉल्ट रूप से) द्वारा की जाती है।

कमियों

- ओरेकल डीबीएमएस की तैनाती की आवश्यकता है, सर्वर क्षमता नियोजित लोड प्रोफाइल पर निर्भर करती है;
- एसक्यूएल क्वेरी टेम्प्लेट के प्रारंभिक विकास के लिए एक निश्चित समय की आवश्यकता होती है;
- बीमरशेल श्रोता को जेमीटर की परीक्षण योजना में जोड़ना और लेन-देन के घोंसले के स्तर की निगरानी करना आवश्यक है (अधिक जानकारी के लिए, "सामान्य कतार में रिकॉर्डिंग" अनुभाग देखें);
- परीक्षण के दौरान परिणामों को संसाधित करने से डेटाबेस में लॉग्स लिखने के समय में वृद्धि हो सकती है (यह सब डेटाबेस की क्षमता और सूचकांक की उपलब्धता पर निर्भर करता है)।

लॉगिंग सिस्टम ऑपरेशन योजना
तर्क सरल है:
- परीक्षण की शुरुआत में, एक थ्रेड लॉन्च किया जाता है जो डेटाबेस के साथ एक कनेक्शन (डिफ़ॉल्ट रूप से) बनाता है;
- लॉग को सामान्य कतार में लिखा जाता है;
- एक सिंक्रनाइज़ेशन स्ट्रीम है जो समय-समय पर डेटाबेस में कतार की सामग्री को गिराता है।




लॉगिंग के लिए परीक्षण योजना में दो अतिरिक्त स्ट्रीमिंग समूह (कनेक्शन बनाना और लॉग को सिंक्रनाइज़ करना) शामिल होना चाहिए। सामान्य कतार में गिरने के लिए नमूना निष्पादन के परिणाम के लिए, आपको "कार्यसमूह" में बीनशेल श्रोता को जोड़ने की आवश्यकता है, जिसकी सामग्री नीचे चर्चा की जाएगी।
जब परीक्षण शुरू होता है, तो यह एक बार डेटाबेस से जुड़ता है, जिसके बाद हर सेकंड (अंतराल को समायोजित किया जा सकता है), सिंक्रनाइज़ेशन थ्रेड कतार में डेटा की उपस्थिति के लिए जांचता है और इसे डेटाबेस को लिखता है। डेटाबेस में लिखना मुख्य भार के काम के समानांतर किया जाता है, और इस पर कोई महत्वपूर्ण प्रभाव नहीं पड़ता है।

आवेदन से परीक्षण योजना टेम्पलेट ( आप इसे यहां डाउनलोड कर सकते हैं ) को मानक कॉन्फ़िगरेशन (फ़ाइल "db_logger_plan.jmx") के रूप में उपयोग करने की अनुशंसा की जाती है।

DB कनेक्शन

डेटाबेस से कनेक्ट करने के लिए, आपको निर्दिष्ट करना होगा: होस्ट, पोर्ट, एलईडी, लॉगिन, पासवर्ड, थ्रेड्स की संख्या (अभी के लिए, डेटाबेस में तालिका का नाम = 1 का उपयोग करना बेहतर है)।
उदाहरण के लिए, लाइनें इस तरह दिखती हैं:
आयात ru.perflab.jmeter.OracleDBLogger;
OracleDBLogger.INSTANCE.connect ("127.0.0.1", 1521, "xe", "sa", "gfhjkm", 1, "jm_log_table");

तुल्यकालन

एक सिंक्रोनाइज़ेशन कॉल कतार से डेटा को डेटाबेस में लिखे जाने के लिए तैयार करता है (प्रिपेयस्टेडमेंट और एडबैच का उपयोग किया जाता है)। कॉल करने के लिए, बस लाइनें निर्दिष्ट करें:
आयात ru.perflab.jmeter.OracleDBLogger;
ResponseCode = new String ("count =" + OracleDBLogger.INSTANCE.insert ());
इष्टतम लॉन्च अंतराल 1 सेकंड है।

सामान्य कतार में लिखें

कतार में HashMaps होते हैं, जिसमें एक तत्व जोड़ने के लिए, आपको परीक्षण के लिए सामग्री के साथ बीनशेल श्रोता योजना जोड़ने की आवश्यकता है:

आयात java.util.HashMap;
आयात ru.perflab.jmeter.OracleDBLogger;

HashMap पी = नया HashMap ();
p.put ("टाइमस्टैम्प", नया java.sql.Timestamp (prev.getTimeStamp ()));
p.put ("CurrentTimestamp", new java.sql.Timestamp (prev.currentTimeInMillis ()));
p.put ("टाइम", prev.getTime ());
p.put ("लेटेंसी", prev.getLatency ());
p.put ("IdleTime", prev.getIdleTime ());
p.put ("बाइट्स", prev.getBytes ());
p.put ("नमूनाकाउंट", prev.getSampleCount ());
p.put ("असफल", prev.isSuccessful ());
p.put ("सेम्पलैबेल", prev.getSampleLabel ());
p.put ("Hostname", sampleEvent.getHostname ());
p.put ("थ्रेडनाम", prev.getThreadName ());
p.put ("AllThreads", prev.getAllThreads ());
p.put ("UrlAsString", prev.getUrlAsString ());
p.put ("अनुरोध", नया स्ट्रिंग (prev.getDataEncodingWithDefault ()));
p.put ("ResponseData", नया स्ट्रिंग (prev.getResponseData ()));
p.put ("डेटा टाइप", prev.getDataType ());

OracleDBLogger.INSTANCE.put (p);

हम आवेदन में परीक्षण योजना को देखते हैं ( फ़ाइल "db_logger_plan.jmx" )।
मापदंडों की पूरी सूची अनिवार्य है, अगर आपको कुछ भी स्थानांतरित करने की आवश्यकता नहीं है, तो खाली मान इंगित किए जाते हैं, लेकिन कुछ भी नहीं बदलना बेहतर है।

महत्वपूर्ण! कभी-कभी डेटाबेस संकेतकों में यह रिकॉर्ड करना पड़ता है कि यह नमूना का नहीं, बल्कि उसके माता-पिता का है, फिर "prev.getParent ()" जोड़ा जाता है, उदाहरण के लिए, prev.getParent ()। GetDataType ()। यह आवश्यक हो सकता है जब नेस्टेड अनुरोध, उदाहरण के लिए, HTTP। उपश्रेणियों को समूहीकृत करने के लिए, आप लेनदेन या सरल नियंत्रक का उपयोग करने का प्रयास कर सकते हैं।

DB अनपैकिंग

सिस्टम के लिए, ओरेकल एक्सई और एंटरप्राइज दोनों उपयुक्त हैं (दूसरा विकल्प बेहतर है)। सर्वर क्षमता उत्सर्जित लोड की तीव्रता (प्रति सेकंड नमूनों की संख्या) पर निर्भर करती है, परीक्षण परियोजना में "मुकाबला स्थितियों" पर किया गया था, जहां लोड प्रति सेकंड 450 लेनदेन (नमूने) थे। डेटाबेस में विशेषताएं थीं: 4 * पॉवर 7 (64 बिट) एसएमटी -4, रैम 12 जीबी, सीपीयू का उपयोग ~ 15% था, इसमें पर्याप्त मेमोरी भी थी।

एक तालिका बनाने के लिए स्क्रिप्ट

आवश्यक ट्रिगर और अनुक्रम के साथ डेटाबेस में एक तालिका बनाएँ:

TABLE JM_LOG_TABLE बनाएं
(
T_ID NUMBER (38.0) पूर्ण सक्षम नहीं है,
"TIME_STAMP" TIMESTAMP (7), --Parameter prev.getTimeStamp () (नमूना प्रारंभ समय)
"JM_DATE" TIMESTAMP (7), - prev.currentTimeInMillis () पैरामीटर (हीटिंग स्टेशन का स्थानीय समय जब लॉग को कतार में लिखा गया था)
"DB_TIME_STAMP" TIMESTAMP (7), - DB समय जब लॉग को तालिका में लिखा गया था
"ELAPSED_TIME" NUMBER (38.0), - प्रतिक्रिया समय (ms)
"LATENCY" NUMBER (38.0),
IDLE_TIME NUMBER (38.0),
BYTE_COUNT NUMBER (38.0),
SAMPLE_COUNT नंबर (10.0),
सफलता नंबर (1,0),
लेबल VARCHAR2 (1024 BYTE),
"HOSTNAME" VARCHAR2 (200 BYTE),
THREAD_NAME VARCHAR2 (200 BYTE),
THREAD_COUNTS NUMBER (38.0),
"URL" VARCHAR2 (2048 BYTE),
"REQUEST_MSG" BLOB, - यह माना जाता है कि सर्वर के लिए अनुरोध, लेकिन जेएम में इस पैरामीटर को प्राप्त करने का तरीका नहीं मिल सका, आप हमेशा श्रोता को ठीक कर सकते हैं
"RESPONSE_MSG" BLOB, - केवल एक त्रुटि होने पर भरा गया
"DATA_TYPE" VARCHAR2 (200 BYTE) - बेकार की बात - सर्वर प्रतिक्रिया प्रकार
);

अनुक्रम बनाएँ jm_log_table_t_id_seq 1 द्वारा 1 वेतन वृद्धि के साथ शुरू करें;

पहले या JM_LOG_TABLE_T_ID_INSERT को उत्तर दें या बनाएं
प्रत्येक पंक्ति के लिए jm_log_table पर प्रवेश करें
शुरू
चयन करें jm_log_table_t_id_seq.nextval, sysdate INTO: new.t_id, new.db_time_stamp दोहरी से;
अंत;
/

- आवश्यक के रूप में संकेत जोड़े जाते हैं ताकि लॉग्स की एक बड़ी धारा होने पर पुनर्निर्माण के दौरान कोई समस्या न हो।
JM_LOG_TABLE (JM_DATE) पर INDEX JM_LOG_TABLE_JM_DATE बनाएं;

परिणाम

परीक्षण के लिए आंकड़े एकत्र करने के लिए, आपको एक SQL क्वेरी चलाने की आवश्यकता है, जिसे पहले तैयार किया जाना चाहिए। उदाहरण के लिए, आप ऐसा कर सकते हैं जब परीक्षण प्रगति पर है। इस दृष्टिकोण का एक बड़ा प्लस यह है कि नए प्रश्नों को काफी कम बनाने की आवश्यकता है, क्योंकि रिपोर्ट में आवश्यक डेटा का प्रारूप परियोजना के दौरान लगभग नहीं बदलता है। लेख के परिशिष्ट में प्रश्नों के उदाहरण ( फ़ोल्डर "SQL_Requests_for_DB_Logger" )।

आउटपुट डेटा प्रारूप

नतीजतन, डेटाबेस में प्रश्नों का निष्पादन एक प्लेट के गठन की ओर जाता है, निम्न रूप में:


एक समान तालिका का उपयोग करके, आप इस ग्राफ़ की तरह कुछ बना सकते हैं:

उत्पादकता

वास्तविक प्रणाली का प्रदर्शन परीक्षण योजना के आकार, लोड स्टेशन के लोहे, डेटाबेस सर्वर के लोहे और संचार चैनल पर निर्भर करेगा।
फिलहाल, अधिकतम को ठीक करना संभव नहीं था, क्योंकि लोडिंग स्टेशन के लैपटॉप पर पर्याप्त मेमोरी नहीं थी (मैं केवल 2 जीबी के साथ हाथ में था)। एक वास्तविक परियोजना में, सीलिंग को निर्धारित करने का कोई तरीका नहीं था, इसलिए यह दर्ज किया गया था कि प्रति सेकंड 1000 नमूने समस्याओं के बिना लॉग किए गए थे (अब परीक्षणों के लिए आवश्यक नहीं)।
स्थितियां। "लकड़हारा" परीक्षण दो लैपटॉप पर किया गया था:
लोड। स्टेशन - लेनोवो v360 (पेंटियम 2 * P6100 2000 मेगाहर्ट्ज, राम 2 जीबी); 512 MB, विन 7 को JMeter v 2.8 के तहत आवंटित किया गया है।
Oracle डाटाबेस (XE 11g) - लेनोवो Y550P (CPU Core i7 8 * 1.66 Ghz, Ram 4 Gb), Win XP। तालिका के लिए केवल 1 सूचकांक (jm_date) बनाया गया था।
नेटवर्क - एक क्रॉस-केबल के माध्यम से 1 गीगाबिट।
अधिकतम वे लोड स्टेशन से बाहर निचोड़ने में कितना सफल रहे, प्रति सेकंड 1800 नमूने थे, जिसके बाद जेमीटर ने मेमोरी जारी की और "बंद" कर दिया।
परीक्षण योजना में 500 एमएस की देरी, थ्रेड्स की संख्या 1000 के साथ एक डमी नमूना शामिल था।



ऊपर दिया गया आंकड़ा लेनदेन का एक नमूना (नमूने) / प्रति सेकंड दिखाता है। यह देखा जा सकता है कि लोडिंग स्टेशन (पर्याप्त लैपटॉप शक्ति नहीं) के प्रदर्शन के साथ समस्याएं 1800 नमूने प्रति सेकंड की क्वेरी तीव्रता के साथ दिखाई दी, जो पहले से ही बहुत अच्छा है।
डेटाबेस पर सिस्टम संसाधन लोड हो रहा है:
• CPU 10-15%,
• मुफ्त मेमोरी 1 जीबी (25%),
• डिस्क उपयोग 5-10%,
• नेटवर्क <1%।
लोडिंग स्टेशन पर:
• सीपीयू 30%,
• मेमोरी खत्म हो गई है ("खाया" JMeter और OS)।
विकास की विश्वसनीयता का परीक्षण करने के लिए, 700 थ्रेड्स पर एक परीक्षण किया गया था और 2 घंटे तक चले, प्रदर्शन 1400 नमूने प्रति सेकंड था।



यह आंकड़ा प्रति सेकंड (1 सेकंड का एकत्रीकरण) लेनदेन का ग्राफ दिखाता है, क्योंकि आप पूरे परीक्षण के दौरान काम किए गए लोड को देख सकते हैं, और लॉगिंग कार्यक्षमता ने JMeter के मुख्य अनुरोधों को प्रभावित नहीं किया है।



विकास की स्थिरता ऊपर दिए गए ग्राफ द्वारा पुष्टि की जाती है, जो यह दर्शाता है कि डेटाबेस में लॉगिंग (1400 प्रविष्टियां प्रति सेकंड) का समय 600 एमएस (गुलाबी रेखा) से अधिक नहीं था।
दुर्लभ विचलन के अपवाद के साथ परीक्षण योजना में इंगित किए गए 500 एमपीएस के समतुल्य नमूने (डमी सैम्पलर) के संचालन का समय।
इस परीक्षण में, बेस और JMeter के काम करने के लिए लैपटॉप की शक्ति पर्याप्त थी।
डेटाबेस पर सिस्टम संसाधन लोड हो रहा है:
• सीपीयू 10%,
• 1 जीबी मुफ्त मेमोरी,
• डिस्क उपयोग 5-7%,
• नेटवर्क <1%।
लोडिंग स्टेशन पर:
• सीपीयू 30%,
• मुफ्त मेमोरी ~ 25%।

निष्कर्ष

यह लेख अपाचे जेटर लोड टूल और ओरेकल डीबीएमएस का उपयोग करके कई लोड (लोड) परीक्षणों के परिणामों के केंद्रीकृत भंडारण के लिए विकल्पों में से एक प्रस्तुत करता है।
परीक्षण से JMeter लॉग के साथ अनगिनत फाइलें (सीएसवी, xml) को एक डेटाबेस से बदला जा सकता है, जहां परिणाम सुरक्षित रूप से संग्रहीत किए जाते हैं और लोड परीक्षण परियोजना के सभी प्रतिभागियों द्वारा पहुँचा जा सकता है।
प्रस्तावित समाधान आसानी से एक मौजूदा परीक्षण योजना (दो अतिरिक्त "थ्रेड समूह" और एक श्रोता) में लागू किया जाता है, डेटाबेस के लिए महत्वपूर्ण कंप्यूटिंग शक्ति की आवश्यकता नहीं होती है, और लचीले और सुविधाजनक प्रसंस्करण, परीक्षण परिणामों का विश्लेषण करने की अनुमति देता है।
अपनी परियोजना में इस विकास को शुरू करने से, आप समय को बचा सकते हैं जब अधिक दिलचस्प चीजों के लिए परिणामों का विश्लेषण कर सकते हैं, जैसे कि दोस्तों, चाय / कॉफी के साथ संवाद करना, या जो भी आपको पसंद हो ...

अगले लेख में

MS Excel पर आधारित विकास का वर्णन किया जाएगा, जिसके साथ, डेटाबेस से जुड़कर, आप ODBC DataSource ऑपरेटिंग सिस्टम का उपयोग करके परीक्षा परिणाम और ग्राफ़ के साथ तालिकाओं का निर्माण कर सकते हैं।
एक्सेल फ़ाइल में एक VBA मैक्रो होता है जो डेटाबेस से जुड़ता है और एक्सेल टेबल में परीक्षा परिणाम चुनने के लिए एक SQL क्वेरी निष्पादित करता है, जिसमें से आवश्यक ग्राफ़ स्वचालित रूप से निर्मित होते हैं।
यह विकास इस लेख में वर्णित "लकड़हारा" के लिए एक महान अतिरिक्त निकला, क्योंकि प्रत्येक नए परीक्षण के परिणामों को संसाधित करने में केवल कुछ सेकंड लगते हैं।