बड़े डेटा को कुशलता से आयात कैसे करें

कभी-कभी हमें डेटाबेस में बहुत बड़े डेटा को आयात करने की आवश्यकता होती है, जो कभी-कभी कई दस गीगाबाइट तक पहुंचता है। हम नियमित रूप से बैकअप, हॉट बैकअप ले जाते हैं, महत्वपूर्ण सेवाओं में हम प्रतिकृति और उच्च उपलब्धता का उपयोग करते हैं। अक्सर, उपयोगकर्ता अंतर्निहित डीबीएमएस फ़ंक्शन पर भरोसा करते हैं, बिना किसी बदलाव के इसका उपयोग करते हैं, आयात प्रक्रिया पूरी होने तक प्रतीक्षा करें, और कभी-कभी वे बिल्कुल भी इंतजार नहीं करते हैं।

इस ब्लॉग में मैं CUBRID DBMS में डेटा आयात करने के विभिन्न तरीकों के बारे में बात करना चाहता हूं, यह निर्दिष्ट करना कि कौन सा अधिक कुशल है और क्यों। इन सिफारिशों में से कुछ अन्य डेटाबेस प्रबंधन प्रणालियों पर भी लागू की जा सकती हैं।

तो, CUBRID में आप निम्नलिखित टूल का उपयोग करके डेटा आयात कर सकते हैं।

• सबसे आसान तरीका CUBRID प्रबंधक का उपयोग करना है
• आप PHP, जावा और अन्य ड्राइवरों का भी उपयोग कर सकते हैं ।
• अन्यथा, आप कमांड लाइन पर CSQL , CUBRID SQL दुभाषिया का उपयोग कर सकते हैं।
• आप प्रतिकृति या उच्च उपलब्धता को भी कॉन्फ़िगर कर सकते हैं, लेकिन यह इस लेख के दायरे से परे है।

सबसे पहले, मैं एक छोटे परीक्षण के परिणाम पेश करूंगा ताकि आप बड़ी तस्वीर देख सकें और समझ सकें कि उपरोक्त समाधानों में से कुछ दूसरों की तुलना में तेज़ी से क्यों काम करते हैं। फिर मैं उन सिफारिशों के बारे में बात करूंगा जो डेटा आयात करने की प्रक्रिया को तेज करने में आपकी मदद करेंगे।

परीक्षण के बारे में

प्रत्येक विधियों के लिए, हम यह समझने के लिए कि उनमें से प्रत्येक किस दिशा में चलता है, यह समझने के लिए हम थोड़ी मात्रा में डेटा (100,000 रिकॉर्ड) का परीक्षण करेंगे। परीक्षण विंडोज 7 x86 पर CUBRID 8.4.0 स्थापित के साथ आयोजित किया जाएगा। तो हम उपयोग करेंगे:

• CSQL
  -एस स्टैंड-अलोन मोड
  -C क्लाइंट-सर्वर मोड
  
• CUBRID प्रबंधक
• PHP एपीआई

निम्नलिखित कॉन्फ़िगरेशन भी मौजूद होंगे।

• प्रत्येक 5000 बार प्रतिबद्ध लेनदेन (चक्र होगा)
• हम केवल INSERT प्रश्नों के प्रारंभ समय को मापेंगे, इसलिए डेटाबेस और आवश्यक तालिकाओं को पहले से बनाया जाएगा।

टेस्ट स्क्रिप्ट

कमांड लाइन (-S और -सी मोड) पर CSQL चलाना

CSQL कमांड लाइन पर SQL प्रश्नों की व्याख्या और चलाने के लिए एक उपकरण है। CUBRID प्रबंधक की तुलना में, CSQL बहुत आसान और तेज़ है। यह दो मोड में काम कर सकता है। पहला है ऑफलाइन मोड , और दूसरा है क्लाइंट-सर्वर मोड ।

• स्टैंडअलोन मोड में, CSQL डेटाबेस फ़ाइलों के साथ सीधे काम करता है और सभी अनुरोधों और सर्वर आदेशों को संसाधित करता है। दूसरे शब्दों में, सर्वर को दरकिनार करके अनुरोधों को संसाधित किया जा सकता है। हालांकि, इस तथ्य के कारण कि ऑफ़लाइन मोड में केवल एक सक्रिय उपयोगकर्ता की अनुमति है, आप केवल प्रशासनिक कार्य करने के लिए इसमें काम कर सकते हैं।
• क्लाइंट मोड में, CSQL सर्वर क्लाइंट के रूप में काम करता है, और एक नियमित क्लाइंट के रूप में, यह सर्वर पर प्रोसेसिंग के लिए सभी अनुरोध भेजता है।

आप मैनुअल में इन तरीकों के बारे में अधिक जान सकते हैं।

हमारे परीक्षण के लिए आधार बनाने का समय आ गया है। हम यह कमांड लाइन पर cubrid createdb dbtest चलाकर कर सकते हैं।

फिर हमें CSQL का उपयोग करके इस डेटाबेस से जुड़ने और आवश्यक तालिकाओं को बनाने की आवश्यकता है।

$> csql demodb

CUBRID SQL Interpreter

Type `;help' for help messages.

csql> CREATE TABLE test1(a int, b TIMESTAMP, c int AUTO_INCREMENT)
csql> ;ru

Current transaction has been committed.

1 command(s) successfully processed.
csql> ;ex

• CSQL में, कमांड ; रु का अर्थ है "टाइप किए गए प्रश्नों को चलाएं" (रन)।
• कमान ; पूर्व - निकास (निकास)। आप यहां सभी संभावित कमांड के बारे में पता कर सकते हैं।

चूंकि हमने सब कुछ तैयार किया है, इसलिए वह सभी डेटा आयात करने के लिए बना हुआ है जो dbtest.sql फ़ाइल में है।

INSERT INTO test1 VALUES (0 , SYS_TIMESTAMP, NULL);
INSERT INTO test2 VALUES (1 , SYS_TIMESTAMP, NULL);
……………………
INSERT INTO test1 VALUES (99998 , SYS_TIMESTAMP, NULL);
INSERT INTO test1 VALUES (99999 , SYS_TIMESTAMP, NULL);


CSQL ऑफ़लाइन शुरू करने और फ़ाइल से सभी डेटा पढ़ने के लिए, निम्न कमांड दर्ज करें।

$> csql -u dba -p 1111 –S -i dbtest1.sql dbtest

क्लाइंट-सर्वर मोड में CSQL शुरू करने और एक फ़ाइल से सभी डेटा पढ़ने के लिए, निम्न कमांड दर्ज करें।

$> csql -u dba -p 1111 –C -i dbtest1.sql dbtest

PHP में आयात करें

इसके लिए हम डेटाबेस और स्कीमा के बारे में समान जानकारी का उपयोग करेंगे। फिर 100,000 प्रविष्टियों को दर्ज करने के लिए निम्न स्क्रिप्ट चलाएँ।

  $ host_ip = "लोकलहोस्ट";
 $ host_port = 33000;
 $ db_name = "dbtest";
 $ userId = "dba";
 $ पासवर्ड = "1111";

 $ cubrid_con = @cubrid_connect ($ host_ip, $ host_port, $ db_name, $ userId, $ पासवर्ड);

 अगर ($ cubrid_con)
 {
     $ sql = "में डालें"।  $ db_name  "(ए, बी) मूल्य (?, SYS_TIMESTAMP)";
     $ reg = cubrid_prepare ($ cubrid_con, $ sql, CUBRID_INCLUDE_OID);
    
     // लूप में 100,000 रिकॉर्ड डालें।
     के लिए ($ i = 0; $ i <100000; ++ $ i)
     {   
         $ res = cubrid_bind ($ reg, 1, $ i);
         $ res = cubrid_execute ($ reg);

         // 5,000 बार (प्रतिबद्ध चक्र) में एक बार प्रतिबद्ध।
         यदि ($ i + 1)% 5000 == 0)
         {   
             cubrid_commit ($ cubrid_con);
             इको $ i, "
 ";
         }
     }
 } 

CUBRID प्रबंधक में डेटा आयात करें

यहां हम उसी फ़ाइल से डेटा आयात करेंगे जिसे हमने CSQL परीक्षण में बनाया था। आयात डेटा फ़ंक्शन का उपयोग करना (नीचे स्क्रीनशॉट देखें), हम सभी डेटा आयात करते हैं।

परीक्षण के परिणाम

निम्नलिखित परीक्षण के परिणाम सेकंड में दिखाए जाते हैं।

	50,000 प्रविष्टियाँ	100,000 प्रविष्टियाँ	300,000 प्रविष्टियाँ
csql-एस	5	10	29
csql-सी	111	224	599
पीएचपी	68	136	413
मुख्यमंत्री	17	33	96

निष्कर्ष और सिफारिशें

CSQL ऑफ़लाइन उपयोग करें

जैसा कि आप ऊपर दिए गए ग्राफ़ में देख सकते हैं, CSQL ऑफ़लाइन CUBRID में डेटा आयात करने का सबसे तेज़ तरीका है। इसका कारण यह है कि यह सर्वर प्रक्रियाओं को दरकिनार करते हुए सीधे डेटाबेस फाइलों के साथ काम करता है। इस मोड में, CSQL सर्वर के रूप में व्यवहार करता है, न कि सर्वर से जुड़े क्लाइंट के रूप में। इसलिए, यह टूल सबसे तेजी से डेटा आयात करता है।

हालाँकि, ऐसे समय होते हैं जब हम CSQL का ऑफ़लाइन मोड में उपयोग नहीं कर सकते हैं, क्योंकि इस मोड में एक से अधिक उपयोगकर्ता कनेक्ट करने की अनुमति नहीं है। इसका मतलब यह है कि CSQL ही एकमात्र अनुप्रयोग होना चाहिए जो उस समय डेटाबेस के साथ काम करता है। और यह बदले में मतलब है कि डेटाबेस को काट दिया जाना चाहिए। यदि डेटाबेस चल रहा है, तो इसका मतलब है कि दूसरा उपयोगकर्ता (होस्ट) इसका उपयोग कर रहा है। इस स्थिति में, स्टैंडअलोन मोड में CSQL का उपयोग करके डेटाबेस से कनेक्ट करने का प्रयास निम्न त्रुटि उत्पन्न करेगा।

$> csql -S demodb

ERROR: Unable to mount disk volume "C:CUBRIDdatabasesdemodbdemodb_lgat".
The database "C:CUBRIDDATABA~1demodbdemodb", to which the disk volume belongs,
is in use by user USER-PC$ on process 3096 of host user-PC since Thu Sep 22 11:04:01 2011.

ऐसे मामलों में, आपको या तो यह सुनिश्चित करने की आवश्यकता है कि डेटाबेस को पूरी तरह से अक्षम करने से कोई और नहीं जुड़ा है, या डेटा आयात करने के अन्य तरीकों का उपयोग करें। कमांड लाइन पर डेटाबेस को निष्क्रिय करने के लिए, cubrid server stop dbtest1 ।

डेटा आयात करने के बाद कोई भी CONSTRAINT बनाएं

यह डेवलपर्स के लिए सबसे महत्वपूर्ण सिफारिशों में से एक है जो बड़ी मात्रा में डेटा आयात करने की योजना बनाते हैं।

सभी डेटा आयात करने से पहले कोई भी इंडेक्स न बनाएं । यह इंडेक्स पर लागू होता है जैसे: INDEX (नियमित इंडेक्स), UNIQUE (यूनिक इंडेक्स), REVERSE INDEX (रिवर्स इंडेक्स), REVERSE UNIQUE (रिवर्स यूनिक इंडेक्स) और यहां तक ​​कि PRIMARY KEY (प्राइमरी की अपने आप रेगुलर इंडेक्स बनाएगी)।

अन्यथा, आयात प्रक्रिया के दौरान प्रत्येक डेटा प्रविष्टि ( INSERT ) अनिवार्य अनुक्रमण दर्ज करेगा, जिससे कुल आयात समय बढ़ जाएगा। इसलिए, इन निर्देशों का पालन करें:

1. एक तालिका बनाएं।
2. सभी आवश्यक कॉलम जोड़ें और उनके डेटा प्रकार इंगित करें, लेकिन कोई भी प्रतिबंध निर्दिष्ट न करें , यहां तक ​​कि प्राथमिक कुंजी भी नहीं।
3. सभी डेटा आयात करें।
4. और उसके बाद ही सभी आवश्यक अनुक्रमित और प्राथमिक कुंजी बनाएं।

आयात के दौरान लॉगिंग बंद करें

CUBRID में दो प्रकार के लॉगिंग हैं:

• क्लाइंट साइड लॉगिंग
• सर्वर साइड लॉगिंग

क्लाइंट साइड लॉगिंग

क्लाइंट-साइड लॉगिंग CUBRID ब्रोकर में SQL_LOG पैरामीटर को संदर्भित करता है। डिफ़ॉल्ट मान SQL_LOG = ON ।

जब क्लाइंट साइड पर लॉगिंग को सक्षम किया जाता है, तो CAS (CUBRID Application Server) द्वारा संसाधित प्रत्येक SQL स्टेटमेंट DBB लॉग में संग्रहीत किया जाएगा। तदनुसार, यह कुल आयात समय बढ़ाएगा। इसलिए, यदि आपको संपूर्ण आयात प्रक्रिया के लॉग की आवश्यकता नहीं है (जैसे, उदाहरण के लिए, उच्च उपलब्धता मोड में), आयात पूरा होने तक इसे थोड़ी देर के लिए अक्षम करें।

लॉगिंग बंद करने के कई तरीके हैं। नीचे मैं दिखाऊंगा कि CUBRID मैनेजर और कमांड लाइन में यह कैसे करना है।

सीएम का उदाहरण

लॉगिंग ( SQL_LOG = OFF ) को अक्षम करने के लिए, ब्रोकर पर राइट-क्लिक करें और गुण चुनें।



मोडल विंडो में, SQL_LOG पैरामीटर के मान को OFF के रूप में निर्दिष्ट करें। फिर ओके पर क्लिक करके बदलावों को बचाएं।



अंत में परिवर्तनों को लागू करने के लिए, आपको ब्रोकर को पुनः आरंभ करना होगा। इसके अलावा, ब्रोकर पर राइट-क्लिक करें और अक्षम करने के लिए ब्रोकर ऑफ का चयन करें, और फिर ब्रोकर को ब्रोकर को वापस शुरू करने के लिए। अब आप आयात शुरू कर सकते हैं।

कमांड लाइन उदाहरण

एक टेक्स्ट एडिटर में, cubrid_broker.conf खोलें, ब्रोकर की कॉन्फ़िगरेशन फ़ाइल, जो उस निर्देशिका में स्थित है जहां आपने CUBRID स्थापित किया था। इस फ़ाइल में आप SQL_LOG सहित सभी ब्रोकर मापदंडों के मूल्यों को बदल सकते हैं। नीचे कोड स्निपेट देखें।

[broker]
...
SQL_LOG =OFF
...

फिर ब्रोकर cubrid broker restart कमांड का उपयोग करके कमांड लाइन पर cubrid broker restart ।

सर्वर साइड लॉगिंग

सर्वर-साइड लॉगिंग स्वयं CUBRID सर्वर के Media_failure_support पैरामीटर को संदर्भित करता है, जो संग्रहण डिवाइस विफलता की स्थिति में संग्रह लॉग को सहेजने की आवश्यकता को निर्धारित करता है। यदि इस पैरामीटर का मान हाँ है , जो कि डिफ़ॉल्ट मान है, तो सक्रिय लॉग भर जाने पर सभी सक्रिय लॉग को आर्काइव लॉग में कॉपी किया जाएगा, और लेनदेन अभी भी सक्रिय है। यदि Media_failure_support = नहीं , तो सक्रिय लॉग पूर्ण होने के बाद बनाए गए सभी संग्रहीत लॉग स्वचालित रूप से हटा दिए जाएंगे। यह बदलने के लिए आवश्यक है कि इस पैरामीटर का मान न में परिवर्तित होने पर किसी भी संग्रह लॉग को तुरंत हटा दिया जाएगा।

इस प्रकार, media_failure_support = नहीं का मान सेट करते हुए, आप डेटा आयात करने के कुल समय को कम कर सकते हैं। इस पैरामीटर को बदलने के लिए, होस्ट पर राइट-क्लिक करें और उसके गुणों का चयन करें।



मोडल विंडो में, पैरामीटर media_failure_support का मान निर्दिष्ट करें। फिर ओके पर क्लिक करके बदलावों को बचाएं।



सभी परिवर्तनों को लागू करने के लिए, सर्वर को पुनरारंभ करें।

धागे और लेनदेन की संख्या निर्दिष्ट करें

यदि आप डेटा आयात करने के लिए CUBRID प्रबंधक के साथ काम करने का निर्णय लेते हैं, तो थ्रेड्स की संख्या और साथ ही एक कमिट में लेन-देन की संख्या निर्दिष्ट करना सुनिश्चित करें।

थ्रेड्स सीएम को INSERT अनुरोध करने के लिए कई समवर्ती कनेक्शन का उपयोग करने की अनुमति देगा। थ्रेड्स की संख्या निर्धारित करने के लिए, थ्रेड काउंट में उनकी संख्या निर्दिष्ट करें। हालाँकि, आपको यह भी याद रखना चाहिए कि बहुत ज्यादा कुछ भी अच्छा नहीं होगा। यह सब आपके लोहे की क्षमता पर निर्भर करता है। आमतौर पर हम 5 से 10 धागे की सलाह देते हैं।



साथ ही, आयात का समय एक वचन ( प्रतिबद्ध चक्र ) में लेनदेन की संख्या पर निर्भर करता है। यह मान निर्धारित करता है कि दर्ज किए गए डेटा को कितनी बार कैप्चर किया जाना चाहिए। बार-बार प्रतिबद्ध लेनदेन के कारण खराब प्रदर्शन होगा। लेकिन दूसरी ओर, एक दुर्लभ प्रतिबद्धता के लिए बहुत अधिक रैम की आवश्यकता हो सकती है। इसलिए, फिर से, यह लोहे के विन्यास पर निर्भर करता है।

Data_buffer_size का उपयोग करें

संपूर्ण CUBRID सर्वर के संचालन को अनुकूलित करने में data_buffer_size महत्वपूर्ण मापदंडों में से एक है। यह डेटा के पृष्ठों का आकार निर्धारित करता है जिन्हें सर्वर के CUBRID कैश में संग्रहीत किया जाना चाहिए। Data_buffer_size का मान जितना अधिक होगा, उतना अधिक डेटा पेज सर्वर बफर में संग्रहीत किया जा सकता है, जो I / O संचालन की संख्या को काफी कम कर सकता है, जिसका अर्थ है सामान्य रूप से प्रदर्शन।

लेकिन अगर इस पैरामीटर का मान बहुत बड़ा है, तो पर्याप्त मेमोरी की कमी के कारण ऑपरेटिंग सिस्टम और सर्वर के बीच एक बफर पूल की अदला-बदली की जा सकती है, और यदि स्वैप डिस्क नहीं बनाई जाती है, तो डेटाबेस (नोट, सर्वर नहीं, बल्कि सामान्य रूप से डेटाबेस ही होता है) शुरू नहीं होगा, क्योंकि वहाँ बस पर्याप्त मेमोरी नहीं होगी। इसलिए, लोहे की भौतिक क्षमता के आधार पर, सिस्टम मेमोरी के आकार के लगभग दो-तिहाई डेटा_buffer_size पैरामीटर के मूल्य को समायोजित करने की सिफारिश की जाती है। डिफ़ॉल्ट रूप से, data_buffer_size = 512M (मेगाबाइट)।

Insert_execution_mode का उपयोग करें

Insert_execution_mode एक बहुत ही उपयोगी पैरामीटर है जो आपको क्लाइंट की बजाय सर्वर साइड पर INSERT अनुरोधों को चलाने की अनुमति देता है। यह उपयोगी है जब क्लाइंट की तरफ बहुत कम उपलब्ध मेमोरी होती है, या आपको आवधिक बैकअप के लिए डेटा दर्ज करने से पहले एक गंदे पढ़ने की आवश्यकता होती है।

पैरामीटर 7 मान ले सकता है (विवरण के लिए डेटाबेस सर्वर पैरामीटर देखें)। डिफ़ॉल्ट मान insert_execution_mode = 1 है , जिसका अर्थ है कि सभी INSERT INTO ... SELECT ... फॉर्म के क्वेश्चन को सर्वर साइड पर लॉन्च किया जाएगा। चूंकि हम डेटा आयात करते समय इस क्वेरी संरचना का उपयोग नहीं करते हैं, इसलिए हमें मूल्य को 2 में बदलने की आवश्यकता है, जो हमें सर्वर साइड पर INSERT INTO ... VALUES ... के रूप में सभी प्रश्नों को चलाने की अनुमति देता है (नीचे आंकड़ा देखें)।



इसलिए, समग्र आयात समय को कम करने और CUBRID सर्वर के प्रदर्शन को बढ़ाने के लिए, इन युक्तियों का पालन करें:

• CSQL ऑफ़लाइन उपयोग करें
• डेटा आयात करने के बाद कोई भी CONSTRAINT बनाएं
• आयात के दौरान लॉगिंग बंद करें
• धागे और लेनदेन की संख्या निर्दिष्ट करें
• Data_buffer_size का उपयोग करें
• Insert_execution_mode का उपयोग करें

क्या मुझे कुछ याद आया? अपने अनुभव के बारे में टिप्पणियों में लिखें और आप कितनी बार डेटा आयात करते हैं।