दूसरा CUBRID प्रतियोगिता। समाधान के लिए खोजें

बहुतों ने शायद सुना है कि ओपन सोर्स प्रोजेक्ट CUBRID ने एक प्रतियोगिता आयोजित करने का फैसला किया है, और चूंकि काम जमा करने का समय पहले ही समाप्त हो चुका है, इसलिए मैं आपको बताऊंगा कि मैंने प्रतियोगिता के कार्य को कैसे हल किया, मैंने किस विधि का उपयोग किया और DBMS CUBRID का क्या सुविधाएँ हुई।

असाइनमेंट (लगभग)

एक डेटाबेस दिया जाता है, जिसमें टेबल्स होते हैं जिनमें कड़ाई से परिभाषित प्रकार के कॉलम होते हैं:

VARCHAR, CHAR, STRING, INT, SMALLINT, BIGINT, NUMERIC, FLOAT, DOUBLE, DATE, TIME, DATETIME  TIMESTAMP. 

यह गैर-संख्यात्मक मान को खोजने के लिए आवश्यक है जो डेटाबेस में सबसे अधिक बार सामना किया जाता है (एक जिसमें केवल संख्याएं नहीं होती हैं) और उपयोग की संख्या। उत्तर को परिणाम तालिका में लिखा जाना चाहिए। और वह सब (संक्षेप में, प्रतियोगिता पृष्ठ पर और अधिक विस्तार से पढ़ें)।

कार्य विश्लेषण

एक समाधान केवल आराम से बाहर खड़ा करने में सक्षम होगा यदि यह तेज है और रैम पर कम मांग है (बहुत सारे + मूल्य हो सकते हैं)। इसलिए, मैंने अस्थायी तालिका का उपयोग करके सबड को आँकड़ों का रखरखाव सौंपा। और मैंने सभी डालने के अनुरोधों के लिए on dublicate key update key update "count"="count"+1 उपसर्ग का उपयोग करके काउंटरों को अपडेट करने का निर्णय लिया। मैंने हैशिंग का उपयोग नहीं किया, क्योंकि परीक्षणों से पता चला कि इसका कोई उपयोग नहीं था (सबसे अधिक संभावना है, स्ट्रिंग कुंजियों के लिए हैशिंग का उपयोग पहले से ही CUBRID में किया जाता है)। मल्टीथ्रेडिंग का भी कोई प्रभाव नहीं होगा - एक समय में केवल एक प्रक्रिया तालिका में डेटा को बदल सकती है, जबकि अन्य को इंतजार करना होगा (आप लॉक को हटा सकते हैं, लेकिन डेटा अखंडता का उल्लंघन होगा)।

निर्णय

निम्नलिखित समाधान मन में आता है:

 init(); foreach(list_tables() as $table){ process_table($table); } save_result(); 

यह केवल 4 कार्यों को लागू करने के लिए बनी हुई है:

1. init एक फ़ंक्शन है जो एक अस्थायी तालिका बनाता है।
   नमूना कोड:
   

    global $tempTableName,$conn; $tempTableName='"temp'.rand(0,32767).'"'; $q='CREATE TABLE '.$tempTableName.'( "val" character varying(255) NOT NULL, "count" bigint DEFAULT 1 NOT NULL, CONSTRAINT pk_temp_hash_val PRIMARY KEY("val") )'; cubrid_execute($conn,$q); 

2. list_tables - एक फ़ंक्शन जो वर्तमान डेटाबेस में तालिकाओं की एक सूची प्राप्त करता है।
   चूँकि CUBRID MySql के समान है, पहली चीज़ जो आप देख सकते हैं, वह SHOW TABLES , जो हालाँकि 8.3.1 संस्करण द्वारा समर्थित नहीं है, (प्रलेखन डेटाबेस में तालिकाओं की सूची प्राप्त करने के लिए बहुत कम है), इसलिए हम सभी Cubrid WebQuery परियोजना पृष्ठ पर जाते हैं और कोड का अध्ययन करें। सबसे अधीर के लिए, मैं तुरंत आवश्यक sql क्वेरी उद्धृत करता हूं:
   

     select class_name as table_name from db_class where class_type='CLASS' and is_system_class='NO' and class_name!='results' order by a asc; 

   
   और हमारे कोड में इसका उपयोग करें।
   
   आप cubrid_schema फ़ंक्शन का उपयोग कर सकते हैं, लेकिन, वहां आपको अभी भी कक्षाओं के प्रकार को फ़िल्टर करने और अतिरिक्त करने की आवश्यकता है। प्रसंस्करण।
3. process_tables पूरे समाधान में सबसे दिलचस्प फ़ंक्शन है, जो तदनुसार आंकड़े बनाता है।
   
   कार्यान्वयन के कई संभावित विकल्प हैं:
   
   • select * + setFetchSize/cubrid_unbuffered_query
     जैसा कि मेरे परीक्षणों से पता चला (किसी को भी दिलचस्पी - जावा समाधान भी पोस्ट के निचले भाग में संग्रह में समाहित है) सबसे तेज़ समाधान नहीं है।
   • जावा प्रकार में संग्रहित फ़ंक्शन के लिए कॉल के साथ select * + स्थिति select * :
     where "int"<0 and counter("int") or length(translate("str",'0123456789',''))>0 and counter("str")
     जहाँ counter db में मान संग्रहीत करता है और गलत देता है।
     हालाँकि, इस तरह के अनुरोध से मेरा सिस्टम जम गया (जाहिरा तौर पर जावा में कार्यों को पूरी तरह से सम्मानित नहीं किया गया)।
   • insert from select ... on dublicate key update "count"="count"+1
     यह एक विकल्प है कि मैं मुख्य एक के रूप में स्थिति रखता हूं (हालांकि php ड्राइवर में त्रुटियों को देखते हुए, मुझे दोहरे मूल्यों को संसाधित करते समय अपनी बैसाखी के साथ आना पड़ा)।
   
   अब हमें किसी तरह कॉलम और उनके प्रकारों की एक सूची प्राप्त करने की आवश्यकता है, क्योंकि यह स्पष्ट है कि प्रत्येक प्रकार के कॉलम के लिए स्वयं का प्रसंस्करण हो सकता है:
   
   • integer प्रकार (या दशमलव स्थानों के बिना दशमलव) के लिए, एक साइन चेक पर्याप्त है।
     
   • सभी स्ट्रिंग मानों के लिए, सभी अंकों को हटा दें और फिर स्ट्रिंग की लंबाई की जांच करें।
     
   • अन्य सभी मूल्यों के लिए, किसी चेक की आवश्यकता नहीं है।
   
   सवाल यह भी उठता है - मूल्यों को स्ट्रिंग में बदलने के लिए किस प्रारूप में। मंच पर लंबी चर्चा के बाद, मैं इस नतीजे पर पहुंचा कि सबसे आदर्श विकल्प क्यूब्रिड प्रबंधक के रूप में एक ही प्रारूप का उपयोग करना है (जब यह चयन अनुरोध का परिणाम दिखाता है)।
   
   चूंकि एक ही प्रकार के सत्यापन को विभिन्न प्रकार के कॉलम (एक ही डेटा प्रकार के लिए अलग-अलग नाम) पर लागू किया जा सकता है, इसलिए मैंने सभी शर्तों और "उपनाम" को अलग-अलग सरणियों में डाल दिया है:
   

    $aliases=array( "STRING"=>"VARCHAR", 'CHAR'=>'VARCHAR', "INT"=>'INTEGER', "SHORT"=>'INTEGER', 'SMALLINT'=>'INTEGER', 'BIGINT'=>'INTEGER', 'DECIMAL'=>'NUMERIC', 'DEC'=>'NUMERIC', "REAL"=>'FLOAT', "DOUBLE PRECISION"=>'DOUBLE', ); // column process criteria and/or format $handlers=array( 'VARCHAR'=>array( 'select'=>'cast(%s as varchar(255))', 'criteria'=>"length(translate(%s,'0123456789',''))>0", ), 'INTEGER'=>array( 'select'=>'cast(%s as varchar(255))', 'criteria'=>"%s<0" ), 'FLOAT'=>array( 'select'=>"to_char(%s,'9.999999EEee')", ), 'DOUBLE'=>array( 'select'=>"to_char([double],'9.9999999999999999EEee')", ), 'DATE'=>array( 'select'=>"TO_CHAR(%s,'YYYY-MM-DD')", ), 'TIME'=>array( 'select'=>"TO_CHAR(%s,'HH24:MI:SS')", ), 'DATETIME'=>array( 'select'=>"to_char(%s,'YYYY-MM-DD HH24:MI:SS.FF')", ), 'TIMESTAMP'=>array( 'select'=>"to_char(%s,'YYYY-MM-DD HH24:MI:SS')", ), 'DEFAULT'=>array( 'select'=>'cast(%s as varchar(255))', ) ); 

   
   और अंत में, अंतिम चक्र:
   

    foreach(get_columns($q) as $column){ //echo "\tProcess column:".$column['column']."\n"; while(isset(self::$aliases[$column['type']])) $column['type']=self::$aliases[$column['type']]; // If column is decimal and has no precision then convert type to integer if($column['type']==='NUMERIC' && $column['scale']===0) $column['type']='INTEGER'; $criteria=(isset(self::$handlers[$column['type']])) ? self::$handlers[$column['type']]: self::$handlers["DEFAULT"]; $toSelect=(isset($criteria['select'])) ? $criteria['select'] : '%s'; // Depending of the column type build appropiate criteria $q='insert into '.$tempTableName.' ("hash","val") '. 'SELECT 1,'.$toSelect.' '. 'FROM `'.$qtable.'` '. 'where %s is not null and '.$criteria.' '. 'ON DUPLICATE KEY UPDATE "count"="count"+1'; $q=str_replace('%s','`'.$this->escape($column['column']).'`',$q); cubrid_execute($q); } 

   
   
4. save_result - परिणाम सहेजता है और अस्थायी तालिका हटाता है
   लेख को अधिभार नहीं देने के लिए, मैं परिणाम को बचाने के लिए केवल sql क्वेरी उद्धृत करता हूं
   

    'replace into results ("userid","most_duplicated_value","total_occurrences") select \''.cubrid_real_escape_string($userid).'\',val,"count" from "'.$tempTableName.'" order by "count" desc limit 1' 

   
   replace उपयोग किया जाता है क्योंकि परीक्षण के दौरान कोड कई बार चलाया जाता है, और सम्मिलित करने के मामले में, परीक्षण डेटा के एक ही सेट के लिए एक त्रुटि उत्पन्न होगी।

निष्कर्ष

हालांकि मैंने एक समाधान भेजा जो मेरे दिमाग में पूरी तरह से समाप्त नहीं हुआ था (चार के साथ एक समस्या थी और अस्थायी तालिका का नाम यादृच्छिक नहीं था, अशक्त मूल्यों के लिए कोई जांच भी नहीं थी) और, बहुत ही अंतिम समय में, मैंने इस दौरान घन प्रदर्शन किया, जावा में महारत हासिल की। प्रारंभिक स्तर पर, अंग्रेजी में अभ्यास किया और बहुत अधिक मूल्यवान अनुभव प्राप्त किया। एक प्रायोगिक विधि का उपयोग करते हुए, मुझे पता चला कि CUBRID में बहुत तेज क्वेरी दुभाषिया है, तालिकाओं के साथ बहुत तेज़ी से काम करता है, लेकिन इसमें रैम और अच्छे प्रलेखन में अस्थायी तालिकाओं के लिए समर्थन का अभाव है (अब यह एक संक्षिप्त सहायता की तरह दिखता है)। चूंकि CUBRID एक बहुत ही उत्पादक DBMS निकला, भविष्य में (जब मुझे मिली कुछ गलतियाँ ठीक हो गईं), मैं इसे उच्च-लोड परियोजनाओं में उपयोग करूँगा।

संदर्भ

1. इसे क्यूरिड करें - प्रतियोगिता पृष्ठ।
2. Cubrid यह मंच - बात पृष्ठ।
3. क्यूब्रीड वेबक्वायरी - क्यूबरीड मैनेजर का एक एनालॉग, जिसमें उपयोगी एसक्यूएल क्वेरी हैं।
4. क्यूबिड समाधान - मेरा समाधान, निश्चित (जावा + php + कोड परीक्षण डेटाबेस को आबाद करने के लिए)।

पुनश्च: यह हब पर मेरा पहला लेख है, मैंने सभी नियमों को ध्यान में रखने की कोशिश की (लेकिन अगर कुछ गलत है - लिखो, सही है, मैं गलतियों से सीखूंगा)। मैंने विषय को sql ब्लॉग में स्थानांतरित करने का निर्णय लिया (यह क्यूब्रिड कंपनी ब्लॉग में काम नहीं करेगा), क्योंकि यह संबंधित है।
PS2: कंपनी क्यूब्रिड के हैबरूसर ने एक उपयुक्त ब्लॉग की सलाह दी। वहां चले गए।
PS3: प्रतियोगिता के विजेता का निर्णय भी हब पर प्रकाशित किया जाता है