MySQL डेटाबेस का वैयक्तिकरण। दिलचस्प तकनीक

जिस कंपनी में मैं काम करता हूं, वहां हम एक डिपार्सेलाइज्ड बेस का इस्तेमाल प्रोडक्शन-ए के साथ करते हैं। फिलहाल इसकी कुल मात्रा लगभग 30 जीबी है। ओब्सेकेशन रूबी स्क्रिप्ट में लगभग 6 घंटे लगे। इस सभी को एक संग्रहित प्रक्रिया में पुनः लिखकर प्रसंस्करण में तेजी लाई जा सकती है। लेकिन हमारी परियोजना में उन्हें मना किया जाता है ... काश, आह।

तब मैंने सोचा: क्या केवल एक अपडेट स्टेटमेंट का उपयोग करके प्रक्रिया को अधिकतम गति देना, पूरे डेटाबेस (या कम से कम पूरी तरह से एक तालिका) का प्रतिरूपण करना संभव है? समस्या यह है कि कुछ क्षेत्रों में होना चाहिए सूची से अद्वितीय और कुछ यादृच्छिक मूल्य।


यह आप कर सकते हैं निकला। थोड़ा विचार के साथ, समाधान कस्टम चर, एक छद्म यादृच्छिक संख्या जनरेटर और एक केस स्टेटमेंट के साथ आया।

नीचे कुछ कोड और स्पष्टीकरण दिए गए हैं:

खेतों के साथ एक उपयोगकर्ता तालिका होने दें:
first_name
लिंग
last_name
ADDRESS_1
address_2
home_phone
जन्मतिथि
एसएसएन
पासवर्ड

स्थगन के बाद होना चाहिए:
पहला_नाम: महिलाओं में - पेट्रीसिया, टेलर, सुसान, लिसा, लिंडा, सैंड्रा, कैरोल, डेबरा, टेरेसा, रेबेका, डायना, वेरोनिका, हेलेन, एलेक्जेंड्रा, स्वेतलाना, एलोना, मरीना, मिला, ओल्गा, वासिलिसा, मार्ता
पुरुष - डेविड, जॉन, रॉबर्ट, स्टीवन, विलियम, मार्क, थॉमस, माइकल, रिचर्ड, केविन, डोनाल्ड, एंड्रयू, रुसलान, यूजीन, सर्गेई, एलेक्जेंडर, यूरा, इवान, डैनियल
लिंग: कोई परिवर्तन नहीं
last_name: जॉनसन, एंडरसन, रीड, एरिकसन, फ्रैंक, लुकास, जेनकिन्स, वॉटसन, मॉर्गन, किम, कोवलिनन, कोनोवलोव, टेरेशको, उरचिक, कुलशोव, किसलीकोव, अरेशनिक, पेकर, मैट्रोसिन, गैलाघर
पता 1: 123 मेन स्ट्रीट
address_2: यदि मूल में कुछ भी नहीं है, तो आपत्ति के बाद इसे NULL होना चाहिए, अन्यथा पता 123 मुख्य सड़क है
home_phone: यदि मूल में कुछ भी नहीं है, तो आपत्ति के बाद इसे NULL होना चाहिए, अन्यथा फ़ोन 111-111-2222
जन्मतिथि: जन्म का वर्ष समान छोड़ें, और तिथि और महीना बदलें
ssn: with 30 ’से शुरू होने वाली प्रत्येक पंक्ति के लिए एक यादृच्छिक नौ-वर्ण मान अद्वितीय
पासवर्ड: NULL

समाधान:

SET @rand = 276821; UPDATE users SET first_name= CASE WHEN gender='F' || gender='f' THEN ELT(FLOOR(1+RAND() * 21), 'Patricia', 'Taylor', 'Susan', 'Lisa', 'Linda', 'Sandra', 'Carol', 'Debra', 'Teresa', 'Rebecca', 'Diana', 'Veronika', 'Helen', 'Alexandra', 'Svetlana', 'Elona', 'Marina', 'Mila', 'Olga', 'Vasilisa', 'Marta') ELSE ELT(FLOOR(1+RAND() * 19), 'David', 'John', 'Robert', 'Steven', 'William', 'Mark', 'Thomas', 'Michael', 'Richard', 'Kevin', 'Donald', 'Andrew', 'Ruslan', 'Eugene', 'Sergey', 'Alexandr', 'Yura', 'Ivan', 'Daniel') END, last_name = ELT(FLOOR(1+RAND() * 20), 'Johnson', 'Anderson', 'Reed', 'Erickson', 'Frank', 'Lucas', 'Jenkins', 'Watson', 'Morgan', 'Kim', 'Kovalinen', 'Konovalov', 'Tereshko', 'Urchik', 'Kuleshov', 'Kisliakov', 'Areshnik', 'Pekar', 'Matroskin', 'Gallagher'), address_1 = '123 Main Street', address_2 = CASE WHEN address_2 is not null THEN 'Apt. 14' ELSE null END, home_phone = CASE WHEN home_phone is not null THEN '111-111-2222' ELSE null END, birthdate = CASE WHEN birthdate is not null THEN MAKEDATE(YEAR(birthdate),FLOOR(RAND()*365)) ELSE null END, ssn = CASE WHEN ((@rand + 609673) % 1048576 <> 0) && ((@rand + 609673) % 1048576 <> 1000000) THEN CONCAT('30',LPAD(@rand:=(@rand + 609673) % 1048576,7,'0')) ELSE CONCAT('30',LPAD(@rand:=(@rand + 609673*2) % 1048576,7,'0')) END, password = null; 

जैसा कि आप कोड से देख सकते हैं, आप ELT (FLOOR (1 + RAND () * 21), ...) का उपयोग कर सूची से एक यादृच्छिक मान का चयन कर सकते हैं, जहाँ FLOOR (1 + RAND () * 21) 1 से लेकर सीमा में यादृच्छिक मान का चयन करते हैं। 21. ईएलटी - निर्दिष्ट सूचकांक के साथ उपयुक्त नाली का चयन करता है।

CASE आपको लिंग द्वारा पुरुष और महिला नामों को अलग-अलग चुनने में मदद करता है। चार CASE, IF, IFNULL (), NULLIF () प्रगति को नियंत्रित करने के लिए ऐसे कार्य हैं जिनका उपयोग एक अलग स्टेटमेंट में किया जा सकता है।

जो अभी भी उल्लेख के लायक है, वह अद्वितीय मूल्य का एक यादृच्छिक मूल्य जनरेटर है। एक प्रमुख संख्या (276821) को जनरेटर के प्रारंभिक मूल्य के रूप में चुना गया था और उपयोगकर्ता चर रैंड को लिखा गया था। निम्नलिखित मान सीधे CASE स्टेटमेंट में सेट किया गया है: rand : = ( rand + 609673 * 2)% 1048576। अभिव्यक्ति CONCAT ('30', LPAD ( रैंड , 7, '0')) रैंड वैल्यू का अंतिम रूप बनाता है।

निष्कर्ष:
आधार का प्रतिरूपण करके हमने इस तरह से क्या हासिल किया है?
1) निष्पादन की गति 6 घंटे से 4 मिनट तक कम हो गई थी।
2) संग्रहीत प्रक्रियाओं का उपयोग नहीं किया जाता है।
3) काम का एक स्पष्ट (जटिल नहीं) तर्क और सभी कोड एक ही स्थान पर एकत्र किए जाते हैं।