उपयोगी डेटा के बड़े संस्करणों की पीढ़ी

मैं माल के एक बड़े डेटाबेस को बनाने के लिए एक तंत्र बनाने के अनुभव को साझा करना चाहता हूं। इसकी मदद से, हमारे उपयोगकर्ता एक लाख से अधिक, लेकिन कुछ ही मिनटों में विभिन्न रिकॉर्ड बना सकते हैं।

हमने माल लेखांकन की एक बड़ी प्रणाली बनाई। माल की मात्रा कई मिलियन से अधिक होने का वादा किया और यह हमारे लिए स्पष्ट हो गया कि मैन्युअल रूप से मेज पर सामान जोड़ना पर्याप्त नहीं होगा। उत्पाद, एक नियम के रूप में, एक ही प्रकार के होते हैं और केवल मापदंडों में भिन्न होते हैं। उदाहरण के लिए:

• लकड़ी के लिए पेंच जस्ती क्रॉस डी 3 मिमी लंबाई 16 मिमी
• स्क्रू ब्लैक क्रॉस डी 3 मिमी लंबाई 20 मिमी सीसी के लिए
• धातु के लिए पेंच जस्ती स्लॉट डी 4 मिमी लंबाई 16 मिमी
• पेंच काले स्लॉट डी 4 मिमी लंबाई 20 मिमी सार्वभौमिक
• ...

कई हजार पेंच हो सकते हैं। "हार्डवेयर" उत्पाद समूह के लिए, हमें नाखून, बोल्ट, नट, वाशर, डॉवेल की भी आवश्यकता है ... उदाहरण से पता चलता है कि नाम की संरचना में कई फ़ील्ड शामिल हैं, जिनमें से प्रत्येक के कई अर्थ हैं। स्क्रू नामों का पूरा सेट एक भाषा है (मैं आपको याद दिला दूं कि एक भाषा बहुत सारी पंक्तियाँ हैं) और इस भाषा को एक नियमित अभिव्यक्ति द्वारा वर्णित किया जा सकता है। आमतौर पर, प्रश्न का उत्तर देने के लिए एक नियमित अभिव्यक्ति का उपयोग किया जाता है: स्ट्रिंग भाषा से संबंधित है या नहीं। हमारे मामले में, हमें व्युत्क्रम समस्या को हल करने की आवश्यकता है: एक नियमित अभिव्यक्ति का उपयोग करके, लाइनों के पूरे सेट का निर्माण करें या एक भाषा उत्पन्न करें। यानी यूजर कुछ इस तरह से एंट्री कर सकता है
(|) D (2|3|3,5|4|5|6|7|8|9|10) (10|12|16|20|25|30|40|50|60|80|100) (|) ( | | |)
कार्यक्रम में सभी प्रकार के पेंच उत्पन्न होने चाहिए। यह ध्यान दिया जाना चाहिए कि कुछ नियमित अभिव्यक्ति अनंत भाषाओं का वर्णन करती हैं, इसलिए प्रत्येक अभिव्यक्ति का उपयोग डेटा उत्पन्न करने के लिए नहीं किया जा सकता है। उदाहरण के लिए, अभिव्यक्ति [0-9]+ गैर-नकारात्मक पूर्णांक की भाषा का वर्णन करती है और यह अनंत है।
डेटा उत्पन्न करने के लिए, हम दो विधियों का उपयोग करते हैं।

ऑटोमेशन जनरेशन

ओपनसोर्स ऑटोमेशन पैकेज राज्य मशीनों के साथ काम करने में सक्षम है, जो संक्षेप में एक नियमित अभिव्यक्ति है। अन्य विशेषताओं के अलावा, पुस्तकालय एक नियमित अभिव्यक्ति से मेल खाने वाले तार उत्पन्न कर सकते हैं। अगला तकनीकी मुद्दा सभी विकल्पों को उत्पन्न करना और उन्हें डेटाबेस में रखना है।
हालांकि, इस पद्धति में एक महत्वपूर्ण खामी है - काम की गति। यह कई हजार लाइनों पर अच्छी तरह से काम करता है, लेकिन लाखों रिकॉर्ड के लिए कई घंटे लग सकते हैं (मुख्यतः डेटाबेस में एक पंक्ति के धीमे सम्मिलन के कारण)। इसलिए, एक दूसरी विधि विकसित की गई थी।

नियमित अभिव्यक्ति एसक्यूएल

सोचिए अगर आप SQL क्वेरी (MySQL बोली) पर अमल करते हैं तो क्या होगा

 select concat('  ', t1.a, '  ', t2.a, '') from ( SELECT '3' as a union select '4' as a ) as t1, ( SELECT '16' as a union select '20' as a ) as t2 

परिणाम 4 लाइनें होगी, जिसे तुरंत तालिका में डाला जा सकता है:

 पेंच व्यास 3 मिमी लंबाई 16 मिमी
 पेंच व्यास 4 मिमी लंबाई 16 मिमी
 पेंच व्यास 3 मिमी लंबाई 20 मिमी
 पेंच व्यास 4 मिमी लंबाई 20 मिमी

यह सरल उदाहरण दिखाता है कि आप एक SELECT क्वेरी लिख सकते हैं और इसे डेटाबेस में वांछित पंक्तियों को सम्मिलित करने के लिए INSERT क्वेरी के भाग के रूप में उपयोग कर सकते हैं। ऐसी एसक्यूएल उत्पन्न करने के लिए, हमने एक सरल नियमित अभिव्यक्ति विश्लेषक लिखा। यह बस अभिव्यक्ति के अंदर कोष्ठक का चयन करता है, फिर ब्रैकेट के अंदर सभी प्रकार के स्ट्रिंग विकल्प उत्पन्न करने के लिए एक ही स्वचालन का उपयोग करता है। यह, उदाहरण के लिए, अभिव्यक्ति के लिए है
(3|4) (16|20)
कार्यक्रम कोष्ठक 3|4 और 16|20 में अभिव्यक्तियों का चयन करता है, फिर प्रत्येक जोड़ी कोष्ठक के लिए स्वचालन का उपयोग करके सभी प्रकार के मान उत्पन्न करता है और एक SQL क्वेरी उत्पन्न करता है।
इस तरह की क्वेरी एक रिकॉर्ड डालने से बहुत तेज है और कुछ ही सेकंड में लाखों पंक्तियों को जोड़ने में सक्षम है।

सीमा उत्पन्न डेटा

आखिरी समस्या बनी रही। एक पेंच 2 मिमी मोटी और 100 मिमी लंबी कल्पना करें। कोई नहीं हैं। मापदंडों के कुछ संयोजनों को सीमित करने के लिए हमें एक तंत्र की आवश्यकता थी। सबसे आसान तरीका उपयोगकर्ता को कुछ स्क्रिप्टिंग भाषा में एक फ़ंक्शन लिखने के लिए कहना है जो सभी मापदंडों को लेता है और सही / गलत देता है। लेकिन सबसे अधिक संभावना है कि यह उपयोगकर्ताओं की ओर से गलतफहमी को पूरा करेगा। इसलिए, हमने पिवट टेबल का उपयोग करने का निर्णय लिया ताकि उपयोगकर्ता मापदंडों के आवश्यक संयोजनों का चयन कर सके, जिसे हम तब सिलेक्ट क्वेरी के अंदर WHERE की शर्तों में जोड़ते हैं।



चित्रण एक धुरी तालिका दिखाता है, जिसमें स्तंभों का विस्तार किया गया है और कोशिकाओं को पीले रंग में उजागर किया गया है। ब्लू डेटाबेस में पहले से जोड़े गए उत्पादों को इंगित करता है, हरा, जिन्हें अभी तक जोड़ा नहीं गया है। यह देखा जा सकता है कि लकड़ी के लिए सभी काले शिकंजा पहले ही जोड़ दिए गए हैं, और धातु के लिए सभी जस्ती शिकंजा के आधे (110/220) जोड़ दिए गए हैं (यह समझने के लिए कि आपको किन लोगों को सारांश तालिका में "धातु के लिए सामग्री" कॉलम का विस्तार करने की आवश्यकता है)। उपयोगकर्ता ने भी प्रकाश डाला है और एक फिलिप्स पेचकश के लिए सिविल कोड ब्लैक के लिए शिकंजा जोड़ने की तैयारी कर रहा है और एक स्लेटेड पेचकश के लिए जस्ती है।
मैं इस बात का विवरण छोड़ देता हूं कि हमने गलत तरीके से उत्पन्न डेटा को कैसे हटाया और मौजूदा रिकॉर्ड को फिर से जोड़ने की प्रक्रिया सुनिश्चित की। यह MySQL (या अन्य डेटाबेस) के साथ काम करने की जटिलताओं से संबंधित है और पोस्ट के विषय के अनुरूप नहीं है।
इस तंत्र ने खुद को साबित किया है। उपयोगकर्ता इसे मास्टर करने और अपने काम में उपयोग करने में सक्षम थे। फिलहाल, हमारे ग्राहकों में से एक माल का सबसे बड़ा डेटाबेस 50 मिलियन रिकॉर्ड से अधिक है। इस मात्रा का अधिकांश कार्य के पहले महीने में बनाया गया था।