एक जटिल डेटाबेस संरचना के साथ एक एप्लिकेशन में डेटा लोड और संग्रहीत करना

व्यावसायिक अनुप्रयोगों को विकसित करते समय, परियोजना के साथ भंडार में डेटा संग्रहीत करने की समस्या हमेशा होती है। यह विषय विशेष रूप से कॉर्पोरेट ईआरपी, सीआरएम, मल्टी-बुक और सिस्टम पर प्रासंगिक है।
इसके लिए क्या है:

• परीक्षण प्रयोजनों के लिए
• संयुक्त विकास के लिए
• कुछ सॉफ्टवेयर एल्गोरिदम के लिए जो इस डेटा पर काम करते हैं

साथ ही, मॉडल को अपडेट करने के साथ-साथ एक कामकाजी मसौदे पर डेटा के विश्वसनीय अद्यतन की समस्या भी कम नहीं है।
हमारे सिस्टम में, हमने एक दृष्टिकोण लिया है जो आपको डेटा की अखंडता को नियंत्रित करने, डाउनलोड करने और इसे अपडेट करने की अनुमति देता है, रिपॉजिटरी में डेटा संग्रहीत करता है और एक ही समय में जल्दी और मज़बूती से काम करता है।

ऐसी भंडारण प्रणाली को क्या आवश्यकताएं पूरी करनी चाहिए?

सबसे पहले , डेटा को संस्करण में रखा जाना चाहिए।
दूसरे , संग्रहीत डेटा मानव-पठनीय होना चाहिए, उदाहरण के लिए, संस्करणों की तुलना करने के लिए।
तीसरा , संग्रहीत डेटा को आसानी से एक कार्य प्रणाली में लोड किया जाना चाहिए।

तो, सैकड़ों परस्पर संबंधित संस्थाओं, विरासत, श्रेणीबद्ध निर्देशिकाओं और इसी तरह की एक विशिष्ट ईआरपी प्रणाली पर विचार करें।

अनुभवहीन डेवलपर किस समाधान का उपयोग करता है? यह सही है, एक आधार डंप बनाता है और इसे संग्रहीत करता है। मैंने इसे स्वयं किया :)

ऐसे समाधान के नुकसान क्या हैं:
1. बाइनरी बैकअप मुश्किल / अक्षमता से VCS में संग्रहीत हैं
2. यदि बैकअप बड़ा और पाठ है - तो यह पता लगाना मुश्किल है कि क्या बदल गया है
3. किसी व्यक्ति के लिए कुछ पढ़ना और खोजना कठिन है


सामान्य तौर पर, डंप / बैकअप / एसक्यूएल स्क्रिप्ट स्टोर करने के लिए असुविधाजनक हैं, उन्हें समझना और भी असुविधाजनक है।

पाठ संरचना में डेटा स्टोर करने के लिए यह अधिक सही और सुविधाजनक है, उदाहरण के लिए, एक्सएमएल में। जैसे, वे VCS में पढ़ना, अलग करना और संग्रहीत करना आसान हैं। नए रिकॉर्ड बनाने, और मौजूदा अपडेट करने के लिए डेटा उसी तरह संग्रहीत किया जाता है।
इसके अलावा, MS SQL / Postgresql / Oracle मूल रूप से XML को पार्स कर सकता है, और MS SQL इसे सीधे तालिकाओं में भी लोड कर सकता है। भंडारण प्रारूप चुनते समय XML के मुख्य लाभों में से एक यह था।
वैसे, यह है कि कैसे एक्सैक्स मर्ज अलग एक्सएमएल फ़ाइलों के लिए दिखा सकता है


एक ही सवाल उठता है: यह निर्भरता, विदेशी कुंजी और रिश्तों को ध्यान में रखकर कैसे खुश होता है?
खैर ... आप इसे सबसे आसान तरीका कर सकते हैं: सभी विदेशी कुंजियों को हटाएं, डेटा लोड करें, फिर सभी कुंजियों को उनके स्थान पर लौटाएं । फिर से, यह चरण मेरे जीवन में बीत गया :)

निर्णय के विपक्ष:
1. कुंजी को हटाने / बनाने के लिए जटिल तर्क
2. यदि डेटाबेस संरचना जटिल है या डेटा की मात्रा बड़ी है, तो कुंजी बनाने / हटाने की प्रक्रिया लंबी हो सकती है
3. और सबसे महत्वपूर्ण बात: जब चाबियाँ बहाल की जाती हैं, तो एक त्रुटि केवल सभी डेटा लोड होने के बाद दिखाई देगी, इसलिए त्रुटि के स्थान को इंगित करने का कोई तरीका नहीं है।

कुंजी को हटाने / बनाने से कोई कैसे छुटकारा पा सकता है, और लोडिंग के बहुत शुरुआती चरण में भी संभव हो सकता है?

इस विषय पर विचार करते हुए, मैं इस निष्कर्ष पर पहुंचा कि डाउनलोड करने के लिए विदेशी कुंजियों और प्रतिबंधों को हटाना आवश्यक नहीं है। आपको बस सही क्रम में इकाई डेटा लोड करने की आवश्यकता है।
इस मामले में, विचार करें:
1. विदेशी कुंजी (वे भी इकाई संदर्भ हैं)
2. संस्थाओं का प्रवेश
3. पदानुक्रमित निकाय
4. संभव चक्र

इन समस्याओं को हल करने के लिए, मैंने एक ग्राफ के रूप में संस्थाओं का एक सेट प्रस्तुत किया और टोपोलॉजिकल सॉर्टिंग लागू किया। इसकी मदद से, मैंने सभी भरी हुई संस्थाओं को सॉर्ट किया ताकि किसी भी तत्व को लोड करने के समय सभी आवश्यक डेटा पहले से मौजूद हो।


नेटवर्क पर इस एल्गोरिदम के कई कार्यान्वयन हैं, लेकिन मैंने उस एक को लिया जो ओआरएम के साथ आया था। इनपुट पर, यह ऑब्जेक्ट्स और उन्हें जोड़ने वाली विधि का एक ज्ञान लेता है। आउटपुट पर, यह छोरों के साथ एक सॉर्ट की गई सूची + आउट पैरामीटर प्राप्त करता है, यदि कोई हो।
यह कुछ इस तरह दिखता है:

public static List<TNodeItem> Sort<TNodeItem>(IEnumerable<TNodeItem> items, Predicate<TNodeItem, TNodeItem> connector, out List<NodeConnection<TNodeItem, object>> removedEdges) {} 

काम करने के लिए इस एल्गोरिथ्म के लिए, मुख्य बात यह है कि इकाई ग्राफ और उसके संबंधों का सही ढंग से प्रतिनिधित्व करना है।
मेरे मामले में, कनेक्शन कनेक्टर इस तरह दिखता है:

प्राचीन मोलदावियन से अनुवाद में इसका मतलब है कि टाइप टी निर्भर करता है (एक निर्देशित कनेक्शन है) टाइप ओ अगर:
1. टी वारिस ओ
2. T खुले सामान्य प्रकार O का उत्तराधिकारी या बंद सामान्य प्रकार है
3. T का O में लिंक फ़ील्ड है
4. T के आधार वर्गों में O को संदर्भित करने वाले क्षेत्र हैं

यदि पहले दो स्थितियां बहुत स्पष्ट हैं, तो लिंक के साथ सब कुछ इतना सरल नहीं है, क्योंकि यह चक्रीय बांडों को ध्यान में रखना आवश्यक है। वास्तविक प्रणालियों में, संस्थाओं के बीच चक्र असामान्य नहीं हैं, सबसे स्पष्ट उदाहरण: कर्मचारी - विभाग। कर्मचारी विभाग का है, लेकिन विभाग में एक प्रमुख भी है जो एक कर्मचारी भी है।


ऐसे कनेक्शनों को तोड़ने के लिए मजबूर किया जाना चाहिए, ताकि छँटाई काम कर सके। इस उदाहरण में, कर्मचारी के "विभाग" क्षेत्र पर एक विशेषता रखी गई है, जो इंगित करता है कि इकाई संबंधों का निर्माण करते समय इस क्षेत्र को ध्यान में नहीं रखा जाता है। इस तरह के अंतराल के बाद, हालांकि, आपको उन क्षेत्रों में सही ढंग से भरने के लिए थोड़ा कोड लिखना होगा जो स्वचालित लोडिंग के दौरान नहीं भरे जा सकते हैं।

इस प्रकार, मैंने डेटा को एक सुविधाजनक प्रारूप में संग्रहीत करने में कामयाब रहा , परिवर्तनों को देखना और नियंत्रित करना आसान है, और यदि आवश्यक हो तो डेटाबेस में डेटा को सही ढंग से और जल्दी से लोड भी करना है। जिसकी मैं आपको कामना भी करता हूं।