एन्क्रिप्टेड मापदंडों को डेटास्टेज में कैसे स्थानांतरित किया जाए

यह कोई रहस्य नहीं है कि IBM DataStage में 8.7 से पहले के संस्करणों में उपयोग किए जाने वाले एन्क्रिप्टेड पैरामीटर (यानी एन्क्रिप्टेड प्रकार के) डिक्रिप्ट करने में बहुत आसान हैं। ये एन्क्रिप्टेड सेटिंग्स अक्सर डेटाबेस से कनेक्ट करने के लिए आवश्यक पासवर्ड को स्थानांतरित करने के लिए उपयोग की जाती हैं।
कॉर्पोरेट ओडीएस का निर्माण करते समय (और, कुछ मामलों में, डेटा वेयरहाउस के मामले में भी), यह सार्वभौमिक नौकरियों को बनाने के लिए समझ में आता है - तथाकथित जेनरिक, जो बाहर से पूरी तरह से कॉन्फ़िगर करने योग्य हैं और प्रत्येक तालिका के लिए विशिष्ट जानकारी शामिल नहीं है, और इसलिए उन्हें कई ईटीएल प्रक्रियाओं के लिए इस्तेमाल किया जा सकता है। स्रोत डेटाबेस (निष्कर्षण) से डेटा निकालते समय यह विशेष रूप से आवश्यक है। इस स्थिति में, प्रत्येक डेटा स्रोत के लिए पासवर्ड कॉन्फ़िगरेशन फ़ाइलों में संग्रहीत किया जाना चाहिए। और आपको विभिन्न उद्यमों की सुरक्षा नीतियों के तहत झुकना होगा, यह दिखावा करना होगा कि यह एक विश्वसनीय एन्क्रिप्शन एल्गोरिथ्म है और एन्क्रिप्टेड DataStage फॉर्म में कॉर्पोरेट डेटा के लिए स्टोर पासवर्ड है।
लेकिन समस्याएं पैदा होती हैं अगर आप नौकरी के लिए ऐसे मापदंडों को पारित करना चाहते हैं। क्या समस्याओं और उन्हें हल करने के लिए मैं इस लेख में लिखूंगा।

और क्या, वास्तव में, समस्या है?

मान लीजिए कि आपके पास एक कॉन्फ़िगरेशन फ़ाइल है जिसमें आप अपनी ईटीएल प्रक्रिया का वर्णन करते हैं। इससे कोई फर्क नहीं पड़ता कि यह किस रूप में संग्रहीत है। उदाहरण के लिए, हम XML का उपयोग करते हैं। इस कॉन्फ़िगरेशन में आप डेटाबेस को एन्क्रिप्टेड रूप में पासवर्ड सहेजना चाहते हैं, उदाहरण के लिए इस तरह:

<export> <parameters> <parameter name="SQL" handleQuotes="Y"> <value><![CDATA[select * from STAGING.TABLE]]></value> </parameter> <parameter name="DB" value="SAMPLEDB"/> <parameter name="USER" value="USER"/> <parameter name="PASSWORD" value="L<I@@9V8M=;M07GILIJLBK96BLN"/> </parameters> </export> 

आप कॉन्फ़िगरेशन पढ़ते हैं, जेनेरिक के लिए आवश्यक पैरामीटर निकालते हैं। यदि आप इस पासवर्ड को किसी काम के लिए एन्क्रिप्ट किए गए पैरामीटर के रूप में पास करने का प्रयास करते हैं, तो DataStage इसे एक अनएन्क्रिप्टेड पासवर्ड के रूप में मानेगा और इसे फिर से एन्क्रिप्ट करेगा। इसके अलावा, इससे कोई फर्क नहीं पड़ता कि आप कैसे गुजरते हैं: सीक्वेंसर में JobActivity या बेसिक DSSetParam फ़ंक्शन के माध्यम से।
DSXchange और अन्य StackOverflow में यह कैसे करना है पर कुछ जानकारी होती है। लेकिन यह सब किसी तरह से बहुत औसत दर्जे का है। बाहरी एन्क्रिप्शन / डिक्रिप्शन टूल और बाद में खुले (स्ट्रिंग) फ़ॉर्म में पासिंग पैरामीटर का उपयोग करने के विकल्प हमें पसंद नहीं आएंगे, क्योंकि पासवर्ड डेटास्टोर डायरेक्टर लॉग में चमकेंगे (हमें याद है कि हम आंतरिक एल्गोरिदम की विश्वसनीयता के बारे में चुप हैं और एक खुला रहस्य रखते हैं)।

समस्या के संभावित समाधान

1. DataStage C API का उपयोग करें;
2. एक पैरामीटर फ़ाइल बनाएं और इसे dsjob -run -paramfile के साथ उपयोग करें;
3. पासवर्ड को नौकरी पर भेजने से पहले डिक्रिप्ट करें;
4. प्रत्येक डेटा स्रोत के लिए एक पैरामीटर बनाएं।

संक्षेप में: इनमें से कोई भी तरीका काम नहीं करता है। खैर, या हम खुश नहीं हैं। और यहाँ क्यों है।

1. दरअसल, एपीआई में एक DSPARAM संरचना होती है जिसे निम्नानुसार वर्णित किया गया है
   

    typedef struct _DSPARAM { int paramType; union { char *pString; char *pEncrypt; int pInt; float pFloat; char *pPath; char *pListValue; char *pDate; char *pTime; } paramValue; } DSPARAM; 

   
   जिसमें एनक्रिप्टेड char *pEncrypt । इस पैरामीटर में पैरामीटर का प्रकार होना चाहिए, इस स्थिति में DSJ_PARAMTYPE_ENCRYPTED ।
   मैंने यह तरीका आजमाया नहीं है। तथ्य यह है कि, मेरी राय में, यह सिर्फ नौकरी शुरू करने के लिए बहुत ही अनुचित तरीके से महंगा तरीका है , इसके अलावा, आपको नौकरी के साथ काम करने के पूरे तर्क को लागू करना होगा: प्रारंभ करें, सभी मापदंडों को स्थानांतरित करें, इसकी स्थिति को ट्रैक करें और आपातकालीन समाप्ति के रिवर्स प्रसार के साथ अनुक्रमक को वापसी की स्थिति दें किस स्थिति में (त्रुटि हैंडलर इस मामले में अपवाद नहीं पकड़ेगा)। ईटीएल प्रक्रिया की पठनीयता गिर जाएगी और केवल एक कुशल काली मिर्च ही इस तरह की परियोजना का समर्थन करने में सक्षम होगी (हाँ, हर कोई वरिष्ठों को काम पर नहीं रख सकता है, जो डेटास्टेज को जानने के अलावा सी ज्ञान भी रखते हैं)। अन्य बातों के अलावा, क्लाइंट हमेशा आपको सर्वर / PXEngine / lib निर्देशिका (सर्वर / PXEngine / user_lib) लिखने का अधिकार नहीं देगा, जहां आपको संकलित वस्तु डालने की आवश्यकता होगी।
   सारांशित करना: ऐसा लगता है कि यह भाप ट्रेन उड़ जाएगी, लेकिन कोशिश करने का हमेशा मतलब नहीं होता है
2. यह विकल्प काम नहीं करता है। आम तौर पर। DataStage भी मापदंडों को फिर से एन्क्रिप्ट करता है, जैसा कि DSSetParam के मामले में है। और फिर, समाधान की स्थिरता के संदर्भ में सीक्वेंसर के बाहर नौकरी शुरू करना एक अप्रिय बात है। हम इस विकल्प पर भी ध्यान देते हैं।
3. हां, हम पासवर्ड को आसानी से और आसानी से डिक्रिप्ट कर सकते हैं और फिर यदि आवश्यक हो तो उन्हें आसानी से एन्क्रिप्ट भी किया जा सकता है। लेकिन आईबीएम ने 8.7 से शुरू होने वाले संस्करणों में एन्क्रिप्शन एल्गोरिदम को बदल दिया है, इसे और अधिक मजबूत एईएस में बदल दिया है। यानी यदि हम अपना समाधान माइग्रेट करते हैं (और, मेरा विश्वास करो, यह जल्दी या बाद में होगा), तो यह डेटास्टेज के नए संस्करणों में काम करना बंद कर देगा। हम इस विकल्प पर भी ध्यान देते हैं।
4. पहली बात जो मन में आती है: यह बदसूरत है। दूसरी चीज जो आती है: यह असुविधाजनक है। एक लड़ाकू वातावरण में, आपको हर बार एक और डेटा स्रोत जोड़ने के लिए एक नया पैरामीटर जारी करना होगा। और तीसरा, यह काम नहीं करेगा, क्योंकि हम नौकरी शुरू करते समय निर्धारित पैरामीटर का नाम गतिशील रूप से नहीं बदल सकते हैं।

समस्या हल करना

मुझे इस समस्या को हल करने का केवल एक ही तरीका मिला। एक और, अधिक स्पष्ट समाधान हो सकता है। लेकिन मैं उसके बारे में नहीं जानता।
मैंने मान टैब पर ParameterSets कॉन्फ़िगरेशन संवाद में देखा

मैंने पहले कभी इस टैब का उपयोग नहीं किया है और मैं यह मानने की हिम्मत करता हूं कि बहुत कम लोग इसका इस्तेमाल करते हैं और आम तौर पर जानते हैं कि इसकी आवश्यकता क्यों है। इस टैब में, आप उस टेक्स्ट फ़ाइल का नाम निर्दिष्ट कर सकते हैं जिसमें आपके द्वारा बनाए गए मापदंडों के सेट का मान संग्रहीत है।
यह फ़ाइल एक निर्देशिका में संग्रहीत की जाती है।
${PROJECT_DIR}/ParameterSets/__/
मुझे विश्वास नहीं हो रहा था कि एन्क्रिप्ट किए गए पैरामीटर स्पष्ट पाठ में इस फ़ाइल में संग्रहीत किए जाएंगे। और अगर ऐसा नहीं है, तो DataStage उन्हें पुनः एन्क्रिप्ट नहीं करेगा। हम परिकल्पना का परीक्षण करते हैं।

बहुत बढ़िया! यदि हम अब इस फ़ाइल की सामग्री को अन्य मापदंडों के साथ प्रतिस्थापित करते हैं (एन्क्रिप्ट किए गए पासवर्ड की आवश्यकता होती है), और पैरामीटर के इस सेट के साथ कार्य की कार्यशीलता की जांच करें, तो हम देखेंगे कि सब कुछ उसी तरह काम करता है जैसा कि इसे करना चाहिए।
अब, एक काम के कई स्वतंत्र उदाहरणों के लिए मापदंडों को पारित करने के लिए (यदि यह एक से अधिक उदाहरण है), तो आपको निम्नलिखित चरण करने होंगे:

1. आवश्यक फ़ील्ड के साथ एक पैरामीटर बनाएं। हमें कई सेट बनाने की जरूरत नहीं है। केवल एक। एक सेट अपने क्षेत्र मूल्यों के लिए कई फ़ाइलों का उपयोग कर सकता है।
2. ParameterSets कॉन्फ़िगरेशन के मान टैब में एक फ़ाइल नाम निर्दिष्ट करें। किसी भी। यह DataStage पैरामीटर के लिए एक निर्देशिका बनाने के लिए आवश्यक है
3. इस पैरामीटर को नौकरी के मापदंडों में जोड़ें
   
   
4. एन्क्रिप्टेड पैरामीटर के साथ एक नौकरी शुरू करने से पहले, एक ऐसी प्रक्रिया बनाएं जो (और यदि आवश्यक हो तो अधिलेखित कर देता है), नौकरी के प्रत्येक उदाहरण के लिए एक अद्वितीय नाम के साथ एक फ़ाइल। आपको याद दिला दूं कि फ़ाइल को डायरेक्टरी ${PROJECT_DIR}/ParameterSets/__/ को लिखा जाना चाहिए
5. काम शुरू करने के लिए, आपको फ़ाइल नाम को अपने पैरामीटर पैरामीटर के मान के रूप में निर्दिष्ट करना होगा
   
   कृपया ध्यान दें कि जब नौकरी शुरू होती है, तो डेटास्टेज लागू मापदंडों को मूल्य फ़ाइल से चिह्नित करता है।
   

एक निष्कर्ष के बजाय

उपरोक्त विधि का परीक्षण हमारे द्वारा संस्करणों> 8.5 में नहीं किया गया था, लेकिन सिद्धांत रूप में यह काम करना चाहिए, क्योंकि हमने यहां कुछ भी अलौकिक का उपयोग नहीं किया था। डेटास्टेज एडमिनिस्ट्रेटर में प्रोजेक्ट स्तर पर पैरामीटर मानों की घोषणा करना और उन्हें रनटाइम पर प्राप्त करना बेहतर होता है। DSParams में, सभी एन्क्रिप्ट किए गए पैरामीटर भी एन्क्रिप्टेड रूप में संग्रहीत किए जाते हैं, इसलिए उपरोक्त सभी विचार इस मामले पर भी लागू होते हैं। उदाहरण के लिए, हम अपनी प्रक्रियाओं को कॉन्फ़िगर करने के इस तरीके का उपयोग करते हैं:

 <export> <parameters> <parameter name="SQL" handleQuotes="Y"> <value><![CDATA[select count(*) from STAGING.TABLE]]></value> </parameter> <parameter name="PASSWORD"> <value><![CDATA[${SOURCE_PASSWORD}]]></value> </parameter> <parameter name="DB"> <value><![CDATA[${SOURCE_DB}]]></value> </parameter> <parameter name="USER"> <value><![CDATA[${SOURCE_USER}]]></value> </parameter> </parameters> </export> 

जहाँ SOURCE_ * प्रोजेक्ट चर हैं।