ट्रैफेट - डेटा की जाँच और परिवर्तित करने के लिए पुस्तकालय

प्रारंभिक डेटा - आप एक निश्चित सेवा का निर्माण कर रहे हैं, और आपको पता चलेगा कि आप एक विशिष्ट प्रारूप में बाहर से डेटा प्राप्त करेंगे।
मान लीजिए कि यह JSON होगा, यह आप नहीं हैं जो इसकी संरचना निर्धारित करता है, और सामान्य तौर पर, यह है:

sample_data = { 'userNameFirst': 'Adam', 'userNameSecond': 'Smith', 'userPassword': 'supersecretpassword', 'userEmail': 'adam@smith.math.edu', 'userRoles': 'teacher, worker, admin', } 

परियोजना के अंदर, निश्चित रूप से, मैं चाहूंगा कि संरचना अलग हो:

 import hashlib desired_data = { 'name': 'Adam', 'second_name': 'Smith', 'password': hashlib.md5('supersecretpassword').hexdigest(), 'email': 'adam@smith.math.edu', 'roles': ['teacher', 'worker', 'admin'], } 

संभवतः आंतरिक प्रारूप में परिवर्तित करना है, यह प्रयास करें:

 new_data = { 'name': sample_data['userNameFirst'], 'second_name': sample_data['userNameSecond'], 'password': hashlib.md5(sample_data['userPassword']).hexdigest(), 'email': sample_data['userEmail'], 'roles': [s.strip() for s in sample_data['userRoles'].split(',')] } assert new_data == desired_data, 'Uh oh' 

लेकिन यहाँ संदेह है कि भेजे गए नमूने में सभी संभावित क्षेत्र शामिल नहीं हैं। हम इसे ध्यान में रखेंगे और अधिक लचीला विकल्प लिखेंगे:

 FIELDS = { 'userNameFirst': 'name', 'userNameSecond': 'second_name', 'userEmail': 'email', } new_data = dict((n2, sample_data[n1]) for n1, n2 in FIELDS.items()) new_data['roles'] = [s.strip() for s in sample_data['userRoles'].split(',')] new_data['password'] = hashlib.md5(sample_data['userPassword']).hexdigest() assert new_data == desired_data, 'Uh oh' 

अच्छी, लचीली, आसानी से बड़ी संख्या में खेतों तक फैली हुई है। जैसे ही पूर्ण विनिर्देश उपलब्ध हो जाता है, हम आसानी से अपने कोड को इसमें बढ़ा देंगे।

और फिर अचानक एक छोटा अद्यतन आता है - 'userEmail' एक वैकल्पिक क्षेत्र है। साथ ही, उपयोगकर्ताटाइट फ़ील्ड जोड़ा जाता है, जो डिफ़ॉल्ट रूप से, यदि पास नहीं हुआ है, तो 'बैचलर' होना चाहिए।
हमारे हाथ ऊब के लिए नहीं हैं, जब पूरी जानकारी अंत में आने का इंतजार कर रहे हैं, तो हम वैकल्पिक फ़ील्ड और डिफ़ॉल्ट मानों की संभावना को ध्यान में रखेंगे।

 desired_data['title'] = 'Bachelor' #      FIELDS = { 'userNameFirst': 'name', 'userNameSecond': 'second_name', 'userEmail': ('email', '__optional'), 'userTitle': ('title', 'Bachelor'), } new_data = {} for old, new in FIELDS.items(): if isinstance(new, tuple): new, default = new if old not in sample_data: if default == '__optional': continue new_data[new] = default else: new_data[new] = sample_data[old] new_data['roles'] = [s.strip() for s in sample_data['userRoles'].split(',')] new_data['password'] = hashlib.md5(sample_data['userPassword']).hexdigest() assert new_data == desired_data, 'Uh oh' 

नरक, इतने कम क्षेत्र और इतना कोड। यह आसान था, हम माथे में अब तक बेहतर निर्णय लेंगे।

 new_data = { 'name': sample_data['userNameFirst'], 'second_name': sample_data['userNameSecond'], 'password': hashlib.md5(sample_data['userPassword']).hexdigest(), 'roles': [s.strip() for s in sample_data['userRoles'].split(',')] } if 'userEmail' in sample_data: new_data['email'] = sample_data['userEmail'] new_data['title'] = sample_data.get('userTitle', 'Bachelor') assert new_data == desired_data, 'Uh oh' 

आह, अनुचित जटिलता के बिना एक अच्छा परिचित कोड, ठीक है। लेकिन जब पूरा स्पेसिफिकेशन आएगा तो क्या होगा? जाहिरा तौर पर हम दूसरे विकल्प पर लौटेंगे, इसमें डेटा सत्यापन, अच्छे त्रुटि संदेश जोड़ें, इसे लाइब्रेरी में पैक करें और इसका उपयोग करें।
हम्म, लेकिन वहाँ पहले से ही इस तरह के एक पुस्तकालय है, देखें:

 import trafaret as t hash_md5 = lambda d: hashlib.md5(d).hexdigest() comma_to_list = lambda d: [s.strip() for s in d.split(',')] converter = t.Dict({ t.Key('userNameFirst') >> 'name': t.String, t.Key('userNameSecond') >> 'second_name': t.String, t.Key('userPassword') >> 'password': hash_md5, t.Key('userEmail', optional=True) >> 'email': t.Email, t.Key('userTitle', default='Bachelor') >> 'title': t.String, t.Key('userRoles') >> 'roles': comma_to_list, }) assert converter.check(sample_data) == desired_data 

यहाँ ले लो github.com/Deepwalker/trafaret

स्क्रिप्ट के रूप में इस विषय का पूरा कोड यहाँ है gist.github.com/2023370

त्रुटियों के लिए nimnull के अनुरोध पर एक छोटा सा जोड़।

जवाब में त्रुटियों को मानव भाषा में पकड़ा और रिपोर्ट किया जाना चाहिए। आमतौर पर, अपवाद हो सकते हैं, निश्चित रूप से, कोई व्यक्ति त्रुटि को ठीक कर सकता है, और इसलिए आपको एक संदेश लिखने की आवश्यकता है ताकि पते को समझ सकें।

उपरोक्त उदाहरणों में, त्रुटियों को आम तौर पर केवल बाद के दिनों में उत्पन्न किया जाएगा, क्योंकि बाकी में मैंने कोड को जटिल नहीं किया। मैंने फैसला किया कि सभी समान त्रुटियां सत्यापन के बारे में हैं, और ट्रैफ़िक में यह केवल एक डेटाबेस है, डेटा रूपांतरण के बारे में ट्रैफ़ेट।

अधिक सटीक रूप से github.com/barbuza/contract , जिससे ट्रैफ़ेट बनाया गया था, और यह सत्यापन के बारे में था और इससे अधिक कुछ नहीं। एक अच्छी बात, स्पष्ट रूप से कार्य करता है। लेकिन मेरे पास थोड़ा अलग काम था, और फंकपर्सेर्लिब से '>>' की छाप थी। वास्तव में funcparserlib '>>' में स्टैंसिल की तरह ही होता है - यह प्रसंस्करण के लिए एक उपयोगकर्ता फ़ंक्शन के लिए एकत्रित डेटा पास करता है।

वापस गलतियों के लिए। स्टैंसिल त्रुटियां ट्रैफ़ेक्ट का उदाहरण हैं। DataError प्रत्येक DataError में एक त्रुटि विशेषता है। सरल प्रकारों के लिए, जैसे कि फ्लोट, इंट, स्ट्रिंग, आदि, यह अंग्रेजी में त्रुटि का वर्णन करने वाला एक स्ट्रिंग है। डिक्ट के लिए, मैपिंग और सूची एक शब्दकोश है। डिक्ट और मैपिंग के लिए यह स्पष्ट है - शब्दकोश तत्व फ़ील्ड चेकिंग से एकत्र की गई त्रुटियां हैं। सूची के मामले में, चाबियाँ संख्याएं होंगी - तत्वों की स्थिति संख्या। संगठन के लिए अन्य विकल्प अनुचित लगते हैं।

यह एक उदाहरण है:

 >>> import trafaret as t >>> c = t.Dict({'a': t.List(t.Int)}) >>> c.check({'a': [4, 5]}) {'a': [4, 5]} >>> c.check({'a': [4, 'a', 6]}) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "trafaret/__init__.py", line 110, in check return self._convert(self._check_val(value)) File "trafaret/__init__.py", line 804, in _check_val raise DataError(error=errors) trafaret.DataError: {'a': DataError({1: DataError(value cant be converted to int)})} 

हां, जैसा कि आप उदाहरण से देख सकते हैं, आपको त्रुटि को पकड़ने की आवश्यकता है, लेकिन अब इस बारे में नहीं है - हमें नेस्टेड त्रुटियां मिली हैं, और इसके लिए धन्यवाद हम यह निर्धारित कर सकते हैं कि हमारे पास कहां और क्या त्रुटियां हैं।

त्रुटि को अधिक सुविधाजनक रूप में अनुवाद करने के लिए एक छोटा सहायक है:

 >>> t.extract_error(c, {'a': [4, 'a', 6]}) {'a': {1: 'value cant be converted to int'}} 

और कुछ उद्देश्यों के लिए और भी सुविधाजनक:

 >>> from trafaret.utils import unfold >>> unfold(t.extract_error(c, {'a': [4, 'a', 6]}), prefix='form') {'form__a__1': 'value cant be converted to int'} 

अंतिम उदाहरण के बारे में - नहीं, रूपों के साथ स्टैंसिल काम नहीं करता है। यही है, इसमें एक भी विजेट नहीं है, और कीमिया / टेबल पर कीमिया या एक अद्भुत रूप में रूपों का निर्माण नहीं करता है। लेकिन HTML फॉर्म के साथ आए डेटा की जांच करना काफी संभव है।

शायद यही सब है, प्रश्न पूछें, मैं जोड़ सकता हूं।

निष्कर्ष में, मैं उपयोग और लचीलेपन का एक कट्टर उदाहरण फेंक दूंगा:

 >>> todt = lambda m: datetime(*[int(i) for i in m.groups()]) >>> (t.String(regex='^year=(\d+),month=(\d+),day=(\d+)$') >> todt).check('year=2011,month=07,day=23') datetime.datetime(2011, 7, 23, 0, 0)