Node.JS और 1C से साइट पर एक निर्देशिका अपलोड करना

दूसरे दिन, एक और परियोजना बंद कर दी गई। निचला रेखा: ऑनलाइन कैटलॉग का एक नया संस्करण बनाना। साइट के पुराने संस्करण, कई कारणों से, क्लाइंट के अनुरूप नहीं थे। परियोजना की एक विशेषता इसका नामकरण आधार था। कैटलॉग नामकरण की मात्रा ~ 13,000 आइटम 513 नोड्स + उत्पाद विशेषताओं के एक पेड़ पर बिखरे हुए थे। लगभग हर नामकरण आइटम में पाठ का 1-2K विवरण था।

पुरानी साइट के लिए ComerceML 2 प्रारूप में कैटलॉग अपलोड फ़ाइल का वजन 104 एमबी है। यह 1C की तरफ 10 मिनट के लिए बनाया गया था और होस्टिंग में स्थानांतरित होने के बाद, इसे साइट साइड पर एक घंटे और आधे (!) में 100% CPU उपयोग के साथ पार्स किया गया था।

स्थिति से बाहर का रास्ता

XML प्रारूप के विकल्प के रूप में, उन्होंने इसे JSON पर अपलोड करने का निर्णय लिया। यह विचार जेन्सन को उस चीज़ के साथ पार्स करने का प्रयास करने के लिए है जिसमें पार्सर का मूल कार्यान्वयन है, अर्थात् नोड के साथ इसका JSON.parse ()।

इसके लिए एक नए प्रारूप से निपटने के बाद, हमारे 1C उपनाम ने कई पुनरावृत्तियों को प्राप्त किया जो 1C को उतारने से वैध JSON का गठन किया। अनलोडिंग गठन का समय 10 से 3.5 मिनट तक कम कर दिया गया था। एक्सएमएल प्रारूप में 104 मेगाबाइट पर कब्जा करने वाला वही डेटा 58 मेगाबाइट के JSON में फिट होता है। लेकिन यह अपेक्षित था, एक और अप्रत्याशित था ...

उतराई के पारसिंग समय का परीक्षण करने के लिए, मैंने एक परीक्षण कोड स्केच किया:

// Node.js var fs = require('fs'); function parser(filename, callback){ fs.readFile(filename, { encoding:'utf8' }, function(err, dataFromFile){ var parsedData; if(err){ callback(err); } else { try { console.time('parse data'); //  -  ... parsedData = JSON.parse(dataFromFile.toString().trim()); // <-   . console.timeEnd('parse data'); // ...    " ". callback(null, parsedData ); } catch (e){ callback(e) } } }); } parser('../import/import.json', function(err, data){ if(err){ throw (err); } console.log('groups', data.groups.length); console.log('items', data.items.length); console.log('properties', data.properties.length); }); 

अपनी मशीन (सीपीयू 3.3GHz) पर इसे शुरू करने के बाद, मेरे पास चाय के लिए उठने का समय भी नहीं था। परिणाम और गति जिसके साथ यह कंसोल में प्रदर्शित किया गया था, मुझे लगता है कि कोड बग था और यह सही ढंग से काम नहीं करता था ...

> नोड पार्स.जेएस

पार्स डेटा: 718ms
समूह 513
आइटम 26098
गुण 149

लेकिन यह एक बग नहीं था। डेटा को वास्तव में पार्स किया गया था और। सेकंड में मेमोरी में संग्रहीत किया गया था। संग्रह में तत्वों की संख्या 1 सी में घोषित राशि के साथ पूरी तरह से मेल खाती है। जो कुछ बचा था, वह टेबल के नीचे गिरे जबड़े को खोजने के लिए था और संपूर्ण डेटा प्रोसेसिंग चक्र के साथ एक सेवा लिखना था।

अनलोडिंग सेवा की सामान्य वास्तुकला

सामान्य तौर पर, साइट पर अपलोड मानक योजना के अनुसार काम करता है:

• 1 सी से उतराई का गठन और अभिलेखागार द्वारा इसकी पैकिंग;
• एफ़टीपी के माध्यम से उत्पन्न फ़ाइलों को अपलोड करें;
• HTTP अपलोड हैंडलर;

योजना के अनुसार अनलोडिंग प्रोसेसर सेवा कार्यान्वित की जाती है:

1. संग्रह को अनपैक करें;
2. पार्स जोंसन;
3. HTTP प्रतिक्रिया में रिपोर्ट करें कि सब कुछ क्रम में है या कोई त्रुटि हुई है;
4. यदि सब कुछ ठीक है - रोजगार के झंडे को सेट करें और अंत तक डेटाबेस में डेटा भरें;
5. समाशोधन स्मृति मर जाते हैं।
6. ...
7. एक नई प्रक्रिया के रूप में पुनर्जन्म होना - इसके लिए मोनेट जिम्मेदार है।

उत्पादन में ( DigitalOcean, $ 10 के लिए टैरिफ ), कॉल के समय से बिंदु 3 तक, सेवा सामान्य रूप से 3-4 सेकंड के बाद काम करती है, जिसके बाद सेवा के दोहराया कॉल में व्यस्त ध्वज वापस आ जाएगा जबकि आधार भरा जा रहा है। डेटाबेस में डेटा दर्ज करने के साथ संपूर्ण अनलोडिंग प्रसंस्करण चक्र 80 - 90 सेकंड है। पार्सिंग के समय सीपीयू उपयोग 10 - 30% के आधार के साथ 70% तक एक एकल चोटी की तरह दिखता है।

संक्षेप में:

• अनलोडिंग गठन का समय 10 से 3.5 मिनट तक कम हो गया था;
• अपलोड की मात्रा 104 से 58 मेगाबाइट तक घट गई (संग्रह के बाद 1.5 मेगाबाइट);
• सर्वर साइड पर उतारने का कुल प्रसंस्करण समय डेढ़ घंटे से घटाकर डेढ़ मिनट कर दिया गया;
• ???????
• लाभ

पीएस डिबगिंग के दौरान सिरदर्द के लिए एक उपाय।

अपनी सभी गति के लिए, JSON.parse () डिबगिंग के लिए बहुत असुविधाजनक है। यदि JSON संरचना में कोई त्रुटि है, तो आपको लगभग शून्य डिबगिंग जानकारी मिलती है। जबकि आपका 1C विशेषज्ञ JSON में महारत हासिल कर रहा है, JSON Lint मॉड्यूल बहुत मदद करता है। इसका उपयोग स्टैंडअलोन उपयोगिता के रूप में या पुस्तकालय के रूप में किया जा सकता है। एक नियमित पार्सर के विपरीत, यह JSON फ़ाइल की लाइन नंबर को अपवाद वस्तु पर रिपोर्ट करता है जहां गलतफहमी हुई, जो, मेगाबाइट के दसियों फ़ाइल में जाम को पार्स करते समय, बहुत आसान जीवन को आसान बनाता है। ऐसी सुविधा के लिए मूल्य गति है। देशी JSON.parse () की तुलना में यह 5-7 गुना गिर जाएगा।

JSON लिंट के साथ एक ही परीक्षा कोड इस तरह दिखेगा:

 // Node.js var fs = require('fs'), jsonlint = require("jsonlint"); //      function parser(filename, callback){ fs.readFile(filename, { encoding:'utf8' }, function(err, dataFromFile){ var parsedData; if(err){ callback(err); } else { try { console.time('parse data'); //  -  ... /*  Jsonlint            JSON. *    5-7    JSON.parse(). */ parsedData = jsonlint.parse(dataFromFile); //   ,     . console.timeEnd('parse data'); // ...    " ". callback(null, parsedData ); } catch (e){ callback(e) } } }); } parser('../import/import.json', function(err, data){ if(err){ throw (err); } console.log('groups', data.groups.length); console.log('items', data.items.length); console.log('properties', data.properties.length); }); 

अंत में, मैं परंपरागत रूप से यह कामना करना चाहता हूं कि यह सामग्री किसी और के लिए भी उपयोगी थी और हमारे लिए उपयोगी थी।