"EMFILE, बहुत अधिक खुली फ़ाइलें" समस्या का समाधान

शुभ दोपहर
404 त्रुटि संदेशों को एक अलग लॉग फ़ाइल में रखना एक ऐसी सामान्य बात है कि ऐसा लगता है कि इसके साथ कोई कठिनाई नहीं हो सकती है। कम से कम, मैंने ऐसा सोचा था, जब तक कि एक सेकंड में ग्राहक ने डेढ़ हजार लापता फाइलों का अनुरोध नहीं किया।
Node.js सर्वर ने "EMFILE, बहुत अधिक खुली फ़ाइलें" को शाप दिया और डिस्कनेक्ट कर दिया।
(डिबग मोड में, मैं विशेष रूप से मुख्य लूप में आने वाली त्रुटियों को नहीं पकड़ता)

तो, फ़ाइल में सेव फंक्शन क्या था:

log: function (filename, text) { //     filename  now() + text var s = utils.digitime() + ' ' + text + '\n'; // utils.digitime() -   -      .. :: fs.open(LOG_PATH + filename, "a", 0x1a4, function (error, file_handle) { if (!error) { fs.write(file_handle, s, null, 'utf8', function (err) { if (err) { console.log(ERR_UTILS_FILE_WRITE + filename + ' ' + err); } fs.close(file_handle, function () { callback(); }); }); } else { console.log(ERR_UTILS_FILE_OPEN + filename + ' ' + error); callback(); } }); } 

ठीक है, यही है, सब कुछ सीधे "माथे पर" है - खुला, नीचे लिखें, अगर कोई त्रुटि है, तो हम कंसोल पर प्रिंट करते हैं। हालाँकि, जैसा कि ऊपर उल्लेख किया गया है, यदि आप इसे अक्सर कहते हैं, तो फ़ाइलों को बंद करने का समय नहीं है। लिनक्स में, उदाहरण के लिए, हम सभी अप्रिय परिणामों के साथ kern.maxfiles के मूल्य में चलते हैं।

सबसे दिलचस्प

समाधान के लिए, मैंने एसिंक्स लाइब्रेरी को चुना, जिसके बिना मैं जीवन की कल्पना नहीं कर सकता।
लॉग फ़ंक्शन ही मॉड्यूल के "निजी" दायरे में ले जाया गया था, जिसका नाम बदलकर __log और थोड़ा संशोधित किया गया है: अब इसमें एक कॉलगर्ल है:

 __log = function (filename, text) { return function (callback) { var s = utils.digitime() + ' ' + text + '\n'; fs.open(LOG_PATH + filename, "a", 0x1a4, function (error, file_handle) { if (!error) { fs.write(file_handle, s, null, 'utf8', function (err) { if (err) { console.log(ERR_UTILS_FILE_WRITE + filename + ' ' + err); } fs.close(file_handle, function () { callback(); }); }); } else { console.log(ERR_UTILS_FILE_OPEN + filename + ' ' + error); callback(); } }); }; }; 

सबसे महत्वपूर्ण बात: निजी में हम __writeQueue चर बनाते हैं:

  __writeQueue = async.queue(function (task, callback) { task(callback); }, MAX_OPEN_FILES); 

और मॉड्यूल के सार्वजनिक भाग में, लॉग अब काफी सरल दिखता है:

  log: function (filename, text) { __writeQueue.push(__log(filename, text)); }, 

क्या वह सब है ?!

वास्तव में। अन्य मॉड्यूल अभी भी इस f-ju को कुछ कहते हैं

 function errorNotFound (req, res) { utils.log(LOG_404, '' + req.method + '\t' + req.url + '\t(' + (accepts) + ')\t requested from ' + utils.getClientAddress(req)); .. 

और कोई त्रुटि नहीं है।

तंत्र सरल है: हमने MAX_OPEN_FILES को एक उचित संख्या में स्थिर किया है, जो खुले फ़ाइल डिस्क्रिप्टर की अधिकतम स्वीकार्य संख्या से कम है (उदाहरण के लिए, 256)। इसके अलावा, सभी रिकॉर्डिंग प्रयासों को समानांतर किया जाएगा, लेकिन केवल तब तक जब तक कि उनकी संख्या निर्दिष्ट सीमा तक न पहुंच जाए। सभी नए सिरे से आने वाली कतार को कतारबद्ध किया जाएगा और पिछले प्रयासों के पूरा होने के बाद ही शुरू किया जाएगा (याद रखें, हमने कॉलबैक जोड़ा; बस इसके लिए!)।

मुझे उम्मीद है कि यह लेख उन लोगों के लिए इस समस्या को हल करने में मदद करेगा जो इसके साथ सामना कर रहे हैं। या - इससे भी बेहतर - एक निवारक उपाय के रूप में काम करेगा।
सौभाग्य है।