NodeJS पर एक पार्सर लिखना

पहले, पार्सिंग के लिए मुख्य पुस्तकालय JSDOM था, जो अत्यधिक भार से पीड़ित था और वास्तव में पार्सिंग प्रक्रिया को धीमा कर दिया था। लेकिन समय बदल गया है और चीयरियो आ गया है। वह लगभग सब कुछ वैसा ही करता है, और प्रक्रिया से अधिकता को छोड़ देता है, जबकि वह खुद jQuery के कुछ हिस्से को लागू करता है (अर्थात जिसे हमें पार्स करने की आवश्यकता है)। और इस वजह से, यह उत्पादकता बढ़ाने के लिए रेगेक्सपी का उपयोग किए बिना, आपको अंततः एक गैर-निरोधात्मक पार्सर लिखने की अनुमति देता है। यह xml के साथ मेल खाता है, केवल आपको इसे {xmlMode: true} के साथ कॉल करने की आवश्यकता है। एक बिल्ली के नीचे आप आसानी से नोडजेएस पर कैसे पार्स कर सकते हैं।

प्रौद्योगिकी के

हम Q को Defered बनाने और अतुल्यकालिक कतार बनाने के लिए उपयोग करेंगे, सामग्री निकालने के लिए अनुरोध करेंगे, और स्वयं पार्स करने के लिए चीयरियो ।

निर्वात संख्या 1 में उदाहरण

request(url, function(err, res, body){ if(err){console.log(err);} else{ $ = cheerio.load(body); var cards = []; $('.card').each(function(){ cards.push({ title:$('.title',this).text(), url:$('a',this).attr('href') }); }); } } 

इस तरह से आप पेज को स्पार्स कर सकते हैं।

लेकिन क्या होगा अगर एक से अधिक पृष्ठ हों? अगर हम प्रॉमिस का उपयोग किए बिना हेड-ऑन हल करते हैं तो हमें 2 समस्याएं होंगी। पहला स्टैक करने जा रहा है, दूसरा स्कोप के दोहराव से मेमोरी में जा रहा है। सभी बुराई की जड़ निश्चित रूप से एक पुनरावर्ती कार्य है जो हमें पार्स करते समय बहुत अधिक सूट नहीं करता है, इसलिए हमें ओस्प्रे के स्तर को बढ़ाए बिना एक अतुल्यकालिक कतार बनाने की आवश्यकता है।

ऐसा करने के लिए, हम अपने कार्यक्रम को 2 चरणों में विभाजित करते हैं:
चरण 1: पेजिनेटर के साथ एक पृष्ठ लेना और कुल पृष्ठों की संख्या का पता लगाना।
स्टेज 2: एक अतुल्यकालिक कतार बनाना जिसमें हम अपने पार्सिंग फ़ंक्शन को हुक करते हैं।

अतुल्यकालिक कतार में निष्पादित होने वाले फ़ंक्शन को 2 तरीकों से किया जा सकता है।
पहला: हम प्रत्येक कॉल के लिए पहले से सबस्कॉप बनाते हैं (उत्पादन में प्रवेश करने से पहले नीचे दिए गए कोड को शोधन की आवश्यकता होती है):

 for(var i = 0; i<l;i+=){ chain.then(asyncF.bind({page: i})); } 

अतुल्यकालिक फ़ंक्शन के अंदर इस पृष्ठ से संदर्भ का एक रीडिंग होना चाहिए।

एक अन्य तरीका यह है कि वैश्विक रूप में एक सामान्य डेटा स्ट्रीम हो, और एसिंक्रोनस फ़ंक्शंस के अंदर एक नंबर ट्रांसफर करें जो कि एसिंक्रोनस फ़ंक्शन में पहले से ही बढ़ जाएगा, जैसा कि नीचे दिया गया है:

एक निर्वात नंबर 2 में उदाहरण

 //stage 1 request('pager',function(err,res, body){ $ = cheerio.load(body); var pager = $('.pager'); var limitPage = parseInt( pager.eq(pager.length-1).text().trim(), 10); //stage 2 function parsePage(page){ var defer = Q.defer(); request('/pager/'+page,function(err,res, body){ if(page<=limitPage){ defer.resolve(page+1); //              } else { defere.reject(); } //      }); // promise     . return defer.promise; } var chain = Q.fcall(function(){ return parsePage(1); }); for(var i = 2; i<limitPage;i++){ chain = chain.then(function(page){ return parsePage(page); //       ,   . }); } }); 

अद्यतन:

Node.JS के साथ काम करते समय मुद्दों को एन्कोडिंग:

उन एन्कोडिंग्स में से एक के साथ काम करने के लिए जो मूल रूप से नोड.जेएस में नहीं हैं, आपको डेटा को बफ़र के रूप में स्वीकार करने की आवश्यकता है - इसके लिए आपको एन्कोडिंग के साथ कॉल करने का अनुरोध करने की आवश्यकता है: शून्य और फिर, आइकनव लाइब्रेरी का उपयोग करके, पहले से ही पार्स करें।

एन्कोडिंग उदाहरण

 var request = require('request'); var Iconv = require('iconv').Iconv; var fromEnc = 'cp1251'; var toEnc = 'utf-8'; var translator = new Iconv(fromEnc,toEnc); request( { url:'http://winrus.com/cpage_r.htm', encoding:null }, function(err,res,body){ console.log(translator.convert(body).toString()); } );