हैबर की शीर्ष टिप्पणियाँ - सेवा, कार्यान्वयन विवरण और कुछ आँकड़े (C #)

कुछ समय पहले पेज "बेस्ट कमेंट्स" को हैबर से हटा दिया गया था (विवरण यहां: habrahabr.ru/qa/18401 )।
फिर भी, मेरे लिए वहाँ देखना दिलचस्प था - और लुलज़ के लिए, और कभी-कभी दिलचस्प लेख उन लोगों से आते हैं जिन्हें मैंने टेप में याद किया। इसलिए मैंने अपनी छोटी सेवा करने का फैसला किया। मुझे उम्मीद है कि प्रशासन बुरा नहीं मानेगा।

वर्तमान सेवा URL: habrastats.comyr.com



पहले "संस्करण" ने अंतिम एन पदों से शीर्ष टिप्पणियों को प्रदर्शित किया, दो घंटे में लिनक्यूपैड में लिखा गया था और एक स्क्रीन ( पेस्टबिन ) पर कब्जा कर लिया था। यह स्पष्ट हो गया कि "ऑन डिमांड" पिछले 24 घंटों में पोस्ट के लिए उत्पन्न करना अवास्तविक है (प्रति सेकंड 1-2 पोस्ट की गति), जिसका अर्थ है कि आवधिक अद्यतन आवश्यक है। यहां से एक होम मशीन (हमेशा चालू) पर सेवा को चालू करने और स्थिर परिणामों को मुफ्त होस्टिंग पर अपलोड करने का विचार आया।

कार्यान्वयन के बारे में संक्षेप में

कोड: code.google.com/p/habra-stats
- C # में विंडोज सर्विस (4.5, VS2012 - नई सुविधाओं का उपयोग नहीं किया जाता है, 4.0 के तहत इकट्ठा किया जा सकता है)
- Regexp पर पार्सिंग (और हाँ, मुझे पता है: आप HTML को regex के साथ पार्स नहीं कर सकते , लेकिन यह करेगा)
- MS SQL एक्सप्रेस + इकाई फ्रेमवर्क (अच्छी तरह से, बहुत सुविधाजनक ORM)
- HTML पीढ़ी के लिए XSLT (कोडिंग और सीएसएस Habr से लिया गया था, प्रशासन मुझे फिर से माफ करेगा)

हर दो घंटे में, सेवा उठती है, habrahabr.ru/posts/collective/new पेज को पार्स करता है और नवीनतम पोस्ट की आईडी प्राप्त करता है, फिर पोस्ट को रिवर्स ऑर्डर में तब तक डाउनलोड करता है जब तक कि प्रकाशन की तारीख थ्रेशोल्ड तक नहीं पहुँच जाती (3 दिन से अधिक पुरानी)। पोस्ट्स को पार्स करके डेटाबेस में डाल दिया जाता है।
पहले, सभी मौजूदा पोस्ट डेटाबेस में लोड किए गए थे (इसमें दो दिन लगे)।
फिर, डेटाबेस से "रिपोर्ट" उत्पन्न की जाती हैं, जैसे "दिन का सबसे अच्छा", "तस्वीर के साथ महीने का सबसे खराब", आदि। रिपोर्ट के लिए डेटा केवल टिप्पणी वस्तुओं का एक संग्रह है जो धारावाहिक और XSLT द्वारा रूपांतरित हैं। परिणाम होस्टिंग के माध्यम से एफ़टीपी के माध्यम से अपलोड किए जाते हैं।

रिपोर्ट बनाने और उनके बीच नेविगेट करने की एक चाल है: फ़िल्टरिंग विधियों में से प्रत्येक (ZaDen, ZaNedelya, Best, Worst, आदि) को विशेषता के साथ चिह्नित किया गया है:

[CommentReport(Category = "" , Name = " " , CategoryOrder = 0)] 

परावर्तन के माध्यम से हम श्रेणियों में ऐसे तरीकों के सभी संयोजन प्राप्त करते हैं, डेटाबेस से डेटा प्राप्त करते हैं और नेविगेशन उत्पन्न करते हैं। इस प्रकार, एक और "रिपोर्ट" (उदाहरण के लिए, "तीन दिनों में") जोड़ने के लिए, यह एक विशेषता के साथ एक विधि जोड़ने के लिए पर्याप्त है। LINQ रोबोट और एंटिटी फ्रेमवर्क की महिमा।

समस्याओं और समाधानों के बारे में थोड़ा

प्रारंभ में, मैंने डेटाबेस के बिना करने और हर चीज को यथासंभव सरल बनाने का विचार किया: कच्चे HTML को डिस्क पर संग्रहीत करें, इसे मेमोरी में लोड करें और इसे वहां प्रोसेस करें। लेकिन उन्होंने आपदा के पैमाने को कम करके आंका: HTML में 150 हजार पदों ने 10-प्लस गीगाबाइट ले लिया। SSDs पर भी, लोडिंग और पार्सिंग समय अस्वीकार्य है।

फिर मैंने SQL कॉम्पैक्ट एडिशन (इन-प्रोसेस डेटाबेस, एंटिटी फ्रेमवर्क सपोर्ट करता है) की कोशिश की। मैं डेटाबेस फ़ाइल के आकार पर 4GB की सीमा में चला गया। उस क्षण में डुप्लिकेट (अपभ्रंश) डेटा के साथ केवल एक टिप्पणी तालिका थी। SQL Express में जाने के बाद, मैंने आंशिक रूप से डाक तालिका को जोड़कर दोहराव को हटा दिया और बिना वोट के टिप्पणियों को हटा दिया (जिनमें से लगभग 30% थे)। नतीजतन, आधार का आकार अब लगभग 2GB है।

पार्सिंग प्रक्रिया के दौरान, मुझे पता चला कि लापरवाही से RegexOptions.IgnoreCase का उपयोग कई बार प्रदर्शन कम कर देता है।

कुछ आंकड़े

डेटाबेस में लेख लिखने के समय:
90,619 पद
औसत प्रकाशन पर 18 टिप्पणियाँ (डेटाबेस में वोट के बिना कोई टिप्पणी नहीं)
उनमें से 15 सकारात्मक रेटिंग के साथ

1676593 कुल टिप्पणियाँ
प्रति दिन 721 टिप्पणियां

सप्ताह के दिनों तक टिप्पणियों की औसत संख्या


प्रति सप्ताह टिप्पणियाँ: समय की गतिशीलता

अंत में लिंक!

वेबसाइट:
http://habrastats.comyr.com/

कोड फिर से: code.google.com/p/habra-stats

योजनाओं में

पिछले दिन के सर्वश्रेष्ठ के साथ आरएसएस

PS अधिक दिलचस्प अनुरोधों का सुझाव दें

PPS पोर्नोलैब के बारे में प्रसिद्ध विषय पर प्रसिद्ध टिप्पणी प्रदर्शित नहीं की गई है, क्योंकि प्रकाशन का लेखक अवरुद्ध है।
NForce द्वारा टिप्पणी की गई है, आप यहाँ टिप्पणी देख सकते हैं: habrahabr.ru/users/nforce/comments/page2