सभी को नमस्कार, habrachitateli!

यह लेख एक अन्य हैबरपैसर के बारे में है।
सितंबर के अंत में मैंने कुछ लेख पढ़े और फिर से "स्टार्टअप", "इनोवेशन", "जावास्क्रिप्ट", "फ्रेमवर्क" शब्द थे।
ऐसा लगता था कि हर पद पर वे हैं। और मैंने इसे जांचने का फैसला किया। कट के तहत विवरण।


एक पारसर लिखना एक महीने से थोड़ा अधिक समय लगा। उन्होंने कभी-कभी अपने मूड के बारे में लिखा, LINQ, MySQL का पता लगाया, और साथ ही साथ 2 और पार्सर लिखे।
डेनवर के एक सेट से SharpDevelop 4.3 और MySQL 5.5.25 का उपयोग किया।
मैं पेशी के लिए एक ग्राहक के रूप में हेइडी एसक्यूएल का उपयोग करता हूं।
डेटाबेस में 2 टेबल हैं - tpost

CREATE TABLE `tpost` ( `id_post` int(10) unsigned NOT NULL, `date` date NOT NULL, `name_post` varchar(255) NOT NULL, `author` varchar(255) NOT NULL, PRIMARY KEY (`id_post`), ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT="  \r\n"; 

और ट्वर्डसिनपोस्ट

 CREATE TABLE `twordsinpost` ( `id_post` int(10) unsigned NOT NULL, `count` int(11) NOT NULL, `word` varchar(255) NOT NULL, CONSTRAINT `FK_twordsinposts_tpost` FOREIGN KEY (`id_post`) REFERENCES `tpost` (`id_post`) ON DELETE CASCADE ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT="    "; 

कार्य का अर्थ - कार्यक्रम डेटाबेस से कनेक्शन की जांच करता है। यदि यह सफल होता है, तो उपयोगकर्ता पहली पोस्ट और अंतिम की आईडी में प्रवेश करता है, प्रोग्राम प्रत्येक आईडी के लिए एक यूआरएल बनाता है और इसके लिए एक पेज डाउनलोड करता है। डाउनलोड सिंगल-थ्रेडेड मोड में होता है, ताकि Habr सर्वर मुझ पर अपराध न करे। पृष्ठों का प्रसंस्करण बहुपरत है, और डेटाबेस में लोड करना फिर से एक स्ट्रीम में है।
XPath के माध्यम से डाउनलोड किए गए पृष्ठ में, पोस्ट शीर्षक, लेखक, तिथि और लेख स्वयं काटे जाते हैं। मैंने अभी तक टिप्पणियों को स्पर्श नहीं किया है - उनमें से बहुत से हैं, यह संभवत: हबपरसन 2.0 में लागू किया जाएगा।
लेख में ही, नियमित अवधि के माध्यम से, अवधि और रिक्त स्थान को छोड़कर सभी विराम चिह्न हटा दिए जाते हैं। सभी शब्द लोअरकेस हैं। इसके बाद, यह गणना की जाती है कि इस लेख में प्रत्येक शब्द कितनी बार प्रकट होता है, और डेटाबेस में दर्ज किया जाता है।

सबसे पहले, मैंने एडेप्टर (ADO.NET) के माध्यम से MySQL से जुड़ने का फैसला किया। MySQL कनेक्टर 5.2.7 डेटाबेस से जुड़ा है, लेकिन यह बहुत धीरे-धीरे किया। लगभग 2,000 लाइनों को जोड़ने में लगभग 5 मिनट लगे।


इसलिए, मैंने पुराने फैशन में, पेन के साथ अनुरोध लिखा। मैं अभी तक एंटिटी फ्रेमवर्क तक नहीं पहुंचा था, और मुझे नहीं लगता कि यह अधिक तेज़ होगा। उसी समय, एमएस SQL ​​के लिए एडेप्टर के माध्यम से कनेक्ट करना स्मार्ट तरीके से काम करता है - जैसे हाथ से प्रश्नों के साथ। प्रशिक्षण के लिए, उन्होंने 2.5 मिलियन रिकॉर्ड्स तक एमएस एसक्यूएल स्कोर किया - अपलोड की गति कम नहीं हुई। लेकिन मैं विचलित था।

हमेशा की तरह, डिबगिंग के दौरान कीड़े निकल गए।
1. एक शब्द के बिना एक हब्र पर लेख हैं। नवंबर तक उनमें से 716 हैं।
उपशम द्वारा मिला।
2. एक हाब पर लेखक के बिना लेख हैं। नवंबर तक 371 हैं। चरम
उपशम द्वारा मिला।
3. एक हब्र पर एक वायरस के साथ एक लेख है। दुर्भाग्य से, मुझे पता याद नहीं था। एंटीवायरस (एवीजी) ने उसे शाप दिया और पूरे कार्यक्रम को बंद कर दिया। मुझे इसे बंद करना पड़ा।

200,000 लेखों को जोड़ने को 2 चरणों में विभाजित किया गया और कुल 26 घंटे लगे। नवीनतम लेख नवंबर की शुरुआत से थे और आंकड़ों को खराब कर दिया, इसलिए मैंने उन्हें हटा दिया।

अब डेटाबेस लगभग 34 मिलियन रिकॉर्ड है। आधार का वजन 3 जीबी (इंडेक्सिंग के साथ) है और इसमें 199983 लेख शामिल हैं।
MySQL सेटिंग्स। यहाँ ini स्टार्टअप फ़ाइल है ।
लैपटॉप - i7, 8 जीबी रैम, एचडीडी।
फ़ील्ड्स (id_post, शब्द, गिनती) द्वारा अनुक्रमण बना दिया। ऐसा लगता है कि यह अधिक स्मार्ट हो गया है - 2 मिनट के बजाय, अनुरोध में 30 सेकंड लगते हैं। इस आकार के आधार को अनुकूलित करने के तरीके से सलाह दें?

साइट पर डेटाबेस को बाहर करने, और PHP में सबसे सरल आवरण लिखने के लिए एक विचार है, लेकिन जब तक मैं सीखता हूं कि MySQL को तेजी से कैसे काम करना है, तो मुझे पेन के साथ प्रश्नों को लिखना होगा। हाँ, और अधिक लचीला।
खुद तोता!


Parser को IP 127.0.0.1 पर हार्ड-कोड किया गया है, डेटाबेस का नाम "habraparser" है, उपयोगकर्ता "रूट" है, पासवर्ड "1" है।
यह यहाँ पंजीकृत है - cDataBase.Connect ()।

एक बेहतर की चाह के लिए, उसने अपने ड्रॉपबॉक्स पर कोड, आधार और परिणाम फेंक दिया।

तो, सबसे दिलचस्प!

सभी प्रश्नों के परिणाम फाइल में हैं । या फिर मेजबान पर । चलो चलते हैं!
हब्र 83174 रिक्त पदों पर।
महीने के अनुसार पदों की संख्या - अनुरोध


विभिन्न शब्दों की संख्या के लिए एक क्वेरी एक प्रश्न है । आपको WORD शब्द को स्वयं से प्रतिस्थापित करने की आवश्यकता है। बहुत दिलचस्प है।
उदाहरण के लिए, "हैबर%" को उद्धृत करते समय, "हब्रेवोल्यूशन" शब्द का सामना करना पड़ा। और खुद "पुतिन%" क्वेरी को देखें।

और सबसे महत्वपूर्ण अनुरोध - महीने द्वारा पदों में एक शब्द का उल्लेख करने के लिए - एक अनुरोध है ।
सब कुछ ठीक वैसा ही है, "WORD" को अपने साथ बदलें। मैंने "जावा" शब्द से शुरुआत की।


तब शब्द गूगल।


फिर "हब्र%" शब्द।


शब्द "C #" को ढूंढना संभव नहीं है, क्योंकि मैंने नियमित रूप से ग्रेट को हटा दिया है। C ++ के साथ एक ही बात। अफसोस।
शब्द "एंड्रॉइड"।


"सेब" शब्द।


और अंत में, मेरे पसंदीदा। "स्टार्टअप%।"


«जावास्क्रिप्ट»।


"फ्रेमवर्क" या "फ्रेमवर्क"।


"अभिनव%।"


युपीडी
विशेष रूप से लोमाल्किन के अनुरोध पर - "बिटकॉइन%"।


और अंत में, सबसे स्वादिष्ट।
कोड । मैंने इसे संग्रह में पोस्ट किया है, यदि आवश्यक हो, तो मैं इसे कहीं और डालूँगा। मेजबान में भरा।
सभी आमतौर पर इस्तेमाल किए जाने वाले शब्दों के साथ एक फाइल। यह मेजबान पर है
आधार ही। 1 077 एमबी। एसएमएस के बिना मुफ्त में डाउनलोड करें । दर्पण । HeidiSQL के माध्यम से बनाएँ।

आप टिप्पणियों में अधिक दिलचस्प शब्द सुझा सकते हैं।

मुझे आशा है कि यह पढ़ना दिलचस्प था! आपका ध्यान देने के लिए आप सभी का धन्यवाद! सादर, मुक्स्टो

युपीडी।
श्रमिकों के अनुरोध पर, उन्होंने हबेरी पर शीर्ष 100 शब्दों को पोस्ट किया। 92 में "t" शब्द से आश्चर्यचकित। और यह भी संख्या 5 4 से अधिक बार उल्लेख किया गया है।