हम "रूस 10" पर वोट का पालन करते हैं

कई रूसियों की तरह, हाल ही में मैं साइट 10russia.ru पर वोट करने के लिए हर दिन जाता हूं । यदि कोई नहीं जानता है, तो रूस 10 एक अखिल रूसी परियोजना है, जिसके भीतर हर कोई रूस में अपने पसंदीदा भौगोलिक या वास्तुशिल्प वस्तु के लिए वोट कर सकता है। परियोजना का उद्देश्य रूस के दस नए दृश्य प्रतीकों का चयन है।
मतदान में TOP2 में संख्या मुझे अजीब लगी, और मैंने यह देखने का फैसला किया कि वे कैसे बदलते हैं। बहुत कम समय था, और साइट और एसएमएस पर वोटों की संख्या पर हर 2-3 सेकंड के डेटा को स्टोर करने वाले एक छोटे पार्सर को मार दिया गया। इस डेटा को प्रदर्शित करने के लिए, मैंने एक साइट बनाई (डिज़ाइन और ग्राफ का आधार यहाँ से लिया गया है habrahabr.ru/post/176547 । मुझे उम्मीद है कि लेखक को बुरा नहीं लगेगा)। मैं पैसा खर्च नहीं करना चाहता था, लेकिन मेरे पास अपने निपटान में केवल एक कमजोर व्यक्तिगत वीडीएस था, जो डेटा के गतिशील रूप से उत्पन्न होने पर जल्दी से नीचे चला जाएगा। इसलिए, यह स्थिर HTML के साथ करने और ताज पर json फाइलें उत्पन्न करने का निर्णय लिया गया। यह देखना दिलचस्प होगा कि मौजूदा कॉन्फ़िगरेशन (सीपीयू 300 मेगाहर्ट्ज, रैम 128 एमबी) को बदलने के बिना वीडीएस क्या लोड का सामना कर सकता है, यह देखते हुए कि दो छोटी सेवाएं और एक कम-विज़िट की गई साइट हैं। मतदान के अंत में, मैं पोस्ट करूंगा, अगर किसी को भी इसकी आवश्यकता है, तो सभी मतदान डेटा प्राप्त होता है।

पार्सर लिस्टिंग

<?php set_time_limit(0); function handleError($errno, $errstr, $errfile, $errline, array $errcontext) { if (0 === error_reporting()) { return false; } throw new ErrorException($errstr, 0, $errno, $errfile, $errline); } set_error_handler('handleError'); mysql_connect('localhost', 'login', 'password'); mysql_select_db('10russia'); function addNewData($html, $key) { $site = $sms = 0; if( preg_match('/<span id="count_votes_site">([^<]+)/iu', $html, $match) ) { $site = (int)str_replace(' ', '', $match[1]); } if( preg_match('/<span id="count_votes_sms">([^<]+)/iu', $html, $match) ) { $sms = (int)str_replace(' ', '', $match[1]); } if($site && $sms) { $all = $sms + $site; mysql_query("INSERT INTO stat(`key`, sms, site, `all`) VALUES('$key', $sms, $site, $all)"); } } $urls = array( 'object_31' => 'http://10russia.ru/object_31', 'object_61' => 'http://10russia.ru/object_61' ); while(true) { foreach($urls as $key => $url) { try { $result = file_get_contents($url); addNewData($result, $key); sleep(1); } catch(Exception $e) {} } } 

मुकुट द्वारा json फ़ाइलें बनाने के लिए स्क्रिप्ट की सूची बनाना

 <?php mysql_connect('localhost', 'login', 'password'); mysql_select_db('10russia'); $keys = array( 'object_31' => 'object31.json', 'object_61' => 'object61.json' ); foreach($keys as $key => $file) { $filename = dirname(__FILE__) . '/' . $file . '.tmp'; $fLink = fopen($filename, 'w'); if($fLink) { $result = mysql_query("SELECT `date`, `all` FROM stat WHERE `key`='$key' ORDER BY id ASC"); fwrite($fLink, "[\n"); $row = mysql_fetch_assoc($result); $first = true; do { $str = ''; if(!$first){ $str = ","; } else { $first = false; } fwrite($fLink, $str . '['.strtotime($row['date']) . "000,{$row['all']}]" ); } while($row = mysql_fetch_assoc($result)); fwrite($fLink, "]"); fclose($fLink); rename($filename, dirname(__FILE__) . '/' . $file); } } 

एक दिलचस्प बिंदु - मैं पहली बार एक .tmp फ़ाइल उत्पन्न करता हूं, और फिर मैं एक घंटे पहले उत्पन्न फ़ाइल को अधिलेखित कर देता हूं, जिससे उस स्थिति से बचा जाता है जब फ़ाइल मौजूद नहीं होती है या पूरी तरह से उत्पन्न नहीं होती है।

चार्ट पर दिलचस्प अंक

30 मिनट में अधिकतम वृद्धि


संपूर्ण निगरानी अवधि के लिए समग्र गतिशीलता

RTR

मुझे उम्मीद है कि मैंने आपके लिए बड़ी समस्याएं पैदा नहीं कीं, परियोजना की महान लोकप्रियता को देखते हुए, आप, मुझे लगता है, आगंतुकों के एक बड़े प्रवाह के लिए तैयार थे। वैसे, अगर कोई मॉस्को में सिस्टम प्रशासक की तलाश में है, तो साइट के निर्माता कर्मचारियों की तलाश कर रहे हैं, न कि पूरी तरह से मूल, लेकिन दुर्लभ तरीके से:

संदर्भ

देखें कि मैंने क्या किया, वोट के विस्तृत आंकड़ों से परिचित हों और निष्कर्ष निकालें: http : //10russia.miningdata.ru/