LiveJournal Top1000 आँकड़े

आज रनेट का ब्लॉग जगत क्या है। आप मुझसे सहमत नहीं हो सकते हैं, लेकिन मेरी राय में "Blogosphere" शब्द से 80% लोग जो समझते हैं, उसे LiveJournal में Runet में रखा गया है। हां, Yandex बड़ी संख्या में ब्लॉग साइटों को अनुक्रमित करता है, LiveInternet और diary.ru हैं, और mail.ru पर भी ब्लॉग हैं। और भी बहुत कुछ। लेकिन जब आप LiveInternet के किसी ब्लॉग पर कुछ रोचक, उल्लेखनीय पढ़ते हैं, तो उसे याद करने का प्रयास करें। क्या mail.ru ब्लॉग्स पर कुछ है?

यह एक सर्वविदित तथ्य है कि लाइवजर्नल में गेंद को हज़ार-स्ट्रांगर्स (और हाल ही में, दस हज़ारवें) द्वारा शासित किया जाता है।
आइए नज़दीक से देखें, वे कौन हैं, रनेट के शीर्ष ब्लॉगर्स?

जल्दबाजी में, मैंने LiveJournal की रेटिंग के अनुसार, एक रोबोट को प्रोफाइल में डाल दिया, जो एक हजार ब्लॉगर्स के लिए "दोस्तों के साथ" की कसौटी पर था। तथाकथित यैंडेक्स प्राधिकरण रेटिंग भी है, लेकिन चलो आज उदास चीजों के बारे में बात नहीं करते हैं।

रोबोट ने व्यक्तिगत डेटा एकत्र किया और ध्यान से उन्हें एक आम ढेर में बदल दिया। रोबोट कोड C # में लिखा गया था, मैंने अनावश्यक तकनीकी विवरणों से परेशान नहीं किया, सब कुछ बहुत सरल और सीधा है - मैं पृष्ठ पर गया, आवश्यक चर दर्ज करने के लिए इसे पार्स किया, इसे सहेजा और अगले पर चला गया।
और इसलिए 1000 बार।

यहां फ़ंक्शन कोड है, जो इनपुट के रूप में पृष्ठ का URL प्राप्त करता है, और पृष्ठ के HTML को स्ट्रिंग के रूप में आउटपुट करता है। अब आप इसे साधारण स्ट्रिंग फ़ंक्शन के साथ पार्स कर सकते हैं, या RegExp का उपयोग कर सकते हैं।

private string GetPageByURL( string strURL)
{
try
{
// used to build entire input
StringBuilder sb = new StringBuilder ();

// used on each read operation
byte [] buf = new byte [8192];

// prepare the web page we will be asking for
HttpWebRequest request = (HttpWebRequest)
WebRequest.Create(strURL);

// execute the request
HttpWebResponse response = (HttpWebResponse)
request.GetResponse();

// we will read data via the response stream
Stream resStream = response.GetResponseStream();

string tempString = null ;
int count = 0;

do
{
// fill the buffer with data
count = resStream.Read(buf, 0, buf.Length);

// make sure we read some data
if (count != 0)
{
// translate from bytes to ASCII text
tempString = Encoding .GetEncoding( "UTF-8" ).GetString(buf, 0, count);

// continue building the string
sb.Append(tempString);
}
}
while (count > 0); // any more data to read?

return sb.ToString();
}
catch (Exception ex)
{
return "" ;
}
}

* This source code was highlighted with Source Code Highlighter .

अब एक लूप में हम पृष्ठों के माध्यम से जाते हैं:
www.livejournal.com/ratings/users/?page=1
...
www.livejournal.com/ratings/users/?page=50

हम उन्हें उपरोक्त फ़ंक्शन की मदद से पंप करते हैं, फिर हम उन पर चलते हैं जैसे स्ट्रिंग्स पर और ArrayList में उपयोगकर्ताओं और उनके "दोस्तों के साथ" के नाम एकत्र करते हैं।

हमें 1000 लोगों की सूची मिली है। फिर हम इसके माध्यम से एक लूप में जाते हैं, और http: // [यूजरनेम] के पेजों पर जाते हैं। Livejournal.com / profile और उन्हें अन्य वेरिएबल्स की प्रविष्टियों के लिए पार्स करते हैं।

उसके बाद, हम डेटाबेस के लिए सब कुछ लिखते हैं, फ़ाइल करते हैं, या बस इसे पृष्ठ पर डालते हैं, और एक्सेल में पेन के साथ कॉपी-पेस्ट करते हैं।

और इसलिए कि LiveJournal मेरे रोबोट पर अपराध नहीं करता है - यह कॉल के बीच एक महत्वपूर्ण विलंब सेट करता है, अन्यथा वे बहुत सख्ती से चेतावनी देते हैं - यदि आप अपने रोबोट के साथ हमारे पास जाते हैं और अपने पैरों को पोंछते नहीं हैं, तो हम इस पर प्रतिबंध लगा देंगे। इसलिए, पूरी प्रक्रिया में एक दिन से अधिक समय लगा - एक रोबोट लिखना, परीक्षण करना, काम करना, परिणामों को प्रारूपित करना। मैं मानता हूं, php पर आप डेढ़ स्क्रीन में कोड का प्रबंधन कर सकते हैं और हर चीज के बारे में हर चीज के लिए 2 घंटे, लेकिन .NET अभी भी मुझसे ज्यादा परिचित है।

परिणाम एक ऐसी गोली है।

उपयोगकर्ता	का दोस्त	दोस्त	शहर	क्षेत्र	देश	जर्नल प्रविष्टियाँ	कुल टिप्पणियाँ	पर बनाया गया	अंतिम बार अपडेट किया गया	खाता प्रकार
Drugoi	69145	749	मास्को		नॉर्वे	13.188	1,698,002 टिप्पणियाँ प्राप्त हुईं, 66,105 टिप्पणियां पोस्ट की गईं	2002/02/03	1 घंटा पहले	स्थायी खाता
विषय	68601	24	दक्षिण पलमायरा		रूसी संघ	3.638	2,049,489 टिप्पणियां प्राप्त हुईं, 6,880 टिप्पणियां पोस्ट की गईं	2001/04/09	4 घंटे पहले	स्थायी खाता
Navalny	52,840	10000	मास्को	मास्को	रूसी संघ	2,306	957,191 टिप्पणियां प्राप्त हुईं, 14,365 टिप्पणियां पोस्ट की गईं	2006/04/19	3 घंटे पहले	अदा खाता
sergeydolya	51,964	1991				870	243,261 टिप्पणियां प्राप्त हुईं, 28,394 टिप्पणियां पोस्ट की गईं	2007-11-09	1 दिन पहले	स्थायी खाता
pesen_net	48,525	202	रीगा		रूसी संघ	187	53,083 टिप्पणियां मिलीं, 10,084 टिप्पणियां पोस्ट की गईं	2007/04/22	6 हफ्ते पहले	अदा खाता
zyalt	35,617	384	मास्को	मास्को	रूसी संघ	1,619	246,360 टिप्पणियाँ प्राप्त हुईं, 11,344 टिप्पणियां पोस्ट की गईं	2006-07-26	22 घंटे पहले	अदा खाता
dolboeb	33820	1942	मास्को		रूसी संघ	8.335	522,484 टिप्पणियाँ प्राप्त हुईं, 38,400 टिप्पणियां पोस्ट की गईं	2001/02/06	58 मिनट पहले	स्थायी खाता
belonika	33,151	4604				781	208,475 टिप्पणियाँ प्राप्त हुईं, 36,079 टिप्पणियां पोस्ट की गईं	2008-09-08	6 घंटे पहले	अदा खाता
eprst2000	31,454	11	मास्को का समय	मास्को	रूसी संघ	460	46.324 टिप्पणियाँ प्राप्त हुईं, 3,724 टिप्पणियाँ पोस्ट की गईं	2002/08/22	1 सप्ताह पहले	अदा खाता
tebe_interesno	29,831	612	मास्को	मास्को	रूसी संघ	547	31,679 टिप्पणियां प्राप्त हुईं, 8,823 टिप्पणियां पोस्ट की गईं	2007/06/25	10 सप्ताह पहले	अदा खाता
mi3ch	29,827	738	मास्को	मास्को	रूसी संघ	6,930	374,776 टिप्पणियां मिलीं, 44,883 टिप्पणियां पोस्ट की गईं	2003/04/03	2 घंटे पहले	स्थायी खाता
shpilenok	29,637	119		ब्रायण क्षेत्र	रूसी संघ	303	57,348 टिप्पणियाँ प्राप्त हुईं, 4,461 टिप्पणियां पोस्ट की गईं	2009-01-11	6 घंटे पहले	अदा खाता
zhgun	26081	29				188	22,301 टिप्पणियाँ प्राप्त हुईं, 8,626 टिप्पणियाँ पोस्ट की गईं	2002/04/28	5 सप्ताह पहले	अदा खाता
mantrabox	25,572	373			रूसी संघ	2,915	60,720 टिप्पणियाँ प्राप्त हुईं, 17,850 टिप्पणियाँ पोस्ट की गईं	2002/12/29	1 सप्ताह पहले	अदा खाता
olegtinkov	25,291	11	मास्को		रूसी संघ	638	137,481 टिप्पणियां प्राप्त हुईं, 6,277 टिप्पणियां पोस्ट की गईं	2009-02-21	18 घंटे पहले	अदा खाता
radulova	24,682	595		मास्को	रूसी संघ	8.622	874,385 टिप्पणियाँ प्राप्त हुईं, 31,657 टिप्पणियां पोस्ट की गईं	2004/11/14	1 घंटा पहले	अदा खाता
tanyant	24282	199				318	67,802 टिप्पणियाँ प्राप्त हुईं, 6,868 टिप्पणियां पोस्ट की गईं	2007-12-14	2 सप्ताह पहले	प्लस खाता
stillavin	23,615	1703	मास्को	मास्को	रूसी संघ	1299	311,283 टिप्पणियाँ प्राप्त हुईं, 18,247 टिप्पणियां पोस्ट की गईं	2006/08/23	3 दिन पहले	अदा खाता
mzadornov	22,568	80	मास्को		रूसी संघ	161	62,221 टिप्पणियाँ प्राप्त हुईं, 136 टिप्पणियाँ पोस्ट की गईं	2009-09-15	3 दिन पहले	प्लस खाता
miumau	21,495	47	बर्लिन		जर्मनी	2,957	163,632 टिप्पणियां प्राप्त हुईं, 13,520 टिप्पणियां पोस्ट की गईं	2002/02/27	1 घंटा पहले	अदा खाता

...
संपूर्ण तालिका (और न तो ऊंचाई में और न ही चौड़ाई में) हैब्रोटोपिक में फिट नहीं हुई, लेकिन 1000 प्रविष्टियों वाली पूरी फ़ाइल Google डॉक्स में है । डेटा आज जुलाई 21, 2011, कुछ महीने, या छह महीने भी चालू है, वे महत्वपूर्ण रूप से बदलने की संभावना नहीं है।

मैं कुछ चार्ट और ग्राफ़ बनाने का विरोध नहीं कर सकता था, हालांकि हर कोई इस डेटा का स्वतंत्र रूप से और अपने विवेक से उपयोग कर सकता है।

यहां तक ​​कि स्तंभों के ऊपर और नीचे की सामान्य छंटाई के साथ, दिलचस्प विवरण देखे जा सकते हैं।

उदाहरण के लिए, दोस्तों की संख्या के आधार पर रिकॉर्ड छांटते हुए, हम पाते हैं कि अधिकांश दोस्त नहीं हैं नावाल्नी , जिनके पास 10,000 हैं (हालांकि एलजे पर साधारण नश्वर के लिए प्रतिबंध 5,000 मित्र हैं), और एक निश्चित उपयोगकर्ता इनडी , जिनमें से 20624 हैं।

या उदाहरण के लिए, ब्लॉग प्रविष्टियों की संख्या के आधार पर छाँटें। सबसे अधिक मैंने उन्हें निश्चित रूप से कॉन्फ़िगर किया cypa , अच्छा, और कौन? 2003 से, उन्होंने 43.390 रिकॉर्ड बनाए हैं।

और जब रिवर्स छँटाई, हम तुरंत एक जिज्ञासु बॉट मिल - blog_d_medvedev 2009 में अपने निर्माण के बाद से, इस छद्म उपयोगकर्ता ने एक भी ब्लॉग प्रविष्टि नहीं की है, लेकिन 5816 लोगों ने इसे दोस्तों के रूप में जोड़ा है। जाहिर है किसी तरह का रोबोट, जाहिर तौर पर गलत हाथों में सिर्फ एक खिलौना है। निश्चित रूप से यह मुलहेज़ के बिना नहीं हो सकता था - फ्रेंडोमारैथॉन, रेटिंग रैप-अप, वोट परिणामों की हेराफेरी सभी चीजें हैं।

छंटनी को जारी रखते हुए, हमें पता चलता है कि TOP1000 में मिला सबसे पुराना ब्लॉग 31 मार्च, 2000 को बनाया गया था और तीन महीने पहले, इस साल के अप्रैल में।

इसके अलावा TOP 139 बेसिक अकाउंट (बेसिक), 560 पेड अकाउंट (पेड), 15 परमानेंट अकाउंट (परमानेंट), 284 प्लस अकाउंट (एडवांस्ड) और एक अर्ली एडॉप्टर (और यह सब कौन है, वैसे? यदि वह संयुक्त राज्य अमेरिका में रहता है और अंग्रेजी में लिखता है?)?

यह पता चला है - पहले 1000 में बहुत सारे भुगतान खाते नहीं हैं। आधे से थोड़ा अधिक बस हैं।




या, उदाहरण के लिए, देश द्वारा एक टूट:


संक्षेप में, आप विश्लेषकों, सांख्यिकीविदों, किसी भी चीज़ को बढ़ावा देने में विभिन्न विशेषज्ञों और अन्य जिज्ञासु आवारा लोगों के लिए बहुत काम कर सकते हैं।

पहले तो मैंने इस सेवा को ऑनलाइन करने के लिए सोचा और लगातार अपडेट किया, लेकिन फिर मैंने फैसला किया कि एलजे सर्वर के लिए 1000 दैनिक अनुरोधों के लिए (अधिक सटीक, और भी अधिक) वे मुझे अपने रोबोट के साथ सिर पर थपथपाएंगे नहीं। तो, एक बार के आंकड़ों तक सीमित है।

वितरण के लिए एक सांख्यिकी फ़ाइल का स्वागत किया जाता है; इसके लिए कोई प्रतिबंधात्मक कॉपीराइट नहीं दिया जाता है।

UPD: मुझे खुशी होगी अगर आप मुझे बताएंगे कि किसी भी उपयोगकर्ता को Google डॉक्स में कॉलम सॉर्ट करने की अनुमति देना कैसे संभव है, लेकिन उसे परिणाम बदलने की अनुमति देने के लिए नहीं, अर्थात्। डेटा को ही विकृत करें।
किसी भी स्थिति में, फ़ाइल को आपके कंप्यूटर पर फ़ाइल-डाउनलोड एश-एक्सेल मेनू से बचाया जा सकता है, और आप इसे Microsoft Office में घर पर जहाँ चाहें पसंद कर सकते हैं।