सामाजिक नेटवर्क में कौन रहता है?

कोई फर्क नहीं पड़ता कि निजी डेटा और उनके लीक होने के बारे में PRISM के बारे में कैसे घोटाले हुए, सोशल नेटवर्क अपने बारे में सब कुछ बताने के लिए उत्सुक हैं: जो आपको पसंद है, जिनके साथ आप दोस्त हैं और आप सुबह से ही क्यों सोए थे।
ऑनलाइन सक्रिय जनता के बहुमत के व्यवहार के बारे में पूरा विश्वकोश बहुत करीब है, और मैं हमेशा इसे महसूस करना चाहता था। एक ओर, यह डेटा सार्वजनिक डोमेन में लगता है, लेकिन इसे लेना और विश्लेषण करना इतना आसान नहीं है - सब कुछ बहुत असंरचित और खंडित है। इसके अलावा, जहां तक ​​मुझे पता है, मशीन विश्लेषण के लिए उपयुक्त कोई सामाजिक नेटवर्क डेटासेट नहीं हैं। और रूस के लिए - और भी बहुत कुछ।
कोई विकल्प नहीं था, और मुझे सोशल नेटवर्क VKontakte, Odnoklassniki, MoyMir और रूसी सेगमेंट फेसबुक के लिए सरल मकड़ियों को लिखने के लिए रात में हंसी उड़ाना पड़ता था, जो कि कई महीनों के दौरान धीरे-धीरे अधिक या कम सांख्यिकीय रूप से सही नमूना डेटा था। केवल लोगों द्वारा अपने बारे में बताई गई जानकारी एकत्र की गई थी। और उन्होंने बहुत कुछ बताया।

इसके बारे में इस तरह के डेटा से लाने में कामयाब रहे, और कहानी जाएगी।

ऐसा कैसे?

मैं मानता हूं, यह अध्ययन पहले से बहुत दूर है। सामाजिक नेटवर्क (विशेषकर फेसबुक और VKontakte) का कई बार खुलकर अध्ययन किया गया है। और यहां तक ​​कि आपके विनम्र सेवक ने छह हैंडशेक के बारे में एक लेख लिखा, इसके लिए VKontakte के दोस्तों का एक पूरा ग्राफ एकत्र किया।
लेकिन RuNet एक एकल VKontakte द्वारा नहीं रहती है। मैं यह देखना चाहता था कि अन्य सामाजिक नेटवर्क में क्या चल रहा है, कोई कम आबाद नहीं है, और अपने दर्शकों में अंतर को समझने के लिए भी।

डेटा संग्रह

रात के कवर के तहत बड़ा डेटा एकत्र करने का यह हमारा पहला अनुभव नहीं है। इसलिए तेज गति से पांच-हाथ की गति पर, Qt / C ++ और पायथन पर चार मकड़ियों को लिखा गया था, जो धीरे-धीरे व्यक्तिगत सोशल नेटवर्क के माध्यम से टहल रहे थे, उन्होंने डेटाबेस में मिलने वाली सभी चीजों को लिख दिया।
अलग-अलग सामाजिक नेटवर्कों में पार्सिंग के लिए अलग-अलग दृष्टिकोण हैं। Odnoklassniki और Facebook के साथ समस्याएं पैदा हुईं, जो कि, जैसा कि यह निकला, संदिग्ध बॉट्स का पता लगाने के लिए एक मुश्किल प्रणाली है। सौभाग्य से, यह मुख्य रूप से स्पैमर का उद्देश्य है, और इस दृष्टिकोण से हमारी बॉट्स गुलाबी और शराबी दिखती हैं, और हम किसी तरह बहुत कम संग्रह के साथ अधिक या कम स्थिर सेट करने में कामयाब रहे।

एनालिटिक्स

बहुत सारे डेटा को पंप करना आसान है, संग्रह के केवल दो महीने। लेकिन व्यामोह ग्रह पर चल रहा है, और ज्यादातर लोगों के लिए, सोशल नेटवर्क पर एक खुली प्रोफ़ाइल बहुत खराब दिखती है। शेर की जानकारी केवल दोस्तों के लिए उपलब्ध है। लेकिन तथ्य यह है कि दोस्त खुद सबसे अधिक बार खुले होते हैं!
और उनके आधार पर, आप काफी दिलचस्प चीजों की गणना कर सकते हैं। उदाहरण के लिए, शहर, उम्र और विश्वविद्यालय। और भी बहुत कुछ। बीज के लिए, मैं दोस्तों की औसत आयु बनाम औसत आयु का ग्राफ दिखाऊंगा:

जैसा कि आप अनुमान लगा सकते हैं, वास्तविक उम्र दोस्तों की औसत आयु से संबंधित अधिकांश भाग के लिए है। तो यहां तक ​​कि अगर आप पागल हैं, तो आपके दोस्त आपकी उपस्थिति से आपके बारे में बहुत कुछ बताएंगे।

भंडारण और विश्लेषण के लिए, हमने बड़े लड़कों की तरह, HBase / Hadoop का उपयोग करने का निर्णय लिया। यह स्टाइलिश, फैशनेबल, युवा है, इसके अलावा, ऐसी प्रौद्योगिकियों को प्रशिक्षित करने में पहले से ही अनुभव था। परिणामस्वरूप, लगभग 50 मापदंडों की गणना की गई (यानी, या तो एक ही रूप में कम हो गई या सामाजिक संबंधों से अलग हो गई) जो हमने एकत्र किया था। अंगूठा ऊपर। फिर, कुल डेटा सेट से, प्रत्येक सामाजिक नेटवर्क से दस लाख उपयोगकर्ताओं का यादृच्छिक नमूना बनाया गया और सावधानीपूर्वक विश्लेषण किया गया। कम से कम उपयोगकर्ताओं की एक अलग संख्या के साथ विभिन्न सामाजिक नेटवर्क के दर्शकों को कम से कम सामान्य करने के लिए एक समान feint बनाया गया था।
इसके अलावा, वास्तव में, सबसे स्वादिष्ट चीज जो बाहर पाई गई थी।

आयु

शुरुआत के लिए, विभिन्न सामाजिक नेटवर्क की आयु संरचना जानना दिलचस्प होगा।
उम्र के रूप में, या तो उम्र का ही उपयोग किया जाता था यदि व्यक्ति अपने जन्म के वर्ष को इंगित करने में संकोच नहीं करता था, या स्कूल / विश्वविद्यालय से स्नातक की तारीख के आधार पर उसका अनुमान। VKontakte और Facebook की वजह से इस तरह का युद्धाभ्यास सबसे अधिक आवश्यक था, जिसकी सटीक आयु क्रमशः 40% और 20% उपयोगकर्ताओं के लिए जानी जाती है।
परिणाम कुछ इस प्रकार है।


यह हास्यास्पद है इसे देखकर, आप निश्चित रूप से निम्नलिखित विशेषताओं को देख सकते हैं:

• Odnoklassniki एक पुराने दर्शकों को बैठाती है।
• जो छोटे हैं वे लगभग पूरी तरह से VKontakte पर हैं। 14 वर्षों के क्षेत्र में अजीब प्रकोप इस तथ्य से समझाया जाता है कि जन्म के अंतिम वर्ष, जिसे प्रोफ़ाइल में चुना जा सकता है, 1999 है। यह सभी युवा इसे चुनते हैं। बाल संरक्षण और कार्रवाई में 14+ लेबलिंग।
• लोग सचेत उम्र में फेसबुक पर जाते हैं, 18 साल से कम उम्र का कोई नहीं है।

और लिंग और आयु संरचना के बारे में क्या? लिंग या तो लिया गया था, अगर यह संभव है कि इसे सोशल नेटवर्क पर इंगित किया जाए, या नाम के आधार पर गणना की जाए। यदि "अलेक्जेंडर" नाम के लोगों में से अधिकांश पुरुष हैं, तो हम सभी अलेक्जेंड्रोव को एक अज्ञात लिंग के साथ पुरुषों के रूप में मानेंगे। एक समान दृष्टिकोण अधिकांश नामों के लिए काम करता है, लेकिन जेन्या और साशा के साथ कुछ समस्याएं हैं।


ठीक। मुझे हमेशा इस पर शक था:

• Odnoklassniki में, अधिकांश दर्शक महिलाएं हैं। मेरा सुझाव है कि प्रशासन नेटवर्क का नाम बदलकर Odnoklassniki कर देगा, यह सच्चाई के करीब होगा।
• अन्य सामाजिक नेटवर्कों में, महिलाओं के प्रति सामान्य झुकाव भी महसूस किया जाता है, लेकिन यह इतना घातक नहीं है।
• 1976 से पहले पुरुषों की संख्या में सामान्य विफलता को इस दुखद तथ्य से समझाया जा सकता है कि मध्यम आयु वर्ग के पुरुष पहले और अधिक बार महिलाओं की तुलना में मर जाते हैं। मेरा मानना ​​है कि यह निर्भरता लोगों के इस समूह के लिए सामान्य जनसांख्यिकीय स्थिति को दर्शाती है। पुरुषों का ख्याल रखना।

इसके बाद, सामाजिक नेटवर्क पर किसी व्यक्ति की गतिविधि का एक निश्चित सार सूचक की गणना कई नियमों के एक सेट के रूप में की गई थी: "एक अवतार है", "50 से अधिक दोस्त", "हाल ही में ऑनलाइन था", आदि। इस तरह के प्रत्येक नियम के संचालन के लिए, कुछ अंक सामान्य प्रोफ़ाइल गुल्लक में गिर गए। और इसलिए यह विभिन्न सामाजिक नेटवर्क पर इस सूचक के वितरण की तरह दिखता है:


हैरानी की बात है, VKontakte केवल युवा और अतिसक्रिय उपयोगकर्ताओं, जो फ्यूज (या परिवार के चैनल को संवेदनशील रूप से पुनर्निर्देशित किया जाता है) के फ्यूज को केवल 35 वर्ष की आयु तक ही निखरता है। ओडनोकलास्निक में, मुख्य गतिविधि 30 साल की शुरुआत में शुरू होती है। लेकिन इस संबंध में MoMMir और फेसबुक में, स्थिति अधिक विकट है - एक दलदल है।

गालियां बकने की क्रिया

उम्र और गतिविधि निश्चित रूप से अच्छी है, लेकिन बहुत उबाऊ है। और सो जाने के क्रम में, प्रत्येक व्यक्ति के नमूने में उसके पदों में पाए गए अश्लील शब्दों की संख्या की गणना की गई थी। इस तरह के शब्दों के एक शब्दकोश की रचना करना विशेष रूप से मज़ेदार था। समन्वय अक्ष के साथ आयाम - अंतिम 10 पदों में शब्दों की संख्या।

जाहिर है, 15 साल की उम्र से युवा इतने बोल्ड हैं कि वे अपने पेज पर अश्लील अधिकार की शपथ ले सकते हैं। व्यक्तिगत रूप से, मैंने अपना पहला "X * Y" स्कूल के परिसर में 12 साल की उम्र में लिखा था, लेकिन सच्चाई अनाम है। 23 तारीख तक अश्लील शब्दावली का प्रकोप जारी है। फिर, स्पष्ट रूप से, गंभीरता सेट हो जाती है और यह एक वयस्क बनने का समय है। एक बहुत कप्तान का बयान, लेकिन अब यह कम से कम तथ्यों से साबित होता है।

नाम लोकप्रियता

अब नामों को विच्छेद करने का समय आ गया है। यह हमेशा मुझे लगता था कि नामों की समय में अलग लोकप्रियता है। कभी-कभी, किसी को असामान्य रूप से बच्चों को कॉल करने के लिए अजीबोगरीब फैशन महसूस होता है। और अब आप इसे अपनी आँखों से देख सकते हैं।

प्रवृत्ति स्पष्ट है: पहले से ही तेजी से जैक के साथ लोकप्रिय नाम अपनी पूर्व लोकप्रियता खो रहे हैं।

• उदाहरण के लिए, अच्छे पुराने दिनों में, सिकंदर को हर आठवें लड़के को कहा जाता था, और अब केवल हर 50 वें को। एलेक्जेंड्रा का आज तबादला हो गया।
• व्लादिमीरोव की आबादी 50 वर्षों से लगातार घट रही है।
• एलेक्स और इगोर के नाम पर फैशन की ध्यान देने योग्य लहरें।

महिला नामों के साथ, स्थिति इस तरह दिखती है:

सामान्य तौर पर, समान रैपिड जैक, लेकिन निम्नलिखित विशेषताओं पर ध्यान दिया जाना चाहिए:

• लोकप्रिय महिला नामों ने पुरुष नामों की तुलना में अपनी लोकप्रियता खो दी। जाहिरा तौर पर, अगर एक लड़की का जन्म होता है, तो माता-पिता अपनी कल्पना और इज़ोल्ड, मालवीना या डैज़्डरपर्मा की रोशनी में उगलने की पूरी कोशिश करते हैं। लेकिन अगर एक लड़का दिखाई देता है, तो कुछ तनाव क्यों: और सिकंदर नीचे आ जाएगा।
• लोकप्रियता में गिरावट के साथ 70 के दशक के अंत और 80 के दशक की शुरुआत में मोड़ था। यह पश्चिम, पिघलना से प्रेरित था, और यहाँ परिणाम है: प्रत्येक माता-पिता अब अपने बच्चों के नाम की मौलिकता में प्रतिस्पर्धा करते हैं।

फोन के मॉडल

हम और आगे बढ़ें। VKontakte दीवार पर सभी पोस्ट में एक अजीब टैग है अगर यह पोस्ट iOS / Android फोन से बनाया गया है। और विश्लेषण करना भी (और आवश्यक भी) संभव है। मैं इस तथ्य पर ध्यान देना चाहता हूं कि पुरुषों का अनुपात वाई अक्ष के साथ ग्राफ पर इंगित किया गया है। महिलाओं का अनुपात, जैसा कि आप अनुमान लगा सकते हैं, पुरुषों के अनुपात पर बहुत सरल निर्भरता है।

दिलचस्प है, iPhone में निष्पक्ष सेक्स के प्रति एक स्पष्ट पूर्वाग्रह है, जो आश्चर्य की बात नहीं है। "पिताजी, मुझे एक आईफोन खरीदिए जो मैं एक मूर्ख की तरह घूम रहा हूं" एक बहुत लोकप्रिय वाक्यांश है जो कई युवा पैड के लिए बुरे सपने में दिखाई देता है। और एंड्रॉइड 30 से अधिक कठोर पुरुषों के बीच उच्च मांग में है।

वैवाहिक स्थिति

दादी ने हमेशा मुझे बताया कि उनके समय में, 25 पर एकल (या, इससे भी बदतर, अविवाहित) होना आपदा के समान था। भविष्य में, आमतौर पर, "आपको शादी करने की जरूरत है, सज्जन" विषय पर एक व्याख्यान का नेतृत्व किया "और" हर कोई पहले से ही शादी कर चुका है, और आप एक उल्लू की तरह अकेले हैं। " मैं हमेशा इस विवाद में तर्क चाहता था, और अब मेरे पास है।
मैं यह नोट करना चाहता हूं कि वैवाहिक स्थिति का विश्लेषण केवल उन लोगों के बीच किया गया था जिन्होंने इसे इंगित किया था।

निम्नलिखित तथ्य बहुत दिलचस्प हैं:

• 27 साल की उम्र में, केवल आधे लोगों ने अपनी वैवाहिक स्थिति का संकेत दिया था। और आपने कुछ कहा।
• युवाओं को "मिलने" की तुलना में "एकल / अविवाहित" की स्थिति के साथ जाने की अधिक संभावना है। चलना, चलना, और फिर ताली - और "शादी"।

बुरी आदतें

अब आप बुरी आदतों पर आगे बढ़ सकते हैं: धूम्रपान और शराब पीना। यह पैरामीटर केवल VKontakte है, लेकिन उनमें से कई परिश्रमपूर्वक इसे भरते हैं, जिसका हम उपयोग करेंगे।

यह अफसोसजनक है, लेकिन शराब और धूम्रपान का प्यार केवल उम्र के साथ तेज होता है। कुछ पठार केवल 30 साल की उम्र में आते हैं, जिसने मुझे कुछ हद तक आश्चर्यचकित कर दिया। लगभग 40 के आसपास कुछ लोग सोचते हैं और स्थिति को ठीक करने की कोशिश करते हैं, लेकिन बोर्जोमी पीने के लिए बहुत देर हो चुकी है।

ऊंचाई और वजन

MyMir में, प्रोफ़ाइल में मज़ेदार पैरामीटर हैं: ऊँचाई और वजन। मैं यह नहीं समझा सकता कि किसी के महान दिमाग का मार्गदर्शन कैसे किया गया, जिसने उन्हें वहां जोड़ा। लेकिन पैरामीटर हैं, और हमारी जिज्ञासा के चश्मे के माध्यम से उन्हें न देखना मूर्खता होगी।

मुझे कम विपरीत ग्राफ देखने की उम्मीद थी। लेकिन यह इस तरह से निकला। मेरा मानना ​​है कि इस विषमता को इस तथ्य से समझाया जा सकता है कि महिलाएं अक्सर अपने छोटे कद पर गर्व करती हैं, और अपने बड़े कद को छिपाती हैं। पुरुषों के लिए, स्थिति बिल्कुल विपरीत दिखती है: यह स्वीकार करने के लिए पूरे इंटरनेट पर एक शर्म की बात है कि आप केवल 150 सेमी में हैं, लेकिन अगर आप दो मीटर दूर हैं, तो सभी को यह जानना चाहिए।
दूसरी ओर, महिलाएं पुरुषों की तुलना में औसत से कम हैं और सब कुछ बहुत सरल हो सकता है।

वजन के साथ, स्थिति विकास के साथ के रूप में ही है। 60 किग्रा के बाद महिलाएं अपने वजन का उल्लेख करना बंद कर देती हैं। लेकिन पुरुषों का हमेशा स्वागत है। एक सौ बीस? हाँ, कोई समस्या नहीं है, एक अच्छे व्यक्ति का एक बहुत होना चाहिए।

सामान्य तौर पर, ऊंचाई और वजन का संबंध कई चिकित्सा स्रोतों में वर्णित है। और इस ग्राफ पर यह स्पष्ट है। यह ध्यान रखना मजेदार है कि अंडरसाइड लड़कियां आमतौर पर लड़कों की तुलना में भारी होती हैं।

पॉल

जब मैं छोटा था, तब भी मुझे हमेशा संदेह था कि लड़कियों के साथ लड़कियों की दोस्ती की संभावना अधिक होती है। और बदले में वे ज्यादातर लड़कों के साथ दोस्त थे। मुझे लगता है कि इस प्रवृत्ति की पुष्टि करने का समय आ गया है।

हां, आप इस तथ्य के साथ एक स्पष्ट संबंध देख सकते हैं कि लड़कियों के पास दोस्तों में लड़कियां हैं। अगर आप पुरुष हैं और आपके दोस्तों में केवल महिलाएं हैं, तो मेरे लिए आपके लिए बुरी खबर है।

हकीस

लाजवाब चीज है। छह साल पहले वे मौजूद नहीं थे, और अब यह किसी भी सामाजिक नेटवर्क का एक अभिन्न गुण है।

मुझे हमेशा शक था कि निष्पक्ष सेक्स बहुत अधिक पसंद करता है। और यह प्रवृत्ति लगभग 30 वर्षों तक जारी है, लेकिन फिर यह धीरे-धीरे गायब हो जाती है। सौभाग्य से, उम्र के साथ मूल्य बदल जाते हैं।
जैसे आधुनिक समय की घटना है। लड़कियां घबराहट से विचार करती हैं कि कितने लोगों ने शरद ऋतु के पत्तों के साथ अपने नए अवतार को पॉलिश किया है। और उस समय मेरे सिर में एक डायलॉग सुनाई दिया: "पिताजी, आपको अपनी माँ के बारे में कैसे पता चला?" - "ठीक है, मुझे उसकी अवा का पता चल गया, और फिर यह शुरू हो गया।"

नीति

राजनीति के बाहर कोई फर्क नहीं पड़ता था, अब यह सभी दरार से उबर रहा है। सामाजिक नेटवर्क में, यहां तक ​​कि एक विशेष क्षेत्र भी है जो उन राजनीतिक विचारों का वर्णन करता है जो हम वर्तमान में तैयार कर रहे हैं।

• व्यक्तिगत रूप से, मुझे आश्चर्य है कि आज बहुत सारे लोग हैं जिन्होंने गर्व से राजनीति के प्रति अपनी उदासीनता को नोट किया। ऐसे लोगों की संख्या धीरे-धीरे उम्र के साथ कम होती जाती है, लेकिन केवल थोड़ी ही।
• उम्र के साथ, रूढ़िवादी और उदारवादियों की संख्या बढ़ रही है। जाहिर तौर पर उदासीन राजनीतिक विचारों वाले लोगों के कारण।

इससे सुंदर ग्राफिक्स समाप्त हो गए। लेकिन मज़ा अभी तक नहीं आया है।

डेटा

विश्लेषण के लिए ऐसा अद्भुत डेटा सेट बनाना और इसे साझा नहीं करना मानवता के खिलाफ अपराध है। इसलिए, इसे सार्वजनिक डोमेन में रखने का निर्णय लिया गया, लेकिन इस तरह से इस डेटा सेट में गिरे लोगों के अधिकारों और गोपनीयता को चोट नहीं पहुंचाई गई:

• प्रोफाइल अनाम हैं, कोई नाम, उपनाम, जन्म तिथि, विश्वविद्यालय या प्रोफ़ाइल पता नहीं है। सैद्धांतिक रूप से, कुछ प्रोफाइलों का नामकरण किया जा सकता है, लेकिन यह काफी मुश्किल होगा।
• डेटा सेट एक नमूना है, जिसकी मात्रा प्रत्येक सामाजिक नेटवर्क के लिए 4 मिलियन प्रोफाइल, 1 मिलियन है।
• इस अच्छे का संग्रह और विश्लेषण, यह मुझे लगता है, व्यक्तिगत डेटा पर कानून को संतुष्ट करता है। कीवर्ड: सार्वजनिक रूप से उपलब्ध डेटा (उपयोगकर्ताओं ने इसे स्वयं पोस्ट किया है), बेनामीकरण (कोई नाम, जन्म तिथि आदि), वैज्ञानिक गैर-वाणिज्यिक उद्देश्यों के लिए उपयोग नहीं करते हैं।
• डेटा लाइसेंस: क्रिएटिव कॉमन्स एट्रिब्यूशन शेक-अलाइक नॉन-कमर्शियल (CC-BY-NC-SA)।
• MySQL के लिए डंप डेटा। सभी उपलब्ध क्षेत्रों का विवरण शामिल है।
• डेटा में बग हो सकते हैं, मुझे इस पर पूरा यकीन है। यदि आपको कोई बग मिलता है, तो आप गर्व के साथ एक निजी संदेश में मेरे साथ साझा कर सकते हैं।

पुरालेख डेटा के साथ , 7z, 135Mb संग्रह में, 1Gb अनपैक्ड रूप में।

एक आफ्टरवर्ड के बजाय

उस डेटा से सावधान रहें जिसे आप नेटवर्क पर अपलोड करते हैं। जो एक बार वहां अपलोड किया गया था, वह सदियों तक रहेगा। इसलिए कम उम्र से अपना और अपनी निजता का ख्याल रखें।