Drupal और Feeds का उपयोग करके एक सोशल नेटवर्क ग्राफ का निर्माण

रूस के दक्षिण में एक बड़े विश्वविद्यालय में, मैं सोशल नेटवर्क के पन्नों को संसाधित करके एक सामाजिक नेटवर्क के ग्राफ के स्वचालित निर्माण के लिए एक सॉफ्टवेयर प्लेटफॉर्म विकसित कर रहा हूं। इस लेख में, मैं वर्णन करूंगा कि हमने LiveJournal (Livejournal.com) से एकत्र किए गए डेटा को कैसे संसाधित किया।
लगभग एक वर्ष बीत चुका है, मुझे लगता है कि यह सीखना दिलचस्प होगा कि 2011 में राज्य के चुनाव प्रचार के दौरान स्वचालित डेटा संग्रह के लिए सिस्टम का उपयोग कैसे किया गया था।


उल्लेखों की एक तालिका बनाने के लिए, सामाजिक नेटवर्क और ब्लॉगस्फीयर (पार्सिंग) पर पृष्ठों का प्रसंस्करण सरल HTMLDOMparser प्लगइन के साथ CMF Drupal के लिए फीड्स मॉड्यूल का उपयोग करके कार्यान्वित किया जाता है। पार्सिंग की प्रक्रिया में, सिस्टम इंटरनेट पर जानकारी के साथ एक पृष्ठ तक पहुंचता है और टैग के सेट और कैस्केडिंग स्टाइल शीट के अनुसार DOM HTML ट्री से डेटा का चयन करता है।

उपयोगकर्ता टिप्पणी प्रणाली में आयात के लिए मॉड्यूल के विन्यास पर विचार करें। सिस्टम को इस तरह से डिज़ाइन किया गया है कि यह एकत्रित जानकारी को प्राथमिक भागों में विभाजित करने की अनुमति देता है, जिनमें से प्रत्येक डेटाबेस में एक अलग क्षेत्र का प्रतिनिधित्व करता है। आयात को दानेदार तरीके से किया जाता है, जो बाद में लचीले ढंग से परिणामों को फ़िल्टर करना संभव बनाता है। एकत्र किए गए डेटा के सेट (चित्र 1 देखें) में निम्नलिखित चिमटा (अर्क) शामिल हैं:

• टिप्पणी का शीर्षक
• टिप्पणी लेखक - नेटवर्क या ब्लॉग पर उपयोगकर्ता का उपनाम;
• जर्नल लेखक - प्रविष्टि जिस पर टिप्पणी को संदर्भित करता है;
• टिप्पणी - वास्तविक पाठ;
• टिप्पणी के लिए लिंक;
• टिप्पणीकार की पत्रिका;
• पोस्ट के लेखक की पत्रिका;
• टिप्पणी की तारीख - वर्तमान तिथि टिप्पणी नेटवर्क पर पोस्ट की गई थी।
  

अंजीर। 1. - फीड्स मॉड्यूल में डेटा निर्यात सेटिंग्स
डेटा खोज पदानुक्रम से की जाती है:



विशेष रूप से, "टिप्पणी लेखक" फ़ील्ड के लिए, पैटर्न "ul [class = 'info b-hlist b-hlist-middot'] li" a "विशेषता" मैदान "के साथ सेट करना आवश्यक है। यह पैटर्न HTML DOM ट्री में डूब जाता है और सभी तत्वों का निर्यात करता है जो कि "जानकारी b-hlist b-hlist-middot" के साथ अनऑर्डिनेट लिस्ट "ul" में हैं और टैग "a" (चित्र 2 देखें) के साथ लिपटे हुए हैं।



अंजीर। 2. - फीड्स मॉड्यूल में "टिप्पणी लेखक" फ़ील्ड के पैटर्न और विशेषताओं को सेट करना



सिस्टम में प्रत्येक निर्यात की गई वस्तु सामग्री प्रकार फ़ीड आइटम (फ़ीड उदाहरण) के पूर्वनिर्धारित क्षेत्रों से मेल खाती है। पत्राचार तालिका अंजीर में प्रस्तुत की गई है। 3।


अंजीर। 3. - फ़ीड्स मॉड्यूल में "टिप्पणी लेखक" फ़ील्ड के पैटर्न और विशेषताओं को सेट करना
सभी आवश्यक पैरामीटर सेट करने के बाद, सिस्टम चयनित कीवर्ड के लिए पार्स करना शुरू कर देता है। नतीजतन, अंजीर में प्रस्तुत टिप्पणियों पर डेटा के एक सेट के साथ प्रणाली में एक तालिका बनाई जाएगी। 4: टिप्पणी का शीर्षक, वह दिनांक जिसे सिस्टम में आयात किया गया था, टिप्पणी का लेखक, ब्लॉग का लेखक जिसे टिप्पणी संदर्भित करता है, टिप्पणी पाठ, इंटरनेट पर इसके प्रकाशन की तिथि, टोनिटिविटी (सकारात्मक, नकारात्मक, तटस्थ), सिस्टम के उपयोगकर्ता द्वारा निर्धारित की जाती है।



अंजीर। 4. - टिप्पणी डेटा के साथ तालिका
ग्राफ के आगे के विश्लेषण के लिए, उत्पन्न तालिका समर्थित स्वरूपों में से एक को निर्यात की जाती है। निर्यात के लिए, तालिका, अंजीर के नीचे स्थित एक्सएलएस बटन का उपयोग करें। 5।



अंजीर। 5. - टेबल एक्सपोर्ट बटन
निर्यात प्रक्रिया के दौरान, आप इसकी प्रगति का निरीक्षण कर सकते हैं: उस समय जब सिस्टम को फ़ाइल उत्पन्न करने की आवश्यकता होती है और पूरा होने का प्रतिशत प्रदर्शित होता है, अंजीर। 6।

अंजीर। 6. - डेटा निर्यात प्रक्रिया
निर्यात परिणाम एक फाइल है जिसे ग्राफ, अंजीर के आगे के विश्लेषण के लिए सहेजा जाना चाहिए। 7।

अंजीर। 7. - निर्यात परिणाम
विकसित मॉडल का उपयोग करने और वर्णित एल्गोरिथ्म का उपयोग करने के लिए अभियान अभियानों की निगरानी के लिए प्रौद्योगिकी का कार्यान्वयन सामाजिक नेटवर्क और चुनावी प्रक्रिया की निगरानी के विभिन्न चरणों में उपयोगी होगा - दोनों चुनाव अभियानों के दौरान और बीच में।
गतिविधि के किसी भी क्षेत्र में डेटा संग्रह और ग्राफ़ गठन की एक प्रणाली का उपयोग करना भी संभव है, जहां संरचना को उनके बीच अलग नोड्स और कनेक्शन के साथ एक ग्राफ के रूप में दर्शाया जा सकता है।
आप निश्चित रूप से, गिनती को देखना चाहते हैं?) यह पहला लेख है। अगले में मैं परिणामी ग्राफ़ के विज़ुअलाइज़ेशन और विश्लेषण और पिछले दिसंबर की प्रसिद्ध घटनाओं से पहले किए गए निष्कर्षों के बारे में बात करूँगा।