पोस्ट के लिए पसंद की संख्या का पूर्वानुमान। एसएनए हैकथॉन 2014

सामाजिक नेटवर्क से आप क्या अच्छा सीख सकते हैं? आप एक फुटबॉल टीम, एक समूह में एक बास खिलाड़ी, मन में भाइयों, एक पत्नी , किराए पर / किराए पर एक अपार्टमेंट / कमरा / विला समुद्र में पा सकते हैं। और यदि आप डेटा विश्लेषण कनेक्ट करते हैं? आप समाज में अपना स्थान पा सकते हैं। उदाहरण के लिए, अगर मैं XXX सुनता हूं, तो YYY पढ़ें और ZZZ पीएं, तो इस गेंद पर हम में से केवल 100 हैं। और अगर मैं अभी भी अपने नाखूनों को हरे रंग में रंगता हूं, तो मैं निश्चित रूप से एक और एक ही रहूंगा?

आप समझ सकते हैं कि लोगों को क्या पसंद है, वे क्या बेच सकते हैं, आप भविष्यवाणी कर सकते हैं और सौवीं बार छह हैंडशेक के सिद्धांत का परीक्षण कर सकते हैं। सोशल नेटवर्क विश्लेषण के क्षेत्र में, कई समस्याएं हैं, जिनमें से एक हम SNA हैकथॉन 2014 के ऑनलाइन चरण में हल करने का प्रस्ताव रखते हैं।

सोशल मीडिया टास्क

सोशल नेटवर्क आज लोगों, उनके शौक और विचारों के बारे में जानकारी का एक अटूट स्रोत है। हर दिन, उपयोगकर्ता फ़ोटो, पाठ, वीडियो के लगभग 8 टेराबाइट्स उत्पन्न करते हैं, जो नए सॉफ़्टवेयर उत्पाद या एक शक्तिशाली पूर्वनिर्मित उपकरण बनाने के लिए एक संसाधन बन सकता है।



हमने उपयोगकर्ताओं द्वारा उत्पन्न पाठ डेटा के विश्लेषण के कार्य पर ध्यान केंद्रित करने का निर्णय लिया, और हैकथॉन प्रतिभागियों से पोस्ट की सामग्री और उसकी रेटिंग के बीच संबंधों का विश्लेषण करने के लिए कहा।

हैकथॉन और ऑनलाइन चरण के कार्य के बारे में

ऑफ़लाइन चरण में भाग लेने के लिए, प्रतिभागियों को पसंद की संख्या का अनुमान लगाना चाहिए कि पोस्ट 10 अप्रैल तक प्रकाशन के बाद एक निश्चित समय प्राप्त करेगा। या, Odnoklassniki के संदर्भ में, जिनके डेटा का हम विश्लेषण कर रहे हैं, किसी विशेष विषय के लिए "वर्ग!" अंक की संख्या।



आज ऐसा लीडरबोर्ड बना है। जिन प्रतिभागियों के मॉडल सबसे सटीक होंगे, उन्हें ऑफ़लाइन चरण में आमंत्रित किया जाएगा, जो सेंट पीटर्सबर्ग में आयोजित किया जाएगा, और मैकबुक प्रो जीतने का मौका होगा। वहां, 24 घंटों में, लगभग 44 मिलियन उपयोगकर्ताओं के वास्तविक प्रकाशनों का विश्लेषण करना और उनके आधार पर उत्पाद का एक प्रोटोटाइप बनाना आवश्यक होगा। EMC, JetBrains, Data Mining Labs और HSE और NES विश्वविद्यालयों के विशेषज्ञ छोटी प्रस्तुतियाँ करने और सलाह देने और उनकी मदद करेंगे।

पहले चरण का प्रारंभिक डेटा

पोस्ट डेटा को दो फ़ाइलों में संग्रहीत किया जाता है: train_content.csv और test_content.csv निम्न फ़ील्ड के साथ:
group_id - उस समूह का अनाम पहचानकर्ता, जिसमें पोस्ट पोस्ट की गई है
पोस्ट_ड - बेनामी पोस्ट आईडी
टाइमस्टैम्प - प्रकाशन के बाद का समय, जो 1 जनवरी, 1970 (UTC) की मध्यरात्रि से मिलीसेकंड की संख्या है।
सामग्री - पोस्ट की सामग्री। नोट: इस क्षेत्र में रिक्त स्थान, विशेष वर्ण, साथ ही साथ http लिंक, चित्र और चुनाव हो सकते हैं। लेखक की वर्तनी और विराम चिह्न सहेजे गए।

एक उदाहरण:

प्रशिक्षण सेट के "वर्ग!" के बारे में डेटा को निम्नलिखित फ़ील्ड के साथ train_likes.csv फ़ाइल में संग्रहीत किया जाता है:
user_id - "क्लास!" की आपूर्ति करने वाले उपयोगकर्ता का बेनामी पहचानकर्ता
पोस्ट_ड - बेनामी पोस्ट आईडी
टाइमस्टैम्प - टाइम "क्लास!", जो कि 1 जनवरी, 1970 (UTC) को आधी रात के बाद से गिने जाने वाले मिलीसेकंड की संख्या है।

एक उदाहरण:

आर 2 मीट्रिक का उपयोग करके पूर्वानुमान का अनुमान लगाया जाता है (हम प्रदर्शन सुविधा के लिए 1000 से गुणा करते हैं):


जहां:
एफ - "वर्गों की संख्या का वास्तविक मूल्य!"
पी - "वर्गों की संख्या का पूर्वानुमान!"
Var (x) x का नमूना प्रसरण है
यह पता चला है कि 1000 पूर्वानुमान के लिए अधिकतम स्कोर है। हैकाथॉन के दूसरे चरण में आने के लिए, आपको बेस लाइन, हमारे द्वारा लिखे गए एल्गोरिदम की सटीकता को दूर करना होगा।

डिफ़ॉल्ट एल्गोरिथ्म

प्रारंभिक डेटा प्रसंस्करण और एक बुनियादी पूर्वानुमान के निर्माण के साथ आर के लिए स्रोत कोड हमारे गिथूब भंडार में पाया जा सकता है ।

वहाँ आपको R पर तीन स्क्रिप्ट मिलेंगी:
रेडर - डेटा प्रीप्रोसेसिंग
features.R - मूलभूत सुविधाओं की खोज (वर्णों की संख्या, शब्दों की संख्या, औसत शब्द की लंबाई)
आधार रेखा। एक मॉडल का निर्माण (हम रैखिक प्रतिगमन का उपयोग करते हैं)

कैसे शुरू करें?

इनपुट (test_content.csv, train_content.csv, train_likes.csv) को ./data/src/ फ़ोल्डर में अनज़िप करें। कमांड लाइन में टाइप करें:

git clone https://github.com/snahackathon/sh2014.git cd ./sh2014 #<unzip data to ./data> cd R R --vanilla < prepare.R R --vanilla < features.R R --vanilla < baseline.R 

परीक्षण सेट के लिए पसंद की अनुमानित संख्या डेटा / सबमिट में निहित है। बेशक, यह सिर्फ एक बुनियादी एल्गोरिथ्म है, यह स्कोर के सीमा मूल्य को पार नहीं करता है।

यदि आप बहादुर, निपुण, कुशल हैं ...

हैकाथॉन में भाग लें! हमारा काम उत्साही और रचनात्मक लोगों को इकट्ठा करना है ताकि वे प्रतिस्पर्धा के लिए दिलचस्प बन सकें, और प्रतियोगिता के परिणामस्वरूप, हमें सटीक मॉडल और सुरुचिपूर्ण एल्गोरिदम मिला। जो अभी भी पढ़ रहे हैं और अपना हाथ आज़माना चाहते हैं, हम आपको इसमें भाग लेने के लिए आमंत्रित करते हैं - प्रशिक्षण डाउनलोड करें और डेटा का परीक्षण करें और उन सभी चीज़ों को निचोड़ें जो उनके लिए संभव है। हम उन लोगों को आमंत्रित करते हैं जिन्होंने पहले से ही न केवल भाग लेना सीखा है, बल्कि एक विशेषज्ञ या न्यायाधीश के रूप में भी काम करना है। ऐसा करने के लिए, हमें contact@sh2014.org पर लिखें।