टवी पत्रिका

लंबे समय तक हिबर में लिखने से हिचकिचाया। कम से कम परियोजना की तकनीकी अस्थिरता के कारण। अब जब काम स्थापित हो गया है (मुझे पूरी उम्मीद है), हमें यूरी मिलनर और पावेल डुरोव से अनुदान के रूप में एक छोटी मान्यता मिली है, मैं परियोजना को मांस की चक्की में भेजने के लिए तैयार हूं।



मेरा नाम निकिता लिच्छव है, मैं आपको द टवी जर्नल वेबसाइट के बारे में बताना चाहता हूं। यह एक अखबार है जो रूसी भाषा के ट्विटर के स्वत: विश्लेषण के आधार पर बनाया गया है।

परियोजना का विचार

एक रोबोट डिज़ाइन करें जो नेटवर्क, ट्विटर, इंस्टाग्राम और फोरस्क्वेयर के रूसी-भाषा क्षेत्रों के प्रसारण का विश्लेषण कर सकता है। फिर इस सामग्री को एक साइट पर सुविधाजनक रूप में प्रदर्शित करें और इसके स्थान को विविधता प्रदान करें - इसे अन्य सामाजिक नेटवर्क पर भेजें। किसी को ट्विटर पर क्या हो रहा है में रुचि है, लेकिन वह Vkontakte या फेसबुक छोड़ने के लिए अनिच्छुक है। और किसी के पास सब कुछ का पालन करने के लिए बहुत कम समय है - वह दस मिनट में एजेंडे का मूल्यांकन करना चाहता है।

नमूना उद्देश्य

किसी भी तरह से परियोजना पूर्ण निष्पक्षता का दावा नहीं करती है। क्योंकि हमने चुटकुले-वध और अन्य सामग्री की मेजबानी करने वाले अनुक्रमित डेटाबेस खातों से बाहर रखने की स्वतंत्रता ली है जो किसी भी उपयोगी जानकारी को नहीं ले जाते हैं। हम मसलओवर (जो लगातार सभी को सब्सक्राइब करते हैं) और बॉट के साथ रेटिंग जीतने वाले लोगों को भी अनदेखा करते हैं। पहला आधार हाथ से इकट्ठा किया गया था, शीर्ष ब्लॉगर्स को सफेदी देते हुए:

यदि ब्लॉगर नवलनी को श्वेत किया जाता है और यह "नॉट मास्लोवर" चेक से मेल खाती है, तो वह जो पढ़ता है वह स्वचालित रूप से हमारे डेटाबेस में दर्ज हो जाता है।

अब आधार हाथ से और पहले से ही स्वचालित रूप से फिर से भरना जारी है - इस तथ्य के कारण कि रोबोट मौजूदा आधार पर रीट्वीट में नए उपयोगकर्ता पाता है। अब तक, हमें सूचना चित्र की हीनता के लिए दोषी नहीं ठहराया गया है, क्योंकि एक महत्वपूर्ण विषय हमारे डेटाबेस में कम से कम एक उपयोगकर्ता द्वारा पारित नहीं कर सकता है।

डाटा प्रोसेसिंग

सूचना

रोबोट जिसे हम एडम कहते हैं, सभी अनुक्रमित ट्वीट्स को इकट्ठा करता है और उन्हें कई प्रकारों में विभाजित करता है: साधारण ट्वीट्स; तृतीय-पक्ष संसाधनों, मीडिया के संदर्भ में ट्वीट्स; प्रसिद्ध फोटो होस्टिंग के संदर्भ में; वीडियो होस्टिंग के संदर्भ में।

इस प्रकार, मुख्य पृष्ठ लोकप्रिय ट्वीट्स और संदर्भों की संख्या के साथ मीडिया में और अलग-अलग खंडों और वीडियो में लेखों के लिए लिंक किए गए लिंक प्रदर्शित करता है:



हम लगातार एल्गोरिदम के साथ आने की कोशिश करते हैं जो कम से कम समय में ताजा जानकारी प्राप्त करने में मदद करते हैं। उदाहरण के लिए, वीडियो में, वे प्राथमिकता में नवीनतम प्रदर्शित करने के लिए डाउनलोड तिथि पर एक सीमा निर्धारित करते हैं। रोबोट ट्विटर पर वीडियो समीक्षाओं की निगरानी करता है और उन्हें टिप्पणियों के रूप में प्रदर्शित करता है:

उपयोगकर्ता रेटिंग

हमारे डेटाबेस के आधार पर, हम रूसी माइक्रोब्लॉगर्स के कम से कम लगभग उद्देश्य रेटिंग का निर्माण करने का प्रयास करते हैं, उन्हें उपयोगकर्ताओं, कॉर्पोरेट खातों और मीडिया में विभाजित करते हैं। रेटिंग को एक सूत्र में कई संकेतकों को जोड़कर बनाया गया है: उपयोगकर्ता के उल्लेखों की औसत संख्या, उनके पदों का अवलोकन, संख्या / सूचियों के संबंध में उनके अनुयायियों की संख्या जिसमें उन्हें जोड़ा गया था।

सभी ट्विटर रेटिंग को दो भागों में विभाजित किया जा सकता है - जिन्हें भाग लेने के लिए प्राधिकरण की आवश्यकता होती है और जिनकी आवश्यकता नहीं होती है। पूर्व को अधिक उद्देश्य माना जाता है, क्योंकि उन्हें उपयोगकर्ता के उल्लेखों और रीट्वीट के बारे में जानकारी होती है। लेकिन उनके पास एक महत्वपूर्ण खामी है: ज्यादातर लोकप्रिय ब्लॉगर्स अविश्वास या बेकारता के कारण कभी भी उनमें प्रवेश नहीं करेंगे। दूसरा प्रकार इस खामी से रहित है, लेकिन यह शायद ही कभी वस्तुनिष्ठ है, क्योंकि यह लगभग हमेशा केवल अनुयायियों की संख्या, ट्वीट्स और, शायद, खाते की उम्र पर आधारित है। हमने दोनों प्रकार की रेटिंग में से सर्वश्रेष्ठ को संयोजित करने का प्रयास किया।

फोरस्क्वेयर सीट रैंकिंग

वास्तविक समय में निर्मित: उन स्थानों को दिखाना जो अभी शहर में लोकप्रिय हैं। इसकी गणना निम्नानुसार की जाती है: हर 25 मिनट में एक बार, एक रोबोट लॉन्च किया जाता है, जो पहले से परिभाषित शहर की सीमाओं के साथ (मॉस्को में, केवल केंद्र और उसके आस-पास कुछ किलोमीटर की दूरी पर अब तक जांच की जाती है) बिंदुओं का एक मैट्रिक्स बनाता है। दो किलोमीटर के दायरे में प्रत्येक बिंदु के लिए, फोरस्क्वेयर एपीआई का उपयोग करके लोकप्रिय स्थानों की उपस्थिति की जाँच की जाती है।

तकनीक के बारे में थोड़ा सा

अब हम एक सर्वर पर स्थित हैं। पूरी परियोजना (डेमॉन सहित) PHP में लिखी गई है। हम MySQL और MongoDB डेटाबेस (रिकॉर्डिंग की गति के महत्वपूर्ण क्षणों के लिए) का उपयोग करते हैं - सम्मिलित करने पर InnoDB का प्रदर्शन हमारे लिए पर्याप्त से अधिक है, और हम डेटाबेस के अधिकांश नमूनों को संकलित के साथ कैश करते हैं। सामान्य तौर पर, मेमकाटेड हमारे लिए एक आदर्श विकल्प है, क्योंकि आपको बहुत सारे डेटा के साथ काम करना पड़ता है जिसे दक्षता के नुकसान के बिना कैश किया जा सकता है। इससे मुख्य पृष्ठ को 40ms तक उत्पन्न करने के लिए समय कम करना संभव हो गया ( मैं एक संभावित प्रभाव के साथ साइट के व्यवहार की भविष्यवाणी करने से डरता हूं )।

हाल ही में, हमने गियरमैन का उपयोग ट्वीट्स को संभालने, रेटिंग की गणना करने, और पृष्ठभूमि कार्यों जैसे अमेज़ॅन डी 3 में चित्रों को सहेजने जैसे कार्यों को समानांतर करने के लिए शुरू किया।

एडम रोबोट हर 15-180 मिनट में फ़ीड के अपडेट की जांच करता है, जो दिन के समय पर निर्भर करता है। चूंकि सामग्री तुरंत लोकप्रियता हासिल नहीं कर रही है, लेकिन धीरे-धीरे, प्रकाशन के बाद कुछ समय के लिए उनका साथ देना हमारे लिए महत्वपूर्ण है। यह इस समय है कि हम ट्वीट को इसके घटकों में विभाजित करते हैं: पाठ, लिंक, चित्र और वीडियो। सभी लिंक खोले जाते हैं यदि उन्हें छोटा किया जाता है, और उनकी सामग्री को सफारी में रीडर फ़ंक्शन की तरह संशोधित किया जाता है (पठनीयता के तरीके से)।

छवियों को संसाधित करते समय, हम फोटो होस्टिंग सेवाओं ट्विटपिक , yfrog , pic.twitter.com , फ़्लिकर , लॉकरज़ और इंस्टाग्राम.म का समर्थन करते हैं । उनमें से प्रत्येक के लिए, हमने एक साधारण एपीआई हैंडलर लिखा है जो चित्रों, लेखक और व्याख्यात्मक पाठ के लिए पूर्वावलोकन पाता है। कुछ फोटो होस्टिंग साइटों के लिए मुझे अनिर्दिष्ट सुविधाओं का उपयोग करना पड़ा। सौभाग्य से, प्रोग्रामर काफी बार उसी तरह सोचते हैं, खासकर नामकरण के तरीकों और उनके लिए मापदंडों के संदर्भ में।

विकास की योजनाएँ

अब हम विभिन्न प्रयोग कर रहे हैं। उदाहरण के लिए, हमने ट्वी फुटबॉल शुरू करने की योजना बनाई है। इस परियोजना के हिस्से के रूप में, हम रूसी भाषा के ट्विटर के विश्लेषण के आधार पर मैचों के ऑनलाइन प्रसारण का प्रयास करना चाहते हैं। परियोजना उन तकनीकों का परीक्षण करने के लिए एक प्रकार का स्प्रिंगबोर्ड बनेगी, जिनका हम मुख्य परियोजना में उपयोग करेंगे: सर्वर को ट्विटर से सीधे प्रशंसकों की राय प्राप्त होती है, जो स्ट्रीमिंग एपीआई (टीम हैशटैग के लिए नए ट्वीट "नेटिव" ट्विटर सर्च पेज) की तुलना में तेजी से दिखाई देंगे।

हमारे खाली समय में हम अपने प्रतीकों में लिप्त हैं :



लेकिन गंभीरता से, हम इस परियोजना को अन्य देशों में स्केल करने की कोशिश करना चाहते हैं। हम निश्चित रूप से, संयुक्त राज्य अमेरिका (डोमेन twijournal.com खरीदा) के साथ शुरू करेंगे। अगर यह वहां जाता है, तो हम दूसरे देशों में जाएंगे। बहुत समय नहीं बचा है, क्योंकि ड्यूरोव और मिलनर ने हमें जो पैसा दिया था, वह जल्दी से खत्म हो रहा है, हालांकि हम विशेष रूप से बहुत खूबसूरत नहीं हैं।

बेतहाशा सपनों में, हम सपने देखते हैं कि हम अन्य सामाजिक नेटवर्क के आधार पर समान मीडिया का निर्माण कर सकते हैं, और फिर एक बड़े कंटेंट एग्रीगेटर में सब कुछ जोड़ सकते हैं। लेकिन अभी के लिए ये सिर्फ सपने हैं।

टवी पत्रिका

PS अचानक एक डेवलपर या दूसरे देश का पत्रकार जो हमारे साथ काम करना चाहता है, इस पोस्ट को पढ़ रहा है? बस के मामले में, मैं अपना ई-मेल यहाँ छोड़ दूँगा: editors@tjournal.ru