Sports.ru और Tribuna.com पर हम डेटा प्रोसेसिंग इन्फ्रास्ट्रक्चर का उपयोग कैसे करते हैं?

एक साल पहले, हमने निजी सेवाओं और अपने स्वयं के डेटा प्रोसेसिंग बुनियादी ढांचे के पक्ष में सभी सार्वजनिक मीटरों को छोड़ दिया। ओलंपिक में प्रति दिन 10 मिलियन हिट्स प्राप्त करते हुए, हमने Google Analytics की दया की सीमा महसूस की, जिसके आगे मुफ्त सेवा अब संभव नहीं है। लेकिन अब हमारे पास कनवल्शन और ग्राफ के साथ अपना स्वयं का लुनपार्क है, इसलिए हम लेखापरीक्षा कार्यों को बरकरार रखते हुए आसानी से जीए के उपयोग को कम कर सकते हैं। इस बारे में कि हम डेटा कैसे एकत्र करते हैं और इसे अपने काम में कैसे उपयोग करते हैं - एक शीट में मज़ेदार तस्वीरों के साथ।

"मैं कोड को बिल्कुल नहीं देखता। मैं गोरे, ब्रूनेट, रेडहेड्स देखता हूं। वैसे, क्या आप ... एक पेय चाहते हैं?

यह कहने के लिए नहीं है कि हम जानते थे कि हम यात्रा की शुरुआत में क्या कर रहे थे। हमने मान लिया कि डेटा हमारी सहज रचनात्मकता के लिए थोड़ा और अर्थ जोड़ देगा। और हम वास्तव में बहुत सुंदर ग्राफ और अधिक समझ चाहते थे कि हमारे उपयोगकर्ता कैसे रहते हैं। हमें बिल्कुल भी उम्मीद नहीं थी कि एक साल में हम एक पूर्ण डेटा प्रोसेसिंग सिस्टम बनाएंगे, और कंपनी डेटा ड्रिवन की लय में सांस लेना शुरू कर देगी।

और हमारे पास वास्तव में घूमने के लिए एक जगह थी: Sports.ru और Tribuna.com की वेबसाइटों पर हर दिन 700 समाचार और 500 पाठ (जिनमें से 97% उपयोगकर्ता-जनरेट किए गए हैं) दिखाई देते हैं, और उनके तहत 30 हजार टिप्पणियां, 120 हजार रेटिंग और 2 हजार स्थितियां दिखाई देती हैं। सामग्री का यह पूरा शाफ्ट न केवल उनके 750 हजार अनूठे पृष्ठों और प्रति दिन 5 मिलियन हिट के साथ साइटों पर बसता है, बल्कि 160 मोबाइल अनुप्रयोगों में 100 हजार टैग के माध्यम से भी बिखरता है (जहां 200 हजार अद्वितीय पेज प्रति दिन 8 मिलियन हिट बनाते हैं) और 1,200 विषयगत समूह सामाजिक नेटवर्क।



तो, ये हमारी सामान्य संख्याएं हैं। खेल की घटनाओं के व्यस्त दिनों में आंकड़े असाधारण हो रहे हैं, जैसा कि अब वे सोची में हो रहे हैं। प्रत्येक ओलंपिक दिवस पर हम 1 मिलियन अद्वितीय अंक को तोड़ते हैं। त्वरित यातायात 10 बार कूद सकता है, और प्रति दिन हिट की कुल मात्रा 1.5-2 गुना बढ़ती है।

हमें पता था कि हमें बहुत सारे डेटा को संसाधित करना होगा: डेटा प्रोसेसिंग बुनियादी ढांचे के संचालन के पहले महीनों के दौरान, हमने 500 गीगाबाइट कच्चे माल और समुच्चय जमा किए थे। लेकिन अभी हमारे Hadoop क्लस्टर या कंप्यूटर प्रोसेसर में फिट होना बहुत जोखिम भरा होगा, और हमारे पास ऐसा कोई अवसर नहीं है - इसलिए हम बाहर निकले।

पिछले साल की शुरुआत में, हम इस आरेख में आधे शब्द भी नहीं जानते थे

हमने सब कुछ सरल बना दिया: पेज इंप्रेशन पर डेटा ओपन सोर्स काउंटर पिविक का उपयोग करके एकत्र किया गया है, इसके फ्रंट-एंड भाग की मदद से अधिक सटीक रूप से - हमारे पास बैकएंड पर एक नगनेक्स क्लस्टर है, जिसके नोड्स इस काउंटर से कॉल करते हैं। लॉग से कच्चा डेटा Amazon S3 से Amazon Redshift के माध्यम से बैचों में डाउनलोड किया जाता है, जहां क्लाइंट सत्रों की गणना ClickStream हिट से की जाती है। इसके अतिरिक्त, Redshift साइट के SQL स्टोरेज से डेटा को अनलोड करता है, जो निर्मित संरचनाओं को समृद्ध करने के लिए आवश्यक है। निर्मित संरचनाओं के ऊपर, एक SQL क्वेरी योजना विकसित की गई है, जिसका उपयोग चार्ट . io में ग्राफ़ और रिपोर्ट बनाने के लिए और साथ ही एडहॉक डेटा विश्लेषण के लिए किया जाता है।

इसके अलावा, हम अपने उपयोगकर्ताओं के लिए सिफारिशों मैट्रिक्स की त्वरित गणना के लिए NoSQL रिपॉजिटरी में व्यक्तिगत उपयोगकर्ता क्रियाओं को पंजीकृत करते हैं, Okmeter एजेंटों का उपयोग करके साइट पृष्ठों तक पहुंच की प्रक्रिया करते हैं, और SQL रिपॉजिटरी से उपयोगकर्ता सामग्री का विश्लेषण करने के लिए उनका उपयोग करते हैं। परिणामस्वरूप, हमने बिगडेटा (डेटा संग्रहण, जटिल गणना, ग्राफ़िंग और रिपोर्टिंग) के पूरे जटिल भाग को अपने स्वयं के हार्डवेयर फ़ार्म और सॉफ़्टवेयर संग्रह के रूप में नहीं किया, लेकिन इसे पूरी तरह से सास के लिए हटा दिया। हमने केवल कच्चे डेटा का संग्रह और समुच्चय की अंतिम खपत को छोड़ दिया।



हम आपको एक अलग पोस्ट में पूरे विश्लेषणात्मक बुनियादी ढांचे के तकनीकी कार्यान्वयन का विवरण बताने की उम्मीद करते हैं, अब हम आपके साथ साझा करना चाहते हैं कि कैसे हम डेटा के केवल एक छोटे से हिस्से को जोड़कर हमारे उत्पाद और व्यवसाय को बेहतर बनाने में कामयाब रहे।

उपयोगकर्ताओं के लिए सिफारिशें

अब हम अपने पाठकों के बारे में बहुत कुछ जानते हैं और न केवल वे जो पंजीकरण करते समय हमें बताते हैं - कौन सी टीम और एथलीट उन्हें पसंद करते हैं या उन्हें नापसंद करते हैं - बल्कि यह भी कि हम अपने व्यवहार प्रोफ़ाइल से उनके बारे में क्या सीखते हैं: जिससे प्रशंसक साइट या खोज क्वेरी उपयोगकर्ता Sports.ru और Tribuna.com पर आते हैं, वे किस टैग के साथ समाचार पढ़ते हैं और टिप्पणी करते हैं, कौन सी पोस्ट और टिप्पणियां प्लस हैं और कौन से माइनस हैं, जो दोस्तों के लिए दिलचस्प है। प्रत्येक आगंतुक के लिए एक प्राथमिकता मैट्रिक्स का निर्माण करते हुए, हम उस पर सिफारिशों के मैट्रिक्स को सुपरम्यूप करते हैं और उनमें से प्रत्येक को प्रासंगिक संकेत देते हैं।

बिजनेस मेट्रिक्स मॉनिटरिंग

मॉनिटर, ग्राफ और अच्छी दाढ़ी वाले लोगों के साथ एक बड़ा एमसीसी बनाना सबसे स्पष्ट बात है जो डेटा प्रोसेसिंग बुनियादी ढांचे को लॉन्च करने के बाद ध्यान में आता है। हमने शेड्यूल बनाया, लेकिन हमने मॉनिटर और दाढ़ी वाले पुरुषों को शामिल नहीं किया: हमें निश्चित रूप से आपातकालीन प्रतिक्रिया टीमों की आवश्यकता नहीं है।

लेकिन हमने ओकेमीटर का उपयोग करते हुए कुछ व्यावसायिक मैट्रिक्स पर अलर्ट डाल दिया। यद्यपि यह सेवा तकनीकी मीट्रिक (अपटाइम, ट्रैफ़िक, सिस्टम मेट्रिक्स, आदि) की निगरानी के लिए अधिक डिज़ाइन की गई है, लेकिन इसकी कार्यक्षमता आपको किसी भी SQL रिपॉजिटरी के किसी भी डेटा से मैट्रिक्स बनाने की अनुमति देती है। ऑपरेशन के छह महीनों के दौरान, सेवा ने दो बार हमें सूचित किया कि टिप्पणियां साइट पर दिखाई देना बंद हो गईं: नए साल की पूर्व संध्या पर और जब पृष्ठों पर जावास्क्रिप्ट को अवरुद्ध करने वाली साइट पर एक घुमावदार बैनर दिखाई दिया।

लेकिन ओकेमीटर में सबसे अच्छी चीज प्ले मोड है, जिसमें आप वास्तविक समय में चार्ट (मैट्रिक्स, डेटा फ़ंक्शंस, डिस्प्ले डिस्प्ले पैरामीटर्स जोड़ें) के साथ काम कर सकते हैं।

सेवा रूस के महान लोगों द्वारा की जाती है, अब तक यह पंजीकरण के लिए बंद है, लेकिन आप okmetric.com पर निमंत्रण के लिए पूछ सकते हैं

सामग्री वितरण और उत्पादन

हम, निश्चित रूप से, इस बात पर जासूसी करते हैं कि हमारे उपयोगकर्ता क्या लिखते हैं, कैसे वे सामग्री, समाचार पर प्रतिक्रिया करते हैं, लोकप्रिय टिप्पणियों और तस्वीरों की तलाश करते हैं, और सबसे अच्छी बात - हम उन्हें संपादकीय कार्यालय में ले जाते हैं। उपयोगकर्ता समुदाय, एक अर्थ में, एक पेट्री डिश है जिसमें शांत चुटकुले और काटने वाली टिप्पणियां उत्पन्न होती हैं (हम इन तथ्यों को पेशेवरों या विपक्षों में तेज उछाल से नोटिस करते हैं), उसी स्थान पर हम अपने संपादकीय और सामाजिक परिकल्पनाओं का परीक्षण करते हैं, और सबसे अच्छा प्रचार करते हैं हमारे चैनल: एप्लिकेशन, सोशल नेटवर्क, टैग स्ट्रीम।

पहली नज़र में, यह गतिविधि आबादी और निर्विवाद क्राउडसोर्सिंग के ब्रेज़ेन शोषण के समान है, और यह वास्तव में ऐसा है। लेकिन! वही तंत्र ट्रिब्यून के युवा और अज्ञात लेखकों को लोकप्रिय होने की अनुमति देता है। हम वास्तव में उज्ज्वल पात्रों को नोटिस करते हैं और उन्हें सामाजिक संस्करण में संचलन में ले जाते हैं: हम मुख्य पृष्ठ पर पोस्ट करते हैं, धाराओं में लिंक को तितर बितर करते हैं, उन्हें डिजाइन और प्रस्तुति पर सलाह देते हैं।

एडहॉक विश्लेषण

हमारे पास एनालिटिक्स के बारे में बहुत सारी मजेदार तस्वीरें नहीं हैं, इसलिए हम बिल्लियों को पोस्ट करना शुरू करते हैं

बिगडाटा इंफ्रास्ट्रक्चर के साथ, हमें आखिरकार एक उपकरण मिला, जिसके साथ हम मज़बूती से सवालों के जवाब दे सकते हैं: "ऐसा क्यों हुआ?", "मैं उत्पाद को कैसे बेहतर बना सकता हूं?", "यहां कौन सा रंग बटन सबसे अच्छा काम करता है?", आदि। एन। हर दिन, हम अनुमानों और सहसंबंधों की खोज करने के लिए संख्याओं के जादू का उपयोग करते हैं।

उदाहरण के लिए, हमने हाल ही में पंजीकरण करने के लिए एक व्यक्तिगत बाध्यता शुरू की है: विभिन्न तरीकों से हम सीखते हैं कि कौन सी टीम किस आगंतुक में रुचि रखती है, इस टीम के एक लोकप्रिय खिलाड़ी का चयन करें, पंजीकरण के लिए निमंत्रण पर इस एथलीट की तस्वीर लटकाएं और इस आगंतुक को एक विशेष ब्लॉक दिखाएं। हमने पहले ही पता लगा लिया है कि इस तरह के एक व्यक्तिगत उपचार प्यारा बिल्लियों या गुस हिडिंक की तुलना में कई गुना अधिक कुशल काम करता है। लेकिन हमने इस तरह के निमंत्रण के लिए पाठ का चयन करने का फैसला किया, एक सरल एबीसीडी परीक्षण। इस तरह से परीक्षण के विकल्प प्रयोगात्मक अलेक्जेंडर Amisulashvili पर विंग्स ऑफ द सोवियट्स से दिखते हैं:


अपने आप को सर्वश्रेष्ठ विकल्प का अनुमान लगाने की कोशिश करें और हमारे परिणामों के साथ तुलना करें (100,000 छापों के लिए एक चयन किया गया था)।

मेलिंग सूची

आप विशेष कौशल और उपकरणों के बिना ईमेल न्यूज़लेटर्स की प्रभावशीलता को माप सकते हैं। हम अभियान के लिए डेटा इन्फ्रास्ट्रक्चर का उपयोग करते हैं: उपयोगकर्ताओं को व्यक्तिगत संदेश भेजने के लिए उनका चयन करना। हम उन उपयोगकर्ताओं की पहचान करते हैं, जिन्होंने ईमेल के माध्यम से यह बताने के लिए कई हफ्तों तक साइट का दौरा नहीं किया है कि उनके पास जाने के दौरान हमारे पास दिलचस्प चीजें हैं। हम खिलाड़ियों को उनकी फंतासी टीम या भविष्यवाणी टूर्नामेंट की याद दिलाते हैं जिसे उन्होंने छोड़ दिया है। हम प्रशंसकों को विषयगत रुचि मंचों पर आमंत्रित करते हैं।

व्यापार बुद्धि

सप्ताह में एक बार, Sports.ru और Tribuna.com के सभी विभागों के प्रमुख पिछले सप्ताह के पूर्वव्यापी कार्यक्रम के लिए इकट्ठा होते हैं और वर्तमान एक के लिए योजनाओं पर चर्चा करते हैं। प्रत्येक भागीदार अपनी गतिविधि के क्षेत्र के बारे में बात करता है, रिपोर्ट में डेटा पर निर्भर करता है, जो हमारे बुनियादी ढांचे में एकत्र किए गए डेटा से साप्ताहिक उत्पन्न होता है। हम एक संपूर्ण, संपादकीय और एसएमएम गतिविधियों, विकास, उत्पाद, वित्त, आईटी के रूप में यातायात, बिक्री, प्रतियोगियों और बाजार की संरचना पर चर्चा करते हैं। इन बैठकों का मूल्य पूरी तरह से पूरी कंपनी के स्तर पर ज्ञान और प्राथमिकताओं के सिंक्रनाइज़ेशन में है - हुड के तहत कोई नौकरशाही रिपोर्टिंग नहीं।

---

... और यह बिगडाटा में पहले से ही हमारे पास एक छोटा सा हिस्सा है। हमने आपको केवल एक लक्ष्य के साथ कीहोल के माध्यम से हमारे बुनियादी ढांचे को दिखाया - आपको अपनी परियोजना में डेटा संसाधित करने के लिए प्रेरित करने के लिए। यह वास्तव में उतना डरावना और महंगा नहीं है जितना कि यह पहली नज़र में लगता है: हमने शुरू में उपकरणों पर पूंजीगत व्यय के बिना किया था, हालांकि हमने विकास के 4 आदमी-महीने बिताए थे। हम सर्वर किराये और बाहरी सेवाओं के भुगतान पर प्रति माह 60 हजार से अधिक रूबल खर्च नहीं करते हैं। और हम आपको आश्वासन देते हैं - अंतर्दृष्टि इसके लायक है।


इसके लिए जाओ!

UPD: यहां पद की निरंतरता और तकनीकी भाग http://habrahabr.ru/company/sports_ru/blog/216229/