Odnoklassniki सामाजिक नेटवर्क व्यवसाय विश्लेषण

यह पोस्ट Odnoklassniki में सांख्यिकी प्रणालियों के बारे में है। यह बात करेगा कि हमें आंकड़ों की आवश्यकता क्यों है, और हमें किन प्रणालियों के साथ काम करना है। निम्नलिखित पदों में हम विस्तार से वर्णन करेंगे:

• सिस्टम आर्किटेक्चर;
• सिस्टम और एल्गोरिदम के मुख्य घटक;
• गैर-तुच्छ समस्याएं और समाधान

हमें आंकड़ों की आवश्यकता क्यों है?

हमारी साइट के काम के बारे में सब कुछ जानने के लिए हमें आंकड़ों की आवश्यकता है। यह ज्ञान हमें इसकी अनुमति देता है:

• सेवाओं को यादृच्छिक रूप से विकसित न करें, लेकिन उद्देश्यपूर्ण रूप से साइट के प्रदर्शन और उपयोगकर्ता गतिविधि को बढ़ाएं;
• किसी भी विकास की सफलता का मूल्यांकन करना, चाहे वह एक नई सेवा हो या सरल कोड रिफैक्टिंग;
• एक पूरे के रूप में साइट के काम को ट्रैक;
• साइट के प्रत्येक घटक और उनके संबंध के संचालन को नियंत्रित करता है;
• साइट के व्यक्तिगत घटकों के संचालन में विसंगतियों की जांच करना;
• उपयोगकर्ता गतिविधि में असामान्य परिवर्तन की जांच;
• हमारी सेवाओं के लक्षित दर्शकों का विश्लेषण करें।

हम क्या डेटा इकट्ठा करते हैं

वास्तव में हमारी साइट के काम के बारे में सब कुछ जानने के लिए, आपको बहुत सारी जानकारी एकत्र करने की आवश्यकता है। हर दिन हम दो ट्रिलियन (2,000,000,000,000) से अधिक रिकॉर्ड की प्रक्रिया करते हैं। इच्छुक पक्ष 2-3 मिनट के अंतराल के साथ संसाधित आंकड़ों तक पहुंच सकते हैं, अर्थात लगभग वास्तविक समय में।

हम लॉग:

• कोई भी उपयोगकर्ता गतिविधि (कोई भी क्लिक);
• साइट के किसी भी गैर-तुच्छ घटक के लिए कोई भी कॉल (उदाहरण के लिए, एक जावा वर्ग और विधि);
• साइट घटकों के बीच कोई भी संबंध (उदाहरण के लिए, वेब सर्वर से कैश तक पहुंच)।

हम उपयोगकर्ता सामग्री के बारे में डेटा भी अपलोड करते हैं (उदाहरण के लिए, अपलोड की गई फ़ोटो और रेटिंग) और गतिविधि (उदाहरण के लिए, लॉगिन या विज़िट), उपयोगकर्ता के व्यवहार के बारे में विस्तार से विश्लेषण करने के लिए।

सांख्यिकी उपकरण

चार्ट और डेसबोर्ड प्रणाली

हम मुख्य रूप से रेखांकन के रूप में आँकड़ों को देखते हैं। ये चार्ट प्रायः दो प्रकार के होते हैं:

1) एक ग्राफ जहां एक बिंदु पांच मिनट के लिए एकत्रित डेटा है। ये परिचालन निगरानी के लिए रेखांकन हैं।



2) एक ग्राफ जहां एक बिंदु कम से कम एक दिन के लिए डेटा एकत्र किया जाता है। आप अन्य अवधियों को निर्दिष्ट कर सकते हैं - सप्ताह, महीना, तिमाही और वर्ष। ये लंबी अवधि के रुझानों पर नज़र रखने के लिए चार्ट हैं।



एक क्लिक के साथ, किसी भी चार्ट को इंटरैक्टिव मोड में बदल दिया जाता है, जिसमें आप चार्ट के मापदंडों और फ़िल्टर को बदल सकते हैं और तुरंत परिणाम प्राप्त कर सकते हैं।



चार्ट की मुख्य विशेषताएं:

1) किसी भी तारीख और किसी भी अवधि का चयन करें (पूरी कहानी उपलब्ध है);
2) किसी भी पैरामीटर का चयन करें - उदाहरण के लिए, कॉल की संख्या, औसत निष्पादन समय;
3) किसी भी क्लासिफायरियर द्वारा समूह, उदाहरण के लिए, सर्वरों द्वारा या जावा-कक्षाओं द्वारा;
4) कोई भी फ़िल्टर डालें - मूल्य द्वारा, मूल्यों की सूची द्वारा;
5) गणितीय एल्गोरिदम के साथ प्रक्रिया - उदाहरण के लिए, अनुसूची को चिकना करें;
6) 5 मिनट के चार्ट से दैनिक और इसके विपरीत स्विच करेगा;
7) डिस्चार्ज में कॉन्फ़िगर किए गए शेड्यूल को नए के रूप में सहेजें या पुराने पर फिर से लिखें।

इन ग्राफ से, हम विषयगत विषयगत डेस्क बनाते हैं। ऐसा करने के लिए, हमने ASP.NET पर एक वेब एप्लिकेशन लिखा।



इस प्रणाली का एक महत्वपूर्ण पहलू प्रबंधकों, डेवलपर्स और प्रशासक हैं जो चार्ट के साथ काम करते हैं और डैशबोर्ड बनाते हैं, न कि व्यवसाय विश्लेषण विभाग। व्यावसायिक विश्लेषक केवल उपकरण प्रदान करते हैं और सिस्टम प्रदर्शन सुनिश्चित करते हैं।

पारंपरिक रिपोर्टिंग प्रणाली

हमारे पास पारंपरिक रिपोर्टिंग भी है: ये स्थिर रिपोर्टें हैं जो टेबल या ग्राफ़ के रूप में अनुरोधित डेटा दिखाती हैं। व्यापार खुफिया विभाग अनुरोध पर उन्हें बनाता है। ये रिपोर्ट चार्ट और डेस्क की प्रणाली में एकीकृत हैं।

हम रिपोर्ट पर विचार नहीं करेंगे - वे खुद में और दिलचस्प नहीं हैं। बड़ी मात्रा में डेटा को संसाधित करने के तरीकों पर विचार करें (उदाहरण के लिए, हमारे पास 2011 में लगभग 30 बिलियन लॉगिन थे)।

बहुआयामी विश्लेषण (OLAP) प्रणाली

अक्सर पिवट-टेबल शैली में दीर्घकालिक रुझानों का विश्लेषण करना अधिक सुविधाजनक होता है, जहां किसी भी पैरामीटर को तालिका के रूप में घटकों में विभाजित किया जा सकता है।

इसलिए, हम विभिन्न विषयों पर OLAP क्यूब्स बनाते हैं, उदाहरण के लिए, एक भुगतान क्यूब, एक लॉगिन क्यूब और अन्य। क्यूब्स के साथ काम करने के लिए, हमने एक वेब एप्लिकेशन लिखा।

स्वचालित विसंगति जांच प्रणाली

चार्ट के साथ चार्टबोर्ड देखना मॉनिटर करने का सबसे प्रभावी तरीका नहीं है। हमने एक प्रणाली बनाई है जो "रेखांकन" के माध्यम से दिखता है, और यदि यह "मानक" से असामान्य विचलन का पता लगाता है, तो पत्र या एसएमएस संदेश द्वारा इसके बारे में सूचित करता है।

बुनियादी ढांचे में बाधाओं का स्वतः पता लगाने के लिए प्रणाली

हमारे पास उपकरणों का काफी बड़ा बेड़ा है - 4000 से अधिक सर्वर, जिनके साथ काम करने के लिए हम विभिन्न विशेष प्रणालियों का उपयोग करते हैं - कैक्टि, ज़ैबिक्स और अन्य। जब किसी संसाधन का उपयोग महत्वपूर्ण स्तर तक पहुँच जाता है, तो व्यवस्थापकों को स्वचालित रूप से इस बारे में सूचित कर दिया जाता है।

सर्वरों पर लोड के लिए एक महत्वपूर्ण स्तर तक पहुंचने के लिए शायद ही कभी संभव हो, नियमित रूप से इन सर्वरों के परिचालन प्रदर्शन का विश्लेषण करना और उपयुक्त निर्णय लेने के लिए आवश्यक है, उदाहरण के लिए, अतिरिक्त क्षमता जोड़ने पर। मैन्युअल रूप से ऐसा विश्लेषण मैन्युअल रूप से करना बहुत मुश्किल है। इसलिए, हमने एक मॉड्यूल लिखा है जो कैक्टि सिस्टम से डेटा वेयरहाउस में डेटा अपलोड करता है और "पिछले सप्ताह में सब कुछ उसी तरह जारी रहता है तो हम जल्द ही एक महत्वपूर्ण स्तर तक कैसे पहुंचेंगे" इस विषय पर पिछले कुछ हफ्तों से ऑपरेटिंग संकेतकों पर पुनरावृत्त होते हैं।

तकनीक का इस्तेमाल किया

डेटा वेयरहाउस

2008 में, जब उन्होंने फैसला किया कि व्यावसायिक विश्लेषण प्रणाली का निर्माण करना आवश्यक है, तो ओडनोक्लास्निक ने व्यापक रूप से एमएस SQL ​​डेटाबेस का उपयोग किया। इसलिए, हमारे लिए तार्किक विकल्प व्यापार विश्लेषण के लिए इस मंच का उपयोग करना था।

आज, डेटा वेयरहाउस के रूप में, हम केवल MS SQL 2008 R2 एंटरप्राइज़ संस्करण का उपयोग करते हैं। हम MS SQL 2012 में अपग्रेड करने की योजना बना रहे हैं। बेशक, हम आपको परिणामों के बारे में सूचित करेंगे।

डाटा प्रोसेसिंग

हमने MS SQL वफ़ादारी सेवाओं का उपयोग करने की कोशिश की, लेकिन यह तकनीक श्रम के मामले में बहुत हानिकारक थी। एक ही कोड को कई बार तेजी से T-SQL में लिखा जा सकता है। इसलिए, डेटा प्रोसेसिंग कोड का 99.9% टी-एसक्यूएल में लिखा है, और बाकी .NET में है।

OLAP

बहुभिन्नरूपी विश्लेषण के लिए, हम MS SQL 2008 R2 विश्लेषण सेवाओं का उपयोग करते हैं। हम MS SQL 2012 में अपग्रेड करने की योजना भी बना रहे हैं। हमने फ्रंट-एंड के लिए एक वेब एप्लिकेशन लिखा है।

चार्ट और रिपोर्ट जेनरेटर

हम रेखांकन और अधिकांश रिपोर्ट बनाने के लिए MS SQL रिपोर्टिंग सेवाओं का उपयोग करते हैं। प्रारंभ में, यह एक बहुत ही सफल समाधान था, क्योंकि आवश्यक न्यूनतम कार्यक्षमता को जल्दी से बनाना संभव था। लेकिन अब सिस्टम की आवश्यकताएं बढ़ गई हैं - हमें एक अमीर, तेज और अधिक गतिशील उपयोगकर्ता इंटरफ़ेस की आवश्यकता है। इसलिए, हम दूसरे समाधान की ओर पलायन करने की योजना बनाते हैं (हमने अभी तक किसी को नहीं चुना है)।

वेब अनुप्रयोग

सभी वेब एप्लिकेशन ASP.NET में लिखे गए हैं। हम DevExpress UI घटकों का उपयोग करते हैं, जो आपको आसानी से और जल्दी से एक ही शैली में अच्छे आकार बनाने की अनुमति देते हैं।

अगली पोस्ट में, हम विस्तार से बात करेंगे कि हम कैसे जानकारी लॉग करते हैं और डीडब्ल्यूएच को डेटा वितरित करते हैं।

ओडनोक्लासनिक टीम