Sports.ru और Tribuna.com की डेटा प्रोसेसिंग संरचना क्या है?

Sports.ru और Tribuna.com एनालिटिक सिस्टम के बारे में पहली पोस्ट में, हमने बात की कि हम रोजमर्रा की जिंदगी में अपने बुनियादी ढांचे का उपयोग कैसे करते हैं: हम अनुशंसा प्रणाली की सामग्री को भरते हैं, व्यापार मीट्रिक का निरीक्षण करते हैं, उपयोगकर्ता सामग्री के बीच हीरे की तलाश करते हैं, और सवालों के जवाब ढूंढते हैं कि यह कैसे काम करता है। बेहतर? ”और“ क्यों? ”, हम उपयोगकर्ताओं को मेलिंग सूचियों में कटौती करते हैं और कंपनी की गतिविधियों पर सुंदर रिपोर्ट बनाते हैं। हमने विनम्रतापूर्वक इस योजना के पीछे की कहानी के पूरे तकनीकी भाग को छिपा दिया:



पाठकों ने वैध रूप से मजेदार बिल्लियों के साथ कहानी जारी रखने की मांग की, और ऑलीगबिनिन ने आरआईटी ++ पर छिपी हर चीज के बारे में बात करने के लिए आमंत्रित किया। खैर, हम मजेदार पोस्ट की निरंतरता में कुछ तकनीकी विवरणों की व्याख्या करेंगे।

कोष

जैसा कि Sports.ru एक समाचार साइट से एक पूर्ण सामाजिक नेटवर्क में विकसित हुआ, डेटा एनालिसिस के लिए नई सेवाओं (इसी तरह, एपेनी, फ्लरी, इत्यादि) को Google Analytics और Yandex.Metexa जैसे सामान्य विश्लेषणात्मक उपकरणों में जोड़ा गया। एक दर्जन से अधिक विभिन्न अनुप्रयोगों के बीच फटे नहीं होने के लिए और मेट्रिक्स को मापने के लिए एक सामान्य समन्वय प्रणाली है, हमने अपने सभी साइटों, मोबाइल एप्लिकेशन और सामाजिक प्रवाह के ट्रैफ़िक के बारे में सभी डेटा एक स्टोर में एकत्र करने का निर्णय लिया।

हमें अलग-अलग डेटा के साथ काम करने के लिए एक एकल सेवा प्राप्त करने की आवश्यकता है, जो पत्रकारों को ग्रंथों और लेखकों की लोकप्रियता की निगरानी करने की अनुमति देगा, सामाजिक संपादकीय कार्यालय के कर्मचारी - उभरते हुए रुझानों, उत्पाद प्रबंधकों को जल्दी से जवाब देंगे - हमारी सेवाओं में उपयोगकर्ता की व्यस्तता का मूल्यांकन करें, जब नई कार्यक्षमता लॉन्च की गई थी तब प्रयोगात्मक परिणाम प्राप्त करें आदि हमने एकत्र किए गए डेटा को संग्रहीत करने का निर्णय लिया, ताकि इसे आसानी से काम किया जा सके, उपयोगकर्ताओं की एक विस्तृत विविधता के लिए सुविधाजनक रूप में प्रस्तुत किया गया: पत्रकारों के लिए, और सिस्टम प्रशासक के लिए।

हमें गिनने की क्या जरूरत थी? साइटों और मोबाइल एप्लिकेशन की उपस्थिति, पंजीकृत उपयोगकर्ताओं की गतिविधि (टिप्पणियां, रेटिंग, पोस्ट, सदस्यता, पंजीकरण आदि), सामाजिक नेटवर्क में हमारी धाराओं के लिए ग्राहकों की संख्या, मोबाइल एप्लिकेशन की स्थापना की संख्या। जैसा कि मासिक ट्रैफ़िक वॉल्यूम 250 मिलियन हिट्स तक पहुंच गया और बढ़ना जारी रहा, हमने सामान्य रिलेशनल डीबीएमएस का उपयोग नहीं करने का फैसला किया, लेकिन एक ऐसी तकनीक का चयन किया जो डेटा वॉल्यूम बढ़ाने के साथ आसानी से स्केल कर सके। हम डेटा का सबसे सरल और सुविधाजनक उपयोग करना चाहते थे, उदाहरण के लिए, एसक्यूएल प्रश्नों के रूप में। अंत में, हम रेडशिफ्ट सास स्टोरेज पर आकर बस गए, जिसे 2013 की शुरुआत में अमेज़न वेब सर्विसेज इकोसिस्टम में लॉन्च किया गया था।

आप वेब इंटरफ़ेस के माध्यम से अपने Redshift क्लस्टर का प्रबंधन कर सकते हैं। कहीं आसान नहीं है

Redshift एक वितरित स्तंभ DBMS है जिसमें कुछ विशेषताएं हैं, जैसे अखंडता की अनुपस्थिति जैसे विदेशी कुंजी या फ़ील्ड मानों की विशिष्टता। कॉलम किए गए DBMS इस तरह से रिकॉर्ड करते हैं कि बड़ी संख्या में पंक्तियों के लिए समूहीकरण और समुच्चय गणना के साथ प्रश्नों को जितनी जल्दी हो सके काम करते हैं। उसी समय, कुंजी द्वारा एक रिकॉर्ड के सभी क्षेत्रों का चयन (तालिका से आईडी = एन) का चयन करें, साथ ही एक समय में एक रिकॉर्ड को बदलने या जोड़ने के संचालन, नियमित डेटाबेस की तुलना में लंबे समय तक काम कर सकते हैं। डिवाइस कॉलम DBMS के बारे में अधिक जानकारी इस पोस्ट में पाई जा सकती है।

Redshift ने हमें डेटा तक पहुंच में आसानी के साथ रिश्वत दी (आप नियमित पोस्टग्रेक्यूएल की तरह इसके साथ काम कर सकते हैं), स्केलिंग में आसानी (डेटा की मात्रा में वृद्धि के साथ, नए सर्वर कुछ क्लिक में जोड़े जाते हैं, सभी डेटा स्वचालित रूप से पुनर्वितरित हो जाते हैं) और कार्यान्वयन की कम लागत (उदाहरण के लिए, अपाचे बंडल के साथ) हडोप + हिव)। बहुत शुरुआत में, वैसे तो हम अपने Hadoop क्लस्टर के बारे में सोच रहे थे, लेकिन हमने इस विचार को छोड़ दिया, जिसने अपने आप को सीमित कर लिया और Apache Mahout का उपयोग करते हुए और अपने स्टोरेज पर व्यक्तिगत रीयलटाइम सिफारिशों को बनाने की क्षमता खो दी, जो आम तौर पर कुछ वितरित एल्गोरिदम को नहीं चला सकते हैं। SQL में वर्णन करें। वास्तव में नहीं चाहता था ।

विहित डीबीएमएस से कोई भी संबंधपरक डेटा आसानी से रेडशिफ्ट संरचनाओं में स्थानांतरित हो जाता है

ट्रैफ़िक डेटा संग्रह

पृष्ठों पर विचारों और घटनाओं के बारे में डेटा संग्रहीत करने के लिए, हम खुले स्रोत काउंटर पिविक के क्लाइंट भाग का उपयोग करते हैं, जिसमें एक जावास्क्रिप्ट ट्रैकर और PHP / MySQL में एक बैकेंड भाग होता है, जिसे हम अनावश्यक के रूप में फेंक देते हैं। काउंटर एसिंक्रोनस रूप से Nginx वाले सर्वरों को अनुरोध भेजता है, जहां वे मानक लॉग्स को लिखे जाते हैं। काउंटर कोड कुछ इस तरह दिखता है:

<script type="text/javascript"> var _paq = _paq || []; _paq.push(["enableLinkTracking"]); _paq.push(["setTrackerUrl", "http://stat.sports.ru/p"]); _paq.push(["setSiteId", "1"]); _paq.push(["trackPageView"]); (function(w,d,s,u,e,p){ e=d.createElement(s); e.src=u;e.async=1; p=d.getElementsByTagName(s)[0]; p.parentNode.insertBefore(e,p);})(window,document,'script', 'http://stat.sports.ru/piwik.js'); </script> 

जीए काउंटर कोड के समान है, है ना?

काउंटर के अनुरोधों में सभी आवश्यक डेटा शामिल हैं, जैसे कि पेज का पता, उपयोगकर्ता-एजेंट, संदर्भकर्ता, संदर्भकर्ता, पिछली यात्रा की तारीख, कुकी से अद्वितीय आगंतुक आईडी और इसी तरह। प्रत्येक अनुरोध को एक उपयोगकर्ता पहचानकर्ता (यदि ज्ञात हो) के साथ पूरक किया जाता है, जिसके द्वारा हम उपयोगकर्ता गतिविधि डेटा के साथ डेटा को जोड़ सकते हैं जो साइट डेटाबेस में जमा होते हैं (टिप्पणियाँ, पोस्ट, प्लसस और मिनस)। इसके अलावा, nginx आगंतुक की भौगोलिक स्थिति के बारे में लॉग जानकारी (मैक्समाइंड + ngx_http_geoip_module) में जोड़ता है।

 77.0.155.47 - - [31/Mar/2014:13:00:02 +0400] "GET /p?action_name=12   Sports.ru     -   -  - Sports.ru&idsite=1&rec=1&r=878036&h=13&m=1&s=54&url=http%3A%2F%2Fwww.sports.ru%2Ffootball%2F&_id=4cfacf46947ecc9a&_idts=1396089767&_idvc=7&_idn=0&_refts=0&_viewts=1396218890&suid=4582d0d1-0b34-4208-b154-413de9cd40ee&suida=JcHxFVM2AIp2Rdr1C6q0Ag&tsl=1396256514&pdf=1&qt=0&realp=0&wma=0&dir=0&fla=1&java=1&gears=0&ag=1&cookie=1&res=1920x1080>_ms=1072 HTTP/1.1" 200 35 "http://www.sports.ru/football/" "Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36" "-" "RU" "Grozny" 188.232.174.186 - - [31/Mar/2014:13:00:02 +0400] "GET /p?action_name=_event&idsite=1&rec=1&r=109951&h=13&m=1&s=53&url=http://www.sports.ru/football/4283301.html&_id=45af8e84654389f1&_idts=1392628066&_idvc=2&_idn=0&_refts=1396256513&_viewts=1392628066&_ref=http://www.sports.ru/&suida=JcHxFVMB0V0b91OfKBpEAg&tsl=1396256513&cvar=%7B%221%22%3A%5B%22Authors-News%22%2C%22%D0%AE%D1%80%D0%B8%D0%B9%20%D0%91%D0%BE%D0%B3%D0%B4%D0%B0%D0%BD%D0%BE%D0%B2%22%5D%7D&pdf=0&qt=0&realp=0&wma=0&dir=0&fla=0&java=0&gears=0&ag=0&cookie=1&res=1280x800>_ms=117 HTTP/1.1" 200 35 "http://www.sports.ru/football/159071418.html?ext=yandex" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "-" "RU" "Zhukovskiy" % 2Fwww.sports.ru% 2Ffootball% 2F और _ id = 4cfacf46947ecc9a और _idts = 77.0.155.47 - - [31/Mar/2014:13:00:02 +0400] "GET /p?action_name=12   Sports.ru     -   -  - Sports.ru&idsite=1&rec=1&r=878036&h=13&m=1&s=54&url=http%3A%2F%2Fwww.sports.ru%2Ffootball%2F&_id=4cfacf46947ecc9a&_idts=1396089767&_idvc=7&_idn=0&_refts=0&_viewts=1396218890&suid=4582d0d1-0b34-4208-b154-413de9cd40ee&suida=JcHxFVM2AIp2Rdr1C6q0Ag&tsl=1396256514&pdf=1&qt=0&realp=0&wma=0&dir=0&fla=1&java=1&gears=0&ag=1&cookie=1&res=1920x1080>_ms=1072 HTTP/1.1" 200 35 "http://www.sports.ru/football/" "Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36" "-" "RU" "Grozny" 188.232.174.186 - - [31/Mar/2014:13:00:02 +0400] "GET /p?action_name=_event&idsite=1&rec=1&r=109951&h=13&m=1&s=53&url=http://www.sports.ru/football/4283301.html&_id=45af8e84654389f1&_idts=1392628066&_idvc=2&_idn=0&_refts=1396256513&_viewts=1392628066&_ref=http://www.sports.ru/&suida=JcHxFVMB0V0b91OfKBpEAg&tsl=1396256513&cvar=%7B%221%22%3A%5B%22Authors-News%22%2C%22%D0%AE%D1%80%D0%B8%D0%B9%20%D0%91%D0%BE%D0%B3%D0%B4%D0%B0%D0%BD%D0%BE%D0%B2%22%5D%7D&pdf=0&qt=0&realp=0&wma=0&dir=0&fla=0&java=0&gears=0&ag=0&cookie=1&res=1280x800>_ms=117 HTTP/1.1" 200 35 "http://www.sports.ru/football/159071418.html?ext=yandex" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "-" "RU" "Zhukovskiy" = JcHxFVM2AIp2Rdr1C6q0Ag और TSL = 77.0.155.47 - - [31/Mar/2014:13:00:02 +0400] "GET /p?action_name=12   Sports.ru     -   -  - Sports.ru&idsite=1&rec=1&r=878036&h=13&m=1&s=54&url=http%3A%2F%2Fwww.sports.ru%2Ffootball%2F&_id=4cfacf46947ecc9a&_idts=1396089767&_idvc=7&_idn=0&_refts=0&_viewts=1396218890&suid=4582d0d1-0b34-4208-b154-413de9cd40ee&suida=JcHxFVM2AIp2Rdr1C6q0Ag&tsl=1396256514&pdf=1&qt=0&realp=0&wma=0&dir=0&fla=1&java=1&gears=0&ag=1&cookie=1&res=1920x1080>_ms=1072 HTTP/1.1" 200 35 "http://www.sports.ru/football/" "Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36" "-" "RU" "Grozny" 188.232.174.186 - - [31/Mar/2014:13:00:02 +0400] "GET /p?action_name=_event&idsite=1&rec=1&r=109951&h=13&m=1&s=53&url=http://www.sports.ru/football/4283301.html&_id=45af8e84654389f1&_idts=1392628066&_idvc=2&_idn=0&_refts=1396256513&_viewts=1392628066&_ref=http://www.sports.ru/&suida=JcHxFVMB0V0b91OfKBpEAg&tsl=1396256513&cvar=%7B%221%22%3A%5B%22Authors-News%22%2C%22%D0%AE%D1%80%D0%B8%D0%B9%20%D0%91%D0%BE%D0%B3%D0%B4%D0%B0%D0%BD%D0%BE%D0%B2%22%5D%7D&pdf=0&qt=0&realp=0&wma=0&dir=0&fla=0&java=0&gears=0&ag=0&cookie=1&res=1280x800>_ms=117 HTTP/1.1" 200 35 "http://www.sports.ru/football/159071418.html?ext=yandex" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "-" "RU" "Zhukovskiy" 

केवल नेगनेक्स एक्सेस लॉग में प्रविष्टियां बैकएंड पर काउंटर से रहती हैं

Amazon Redshift को लिखने के लिए, डेटा को CSV की तरह रूप में परिवर्तित किया जाता है, अमेज़न S3 को भेजा जाता है, और, यदि वांछित है, तो त्वरित लोडिंग के लिए कई भागों में विभाजित किया जाता है। लॉग को पार्स करना एक सरल स्क्रिप्ट के साथ किया जाता है जो एक पास (ऊपर देखें) में आवश्यक डेटा का चयन करता है और उपयोगकर्ता / एजेंट को ब्राउज़र / ओएस की एक जोड़ी में अनुवाद करने जैसे सरल रूपांतरण करता है।

 77.0.155.47|2014-03-31 13:00:02|1|   ,  ,  ,  , , , ,  - Sports.ru|9cfacf46947ecc9a|8582d0d1-0b34-4208-b154-413de9cd40ee|JdHxFVM2AIp2Rdr1C6q0Ag|2014-03-29 14:42:47|7|0|||1970-01-01 04:00:00|2014-03-31 02:32:58|1970-01-01 04:00:00|||||13|1|54|0|0|RU|Grozny|Chrome|33.0.1750|Windows||Other|/football/|/football/ 233.91.249.44|2014-03-31 13:00:02|1| : «      » -   - Sports.ru|a3e990633872eb74||JcHxFVKB2Z0nhRhOJHMEAg|2014-03-17 07:55:17|12|0|||2014-03-31 13:01:22|2014-03-31 11:08:01|1970-01-01 04:00:00|hideme.ru/||||13|1|52|2|159076870|RO|Bucharest|Firefox|27|Windows XP||Other|/others/figure-skating/159076870.html|/others/figure-skating/159076870.html|http://alu5.ojf6lnoa.owl.e/others/ 

Redshift पर अपलोड करने के लिए तैयार किया गया डेटा कुछ इस तरह दिखता है

चूंकि काउंटर से प्रत्येक अनुरोध में एक अद्वितीय आगंतुक आईडी और साइट पर अंतिम यात्रा का समय होता है, इसलिए डेटा तैयारी चरण में उपयोगकर्ता सत्रों की गणना करने की कोई आवश्यकता नहीं है। इसके अलावा, एक ही सत्र के पेजव्यू के डेटा को अलग-अलग काउंटर सर्वर पर रिकॉर्ड किया जा सकता है, इसलिए सत्र में हिट को पहले से ही Redshift के अंदर एक साथ चिपका दिया जाता है। इस प्रकार, हम अपने रिपॉजिटरी बेसिक मेट्रिक्स जैसे इंप्रेशन वॉल्यूम (इन्वेंट्री) या किसी भी सेक्शन के लिए यूनीक यूजर्स (दर्शकों) की संख्या: साइट सेक्शन, सोर्स, ब्राउजर आदि में जमा करते हैं।

टाइमस्टैम्प	uid	यूआरएल	visits_count	new_visitor	last_visit_ts
3/25/2014 17:42:00	108e36856acb1384	/	0	1	शून्य
3/25/2014 17:43:00	108e36856acb1385	/ फुटबॉल /	0	1	शून्य
3/25/2014 23:42:00	108e36856acb1384	/ सीएसका /	1	0	3/25/2014 17:42:00

Redshift में समान संरचनाओं में कच्चे डेटा (क्लिकस्ट्रीम) को जोड़ा जाता है

ज्यादातर मामलों में, ट्रैफ़िक का विश्लेषण करते समय, किसी विशेष आगंतुक या उसके किसी सत्र के बारे में कुछ सीखने की आवश्यकता नहीं होती है, लेकिन एक निश्चित अवधि के लिए अद्वितीय आगंतुकों की संख्या या प्रति सत्र औसत विचारों की संख्या जैसे कुल या औसत मूल्यों की आवश्यकता होती है। इसलिए, सीधे कच्चे क्लिकस्ट्रीम का विश्लेषण करने का कोई मतलब नहीं है, जो बहुत अधिक स्थान लेता है, और इसके लिए क्वेरी बहुत जल्दी नहीं की जाती हैं।

हम एकत्र किए गए डेटा को समुच्चय में पैक करते हैं जो आगे के विश्लेषण के लिए सुविधाजनक हैं, उदाहरण के लिए, हम पूरे उपयोगकर्ता सत्र की रचना करते हैं, जिसमें आमतौर पर कई हिट होते हैं, एक रिकॉर्ड में, जो इस यात्रा की मुख्य जानकारी को दर्शाता है: सत्र में अवधि और विचारों की संख्या, संक्रमण का स्रोत और अन्य। यात्रा विवरण:

प्रारंभ	अंत	uid	last_visit_ts	पृष्ठ-अवलोकन
3/25/2014 17:42:00	3/25/2014 17:43:00	108e36856acb1384	शून्य	2
3/25/2014 23:42:00	3/25/2014 23:53:00	108e36856acb1385	3/25/2014 17:42:00	4
3/26/2014 0:42:00	3/25/2014 0:43:00	108e36856acb1385	3/25/2014 23:42:00	2

एग्रीगेटेड सत्र डेटा इस रूप में प्रस्तुत किया गया है।

इस डेटा से, निम्न स्तर के एग्रीगेटर एकत्र किए जा सकते हैं:

तिथि	uid	पृष्ठ-अवलोकन	सत्र
2014/03/25	108e36856acb1384	6	2
2014/03/25	108e36856acb1385	2	1
2014/03/25	a3e990633872eb74	12	3

एकत्र आगंतुक डेटा

अंतिम समुच्चय के साथ काम कच्चे डेटा की तुलना में बहुत तेज है: इन्वेंट्री के बारे में जानकारी प्राप्त करने के लिए आपको बस सभी सत्रों के विचारों की कुल संख्या लेने की जरूरत है, और दर्शकों का अनुमान लगाने के लिए आपको 20 बार (कच्चे क्लिकस्ट्रीम की तुलना में) से अद्वितीय आगंतुक आईडी की संख्या की गणना करने की आवश्यकता है डेटा की एक सरणी। साइट के एक विशिष्ट अनुभाग में कवरेज को मापने के लिए, हम एक अलग प्रोफ़ाइल बनाते हैं (GA शब्दावली में) एक तालिका के रूप में और केवल उन सत्र डेटा की गणना करते हैं जो इस प्रोफ़ाइल में चयन स्थितियों के अनुरूप हैं:

 INSERT INTO sessions (uid,last_visit_ts, start, end, pageviews) SELECT uid, last_visit_ts, min(ts), max(ts), count(uid) FROM clickstream WHERE timestamp > date_trunc('hour', NOW()) - interval '24 hours' GROUP BY uid, last_visit_ts 

सत्र में हिटस्ट्रीम हिट को एक दिन में एक बार SQL क्वेरी द्वारा किया जाता है और कई सेकंड लगते हैं। विज़िट पर डेटा एकत्र करने के अलावा, हम दिन, सप्ताह और महीनों के द्वारा उपयोगकर्ता गतिविधि पर जानकारी पर भी विचार करते हैं, ताकि प्रासंगिक रिपोर्ट के लिए ऐसा डेटा तुरंत उपलब्ध हो। हम पिछले महीने के लिए Redshift में क्लिकस्ट्रीम को स्टोर करते हैं, ताकि आप किसी भी स्लाइस के लिए मनमाने ढंग से अनुरोध कर सकें, साथ ही अंतिम घंटे के लिए नवीनतम डेटा रख सकें।

हम स्रोत डेटा का नमूना नहीं लेते हैं: हम प्रत्येक पृष्ठ प्रदर्शन के बारे में जानकारी एकत्र करते हैं, इसलिए हमारे पास हमेशा किसी भी आयाम में किसी भी पृष्ठ के लिए आँकड़ों की गणना करने का अवसर होता है, भले ही ऐसा पृष्ठ प्रति माह केवल 10 हिट एकत्र करता हो। हम बैकअप फ़ाइलों में पुराने क्लिकस्ट्रीम डेटा (एक महीने से अधिक पुराने) को संग्रहीत करते हैं और किसी भी समय उन्हें Redshift में आयात कर सकते हैं।

उपयोगकर्ता गतिविधि डेटा संग्रह

पेजव्यू और यूजर एक्शन (ब्लॉग पोस्ट, कमेंट, फैंटेसी टूर्नामेंट में टीम प्रबंधन के लिए प्लस) पर डेटा के साथ एक साथ काम करने में सक्षम होने के लिए, हम साइट डेटाबेस से रेडशिफ्ट में उपयोगकर्ता डेटा का हिस्सा आयात करते हैं। उसी समय, पोस्ट या समाचार के पूर्ण पाठ, साथ ही व्यक्तिगत डेटा (ईमेल, नाम, लॉगिन, पासवर्ड) को रेडशिफ्ट में स्थानांतरित नहीं किया जाता है।

उपयोगकर्ता गतिविधि डेटा दिनों, सप्ताह और महीनों द्वारा एकत्रित किया जाता है ताकि आप जल्दी से सगाई की रिपोर्ट बना सकें। उदाहरण के लिए, इस तरह आप नए सक्रिय उपयोगकर्ताओं की संख्या की निगरानी कर सकते हैं (जिन्होंने फैंटेसी टूर्नामेंट में टीमें शुरू की, टिप्पणी की, टीम शुरू की या साइट पर कोई अन्य कार्रवाई की):

 SELECT day, new_users, new_active_users FROM user_activities_day ORDER BY day LIMIT 7 

 day new_users new_active_users 2014-02-15 2051 508 2014-02-16 1608 366 2014-02-17 1052 419 2014-02-18 2131 603 2014-02-19 2374 547 2014-02-20 1340 508 2014-02-21 966 340 

सरतोव से लेसोथो राष्ट्रीय टीम के सक्रिय प्रशंसकों की सूची प्राप्त करने के लिए जिन्होंने पिछले सप्ताह में कम से कम दो बार हमसे मुलाकात की है और लगातार तीन सप्ताह से अधिक समय तक साइट का दौरा किया है, हम निम्नलिखित अनुरोध को पूरा कर सकते हैं:

 SELECT ul.user_id FROM user_log ul INNER JOIN user_tags ut ON ut.user_id = ul.user_id WHERE ul.last_week_sessions > 2 -- -    7  AND ul.weeks > 3 -- -     AND ul.city = '' AND ut.tag = ' ' 

परिणामस्वरूप, हम विभिन्न आयामों में उपयोगकर्ता गतिविधि का निरीक्षण करने में सक्षम हैं:

सामाजिक मीडिया एपीआई एकीकरण

हम दिन में एक बार फेसबुक, ट्विटर और Vkontakte पर अपने ग्राहकों के बारे में डेटा एकत्र करते हैं और अन्य सभी आंकड़ों की तरह, उन्हें Redshift में डालते हैं। फेसबुक समूहों में ग्राहकों की संख्या पर डेटा प्राप्त करने के लिए, ग्राफ़ एपीआई का उपयोग करें:

 $ curl http://graph.facebook.com/sportsru?fields=likes { "likes": 238845, "id": "110179310119" } 

VK API आपको समूहों का उपयोग करके समूहों के बारे में डेटा पुनः प्राप्त करने की अनुमति देता है।

 $ curl https://api.vk.com/method/groups.getById?gid=sportsru&fields=members_count { "response": [ { ... "screen_name": "sportsru", "members_count": 280548, ... } ] } 

ट्विटर ने अपने एपीआई को अपडेट करने के बाद , प्राधिकरण से अनुरोध करना शुरू कर दिया और अनुरोधों की आवृत्ति पर सीमाओं को कड़ा कर दिया, इसलिए हमारे पांच सौ खातों पर डेटा बहुत लंबे समय के लिए एकत्र किया जाने लगा, इसलिए हम ट्विटर पर अपनी धाराओं पर आंकड़े प्राप्त करने के लिए कई खातों और टोकन कुंजियों का उपयोग करते हैं। हम ट्विटर एपीआई के साथ काम करने के लिए ट्वीपी का उपयोग करते हैं।

सभी आयात और परिवर्तनों को पूरा करने के बाद, हमें Redshift में एक टेबल मिलती है, जिसमें ग्राहकों की संख्या को दिन के अनुसार बदलने की गतिशीलता है:

तिथि	सोशल नेटवर्क आई.डी.	टैग	अनुयायियों
2014/03/26	चहचहाना	सीएसकेए	10315
2014/03/26	वीके	प्रीमियर लीग (इंग्लैंड)	133,427

इस डेटा पर एक इंटरेक्टिव पैनल चार्ट.आईओ में बनाया गया है, जो आपको सोशल नेटवर्क में हमारी सभी धाराओं पर नजर रखने की अनुमति देता है:

डेटा विज़ुअलाइज़ेशन

ग्राफ़िकल इंटरफ़ेस विकसित करने में समय बर्बाद न करने के लिए, हमने चार्ट्स और टेबल चार्ट.आईओ ड्राइंग के लिए एक तृतीय-पक्ष सेवा का उपयोग करने का निर्णय लिया। इसमें Redshift, Google Analytics और अन्य डेटा स्रोतों के लिए तैयार किए गए कनेक्टर हैं, जो इसके पक्ष में क्वेरी परिणामों के कैशिंग का समर्थन करता है। ग्राफ़ के लिए डेटा SQL-क्वेरी या एक सुविधाजनक इंटरफ़ेस का उपयोग करके अनुरोध किया जा सकता है जहां आप मैट्रिक्स, माप और फ़िल्टर का चयन कर सकते हैं।

चार्टियो को डेटाबेस से जोड़ने के लिए, आपको बस होस्ट, पोर्ट को निर्दिष्ट करने और Redshift से कनेक्ट करने के लिए एक पासवर्ड के साथ लॉगिन करने की आवश्यकता है, और अमेज़ॅन वेब सेवा सेटिंग्स में आपको Chart.io सर्वर से डेटा तक पहुंच की अनुमति देने की आवश्यकता है:



दिनों के अनुसार टिप्पणी की गई सामग्री और गतिकी के प्रकारों की संख्या के टूटने के साथ एक ग्राफ बनाने के लिए, यह उन क्षेत्रों को इंगित करने के लिए पर्याप्त है जिनके द्वारा डेटा को समूहीकृत किया जाएगा, और चयन की स्थिति:



आप चयनित डेटा के लिए सरल गणितीय कार्य लागू कर सकते हैं:



उसके बाद, आपको चार्ट के प्रकार का चयन करने की आवश्यकता है:



और इंटरैक्टिव पैनल उपयोग करने के लिए तैयार है। दरअसल, इस तरह हम विश्लेषणात्मक डेटा की एक विस्तृत श्रृंखला पर सभी प्रकार के ग्राफ़ और तालिकाओं से घिरे हैं। विकास पर 3 महीने से कम समय बिताने के बाद, हमें सभी आवश्यक स्रोतों से डेटा के लिए मनमाने ढंग से पूछताछ करने का अवसर मिला, न कि मानक Google Analytics डैशबोर्ड तक सीमित।

और क्या?

कंपनी के कर्मचारियों के बुनियादी विश्लेषणात्मक उपकरणों के अलावा, हमने अपने उपयोगकर्ताओं के लिए डेटा सेवाओं का निर्माण शुरू किया। उदाहरण के लिए, हम एक निश्चित सटीकता के साथ किसी विशेष क्लब, एथलीट, टूर्नामेंट में आगंतुक की रुचि की गणना करते हैं और इस ज्ञान का उपयोग साइट के एक व्यक्तिगत मेनू और अक्सर आने वाले पृष्ठों के लिंक बनाने के लिए करते हैं। हम उन सामग्रियों के टैग के बारे में जानकारी का उपयोग करते हैं जो आगंतुक पढ़ता है, कभी-कभी हम इस ज्ञान को अन्य संकेतों (क्लब के प्रशंसक साइट से या विषयगत प्रासंगिक विज्ञापन से क्लिक) के साथ समृद्ध करते हैं।



हमारे डेटा प्रोसेसिंग इन्फ्रास्ट्रक्चर के बारे में बात करना अंतहीन है। हम अपने आरआईटी ++ खंड के भीतर एक विस्तृत चर्चा जारी रखेंगे, जहां हम वास्तुकला, कार्यान्वयन और स्वामित्व की लागतों के बारे में अधिक बात करेंगे, मेलिंग सूचियों के लिए उपयोगकर्ता अभियान, रीयल-टाइम सामग्री सिफारिशों, व्यापार मीट्रिक की निगरानी और उपयोगकर्ताओं के बीच बॉट की खोज के बारे में चर्चा करेंगे और ग्राहक प्रोफाइल का गठन।