🖕🏼 🤛🏼 🧜 मास्को के जीवन में एक दिन Vkontakte के geeks में 🚴🏾 🐆 ⏰

आज के सामाजिक नेटवर्क सूचना के लगभग अपरिहार्य स्रोत प्रदान करते हैं। यह जानकारी भिन्न प्रकृति की हो सकती है, लेकिन यह किसी के लिए भी रहस्य नहीं है कि उपयोगकर्ता डेटा इस जानकारी का मुख्य भाग है। उपयोगकर्ता, कपटी खुफिया सेवाओं और विपणक के गुमनामी (या बल्कि पारदर्शिता) के तत्काल मुद्दे के अलावा, इस डेटा का उपयोग "शांतिपूर्ण" उद्देश्यों के लिए किया जा सकता है।

हमें इस बात में रुचि थी कि आप सामाजिक नेटवर्क का उपयोग करके शहरी वातावरण के आकर्षण का कितना मूल्यांकन कर सकते हैं, यह पता लगा सकते हैं कि कौन से स्थान लोकप्रिय हैं, सुबह शहरवासी कहां सक्रिय हैं, और शाम को कहां, वे सप्ताहांत में कहां जाते हैं और उनके व्यवहार को क्या प्रभावित करता है।
इस मुद्दे को स्पष्ट करने के लिए, हमने मॉस्को में प्रकाशित ज्यामितीय ( "ckeck-in" ) के विश्लेषण पर एक छोटी परियोजना शुरू की। डेटा को पिछले 24 घंटों में एकत्र किया जाता है और वास्तविक समय में मानचित्र पर वास्तविक समय में प्रदर्शित किया जाता है। कौन परवाह करता है कि हमें इस उद्यम से क्या मिला - बिल्ली का स्वागत।

क्यों वीके? उनकी पसंद, ज़ाहिर है, आकस्मिक नहीं थी - आज यह सबसे लोकप्रिय रूसी सामाजिक नेटवर्क है, और जितना डेटा कहीं और नहीं है। VKontakte के रूस में लगभग 36 मिलियन दैनिक आगंतुक हैं। इनमें से लगभग 9 मिलियन राजधानी में हैं। और इसका मतलब यह है कि कम से कम आधे मुस्कोविट रोजाना अपने पेज पर आते हैं। शायद विश्लेषण के लिए सबसे अच्छी साइट ढूंढना असंभव है।

इसलिए, विश्लेषण के लिए दर्शकों को खोजने के साथ समस्याओं का समाधान किया गया है। केवल कुछ प्रश्न थे:

और क्या हम तकनीकी दृष्टिकोण से, VKontakte से आवश्यक भू-टैगिंग डेटा एकत्र करने में सक्षम हो सकते हैं? दूसरे शब्दों में, क्या सार्वजनिक VKontakte API उपयोगकर्ताओं के चेक पर "जानकारी" प्राप्त करता है? हाँ, न केवल इसे प्राप्त करें, बल्कि इसे नियमित रूप से, वास्तविक समय में, मास्को के सभी के लिए प्राप्त करें।
यह डेटा हमारे प्रयोग के विचार में कितना फिट होगा?

वीके के तकनीकी समर्थन के साथ, पहला सवाल सकारात्मक (बिंगो! लेकिन उस नीचे अधिक) में उत्तर दिया गया था। दूसरे के बारे में क्या? क्या हमारा नक्शा पूरी तरह से घर या डेस्कटॉप पीसी से एकत्र किए गए निर्बाध डेटा से बना होगा? आइए फिर से आंकड़ों पर नजर डालें: लाइवइंटरनेट के अनुसार, कम से कम 20-25% विज़िट एंड्रॉइड और आईओएस पर हैं, और ओपेरा मिनी, हालांकि यह जमीन खो रहा है, फिर भी चौथा सबसे लोकप्रिय ब्राउज़र है। मोबाइल बूम ने VKonakte के दर्शकों को नहीं बख्शा, और इसके दर्शकों का एक महत्वपूर्ण हिस्सा पोर्टेबल गैजेट्स हैं। यह ध्यान देने योग्य है कि "चीकिन्स" आमतौर पर अभी भी लिविंग रूम और किचन में नहीं, बल्कि विभिन्न सार्वजनिक स्थानों पर, अवकाश के समय में बनाए जाते हैं। इसका मतलब यह है कि हमें प्राप्त होने वाली जानकारी हमें गतिविधि के शहरव्यापी रुझान का न्याय करने की अनुमति देती है।

कार्यान्वयन

और अब चलो सबसे दिलचस्प भाग पर चलते हैं - तकनीकी हिस्सा! यह नहीं कहा जा सकता है कि कुछ क्रांतिकारी तकनीकों का उपयोग किया गया था, लेकिन शायद नीचे प्रस्तुत कुछ तकनीकें हब्र-पब्लिक के लिए दिलचस्प होंगी।

वीसी एपीआई के लिए प्रलेखन के एक छोटे से विश्लेषण ने हमें स्थानों की खोज करने की अनुमति दी है। खोज विधि, जो खोज के शुरुआती बिंदु के पास भू-टैग के साथ सभी पोस्ट देता है। क्या यह महान है? बेशक! लेकिन एपीआई अनुरोधों की संख्या 5 प्रति सेकंड तक सीमित है, और यह हमारा पैमाना नहीं है, किसी समय हम निश्चित रूप से इस सीमा में चलेंगे। निष्पादन विधि बचाव में आई (परिचालन सलाह के लिए वीके के तकनीकी समर्थन के लिए धन्यवाद), जिसने एक ही बार में 20 कॉल फिट करने की अनुमति दी; मुख्य बात यह है कि निष्पादन में निहित उप-क्षेत्रों के सीमित निष्पादन समय को पूरा करना। इस दृष्टिकोण का एक और बोनस वीके सर्वर को सूचना प्रसंस्करण के हिस्से को स्थानांतरित करने की क्षमता थी।

इसलिए, अब VK में आवश्यक डेटा के लिए प्रत्यक्ष अपील के लिए सब कुछ तैयार था। ऐसा लगता है कि मामला छोटा है - हमें राजधानी के केंद्र के निर्देशांक को स्थानों पर स्थानांतरित करने की आवश्यकता है। चेकचेकिन्स विधि और वॉइला! लेकिन यह वहाँ नहीं था। इस दृष्टिकोण के साथ, एपीआई द्वारा लौटाए गए ऑब्जेक्ट ऊपरी दाएं कोने में ढेर हो गए थे, लेकिन शहर का बायां हिस्सा खाली था। मुझे एक छोटी सी चाल का सहारा लेना पड़ा: हमने मास्को के नक्शे को वर्गों में विभाजित किया (नीचे चित्र), और एक बड़े के बजाय कई छोटे क्षेत्रों का साक्षात्कार करना शुरू किया:

अब चीजें बहुत बेहतर हो गई हैं, लेकिन एपीआई ने हमेशा हमारे द्वारा आवश्यक निर्देशांक वापस नहीं किए। जहां तक यह पता लगाना संभव था, यह तब हुआ जब वीके अपने आधार से जगह को पहचान नहीं सका। यहां, अक्षांश और देशांतर प्राप्त करने का एकमात्र तरीका सीधे उपयोगकर्ता की दीवार पर wall.getById विधि का उपयोग करके उन्हें एक्सेस करना था। यह देखते हुए कि स्थानों .getCheckins ' id ' फ़ील्ड में ' wall_id ' पास करता है, इस तरह के ऑपरेशन को करना मुश्किल नहीं था।

निरंतर डेटा संग्रह के लिए, एक छोटा डेमॉन लिखा गया था जो नियमित रूप से भू-टैग के एक नए बैच के लिए कॉल करता है, लगातार निम्नलिखित सामग्रियों के साथ निष्पादन विधि को कॉल करके:

कुछ कोड

var COUNT_CHEKING = 18; var LAST_TIME = %time_replace%; var max_time = 0; var cordinatesPonint = [ [55.91843, 37.379394], [55.908424, 37.541442], [55.895336, 37.682891], [55.822116, 37.821593], [55.742574, 37.839446], [55.658996, 37.836699], [55.579897, 37.687011], [55.583002, 37.551055], [55.646599, 37.387633], [55.72943, 37.38214], [55.829059, 37.399993], [55.827516, 37.541442], [55.816715, 37.680144], [55.730977, 37.680144], [55.66132, 37.677398], [55.66132, 37.537322], [55.740255, 37.535949], [55.754071, 37.617504], [55.989164, 37.184386], [55.519302, 37.520843], ]; var placesMoscow = []; var iCordinatesPonint = 0; while(iCordinatesPonint < cordinatesPonint.length) { placesMoscow = placesMoscow + [API.places.getCheckins({ "latitude":cordinatesPonint[iCordinatesPonint][0], "longitude":cordinatesPonint[iCordinatesPonint][1], "count":COUNT_CHEKING, "timestamp": LAST_TIME })]; iCordinatesPonint = iCordinatesPonint + 1; } var walls; var iMoscow = 0; var returnObj = []; var wallsIds = []; var returnObj2 = []; var i; while(iMoscow < placesMoscow.length) { var getWallId = placesMoscow[iMoscow]@.latitude; var i = 1; while(i < getWallId.length) { if(getWallId[i] == 0) { wallsIds = wallsIds + [placesMoscow[iMoscow][i].id]; } else { if(max_time < placesMoscow[iMoscow][i].date) { max_time = placesMoscow[iMoscow][i].date; } returnObj = returnObj + [{ "lat": placesMoscow[iMoscow][i].latitude, "lng": placesMoscow[iMoscow][i].longitude, "id": placesMoscow[iMoscow][i].id, "time": placesMoscow[iMoscow][i].date }]; } i = i + 1; } iMoscow = iMoscow + 1; } if(wallsIds.length > 0) { walls = API.wall.getById({"posts": wallsIds}); i = 0; while(i < walls.length) { if(max_time < walls[i].date) { max_time = walls[i].date; } returnObj2 = returnObj2 + [{ "coordinates": walls[i].geo.coordinates, "time": walls[i].date, "id": wallsIds[i] }]; i = i + 1; } } var moscow = { "checkins": returnObj, "wals": returnObj2 }; return { "max_time" : max_time, "spb": { "checkins": [], "wals": [] }, "moscow" : moscow};

डेमन ( पायथन में लिखा गया) वीके सर्वर को हर 3 सेकंड में एक बार प्रदूषित करता है। ' टाइमस्टैम्प ' पैरामीटर के लिए धन्यवाद, आप आसानी से पुराने फ़िल्टरिंग के बारे में चिंता किए बिना केवल नया डेटा प्राप्त कर सकते हैं।

परिणाम जो VK से प्राप्त किया गया था, उसे पार्स किया गया है - निर्देशांक और समय बाइनरी फ़ाइल और MongoDB को लिखे गए हैं। यह मूल रूप से क्लस्टर बनाने के लिए मैंगो का उपयोग करने की योजना बनाई गई थी, लेकिन बाद में इस विचार को छोड़ने का फैसला किया गया था, इसलिए अब बाइनरी फ़ाइल एक प्रकार का डेटा बैकअप लेती है।

जैसे ही डेमॉन नई जांच की प्रक्रिया करता है, बिंदु निर्देशांक को दूसरे प्रोटोकॉल के लिए HTTP प्रोटोकॉल के माध्यम से स्थानीय डेमॉन में भेज दिया जाता है, जो कि वेबसोकेट कनेक्शन रखता है। दूसरे डेमॉन द्वारा निर्देशांक प्राप्त करने के बाद, यह उन्हें तुरंत उपयोगकर्ता को ब्राउज़र में भेजता है (और हाँ, ब्राउज़र एक वेबसोकेट खोलता है और एक उत्तर की प्रतीक्षा करता है)।

खैर, इस सब को थोड़ा सा गतिशीलता देने के लिए, हमने मानचित्र पर दिखाई देने वाले प्रत्येक भू-टैग के लिए एक सुंदर एनीमेशन को फास्ट करने का निर्णय लिया:

कार्टोग्राफिक आधार के रूप में, मानक Google मानचित्रों का उपयोग थोड़ा अनुकूलन के साथ किया गया था : रंगों के व्युत्क्रम + गामा और चमक समायोजन के साथ निशान के विपरीत इष्टतम बनाने के लिए।

क्लाइंट भाग PHP में लिखा गया है , जो पिछले 24 घंटों में MongoDB से डेटा लेता है।

प्रारंभ दिया गया है

इसलिए, सभी तैयारियां पूरी हो गईं और हमने एक अलग मशीन पर सुरक्षित रूप से शुरुआत की। प्रश्न, जो आखिरी तक स्थगित कर दिया गया था, पहले से कहीं अधिक प्रासंगिक हो गया: मॉस्को में एक दिन में कितने शेकाइन्स पूरे होते हैं? क्या वे कार्ड भरने के लिए पर्याप्त हैं? सौभाग्य से, इस संबंध में सभी भय जल्दी से दूर हो गए - पहले दिन के लिए, हमारे सर्वर ने बाहर निकाला और लगभग 10,000 प्रकाशनों को भू-टैग के साथ संसाधित किया! डे # 2 ने केवल पुष्टि की कि यह आंकड़ा कोई गलती या गतिविधि में आकस्मिक वृद्धि नहीं थी।

पहला परिणाम

दिलचस्प टिप्पणियों से: यह पता चलता है कि पूर्व रेड अक्टूबर कारखाने की साइट पर रचनात्मक क्लस्टर वास्तव में मास्को का एक महत्वपूर्ण सांस्कृतिक केंद्र बन गया और आज रेड स्क्वायर से कम लोकप्रिय नहीं है।

Muscovites की पसंदीदा सड़क Arbat है, और 2012 में Stoleshnikov लेन से Kuznetsky तक मास्को अधिकारियों द्वारा खोले गए पैदल यात्री क्षेत्र में एक वर्ष में अधिकांश राजधानी में सबसे लोकप्रिय में से एक बन गया!

शहरी स्थान के ऐसे अध्ययन शहर में किसी भी स्थान या घटना के लिए किए जा सकते हैं। इसलिए, इस सप्ताह के अंत में, त्योहार "द बेस्ट सिटी ऑफ विंटर " के साथ, हमने प्रकाश प्रतिष्ठानों की शुरुआत के दौरान गतिविधि पर नजर रखी। हर 10-30 सेकंड में एक नया निशान भड़कता देखना काफी रोमांचक था। प्रतिष्ठानों ने स्पष्ट रूप से किसी को भी उदासीन नहीं छोड़ा।

आप इस पूरी बात को यहां लाइव महसूस कर सकते हैं - whatsupmoscow.ru
सभी प्रोजेक्ट स्रोत कोड GitHub पर उपलब्ध है

मास्को के जीवन में एक दिन Vkontakte के geeks में

कार्यान्वयन

प्रारंभ दिया गया है

पहला परिणाम

More articles: