कैसे आंकड़े यैंडेक्स बनाने में मदद करते हैं। ट्रैफ़िक बेहतर है

Yandex.Traffic की व्यवस्था कैसे की जाती है? शुरुआती ट्रैफ़िक डेटा कहां से आता है? वे ट्रैफिक जाम के नक्शे में कैसे बदल जाते हैं? क्या ट्रैफिक की जानकारी हमेशा विश्वसनीय होती है? इसकी जांच कैसे करें? और सबसे महत्वपूर्ण बात, यातायात डेटा को अधिक सटीक कैसे बनाया जाए? इस सब के लिए, ट्रैफिक जाम आंकड़ों का उपयोग करते हैं: विज्ञान मजबूत और कपटी दोनों है। इस व्याख्यान में , Yandex.Probok विश्लेषक लियोनिद मेदनिकोव छात्रों को बताता है कि यादृच्छिक परिणामों से विश्वसनीय कैसे भेद किया जाए, और विभिन्न व्यावहारिक समस्याओं में आंकड़ों का उपयोग कैसे किया जाता है।





Yandex.Traffic का सिद्धांत काफी सरल है। इसका वर्णन करने के लिए एक अलग व्याख्यान की आवश्यकता नहीं है। GPS का उपयोग करने वाले एप्लिकेशन Yandex.Maps और Yandex.Navigator उस डिवाइस का स्थान निर्धारित करते हैं जिस पर वे चल रहे हैं, और इस जानकारी को सर्वर तक पहुंचाते हैं। और वह बदले में, इन आंकड़ों के आधार पर ट्रैफिक जाम की तस्वीर बनाता है।



लेकिन वास्तव में ऐसा कैसे होता है? यह पहले से ही पूरी तरह से गैर-तुच्छ प्रक्रिया है जिसे विशेष एल्गोरिदम और आंकड़ों के उपयोग की आवश्यकता होती है। पैदल यात्री या साइकिल चालक से धीरे-धीरे आगे बढ़ने वाले मोटर चालक को कैसे भेद करें? प्रेषित सूचना की विश्वसनीयता कैसे सत्यापित करें? और सबसे महत्वपूर्ण बात, यातायात डेटा को सबसे सटीक कैसे बनाया जाए?

ट्रैफ़िक जाम मैप बनाते समय आपको जो सबसे पहली समस्या है, वह यह है कि जीपीएस तकनीक आदर्श से बहुत दूर है और हमेशा सटीक स्थान निर्धारित नहीं करती है। एक वस्तु की गति को ट्रैक करके, आप काफी अजीब डेटा प्राप्त कर सकते हैं: काफी बड़ी दूरी पर तात्कालिक हलचलें, सड़क के किनारे संक्रमण आदि। परिणामस्वरूप, हम निम्नलिखित चित्र प्राप्त कर सकते हैं:



एल्गोरिथ्म को यह तय करने की आवश्यकता है कि यह क्या था। डेटा को परिष्कृत करने के लिए, एल्गोरिथ्म सबसे संभावित और अनुमत रूट नियमों को खोजने की कोशिश करेगा। अगला, हमें यह निर्धारित करने की आवश्यकता है कि हम किस वस्तु का सामना कर रहे हैं? दरअसल, ट्रैफिक जाम में, कार एक पैदल यात्री की गति से ड्राइव कर सकती है, और जीपीएस सटीकता हमें निश्चितता के साथ यह कहने की अनुमति नहीं देती है कि क्या कोई वस्तु सड़क के किनारे या सड़क के किनारे चल रही है। यहां, कई कारकों को ध्यान में रखा जा सकता है: सबसे पहले, अगर कम गति से चलती वस्तुओं की संख्या काफी बड़ी है, तो हम यह मान सकते हैं कि इस सड़क पर वास्तव में ट्रैफिक जाम है और कारें धीरे-धीरे चलती हैं। हम पिछले कुछ घंटों में वस्तु की गति के इतिहास को भी ध्यान में रख सकते हैं। मान लीजिए, यदि किसी वस्तु ने पिछले चार घंटों में 10-15 किलोमीटर प्रति घंटे से अधिक की गति विकसित नहीं की है, तो यह सबसे अधिक संभावना है।

इसलिए, हमने एक निश्चित अवधि के लिए एक निश्चित दिशा में मशीनों की गति निर्धारित की, उन्हें विशेष एल्गोरिदम के साथ संसाधित किया, औसतन और, परिणामस्वरूप, प्रवाह की लगभग सामान्य गति प्राप्त की। यह सब वास्तविक समय में होता है और एक धारा पर जिसमें हजारों-हजारों कारें होती हैं।

एल्गोरिदम

जैसा कि हमने ऊपर कहा, एल्गोरिदम एक वस्तु के प्रकार, उसकी गति और एक धारा की गति का औसत निर्धारित करने में शामिल हैं। लेकिन उनके काम की गुणवत्ता का मूल्यांकन कैसे करें, यह समझने के लिए कि उन्हें सुधारने के लिए आपको किस तरीके से आगे बढ़ना होगा?

पहली समस्या शहर में परीक्षण कारों को लॉन्च करके हल की गई है। आम उपयोगकर्ताओं की तरह, वे अपने आंदोलनों के बारे में डेटा भेजते हैं, लेकिन साथ ही हम जानते हैं कि वास्तव में वास्तविक स्थितियां क्या थीं। उसके बाद, मीट्रिक के आधार पर, आप गणना किए गए एल्गोरिदम के साथ एक निश्चित क्षेत्र में वास्तविक ट्रैफ़िक जाम मानचित्र की तुलना कर सकते हैं, और यह निर्धारित कर सकते हैं कि सिस्टम अपने कार्य के साथ कितनी अच्छी तरह से मुकाबला करता है।

एक साथ कई एल्गोरिदम के परिणामों के साथ वास्तविक स्थिति की तुलना करते हुए, हम मूल्यांकन कर सकते हैं कि कौन सा बेहतर है। मान लीजिए कि हम एक नए एल्गोरिदम का परीक्षण करते हैं और पुराने के साथ तुलना करते हैं। इसे 67 खंडों पर चलाएं और निम्नलिखित परिणाम प्राप्त करें:



54 मामलों में, नए एल्गोरिथ्म ने पुराने की तुलना में बेहतर काम किया, और 13 बदतर में। सही उत्तरों और त्रुटियों के प्रतिशत के संदर्भ में, नया एल्गोरिथ्म स्पष्ट रूप से बेहतर है। अब कल्पना करें कि हम तुलना में एक और एल्गोरिथ्म जोड़ रहे हैं। लेकिन वह कम खंडों पर भाग गया - छह।



हिट और त्रुटियों का प्रतिशत उसके लिए पहले की तुलना में भी बेहतर है। लेकिन क्या इतनी कम संख्या में सेगमेंट पर भरोसा करना सही है? इस प्रश्न का स्पष्ट रूप से उत्तर देने के लिए, हम आंकड़ों की ओर रुख करते हैं।

आंकड़े

शुरू करने के लिए, हम यादृच्छिक मानों से निपटेंगे। मान लीजिए कि हम एक सिक्का को तीन बार फ्लिप करते हैं। हम ईगल को शून्य के लिए लेते हैं, और एक के लिए पूंछ। कुल मिलाकर, हम आठ संयोजन प्राप्त कर सकते हैं। यदि हम प्रत्येक संयोजन के लिए गिरे हुए मूल्यों की राशि की गणना करते हैं, तो हम देखेंगे कि चरम मान अक्सर कम हो जाते हैं, और जैसे-जैसे हम केंद्र से संपर्क करते हैं, संभावना बढ़ जाती है।



अब एक उदाहरण पर विचार करें जिसमें हम एक सिक्का एन बार फेंकते हैं। हम वस्तुओं की संख्या k के रूप में और C के रूप में संयोजन की संख्या लेंगे।

औसत और मनाया औसत

अब हम एक और समस्या का समाधान करते हैं। कल्पना कीजिए कि हमारे पास एक सिक्का है, और हम समझना चाहते हैं कि क्या यह भी है, अर्थात्। क्या यह एक ही संभावना के साथ प्रत्येक पक्ष पर पड़ता है। हम एक सिक्के को उछालकर इस परिकल्पना का परीक्षण करेंगे। यदि सिक्का सपाट है, तो जितना अधिक बार हम एक सिक्का फेंकते हैं, औसत के करीब परिणाम की सबसे बड़ी संख्या होनी चाहिए। उसी समय, शॉट्स की कम संख्या पर, एक गलत निष्कर्ष बनाने की संभावना बहुत अधिक है।

हम दुर्घटनाओं की बात भी क्यों कर रहे हैं? दरअसल, ट्रैफिक जाम मानचित्र बनाने के लिए एल्गोरिदम में त्रुटियां अक्सर कुछ उद्देश्य कारणों से उत्पन्न होती हैं। लेकिन ये सभी कारण हमें ज्ञात नहीं हैं। यदि हम सभी कारणों को जानते हैं, तो हम सही एल्गोरिदम बना सकते हैं, और इसे फिर से कभी नहीं सुधार सकते हैं। लेकिन ऐसा होने तक, हम कुछ एल्गोरिदम त्रुटियों को यादृच्छिक चर के रूप में लेने के लिए मजबूर होते हैं। इसलिए, हम जाँचते हैं कि एल्गोरिथ्म फ्लैट सिक्के की परिकल्पना के समान उपकरण का उपयोग करके कितना बेहतर काम करना शुरू कर दिया। केवल इस मामले में, एक मूल परिकल्पना के रूप में, हम स्वीकार करते हैं कि एल्गोरिथ्म बिल्कुल भी नहीं बदला है। और फिर, एल्गोरिथ्म के माध्यम से चलाए गए डेटा का उपयोग करके, हम यह निर्धारित करते हैं कि क्या एक दिशा या किसी अन्य में विकृतियां हैं। और जिस तरह सिक्के के मामले में, यह महत्वपूर्ण है कि अधिक से अधिक रन हों, अन्यथा गलती करने की संभावना बहुत अधिक होगी।

यदि हम दो एल्गोरिदम के साथ अपने उदाहरण पर लौटते हैं, तो हम अभी भी विश्वास के साथ कह सकते हैं कि पहला नया एल्गोरिथ्म पुराने की तुलना में बेहतर है। लेकिन दूसरा इस तथ्य के बावजूद अधिक संदेह पैदा करता है कि सही उत्तरों और त्रुटियों का प्रतिशत उसके लिए बेहतर है। शायद यह वास्तव में बेहतर काम करता है, लेकिन इसे सत्यापित करने के लिए, आपको अधिक जांच करने की आवश्यकता है।