बिग डेटा क्या है और वे कितने सुंदर हैं। यांडेक्स में एंड्री सेब्रेंट का व्याख्यान

यैंडेक्स सर्विसेज मार्केटिंग के निदेशक आंद्रेई सेब्रेंट ने स्मॉल एसएडी के छात्रों को बताया कि बड़ा डेटा क्या है और उन लोगों के बारे में जो अक्सर अप्रत्याशित स्थानों पर होते हैं, जहां वे अपना आवेदन पाते हैं।




एक अवधारणा के रूप में बिड डेटा कई वर्षों से व्यापक रूप से सुना गया है। लेकिन सभी को इस बात का सटीक अंदाजा नहीं है कि यह अवधारणा क्या है, खासकर आईटी क्षेत्र से बाहर के लोगों के लिए। एक अज्ञानी व्यक्ति के लिए एक व्यावहारिक उदाहरण के साथ यह समझाने का सबसे आसान तरीका है।

दो साल पहले, ग्राहकों के साथ बातचीत करते समय लक्ष्य भंडार का एक विशाल नेटवर्क मशीन सीखने का उपयोग करने लगा। प्रशिक्षण नमूने के रूप में, कंपनी द्वारा कई वर्षों से संचित डेटा का उपयोग किया गया था। विशिष्ट खरीदारों के मार्कर के रूप में, बैंक और पंजीकृत डिस्काउंट कार्ड का उपयोग किया गया था। एल्गोरिदम ने विश्लेषण किया कि ग्राहकों की वरीयताओं को किस तरह और किन परिस्थितियों में बदला गया और भविष्यवाणी की गई। और इन पूर्वानुमानों के आधार पर, ग्राहकों ने सभी प्रकार के विशेष ऑफ़र किए। 2012 के वसंत में, एक घोटाला हुआ जब एक बारह वर्षीय स्कूली छात्रा के पिता ने शिकायत की कि उनकी बेटियां गर्भवती महिलाओं के लिए प्रस्ताव के साथ पुस्तिकाएं भेज रही थीं। जब लक्ष्य नेटवर्क एक गलती स्वीकार करने और ग्राहकों को नाराज करने के लिए माफी मांगने के लिए तैयार था, तो यह पता चला कि लड़की वास्तव में गर्भवती थी, हालांकि शिकायत के समय न तो वह और न ही उसके पिता को इस बारे में पता था। एल्गोरिथ्म ने ग्राहक के व्यवहार में परिवर्तन को पकड़ा, गर्भवती महिलाओं के लिए विशिष्ट।

बिग डेटा के संकेत

• वॉल्यूम : वास्तव में बड़ा (हालांकि आकार उन्हें संसाधित करने के लिए उपलब्ध संसाधनों पर निर्भर करता है)।
• विविधता : कमजोर रूप से संरचित और विषम।
• वेग : आपको इसे बहुत तेज़ी से संसाधित करने की आवश्यकता है (और परिणाम अक्सर जल्दी की आवश्यकता होती है, अगर हम ऑनलाइन सेवाओं के बारे में बात कर रहे हैं)।

अनुप्रयोग बहुत विविध हो सकते हैं। उदाहरण के लिए, साइट ancestry.com आज उपलब्ध सभी प्रकार के आंकड़ों के आधार पर सभी मानव जाति के परिवार के इतिहास का निर्माण करने की कोशिश कर रही है: डीएनए विश्लेषण के लिए लेखांकन की सभी प्रकार की पुस्तकों में हस्तलिखित रिकॉर्ड से। आज तक, वे विभिन्न ऐतिहासिक युगों में रहने वाले लोगों के लगभग पांच बिलियन प्रोफाइल और परिवारों के भीतर संबंधों का वर्णन करने वाले 45 मिलियन पारिवारिक पेड़ों को इकट्ठा करने में कामयाब रहे हैं।



इस काम में मुख्य कठिनाई यह है कि संसाधित किया जा रहा डेटा अधूरा है, कई अशुद्धियां हैं, और लोगों को किसी भी तरह से अद्वितीय नाम, उपनाम, जन्म तिथि, मृत्यु आदि की पहचान करने की आवश्यकता है। मानक एल्गोरिदम ऐसे डेटा के प्रसंस्करण के साथ सामना नहीं करते हैं। हालाँकि, मशीन लर्निंग आपको इन सभी अशुद्धियों को ध्यान में रखने और उच्च संभावना के साथ सही परिणाम उत्पन्न करने की अनुमति देता है।

एक और उदाहरण eHarmony परियोजना है। यह एक डेटिंग साइट है, जिसके अब लगभग 40 मिलियन पंजीकृत उपयोगकर्ता हैं। प्रोफाइल में, आप 1000 विभिन्न विशेषताओं को निर्दिष्ट कर सकते हैं। हर दिन, सिस्टम लगभग 100 मिलियन धारणाएं बनाता है जो दो लोग एक साथ फिट हो सकते हैं।



और ये धारणाएं उपयोगकर्ताओं द्वारा इंगित गुणों और वरीयताओं में पत्राचार के प्रतिबंधात्मक खोज पर नहीं बनाई गई हैं। उदाहरण के लिए, यह पता चला कि प्रोफ़ाइल फ़ोटो में चेहरे का सापेक्ष क्षेत्र कुछ लोगों के बीच संपर्क की संभावना को प्रभावित कर सकता है। इसके अलावा, यह पता चला है कि कुछ प्रकार के भोजन के आदी लोगों में एक-दूसरे के साथ अलग-अलग संगतता हो सकती है। 44% की संभावना वाले दो शाकाहारियों को एक सामान्य भाषा मिल जाएगी और संचार शुरू हो जाएगा, जबकि 42% की संभावना वाले हैम्बर्गर के दो प्रेमियों का कोई संबंध नहीं होगा।



इस सब के बारे में सबसे दिलचस्प बात यह है कि जब हम निर्णय लेने के लिए मशीन लर्निंग का उपयोग करते हैं, तो हम अब यह नहीं समझते हैं कि वे किन सिद्धांतों पर आधारित हैं। बेशक, मशीन लर्निंग को शाब्दिक अर्थों में कृत्रिम बुद्धिमत्ता नहीं कहा जा सकता है, क्योंकि यह केवल उस कार्य द्वारा हल किया जा सकता है जिसके लिए इसे प्रशिक्षित किया गया था। लेकिन उन सैकड़ों और हजारों कारक जिन्हें प्रशिक्षित एल्गोरिदम ध्यान में रखता है, वे शायद हमारे लिए नहीं हो सकते हैं। सीखने के बाद, एल्गोरिथ्म किसी भी उपयोगकर्ता के लिए यह निर्धारित करने के लिए बेहतर हो सकता है कि कौन सा बटन डिज़ाइन किसी विशिष्ट उपयोगकर्ता को दिखाएगा, यहां डेटा की एक बड़ी मात्रा व्यक्ति के अनुभव और कौशल से बेहतर काम करेगी। लेकिन मशीन सीखने की मदद से खरोंच से एक अच्छी साइट बनाने के लिए जब तक यह बाहर नहीं निकलता।

व्याख्यान को अंत तक देखने के बाद, आप एक सामान्य विचार प्राप्त कर सकते हैं कि मशीन लर्निंग कैसे काम करती है। और आप मशीन लर्निंग और कंप्यूटर दृष्टि पर व्याख्यान की मदद से इस विषय से खुद को परिचित कर सकते हैं।