डोमेन ज्ञान बेकार है। जब भविष्यवाणियां एक खेल बन जाती हैं, तो विशेषज्ञ हार जाते हैं

जेरेमी हॉवर्ड कागल के अध्यक्ष और मुख्य विज्ञान अधिकारी हैं, जिन्होंने सांख्यिकीय पूर्वानुमान को एक खेल में बदल दिया है।

पीटर एल्डहॉस: कागल ने खुद को एक ऑनलाइन मस्तिष्क एक्सचेंज कहा। हमें इसके बारे में बताएं।

जेरेमी हॉवर्ड: यह वह वेबसाइट है जो सांख्यिकीय पूर्वानुमान प्रतियोगिताओं की मेजबानी करती है। हमारे पास बहुत सारे अद्भुत मुकाबले थे। उदाहरण के लिए, छात्र निबंधों के मूल्यांकन के लिए एक एल्गोरिथ्म का विकास । या Microsoft Kinect जेस्चर ट्रेनिंग सिस्टम विकसित करने की प्रतियोगिता अभी हाल ही में समाप्त हुई है। विचार यह था कि नियंत्रक को एक बार एक इशारा दिखाना चाहिए, और एल्गोरिथ्म को भविष्य में ऐसे इशारों को पहचानना सीखना चाहिए। एक अन्य प्रतियोगिता अणुओं के जैविक गुणों की भविष्यवाणी है जब संभव मादक गुणों के लिए जांच की जाती है ।


पीए: इन प्रतियोगिताओं को कैसे आयोजित किया जाता है?
JH: वे मौजूदा डेटा से भविष्य के रुझानों की भविष्यवाणी करने के लिए मशीन लर्निंग और डेटामाइनिंग प्रौद्योगिकियों पर आधारित हैं। कंपनियां, सरकारी एजेंसियां ​​और शोधकर्ता डेटा नमूने और कार्य प्रदान करते हैं, और सर्वोत्तम समाधान के लिए नकद पुरस्कार भी प्रदान करते हैं। प्रतियोगिता में कोई भी भाग ले सकता है: हमारे पास लगभग 64,000 पंजीकृत उपयोगकर्ता हैं। हमने पाया कि डेटा विश्लेषण के क्षेत्र में रचनात्मक विशेषज्ञ इन क्षेत्रों के विशेषज्ञों की तुलना में सभी क्षेत्रों में समस्याओं को हल करने में सक्षम हैं।

पीए: इन प्रतियोगिताओं में, बहुत विशिष्ट कार्य हल किए जाते हैं। क्या विशेषज्ञ प्रतियोगिता में भाग लेते हैं?
JH: हाँ, हर बार एक नई प्रतियोगिता दिखाई देती है, विशेषज्ञों का कहना है: “हमने इसके चारों ओर एक संपूर्ण उद्योग बनाया है। हम जवाब जानते हैं। ” लेकिन कुछ हफ़्तों के बाद उन्होंने प्रतियोगिता को शुद्ध कर दिया।

PA: प्रतियोगिता कौन जीतता है?
JH: जो लोग बस देख सकते हैं कि डेटा क्या वास्तव में उन्हें बताता है, बिना उद्योग मान्यताओं और विशेषज्ञता से विचलित हुए। लंदन में एक बड़ी हेज फंड के प्रमुख जेसन तिग्ग कई प्रतियोगिताओं में अच्छा प्रदर्शन करते हैं। या Xaver Conort, एक पूर्वानुमान और विश्लेषण सलाहकार सिंगापुर से।

पीए: आप भी प्रतियोगिता के विजेता रहे हैं। यह कैसे हुआ कि आपने भाग लिया?
JH: यह एक लंबी और अजीब यात्रा रही है। मैंने ऑस्ट्रेलिया में दर्शन का अध्ययन किया, 8 साल तक प्रबंधन सलाहकार के रूप में काम किया और फिर 1999 में मैंने दो स्टार्टअप स्थापित किए। एक FastEmail है , और दूसरा Optimal Decision Group ने बीमा कंपनियों को जोखिम और मुनाफे का अनुकूलन करने में मदद की। 2010 तक, मैंने दोनों स्टार्टअप बेचे, चीनी सीखना शुरू किया और एम्पलीफायरों और स्पीकर बनाना शुरू किया, क्योंकि इससे पहले मैं अपने हाथों से कुछ भी नहीं कर सकता था। मैंने यात्रा की। लेकिन यह सब काफी बुद्धिमान नहीं था। फिर, मेलबर्न में सांख्यिकीविदों की एक बैठक में, किसी ने मुझे कागल के बारे में बताया। मैंने सोचा, "यह वास्तव में दिलचस्प और भयावह है।"

PA: आपकी पहली प्रतियोगिता कैसी रही?
JH: मेरी उम्मीदों को कम नहीं करने के लिए, मैंने अपने आप को आने वाले अंतिम नहीं होने का लक्ष्य निर्धारित किया। लेकिन वास्तव में मैंने प्रतियोगिता जीती। यह विभिन्न हवाई अड्डों पर पर्यटकों के आगमन और प्रस्थान की भविष्यवाणी कर रहा था। जब तक मैं फिर से सांख्यिकीविदों की बैठक में गया, तब तक मैंने तीन में से दो प्रतियोगिताओं में जीत हासिल की, जिसमें मैंने भाग लिया। कागल के संस्थापक एंथोनी गोल्डब्लम ने बैठक में भाग लिया। उसने कहा: “क्या तुम वही जेरेमी हॉवर्ड हो? हमने कभी भी तीन में से दो के परिणाम के साथ विजेता नहीं बनाया। '

PA: आप कैगले के "साइंस प्रिंसिपल" कैसे बने?
JH: मैंने उन्हें एंजेलिक निवेश की पेशकश की। लेकिन मैं सिर्फ विरोध नहीं कर सकता था, ताकि व्यवसाय में भाग न लूं। मैंने एंथनी को बताया कि साइट धीमी थी और इंजन को खरोंच से फिर से लिखा था। तब एंथोनी और मैंने अमेरिका में तीन महीने बिताए ताकि निवेशक मिल सकें। तब सब कुछ अधिक गंभीर हो गया, हमने 11 मिलियन आकर्षित किए। मुझे सैन फ्रांसिस्को जाना पड़ा और पूरी तरह से इस परियोजना में खुद को समर्पित कर दिया।

PA: क्या आप अभी भी प्रतिस्पर्धा करते हैं?
JH: मुझे भाग लेने की अनुमति है, लेकिन पुरस्कार जीतने के लिए मना किया गया है। दरअसल, मैं बहुत व्यस्त हूं।

पीए: पूर्वानुमान समस्याओं को हल करने में कागल की सफलता की व्याख्या कैसे करें?
JH: प्रतिस्पर्धी पहलू बहुत महत्वपूर्ण है। जितने अधिक लोग इन प्रतियोगिताओं में भाग लेते हैं, पूर्वानुमान मॉडल उतना ही बेहतर होता है। पेशेवर खेलों के अलावा दुनिया में कोई और जगह नहीं है जहां आपको अपने क्षेत्र में कितना अच्छा है, इस बारे में स्पष्ट, सीधी, अनछुई प्रतिक्रिया मिलेगी। यह स्पष्ट हो जाता है कि क्या काम करता है और क्या नहीं। यह एक विकासवादी प्रक्रिया की तरह है जो योग्यतम के अस्तित्व को बेहतर बनाता है, और हम अभी इस प्रक्रिया को देख रहे हैं। अधिक से अधिक, हमारे सर्वश्रेष्ठ प्रतियोगी एक-दूसरे के साथ सहयोग कर रहे हैं।

PA: क्या सांख्यिकीय तरीके सबसे अच्छा काम करते हैं?
JH: नियमित रूप से उच्च परिणाम लाने वाली विधियों में से एक यादृच्छिक वन है । प्रशिक्षण सेट से कई यादृच्छिक उप प्रजातियां ली जाती हैं, और प्रत्येक के लिए एक निर्णय वृक्ष बनाया जाता है। प्रत्येक व्यक्ति के पेड़ में एक कमजोर पूर्वानुमानात्मक शक्ति होती है, लेकिन जब आप पूरे "वन" पर "औसत" लेते हैं, तो आपको एक शक्तिशाली मॉडल मिलता है। यह एक पूर्ण ब्लैक बॉक्स है, दृष्टिकोण विषय क्षेत्र के बारे में किसी भी अतिरिक्त ज्ञान पर आधारित नहीं है। सोचने की जरूरत नहीं है - विधि सिर्फ काम करती है।

PA: विजेताओं को अन्य प्रतियोगियों से क्या अलग करता है?
JH: अच्छे और बुरे प्रतियोगियों के बीच अंतर वह सूचना है जो वे एल्गोरिदम को खिलाते हैं। आपको यह तय करने की आवश्यकता है कि डेटा से कौन सा सार निकालना है। कागल में विजेता उत्सुक और रचनात्मक लोग हैं। वे एक समस्या से निपटने के लिए दर्जनों असामान्य तरीके पैदा करते हैं। रैंडम फॉरेस्ट जैसे एल्गोरिदम की एक अच्छी विशेषता यह है कि आप जितने चाहें उतने पागल विचारों की कोशिश कर सकते हैं, और एल्गोरिथ्म तय करता है कि कौन सा विचार सबसे अच्छा काम करता है।

पीए: यह भविष्य कहनेवाला मॉडल के निर्माण के पारंपरिक दृष्टिकोण से बहुत अलग है। विशेषज्ञ कैसे प्रतिक्रिया देते हैं?
JH: कई लोगों के लिए, ये संकेत अप्रिय हैं। यह उनकी मान्यताओं के विपरीत है, जैसा कि हम उन्हें बताते हैं: “आपके क्षेत्र में विशेष ज्ञान के संचय के निर्णय न केवल बेकार हैं, वे हानिकारक भी हैं; आपकी परिष्कृत तकनीक जेनेरिक दृष्टिकोण से भी बदतर हैं। " यह पुराने प्रकार के विज्ञान के आदी लोगों के लिए स्वीकार करना मुश्किल है। वे यह चर्चा करने में बहुत समय बिताते हैं कि क्या यह या वह विचार समझ में आता है। वे विज़ुअलाइज़ेशन को देखते हैं और दर्शाते हैं। वास्तव में, यह सब आवश्यक नहीं है।

PA: तो क्या विशेषज्ञ के ज्ञान में कोई दम है?
जेएच: विशेषज्ञों को प्रारंभिक चरण में जरूरत होती है जब आपको यह तय करने की आवश्यकता होती है कि आप किस कार्य को करना चाहते हैं। ऐसे सवालों का जवाब देने के लिए रणनीतिक विशेषज्ञता की जरूरत होती है।

पीए: आपको कागले पर शासन कर रहे ब्लैक बॉक्स के डेटासेंटर दृष्टिकोण में कोई खामियां नहीं दिखतीं?
जेएच: कुछ लोग सोचते हैं कि आपको समस्या की गहरी समझ नहीं है। लेकिन ऐसा नहीं है: एल्गोरिदम इस सवाल का जवाब देते हैं कि क्या महत्वपूर्ण है और क्या नहीं है। आप पूछ सकते हैं कि ये चीजें क्यों महत्वपूर्ण हैं, लेकिन मेरे लिए यह दिलचस्प नहीं है। आपको एक प्रेडिक्टिव मॉडल मिलता है जो काम करता है। वहां बहस क्यों?