हमें किस लिए एक स्मार्ट उत्पाद का निर्माण करना चाहिए?

हाल ही में, "मशीन लर्निंग" (मशीन लर्निंग, एमएल) वाक्यांश अविश्वसनीय रूप से फैशनेबल हो गया है। किसी भी आम प्रौद्योगिकी की तरह, यहां उत्साह विशिष्ट उत्पादों के कार्यान्वयन के स्तर से अधिक है। एक तर्क दे सकता है, लेकिन 10-15 साल पहले Google से आश्चर्यजनक नवाचारों के समय से कुछ एल्गोरिदम तकनीकें उन उत्पादों की उपस्थिति का कारण बनीं जो व्यापक रूप से लोकप्रिय संस्कृति में फैले हुए हैं। ऐसा नहीं है कि तब से मशीन लर्निंग में कोई सफलता नहीं मिली है, इतना चौंकाने वाला और कम्प्यूटेशनल एल्गोरिदम पर आधारित नहीं है। नेटफ्लिक्स स्मार्ट सिफारिशों का उपयोग कर सकता है, लेकिन यह नेटफ्लिक्स के बिना है। लेकिन अगर ब्रिन और पेज ने अपने स्वयं के उद्देश्यों के लिए वेब के ग्राफ संरचना और हाइपरलिंक्स का विश्लेषण नहीं किया, तो हमारे पास Google नहीं होगा।

ऐसा क्यों? आखिरकार, उन्होंने वही कोशिश की। कई स्टार्ट-अप प्राकृतिक भाषा की मशीन प्रसंस्करण की तकनीक को जन-जन तक पहुंचाना चाहते थे, लेकिन सभी लोग गुमनामी में डूब गए, लोगों ने वास्तव में उनका इस्तेमाल करने की कोशिश की। मशीन लर्निंग का उपयोग करके एक अच्छा उत्पाद प्राप्त करने की कठिनाई मूल सिद्धांत को समझने में नहीं है, बल्कि गतिविधि और कार्य के दायरे को समझने में है। इतनी गहराई से समझना कि सहज स्तर पर यह देखने के लिए कि क्या काम करेगा और क्या नहीं। दिलचस्प कार्यों में तैयार समाधान नहीं होते हैं। किसी भी लागू क्षेत्रों में हमारा मौजूदा स्तर, उदाहरण के लिए, एक ही प्राकृतिक भाषा प्रसंस्करण, मशीन सीखने की सामान्य समस्याओं को हल करने के लिए नई तकनीकों की तुलना में इस क्षेत्र से संबंधित खुलासे से अधिक दृढ़ता से संचालित होता है। अक्सर, हर दिन इस्तेमाल किए जाने वाले कार्यक्रम और आधे समय के कोर्सवर्क के बीच का अंतर समस्या पर एक विशेष नज़र और एक अच्छा समाधान मॉडल है।

मैं आपको समझाने की कोशिश नहीं कर रहा हूं कि आप कूल मशीन लर्निंग उत्पाद न बनाएं। मैं सिर्फ यह स्पष्ट करने की कोशिश कर रहा हूं कि यह इतना मुश्किल क्यों है।

मशीन सीखने में प्रगति।

पिछले दस वर्षों में मशीन लर्निंग ने एक लंबा सफर तय किया है। जब मैंने स्नातक विद्यालय में प्रवेश किया, एसएमओ एल्गोरिथ्म द्वारा बड़े इंडेंटेशन (यानी एसवीएम , सपोर्ट वेक्टर विधि ) के साथ वस्तुओं के वर्गों के लिए रैखिक क्लासिफायरियर का प्रशिक्षण किया गया। एल्गोरिदम को एक बार में सभी डेटा तक पहुंच की आवश्यकता होती है। प्रशिक्षण के नमूने की वृद्धि के साथ प्रशिक्षण का समय अश्लील हो गया। कंप्यूटर पर इस एल्गोरिदम को लागू करने के लिए, आपको गैर-रेखीय प्रोग्रामिंग को समझने की आवश्यकता है, और महत्वपूर्ण सीमाओं और मापदंडों के फाइन-ट्यूनिंग को उजागर करने के लिए - और काला जादू। अब हम जानते हैं कि अपेक्षाकृत सरल एल्गोरिथ्म का उपयोग करके ऑनलाइन मोड में रैखिक समय में लगभग समान दक्षता के साथ क्लासिफायर को कैसे प्रशिक्षित किया जाए। इसी तरह के परिणाम (संभाव्य) ग्राफिकल मॉडल के सिद्धांत में दिखाई दिए: मार्कोव-चेन मोंटे-कार्लो और परिवर्तनशील तरीके जटिल ग्राफिकल मॉडल की व्युत्पत्ति को सरल बनाते हैं (हालांकि MCMC का उपयोग लंबे समय से आंकड़ों के लिए किया गया है, उन्होंने हाल ही में बड़े पैमाने पर मशीन सीखने में इस तकनीक को शुरू किया है)। यह हास्यास्पद है - एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स (एसीएल) की कार्यवाही में शीर्ष लेखों की तुलना करें और देखें कि हाल के समय (2011) में इस्तेमाल की जाने वाली मशीन सीखने की तकनीक 2003 में इस्तेमाल किए गए लोगों की तुलना में अधिक परिष्कृत हो गई है।

शिक्षा के क्षेत्र में भी प्रगति जबरदस्त है। 2000 के दशक के पूर्वार्ध में स्टैनफोर्ड में अध्ययन करते हुए, मैंने एंड्रयू एनजी मशीन लर्निंग कोर्स और डैफने कोल्लर प्रोबायिस्टिक ग्राफिकल कोर्स पढ़ाए। ये दोनों पाठ्यक्रम स्टैनफोर्ड में मेरे द्वारा लिए गए सर्वश्रेष्ठ में से हैं। तब वे एक वर्ष में लगभग सौ लोगों के लिए उपलब्ध थे। कोल्लर पाठ्यक्रम शायद स्टैनफोर्ड का सबसे अच्छा नहीं है। उन्होंने मुझे पढ़ाने में बहुत कुछ सिखाया। ये पाठ्यक्रम अब वेब पर सभी के लिए उपलब्ध हैं।

मशीन सीखने में लगे व्यक्ति के रूप में (विशेष रूप से, प्राकृतिक भाषाओं को संसाधित करना), मैं कह सकता हूं कि इन सभी उपलब्धियों ने कई अध्ययनों के संचालन की सुविधा प्रदान की है। हालाँकि, मैं जो मुख्य निर्णय लेता हूं, वे अमूर्त एल्गोरिथ्म से संबंधित नहीं हैं, उद्देश्य फ़ंक्शन का प्रकार या हानि फ़ंक्शन, लेकिन किसी विशेष कार्य के लिए विशिष्ट सुविधाओं के सेट तक। और यह कौशल केवल अनुभव के साथ आता है। नतीजतन, हालांकि यह बहुत अच्छा है कि व्यापक दर्शकों को यह पता चलता है कि मशीन सीखना क्या है, यह अभी भी स्मार्ट सिस्टम बनाने में सबसे कठिन हिस्सा नहीं है।

तैयार समाधान दिलचस्प कार्यों के लिए उपयुक्त नहीं हैं

वास्तविक कार्य जिन्हें आप हल करना चाहते हैं, वे अधिक अप्रिय हैं। मशीन सीखने के सिद्धांत के अमूर्त की तुलना में आपको प्रदान करता है। उदाहरण के लिए, मशीनी अनुवाद को लें । पहली नज़र में, यह एक सांख्यिकीय वर्गीकरण कार्य की तरह दिखता है : आप कुछ भाषा में एक वाक्य लेते हैं और भविष्यवाणी करना चाहते हैं कि आपकी भाषा में कौन सा वाक्य इसके अनुरूप होगा। दुर्भाग्य से, किसी भी सामान्य भाषा में वाक्यों की संख्या संयुक्त रूप से बहुत बड़ी है। इसलिए, समस्या हल करने वाला "ब्लैक बॉक्स" नहीं हो सकता। कोई भी अच्छी समाधान विधि समस्या के छोटे लोगों में अपघटन पर आधारित है। और कार्यक्रम तब सीखता है कि इन छोटे कार्यों को कैसे हल किया जाए। मेरा तर्क है कि मशीनी अनुवाद जैसे जटिल कार्यों में प्रगति, खोज स्थान को बेहतर ढंग से विभाजित करने और संरचित करने से होती है, न कि उस चालाक अनुवाद एल्गोरिदम द्वारा, जिसे हम इस अंतरिक्ष में प्रशिक्षित करते हैं।

पिछले दस वर्षों में मशीनी अनुवाद की गुणवत्ता में वृद्धि हुई है। मुझे लगता है कि यह मुख्य रूप से अनुवाद के क्षेत्र में महत्वपूर्ण अंतर्दृष्टि के कारण हुआ, हालांकि एल्गोरिदम में सामान्य सुधार ने भी भूमिका निभाई। अपने वर्तमान स्वरूप में सांख्यिकीय मशीन अनुवाद उल्लेखनीय कार्य " सांख्यिकीय मशीन अनुवाद का गणित " पर वापस जाता है, जिसने एक शोर चैनल की वास्तुकला पेश की, जिस पर अनुवादक बाद में आधारित होंगे। यदि आप उंगलियों पर व्याख्या करते हैं, तो यह इस तरह से काम करता है: प्रत्येक शब्द के लिए हमारी भाषा में संभव अनुवाद हैं (खाली शब्द सहित, हमारी भाषा में अनुवादित के बराबर नहीं है)। इसे एक संभावनावादी शब्दकोश के रूप में कल्पना कीजिए। प्राप्त शब्दों को एक वाक्य प्राप्त करने के लिए पुन: व्यवस्थित किया जाता है जो हमारी भाषा में पहले से ही सामंजस्यपूर्ण है। इस स्पष्टीकरण में, कई विवरण याद किए गए थे - उम्मीदवार वाक्यों, क्रमपरिवर्तन के साथ कैसे काम करें, किसी भाषा से लक्ष्य के लिए मानक क्रमपरिवर्तन के मॉडल को कैसे प्रशिक्षित करें, परिणाम के सामंजस्य का मूल्यांकन कैसे करें, अंत में।

मशीन अनुवाद में एक महत्वपूर्ण सफलता इस मॉडल में बदलाव के साथ हुई। व्यक्तिगत शब्दों के अनुवाद के बजाय, नए मॉडल पूरे वाक्यांशों के अनुवाद पर विचार करने लगे। उदाहरण के लिए, रूसी "शाम" मोटे तौर पर अंग्रेजी में "शाम को" से मेल खाती है। वाक्यांशों के अनुवाद से पहले, शब्द-दर-शब्द अनुवाद पर आधारित एक मॉडल केवल एक शब्द प्राप्त कर सकता था (IBM मॉडल 3 आपको लक्ष्य भाषा में प्रत्येक शब्द से कई प्राप्त करने की अनुमति देता है, लेकिन एक अच्छा अनुवाद देखने की संभावना अभी भी छोटी है)। इस तरह से अंग्रेजी में एक अच्छा प्रस्ताव मिलना शायद ही संभव हो। वाक्यांश अनुवाद वाहक के भाषण के समान एक चिकनी, अधिक जीवंत पाठ की ओर जाता है। बेशक, वाक्यांशों के टुकड़ों को जोड़ने से जटिलताएं होती हैं। यह स्पष्ट नहीं है कि वाक्यांश का हिस्सा कैसे मूल्यांकन किया जाए, इस तथ्य के बावजूद कि हमने ऐसा विभाजन कभी नहीं देखा है। कोई हमें यह नहीं बताएगा कि "शाम को" एक वाक्यांश है जो किसी अन्य भाषा में कुछ वाक्यांश के अनुरूप होना चाहिए। यहाँ आश्चर्य की बात यह है कि अनुवाद की गुणवत्ता में अंतर किसी ठंडी मशीन सीखने की तकनीक से नहीं, बल्कि किसी विशिष्ट कार्य के लिए तेज किए गए मॉडल से होता है। कई, बेशक, अधिक चालाक सीखने के एल्गोरिदम का उपयोग करने की कोशिश की, लेकिन इस से सुधार, एक नियम के रूप में, इतना महान नहीं था।

फ्रांज ऑच, वाक्यांश अनुवाद दृष्टिकोण के लेखकों में से एक, Google में आया और अनुवाद समूह में एक प्रमुख व्यक्ति बन गया। हालाँकि इस सेवा की नींव सूचना विज्ञान संस्थान में एक शोधकर्ता के रूप में फ्रांज के काम के समय रखी गई थी (और, इससे पहले, स्नातक विद्यालय में), कई विचार जो वाक्यांशों से आगे जाना संभव बनाते थे, इन विचारों को वेब पर स्केल करने से संबंधित इंजीनियरिंग कार्य से आया था। इस काम ने बड़े पैमाने पर भाषा मॉडल और एनएलपी के अन्य क्षेत्रों में आश्चर्यजनक परिणाम उत्पन्न किए हैं। यह ध्यान रखना महत्वपूर्ण है कि ओह न केवल एक उच्च श्रेणी का शोधकर्ता है, बल्कि सामान्य समीक्षाओं के अनुसार, एक उत्कृष्ट हैकर (शब्द के अच्छे अर्थ में) है। कौशल के इस दुर्लभ संयोजन ने हमें एक शोध परियोजना से लेकर गूगल ट्रांसलेशन के सभी तरीकों तक जाने की अनुमति दी।

कार्य की परिभाषा।

लेकिन यह मुझे लगता है कि एक अच्छा मॉडल बनाना पूरी समस्या नहीं है। मशीन अनुवाद या भाषण मान्यता के मामले में, कार्य स्पष्ट रूप से कहा गया है, और गुणवत्ता मानदंड समझने में सरल हैं। आने वाले दशकों में अनुप्रयोगों को हिट करने वाली एनएलपी की कई प्रौद्योगिकियां बहुत अधिक धुंधली हैं। मॉडलिंग के विषयगत लेखों, वार्तालापों , समीक्षाओं के लक्षण वर्णन ( nlp-class.org पर तीसरी लैब) के क्षेत्र में वास्तव में एक आदर्श अध्ययन में क्या होना चाहिए? इसके आधार पर एक बड़े पैमाने पर उत्पाद कैसे बनाया जाए?

स्वचालित सारांश के कार्य पर विचार करें। हम एक ऐसा उत्पाद चाहते हैं जो अमूर्त और संरचना सामग्री हो। हालांकि, कई कारणों से, इस सूत्रीकरण को उस चीज़ तक सीमित करना आवश्यक है जिसके लिए एक मॉडल बनाया जा सकता है, संरचित किया जा सकता है और अंततः, मूल्यांकन किया जा सकता है। उदाहरण के लिए, पुनर्पूंजीकरण पर साहित्य में, एक कार्य को आमतौर पर दस्तावेजों के संग्रह से वाक्यों के एक सबसेट का चयन करने और उन्हें व्यवस्थित करने के रूप में तैयार किया जाता है। क्या यह समस्या है जिस पर ध्यान देने की आवश्यकता है? क्या यह लंबे जटिल वाक्यों में लिखे गए पाठ के एक टुकड़े को एनोटेट करने का एक अच्छा तरीका है? और भले ही पाठ अच्छी तरह से एनोटेट किया गया हो, क्या ये फ्रेंकस्टीन वाक्य पाठक को स्वाभाविक लगेंगे?

या, उदाहरण के लिए, समीक्षाओं का विश्लेषण। क्या लोगों को एक काले और सफेद "अच्छे / बुरे" ग्रेड की आवश्यकता है? या हमें और अधिक संपूर्ण चित्र (यानी "शांत भोजन, स्थिति बेकार है") की आवश्यकता है? क्या ग्राहक प्रत्येक विशेष आगंतुक के दृष्टिकोण में रुचि रखते हैं या समीक्षाओं की समग्रता का सटीक विश्लेषण करते हैं?

आमतौर पर, बॉस ऐसे सवालों का जवाब देते हैं और इंजीनियरों और शोधकर्ताओं को इसे लागू करने देते हैं। समस्या यह है कि मशीन लर्निंग काफी समस्याओं के वर्गों को सीमित करता है जो एक एल्गोरिथम या तकनीकी दृष्टिकोण से हल करने योग्य हैं। मेरे अनुभव के आधार पर, जो लोग समान समस्याओं को हल करने के लिए दृष्टिकोण को समझते हैं, समस्या क्षेत्र की गहरी समझ रखते हैं, वे ऐसे विचारों की पेशकश कर सकते हैं जो विशेषज्ञों के बीच ऐसी समझ के बिना उत्पन्न नहीं होंगे। मैं वास्तुकला के साथ एक कच्चा सादृश्य बनाऊंगा। एक पुल का निर्माण करना असंभव है "बस उसी तरह"। भौतिकी और सोप्रोमैट ने डिजाइन पर गंभीर प्रतिबंध लगाए हैं, और इसलिए इन क्षेत्रों में ज्ञान के बिना लोगों को पुल डिजाइन करने के लिए कोई मतलब नहीं है।

संक्षेप में, यदि आप मशीन सीखने के साथ एक बहुत अच्छा उत्पाद बनाना चाहते हैं, तो आपको शांत इंजीनियरों / डिजाइनरों / शोधकर्ताओं की एक टीम की आवश्यकता है। सभी क्षेत्रों में, बुनियादी मशीन लर्निंग प्रमेय से लेकर बिल्डिंग सिस्टम, डोमेन ज्ञान, उपयोगकर्ता इंटरैक्शन तकनीक और ग्राफिक डिजाइन। अधिमानतः, इन क्षेत्रों में से एक में विश्व स्तरीय विशेषज्ञ और दूसरों में अच्छी तरह से वाकिफ हैं। ऊपर के एक पूर्ण सेट के साथ छोटी प्रतिभाशाली टीमों को उत्पाद डिजाइन और प्रचार की अनिश्चित दुनिया में अच्छी तरह से वाकिफ कराया जाएगा। बड़ी कंपनियां, जहां आर एंड डी और मार्केटिंग विभिन्न भवनों में स्थित हैं, सफल नहीं होंगी। टीमों द्वारा कूल उत्पादों का निर्माण किया जाएगा, जिसमें सभी की आँखें जल रही हों, जो पूरी तरह से संदर्भ को देखते हों, और जिनके पास कुख्यात गैराज में पर्याप्त जगह हो।