सिफारिश करने वाले सिस्टम: ओवरफिटिंग और नियमितीकरण

पिछले प्रकाशनों की निरंतर-घटती लोकप्रियता, लोकप्रियता को समर्थन देने के लिए कार्रवाई को प्रोत्साहित करती है। मैंने देखा कि पहले प्रकाशनों की लोकप्रियता बाद के लोगों की तुलना में काफी अधिक है; इसलिए मैं रिबूट करने की कोशिश करूंगा।

पिछली श्रृंखला में, हमने एसवीडी विधि की सावधानीपूर्वक जांच की और इसे प्रोग्राम कोड में भी लाया; इस पाठ से शुरू होकर, मैं और अधिक सामान्य बातों पर विचार करूंगा। ये चीजें, निश्चित रूप से, हमेशा अनुशंसाकर्ता प्रणालियों से निकटता से संबंधित होंगी, और मैं इस बारे में बात करूंगा कि वे अनुशंसाकर्ता प्रणालियों में कैसे उत्पन्न होती हैं, लेकिन मैं मशीन सीखने की अधिक सामान्य अवधारणाओं पर ध्यान केंद्रित करने की कोशिश करूंगा। आज ओवरफिटिंग और नियमितीकरण के बारे में है।



मैं एक क्लासिक के साथ शुरू करूंगा, लेकिन इससे कोई कम खुलासा नहीं होगा। आइए आर खोलें (यदि किसी को नहीं पता है, आर सामान्य रूप से सभी प्रकार के आंकड़ों, मशीन सीखने और डेटा प्रसंस्करण के लिए दुनिया में सबसे अच्छे उपकरणों में से एक है; मैं इसकी अत्यधिक अनुशंसा करता हूं) और अपने लिए कुछ प्रकार के साधारण छोटे डेटासेट उत्पन्न करता हूं। मैं एक साधारण घन बहुपद ले जाऊंगा और इसके बिंदुओं में एक सामान्य रूप से वितरित शोर है।

> x <- c(0:6) / 2 > y_true <- -.5*x^3 + 2*x^2 + x – 3 > err <- rnorm( 7, mean=0, sd=0.4 ) > y <- y_true + err > y [1] -2.3824664 -2.1832300 -0.7187618 1.7105423 2.1338531 4.7356023 5.0291615 

इन बिंदुओं को अब एक परिपूर्ण वक्र के साथ जोड़ा जा सकता है।

 > curve(-.5*x^3 + 2*x^2 + x - 3, -1, 4, ylim=c(-5,6) ) > points(x, y, pch=21, bg="red") 

यह आंकड़ा के रूप में बाहर हो जाएगा:


अब आइए इस डेटा से बहुपद को प्रशिक्षित करने का प्रयास करें। हम बहुपद से अंकों के वर्ग विचलन को कम करेंगे (हम सबसे साधारण शास्त्रीय प्रतिगमन करेंगे), अर्थात, हम एक बहुपद p (x) की तलाश करेंगे जो कम से कम करे ।

बेशक, आर में यह एक टीम द्वारा किया जाता है। सबसे पहले, एक रैखिक बहुपद को प्रशिक्षित और आकर्षित करें:

 > m1 <- lm ( y ~ poly(x, 1, raw=TRUE) ) > pol1 <- function(x) m1$coefficients[1] + m1$coefficients[2] * x > curve(pol1, col="green", lwd=2, add=TRUE) 

फिर दूसरी डिग्री का एक बहुपद:

 > m2 <- lm ( y ~ poly(x, 2, raw=TRUE) ) > pol2 <- function(x) m2$coefficients[1] + m1$coefficients[2] * x + m1$coefficients[3] * (x^2) > curve(pol2, col="blue", lwd=2, add=TRUE) 

उम्मीद के मुताबिक तीसरा डिग्री बहुपद, पहले से ही काफी समान है:


लेकिन अगर आप डिग्री को और बढ़ा दें तो क्या होगा? व्यवहार में, आखिरकार, हम सबसे अधिक संभावना "बहुपद की सही डिग्री" नहीं जान पाएंगे, अर्थात्। मॉडल की सच्ची जटिलता। ऐसा लग सकता है कि, जैसा कि हम मॉडल को जटिल करते हैं, उपलब्ध बिंदुओं को अनुमानित करना बेहतर होगा, और परिणाम बेहतर और बेहतर होंगे, बस मॉडल को प्रशिक्षित करना अधिक से अधिक कठिन होगा। चलो देखते हैं कि क्या यह वास्तव में ऐसा है।

एक पांचवीं डिग्री बहुपद पहले से ही बहुत संदिग्ध लग रहा है - बेशक, यह अभी भी बिंदुओं के बीच अच्छा व्यवहार करता है, लेकिन यह पहले से ही स्पष्ट है कि इस मॉडल के अनुसार एक्सट्रपलेशन करना अच्छा नहीं होगा - यह अंक समाप्त होते ही तेजी से अनंत तक जाना शुरू कर देता है।


छठी डिग्री से शुरू होकर, हम निस्संदेह महाकाव्य को हमारे दृष्टिकोण में विफल देखते हैं। त्रुटि जिसे हम कम करना चाहते थे, अब सख्ती से शून्य के बराबर है - आखिरकार, छठे डिग्री के सात-बिंदु बहुपद के माध्यम से ठीक से खींचा जा सकता है! लेकिन यहां परिणामी मॉडल से लाभ, शायद, शून्य के बराबर सख्ती से भी है - बहुपद अब न केवल मौजूदा बिंदुओं की सीमाओं से परे खराब रूप से एक्सट्रपलेशन करता है, बल्कि यहां तक ​​कि उनके बीच बहुत ही अजीब तरीके से अंतरपणन करता है, स्थानीय चरम सीमा तक जहां अंकों से यह उम्मीद करना मुश्किल है।


क्या हुआ था? मशीन लर्निंग में जो हुआ, उसे ओवरफिटिंग शब्द कहा जाता है: हमने एक मॉडल लिया जिसमें बहुत सारे पैरामीटर थे, और मॉडल को डेटा के अनुसार बहुत अच्छी तरह से प्रशिक्षित किया गया था, और सबसे महत्वपूर्ण बात - भविष्यवाणी की शक्ति - इसके विपरीत, पीड़ित हुई।

क्या करें? अगली सीरीज़ में मैं बताऊंगा कि इसे कैसे और अधिक वैचारिक रूप से किया जा सकता है, लेकिन अब हम इसे विश्वास में लेते हैं: इस मामले में ओवरफिटिंग इस तथ्य में प्रकट होती है कि परिणामी बहुपद बहुत बड़े गुणांक हैं। उदाहरण के लिए, यहां एक तिहाई डिग्री बहुपद है जिसे हमने प्रशिक्षित किया है:
।
और यहां - अंतर महसूस करें - छठी डिग्री:
।

तदनुसार, आप इससे स्वाभाविक रूप से निपट सकते हैं: आपको बस उद्देश्य फ़ंक्शन के लिए एक दंड जोड़ने की आवश्यकता है, जो मॉडल को बहुत बड़े गुणांक के लिए दंडित करेगा:
।

यदि हम ऐसा होने दें तो एसवीडी में हर समय ऐसा ओवरफिटिंग होता है। वास्तव में, हम प्रत्येक उपयोगकर्ता और प्रत्येक उत्पाद के लिए कारकों की संख्या के बराबर मुक्त मापदंडों की संख्या (यानी कम से कम कुछ, या शायद कुछ दर्जन) का परिचय देते हैं। इसलिए, नियमितीकरण के बिना एसवीडी पूरी तरह से अनुपयुक्त है - यह, निश्चित रूप से, अच्छी तरह से सीखेगा, लेकिन भविष्यवाणियों के लिए, यह सबसे अधिक व्यावहारिक रूप से बेकार होगा।

एसवीडी में नियामक नियमित प्रतिगमन में बिल्कुल उसी तरह काम करते हैं - हम एक दंड जोड़ते हैं, जो अधिक से अधिक है, बड़ा गुणांक आकार; पिछली श्रृंखला में से एक में, मैंने नियमित रूप से नियमित रूप से वस्तुनिष्ठ समारोह लिखा है:

धीरे-धीरे वृद्धि सूत्र दिए गए हैं - गुणांक λ उनमें नियमितीकरण के लिए जिम्मेदार है।

हालांकि, जबकि यह सब कुछ रहस्यमय लगता है - पृथ्वी पर बड़े गुणांक छोटे लोगों की तुलना में अचानक क्यों खराब होते हैं? भविष्य में, मैं इस बारे में बात करूंगा कि आप इस मुद्दे को अधिक वैचारिक बायेसियन पक्ष से कैसे देख सकते हैं।