अनुशंसित सिस्टम: पर्ल एसवीडी

पिछली श्रृंखला में, हमने चर्चा की कि एक विलक्षण अपघटन (SVD) क्या है, और हमने मूल भविष्यवक्ताओं के साथ एक विलक्षण अपघटन का एक मॉडल तैयार किया। पिछली बार, हमने पहले ही मामले को विशिष्ट अपडेट फ़ार्मुलों में ला दिया था। आज मैं एक बहुत ही सरल मॉडल के एक बहुत ही सरल कार्यान्वयन का प्रदर्शन करूंगा, हम इसे पहले से ही परिचित मैट्रिक्स की रेटिंग पर लागू करेंगे, और फिर हम चर्चा करेंगे कि परिणाम क्या थे।


तो, पर्ल में एसवीडी। एक तैयार स्क्रिप्ट जिसे इस रूप में चलाया जा सकता है

./svd.pl _ dataset.csv 

यहाँ से डाउनलोड किया जा सकता है । मैं आपको केवल इसका एक हिस्सा देता हूँ जो प्रशिक्षण स्वयं करता है।

 #  SVD: ,    while (abs($old_rmse - $rmse) > 0.00001 ) { $old_rmse = $rmse; $rmse = 0; foreach my $u ( keys %l ) { foreach my $v ( keys %{$l{$u}} ) { #   $err = $l{$u}{$v} - ($mu + $b_u[$u] + $b_v[$v] + dot($u_f[$u], $v_f[$v]) ); #    $rmse += $err * $err; #      ... $mu += $eta * $err; $b_u[$u] += $eta * ($err - $lambda2 * $b_u[$u]); $b_v[$v] += $eta * ($err - $lambda2 * $b_v[$v]); # ...    for (my $f=0; $f < $features; ++$f) { $u_f[$u][$f] += $eta * ($err * $v_f[$v][$f] - $lambda2 * $u_f[$u][$f]); $v_f[$v][$f] += $eta * ($err * $u_f[$u][$f] - $lambda2 * $v_f[$v][$f]); } } } ++$iter_no; #   ,   RMSE $rmse = sqrt($rmse / $total); print "Iteration $iter_no:\tRMSE=" . $rmse . "\n"; #  RMSE  ,     if ($rmse > $old_rmse - $threshold) { $eta = $eta * 0.66; $threshold = $threshold * 0.5; } } 

जैसा कि आप देख सकते हैं, यह बिल्कुल ठीक है - आपको केवल वजन को अपडेट करने की प्रक्रिया शुरू करने और इसे अभिसरण तक जारी रखने की आवश्यकता है। अभिसरण RMSE (मूल माध्य चुकता त्रुटि) द्वारा निर्धारित किया जाता है - मूल माध्य वर्ग त्रुटि, अर्थात। परीक्षण मामलों की संख्या से विभाजित चुकता त्रुटियों के योग की जड़। हम स्टोकेस्टिक ग्रेडिएंट वंश को लागू करते हैं: प्रत्येक परीक्षण के मामले के बाद, हम तुरंत मापदंडों को बदलते हैं, और डेटाबेस में त्रुटि के आंकड़े एकत्र नहीं करते हैं।

जब आरएमएसई स्पष्ट रूप से सुधार करना बंद कर देता है, तो हम सीखने की गति को कम कर देते हैं; इस दृष्टिकोण के साथ, जल्दी या बाद में, प्रक्रिया को अभिसरण करना चाहिए (यानी, आरएमएसई को बदलना बंद कर देना चाहिए)। यहां λ क्या है - हम अगली बार इस पर चर्चा करेंगे, आज यह हमारे उदाहरणों में शून्य होगा।

अब हम लागू करते हैं कि हमें रेटिंग मैट्रिक्स में क्या है, जिसे हमने पहले ग्रंथों में से एक माना था।

एक उपयुक्त प्रारूप में इसे यहां डाउनलोड किया जा सकता है (ऑर्डर सहेजा गया है)। इस डेटासेट पर हमारी स्क्रिप्ट चलाने के बाद, हमें निम्न जैसा कुछ मिलता है।

  5 उपयोगकर्ता और 5 यूआरएल पढ़ें।
 Iteration 1: RMSE = 1.92845291697284
 Iteration 2: RMSE = 1.28481736445124
 Iteration 3: RMSE = 1.14159530044051
 ...
 Iteration 808: RMSE = 0.0580161117835789
 Iteration 809: RMSE = 0.0580061123741253
        म्यू: 2.54559533638261
 उपयोगकर्ता आधार: 0.7271 0.1626 0.7139 1.9097 -0.9677	
 आइटम का आधार: 0.8450 0.6593 0.2731 0.7328 0.0354	
 उपयोगकर्ता सुविधाएँ
   उपयोगकर्ता 0: -0.5087 -0.8326	
   उपयोगकर्ता 1: 1.0220 1.2826	
   उपयोगकर्ता 2: -0.9509 0.2792	
   उपयोगकर्ता 3: 0.1031 -0.4814	
   उपयोगकर्ता 4: 0.6095 0.0557	
 आइटम सुविधाएँ:
   आइटम 0: -0.8368 0.2511	
   आइटम 1: 1.1101 0.4120	
   आइटम 2: -0.4159 -0.4073	
   आइटम 3: -0.3130 -0.9115	
   आइटम 4: 0.6408 1.2205 

परिणामस्वरूप हमें क्या मिला? मोटे तौर पर हम जो उम्मीद करते थे। उपयोगकर्ताओं को उनकी दया के अनुसार बुनियादी भविष्यवाणियां प्राप्त हुईं: पेट्रोविच एक दुष्ट दर्शक बन गया, और बाकी, इसके विपरीत, दयालु थे, विशेष रूप से झानोन्चका। फिल्मों को "समग्र गुणवत्ता" (स्वाभाविक रूप से, रेटिंग के माध्यम से) के अनुसार मूल भविष्यवक्ता मिले।

लेकिन सबसे दिलचस्प - हमें दो कारकों में शेष उपयोगकर्ता वरीयताओं का एक उचित अपघटन मिला। उदाहरण के लिए, निश्चित रूप से एक खिलौना है, और डाटासेट शुरू में निहित है कि फिल्मों को "पिगलेट के बारे में" और "ट्रैक्टर के बारे में" फिल्मों में विभाजित किया गया है; कुछ उपयोगकर्ता शक्तिशाली उपकरण के अधिक शौकीन होते हैं, और कुछ सुअर के कार्टिलेज की तरह।

और वास्तव में, यह स्पष्ट है कि पहला कारक कितना ट्रैक्टर के बारे में है और दूसरा कारक कितना सूअरों के बारे में है; विशिष्ट मूल्यों का कोई गहरा अर्थ नहीं है; केवल उनका अनुपात महत्वपूर्ण है।

वैसे, मैंने विशेष रूप से डेटासेट को फिट नहीं किया है, और इस मामले में संकेतों के साथ एक अजीब मामला था: एसवीडी ने दो उपयोगकर्ताओं के लिए "ट्रैक्टर्स" कारकों के नकारात्मक मानों को सिखाया, जो ट्रैक्टर, वास्या और वेलेरिका को पसंद करते हैं। लेकिन इसके साथ ही, SVD ने फिल्मों से "ट्रैक्टर" कारकों के लिए नकारात्मक मान सिखाए जो वास्तव में ट्रैक्टर के बारे में हैं - माइनस माइनस एक प्लस देगा। और पेट्रा के 1.0220 बस, इसके विपरीत, इसका मतलब है कि उसके ट्रैक्टर सूअरों की तुलना में बिल्कुल भी रुचि नहीं रखते हैं ...

अब हम ट्रैक्टर ड्राइवरों के लिए वास्या की रेटिंग के मूल्य का अनुमान लगा सकते हैं

  2.5456 + 0.7271 + 0.8450 + (-0.5087) * (- 0.8368) + (-0.8326) * 0.2511 = 4.3343143। 

खैर, यह वास्तव में माना जा सकता है कि वासा ट्रैक्टर ड्राइवरों को पसंद करेगा।

अगली बार जब हम ओवरफ़िटिंग और नियमितीकरण के बारे में बात करेंगे - यह क्या है, यह आवश्यक क्यों है और इसे एसवीडी में कैसे लागू किया जाए।