Hadoop और Apache Mahout के साथ क्लाउड अनुशंसा प्रणाली

Apache Mahout एक मशीन लर्निंग लाइब्रेरी है जिसे स्केलेबल मशीन लर्निंग एप्लिकेशन में उपयोग के लिए डिज़ाइन किया गया है। सिफारिश प्रणाली वर्तमान में उपयोग में आने वाली सबसे अधिक पहचानने योग्य मशीन लर्निंग एप्लीकेशन हैं। इस गाइड में कार्यों को पूरा करने में, हम संगीत सांग के आधार पर उपयोगकर्ताओं के लिए गाने चुनने के लिए सिफारिशें बनाने के लिए मिलियन सांग डाटसेट ऑनलाइन संग्रह का उपयोग करेंगे।

इस गाइड में क्या चर्चा की जाएगी:

• सिफारिश प्रणाली का उपयोग कैसे करें

इस मैनुअल में निम्नलिखित भाग हैं।

1. डेटा की खोज और प्रारूपण
2. महतो की खोज

स्थापना और सेटअप

इस मार्गदर्शिका में कार्यों को पूरा करने में, आपको Windows Azure के लिए Apache Hadoop- आधारित सेवाओं तक पहुँचने के लिए एक खाते की आवश्यकता होगी। इसके अलावा, आपको एक क्लस्टर बनाने की आवश्यकता होगी। एक खाता प्राप्त करने और एक Hadoop क्लस्टर बनाने के लिए, " Windows Azure पर Hadoop पर परिचयात्मक जानकारी " लेख के अनुभाग में " Microsoft Hadoop के साथ प्रारंभ करना " अनुभाग में दिए गए निर्देशों का पालन करें।

डेटा की खोज और प्रारूपण

Apache Mahout एक एकीकृत तत्व-आधारित सहयोगी फ़िल्टरिंग कार्यान्वयन प्रदान करता है। सिफारिशें करते समय डेटा का विश्लेषण करने के लिए तत्व-आधारित सहयोगी फ़िल्टरिंग का सबसे अधिक उपयोग किया जाता है।

दिए गए उदाहरण में, उपयोगकर्ता तत्वों (गानों) के साथ क्रिया करते हैं। इन उपयोगकर्ताओं के पास इन आइटमों के बारे में प्राथमिकताएं हैं, जो वे गीतों को सुनते हैं। नमूना डेटा इको नेस्ट स्वाद प्रोफ़ाइल सबसेट वेबपेज पर प्रदान किया गया है।

चित्र 1। मिलायन सांग डेटासेट संग्रह से नमूना डेटा

Mahout के साथ डेटासेट का उपयोग करने के लिए, आपको दो कार्य पूरे करने होंगे।

1. पूर्णांक मानों के लिए गीत और उपयोगकर्ता ID कनवर्ट करें।
2. अपनी रेटिंग के साथ नए मूल्यों को अल्पविराम से अलग की गई फ़ाइल में सहेजें।

Visual Studio 2010 प्रारंभ करें। प्रोग्राम विंडो में, फ़ाइल का चयन करें -> नई परियोजना । Visual C # नोड के इंस्टॉल किए गए टेम्प्लेट फलक में, विंडो श्रेणी का चयन करें , और फिर सूची से कंसोल एप्लिकेशन चुनें। प्रोजेक्ट का नाम ConvertToMahoutInput है ।

अंजीर। २। कंसोल एप्लिकेशन बनाना

एप्लिकेशन बनाने के बाद, Program.cs फ़ाइल खोलें और निम्न स्थिर सदस्यों को प्रोग्राम क्लास में जोड़ें।

const char tab = '\u0009'; static Dictionary<string, int> usersMapping = new Dictionary<string, int>(); static Dictionary<string, int> songMapping = new Dictionary<string, int>(); 

फिर मुख्य विधि में निम्न कोड जोड़ें।

 var inputStream = File.Open(args[0], FileMode.Open); var reader = new StreamReader(inputStream); var outStream = File.Open("mInput.txt", FileMode.OpenOrCreate); var writer = new StreamWriter(outStream); var i = 1; var line = reader.ReadLine(); while (!string.IsNullOrWhiteSpace(line)) { i++; if (i > 5000) break; var outLine = line.Split(tab); int user = GetUser(outLine[0]); int song = GetSong(outLine[1]); writer.Write(user); writer.Write(','); writer.Write(song); writer.Write(','); writer.WriteLine(outLine[2]); line = reader.ReadLine(); } Console.WriteLine("saved {0} lines to {1}", i, args[1]); reader.Close(); writer.Close(); SaveMapping(usersMapping, "usersMap.csv"); SaveMapping(songMapping, "songMapping.csv"); Console.WriteLine("Mapping saved"); Console.ReadKey(); 

अब पहचानकर्ताओं को पूर्णांक में बदलने के लिए गेटयूजर और गेटसॉन्ग फ़ंक्शन बनाएं ।

 static int GetUser(string user) { if (!usersMapping.ContainsKey(user)) usersMapping.Add(user, usersMapping.Count + 1); return usersMapping[user]; } static int GetSong(string song) { if (!songMapping.ContainsKey(song)) songMapping.Add(song, songMapping.Count + 1); return songMapping[song]; } 

और अंत में, SaveMapping विधि को लागू करने के लिए एक उपयोगिता प्रोग्राम बनाएं, जो रोबोट प्रोग्राम्स के मैपिंग के शब्दकोशों को CSV फ़ाइलों में सहेजता है।

 static void SaveMapping(Dictionary<string, int> mapping, string fileName) { var stream = File.Open(fileName, FileMode.Create); var writer = new StreamWriter(stream); foreach (var key in mapping.Keys) { writer.Write(key); writer.Write(','); writer.WriteLine(mapping[key]); } writer.Close(); } 

अब इस लिंक पर स्थित नमूना डेटा डाउनलोड करें । डाउनलोड करने के बाद, train_triplets.txt.zip संग्रह खोलें और train_triplets.txt फ़ाइल निकालें।

उपयोगिता चलाते समय, ट्रेन के स्थान के साथ कमांड लाइन तर्क जोड़ें। Triplets.txt फ़ाइल। ऐसा करने के लिए, समाधान एक्सप्लोरर में ConvertToMahoutInput प्रोजेक्ट नोड पर राइट-क्लिक करें और संदर्भ मेनू से गुण चुनें। प्रोजेक्ट प्रॉपर्टीज़ पेज पर, train_triplets.txt फ़ाइल को कमांड लाइन आर्ग्युमेंट्स टेक्स्ट बॉक्स में पथ जोड़ें।

चित्र 3। एक कमांड लाइन तर्क निर्दिष्ट करना

कार्यक्रम शुरू करने के लिए, F5 कुंजी दबाएं। इसके पूरा होने के बाद, उस स्थान से बिन \ डीबग फ़ोल्डर खोलें जहां प्रोजेक्ट सहेजा गया था और उपयोगिता प्रोग्राम निष्पादन का परिणाम देखें।

चित्र 4। ConvertToMahoutInput उपयोगिता परिणाम

महतो की खोज

Https://www.hadooponazure.com पर Hadoop Cluster पोर्टल खोलें और रिमोट डेस्कटॉप आइकन पर क्लिक करें।

चित्र 4। रिमोट डेस्कटॉप आइकन

ज़िप संग्रह में बिन \ डीबग फ़ोल्डर से mInput.txt फ़ाइल को पैक करें और इसे दूरस्थ क्लस्टर पर रूट फ़ोल्डर c: \ में कॉपी करें। कॉपी करने के बाद, आर्काइव से फाइल निकालें।

अब उपयोगकर्ता आईडी के साथ एक फ़ाइल बनाएं जिसके लिए सिफारिशें बनाई जाएंगी। ऐसा करने के लिए, रूट फ़ोल्डर c: \ में users.txt नामक एक टेक्स्ट फ़ाइल बनाएं और उसमें एक उपयोगकर्ता के पहचानकर्ता को लिखें।

नोट। अन्य उपयोगकर्ताओं के लिए सिफारिशें बनाने के लिए, अलग-अलग लाइनों में उनके पहचानकर्ता जोड़ें।

फिर mInput.txt और users.txt फाइल को HDFS में अपलोड करें। ऐसा करने के लिए, Hadoop कमांड शेल खोलें और निम्नलिखित कमांड चलाएं।

hadoop fs -copyFromLocal c: \ mInput.txt input \ mInput.txt
hadoop fs -copyFromLocal c: \ users.txt input \ users.txt

अब आप कमांड का उपयोग करके कार्य को पूरा कर सकते हैं:

हडॉप जार c: \ Apps \ dist \ mahout-mahout-core-0.5-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob --input = input / mInput.xt --output = आउटपुट - -usersFile = input / users.txt

Mahout जॉब कई मिनटों तक चलती है, जिसके बाद एक आउटपुट फाइल बनाई जाती है। आउटपुट फ़ाइल की स्थानीय प्रतिलिपि प्राप्त करने के लिए निम्न आदेश चलाएँ।

hadoop fs -copyToLocal आउटपुट / part-r-00000 c: \ output.txt

मूल फ़ोल्डर c: \ से output.txt खोलें और इसकी सामग्री की जाँच करें। फ़ाइल में निम्न संरचना है।

उपयोगकर्ता [गीत: रेटिंग, गीत: रेटिंग, ...]

निष्कर्ष

सिफारिश प्रणाली कई आधुनिक सामाजिक नेटवर्किंग साइटों, मल्टीमीडिया स्ट्रीमिंग, ऑनलाइन स्टोर और अन्य ऑनलाइन साइटों की एक महत्वपूर्ण विशेषता है। महावत एक तैयार-निर्मित सिफारिश प्रणाली प्रदान करता है जो उपयोग करने में आसान है, इसमें कई उपयोगी विशेषताएं हैं, और Hadoop प्लेटफ़ॉर्म पर स्केल कर सकते हैं।

आप Windows Azure प्लेटफ़ॉर्म पर Hadoop और Apache Mahout के डेटा प्रोसेसिंग और क्लाउड स्केलेबिलिटी लाभ का लाभ उठा सकते हैं। आज ही windowsazure.com/ru-ru और www.hadooponazure.com आज़माएं