एक साधारण परियोजना में मशीन सीखना

मैं प्रीप्ले परियोजना का सीटीओ हूं और मैं सरल प्रोग्राम में जटिल और दिलचस्प कार्यों के बारे में प्रत्येक प्रोग्रामर के सपनों के बारे में थोड़ा बताना चाहता हूं।

अधिक सटीक होने के लिए, यह इस बारे में है कि आप व्यवसाय में थोड़ा विज्ञान कैसे जोड़ सकते हैं और परिणामस्वरूप थोड़ा लाभ प्राप्त कर सकते हैं। इस लेख में मैं एक वास्तविक परियोजना में मशीन लर्निंग का उपयोग करने के संदर्भों में से एक का वर्णन करने का प्रयास करूंगा।

समस्या

हम प्रीप्ले ट्यूटर प्लेटफॉर्म हैं और हर कोई हमें धोखा देना चाहता है।

हमारी वेबसाइट पर उपयोगकर्ता ट्यूटर के लिए आवेदन छोड़ देता है और, शर्तों पर सहमत होने के बाद, वेबसाइट के माध्यम से पाठ के लिए भुगतान करता है। यदि स्काइप पर कक्षाएं चलती हैं, तो हम साइट के माध्यम से सभी भुगतान स्वीकार करते हैं। यदि वे लाइव मिलते हैं, तो हमारा कमीशन पहले पाठ की लागत है।

ट्यूटर्स और छात्रों ने किसी कारण से साइट के माध्यम से पाठ के भुगतान को रोकने की कोशिश की। ऐसा करने के लिए, वे एक आंतरिक संदेश प्रणाली का उपयोग करते हैं, जिसे आगामी कक्षाओं के बारे में विवरण स्पष्ट करने के लिए डिज़ाइन किया गया है और ट्यूटर को आवेदन भेजने के बाद उपलब्ध है। संपर्क साझा करने के कुछ उदाहरण यहां दिए गए हैं:

मेरा स्काइप vasiliy.p है, टेल +789123456 है। तो 1 अप्रैल को 19:00 बजे!

शुभ संध्या आप अपना नंबर लिख सकते हैं या मेरा + 78-975-12-34 पर कॉल कर सकते हैं

मैं पाठ से पहले भुगतान नहीं करना चाहता, मेरा नाम वसीली पुपकिन है - मुझे वीके पर ढूंढें

एक अनुभवी प्रोग्रामर तुरंत कहेगा: "संदेशों के आदान-प्रदान के संभावित विकल्पों के लिए नियमित अभिव्यक्ति लिखने में क्या समस्या है?" कोई समस्या नहीं है, लेकिन इस समाधान के कई नुकसान हैं:

1. गलत के लिए सभी विकल्प प्रदान करना मुश्किल है (अर्थात, जिनके संपर्क हैं) संदेश। उदाहरण के लिए, उत्पाद के पहले संस्करण में फोन नंबर के लिए नियमित अभिव्यक्तियों का एक सेट था, लेकिन इसने फॉर्म के संदेशों को काम और अवरुद्ध कर दिया:
   

   शुक्रवार - 13 00-15 00-15 30 तक ... समूह पाठ की लागत कितनी होगी?

   
   अधिक जटिल मामले में, ईमेल के लिए एक नियमित अभिव्यक्ति का उपयोग किया गया था। मेल, जिसका उद्देश्य संदेशों को ब्लॉक करना था:
   

   वास्य (कुत्ता) पुतली (बिंदी) रु

   
   लेकिन एक ही समय में एक पूरी तरह से हानिरहित पाठ को अवरुद्ध कर दिया:
   

   मैं अंग्रेजी को एक कुत्ते के रूप में जानता हूं: मैं सब कुछ समझता हूं, लेकिन मैं यह नहीं कह सकता।

   
   Skype शब्द और भी जटिल है: Skype का आदान-प्रदान करने के प्रयासों वाले संदेशों के बीच अंतर करना बहुत मुश्किल है:
   

   कृपया मुझे स्काइप में जोड़ें - vasya82pupkin

   
   स्पष्ट संदेशों से:
   

   क्या आप स्काइप या स्थानीय पाठ करना चाहते हैं?

   
   
2. विश्वास की दहलीज पर कोई नियंत्रण नहीं है। यानी मैसेज या तो ब्लॉक हो गया है या नहीं। तर्क को बदलने के लिए, आपको कोड में चढ़ने की आवश्यकता है। वास्तविक जीवन में, पहले प्रकार (गलत अलार्म) की त्रुटियों की तुलना में दूसरे प्रकार (संदेश लंघन) की गलतियों को करना बहुत आसान है, क्योंकि झूठे अलार्म के साथ उपयोगकर्ता समर्थन लिखेगा, समर्थन प्रबंधक को गलत अवरोधक और संदेशों को हटाने के लिए माफी माँगने में समय लगेगा, सेवा का उपयोग करने के खराब अनुभव का उल्लेख करना। दूसरी ओर, संपर्क का आदान-प्रदान करने वाले उपयोगकर्ता शायद ही कभी हमारे ग्राहक बनते हैं, इसलिए दूसरे प्रकार की गलतियाँ करना आसान है, क्योंकि हमने उन पर पैसा नहीं बनाया है (हाँ, यह एक व्यवसाय है)।

कुछ समय में, मैंने लॉकिंग प्रक्रिया को और अधिक वैज्ञानिक बनाने के लिए सप्ताहांत बिताने का फैसला किया। निम्नलिखित वर्णन करता है कि यह क्या आया था। मुझे तुरंत यह कहना होगा कि मेरा लक्ष्य सब कुछ सही, सही और वैज्ञानिक तरीके से करना नहीं था, बल्कि इसे त्रुटियों के बिना काम करना और आय पर सकारात्मक प्रभाव डालना था।

निर्णय

मैंने सही तरीके से सही / गलत संदेशों को वर्गीकृत करने के लिए 3 मशीन सीखने के तरीकों की कोशिश करने का फैसला किया, जो मुझे एंड्रयू एनजी कोर्स द्वारा कौरसेरा मशीन लर्निंग से याद किया गया था।

पहली समस्या प्रशिक्षण के लिए आधार तैयार करना है। हमारे पास पुराने सिस्टम द्वारा वर्गीकृत 50,000 से अधिक पद थे। मैंने उनमें से केवल 5,000 को लिया और लगभग 2-3 घंटे उन संदेशों में गलत वर्गीकरण को सही करने की कोशिश में बिताए जहां पिछली प्रणाली ने गलतियाँ की थीं। सिद्धांत रूप में, बड़ा आधार, बेहतर, लेकिन वास्तविक दुनिया में मैन्युअल रूप से एक बड़ा नमूना (दूसरे शब्दों में, आलस्य) तैयार करना काफी कठिन है।

नमूना तैयार करने की समय लेने वाली प्रक्रिया में बारीकियों में से एक प्रक्रिया की नैतिकता है। मैं स्वीकार करता हूं, किसी और के संदेश को पढ़ना मेरे लिए बहुत सुविधाजनक नहीं होगा, इसलिए इससे पहले मैंने शब्दों को मिलाया ताकि जब मैं संदिग्ध संदेशों पर नज़र डालूं, लेकिन सार की समझ के बिना। उदाहरण के लिए:

यह था:

मैं फरवरी के महीने में कक्षाएं शुरू करना चाहूंगा, क्या यह संभव है? मैं जनवरी में सही समय भी बता सकता हूं, लेकिन यह निश्चित रूप से 18:00 से पहले नहीं होगा

यह बन गया:

शायद फरवरी के बाद से कोई क्लास नहीं? जनवरी में यह सटीक होगा, पहले भी 18:00 से पहले मुझे यकीन है लेकिन मैं कह सकता हूं कि मैं महीने की शुरुआत करना चाहता हूं, यह

यह था:

मुझे सेवा के लिए खुशी होगी, मेरी टेल। (012) 345-678 कॉल करें, हम सहमत होंगे, धन्यवाद

यह बन गया:

tel। मुझे खुशी है कि मैं उपयोगी होगा, मेरी कॉल, हम सहमत होंगे, धन्यवाद (012) 345-678

परिणाम ~ 5000 लाइनों के साथ एक सीएसवी फ़ाइल है, जहां गलत संदेश शून्य के साथ चिह्नित हैं, और एक के साथ सही हैं। उसके बाद, डेटा के साथ काम करने के आधार पर, हमने संदेश विशेषताओं का एक समूह निर्धारित किया कि "आंख से" वर्गीकरण पर प्रभाव पड़ता है।

• फोन पर संदेह;
• ईमेल का संदेह मेल;
• स्काइप संपर्कों का संदेह;
• संदिग्ध url
• सामाजिक का संदेह। नेटवर्क;
• सही शब्द जो संख्याओं (समय, मुद्रा) के साथ आते हैं;
• संदेश की लंबाई;
• संदिग्ध शब्द: खोजने, जोड़ने, मेरा;
• ... और इसी तरह।

उनमें से प्रत्येक के लिए विशेषताओं को परिभाषित करने के बाद, मैंने कई नियमित अभिव्यक्ति लिखी, उदाहरण के लिए:

import re SEPARATOR = "|" reg_arr = [ re.compile(u'|facebook|linkedin|vkontakt|',re.IGNORECASE | re.UNICODE), re.compile(u'.{1,10}', re.UNICODE)] re.compile(u'[^]|skype', re.IGNORECASE | re.UNICODE), re.compile(u'', re.IGNORECASE | re.UNICODE), re.compile(u'[і].*\s[a-zZ-Z]', re.IGNORECASE | re.UNICODE), re.compile('\d{3}[-\.\s]??\d{3}[-\.\s]??\d{4}|\(\d{3}\)\s*\d{3}[-\.\s]??\d{4}|\d{3}[-\.\s]??\d{4}'), ... re.compile('http|www|\.com', re.IGNORECASE), re.compile(u'|my', re.IGNORECASE | re.UNICODE), re.compile(u'|find', re.IGNORECASE | re.UNICODE), re.compile(u'|add', re.IGNORECASE | re.UNICODE), ... re.compile('\w+@\w+', re.IGNORECASE), re.compile('.{0,50}', re.IGNORECASE), re.compile('.{50,200}', re.IGNORECASE), .... ] def feature_vector(text): return map(lambda x: 1 if x.search(text) else 0, reg_arr) fi=open('db_machine.csv', 'r') fo=open('db_machine_result.csv', 'w') for line in fi: [text, result] = line.split(SEPARATOR) output = feature_vector(text).append(result) fo.write(",".join(map(lambda x: str(x), output )) + "\n") fo.close() fi.close() 

तदनुसार, सभी विशेषताओं के लिए सभी संदेशों को संसाधित करने के बाद (अब हमारे पास लगभग सौ हैं), हम विशेषताओं के वेक्टर और एक फ़ाइल के वर्गीकरण परिणाम लिखते हैं।

डेटा तैयार करने के बाद, नमूने को तीन भागों में विभाजित करना आवश्यक है: प्रशिक्षण के लिए (ट्रेन सेट), मापदंडों के चयन के लिए (क्रॉस-सत्यापन सेट) और सत्यापन (परीक्षण सेट)। पाठ्यक्रम से सलाह के बाद, प्रशिक्षण के नमूनों का आकार, मापदंडों का चयन, परीक्षण 60/20/20 के अनुपात में सहसंबद्ध हैं:

 import random with open('db_machine_result.csv','r') as source: data = [ (random.random(), line) for line in source ] data.sort() n = len(data) with open('db_machine_result_train.csv','w') as target: for _, line in data[:int(n*0.60)]: target.write( line ) with open('db_machine_result_cross.csv','w') as target: for _, line in data[int(n*0.60):int(n*0.80)]: target.write( line ) with open('db_machine_result_test.csv','w') as target: for _, line in data[int(n*0.80):]: target.write( line ) 

फिर, पहिया को फिर से मजबूत नहीं करने और जितनी जल्दी हो सके परिणाम प्राप्त करने के सिद्धांत द्वारा निर्देशित, हमने मशीन लर्निंग कोर्टसेरा से स्क्रिप्ट का उपयोग किया और बस लॉजिस्टिक रिग्रेशन, एसवीएम और तंत्रिका नेटवर्क एल्गोरिदम का उपयोग करके हमारे नमूने चलाए। स्क्रिप्ट को पाठ्यक्रम से लिया जाता है, उदाहरण के लिए SVM इस तरह दिखता है:

 clear ; close all; clc data_train = load('db_machine_result_train.csv'); X = data_train(:, 1:end-1); y = data_train(:,end); data_val = load('db_machine_result_cross.csv'); Xval = data_val(:, 1:end-1); yval = data_val(:,end); data_test = load('db_machine_result_test.csv'); Xtest = data_test(:, 1:end-1); ytest = data_test(:,end); [C, sigma] = dataset3Params(X, y, Xval, yval); %    cross-validation set fprintf('C: %f\n', C); fprintf('sigma``: %f\n', sigma); model= svmTrain(X, y, C, @(x1, x2) gaussianKernel(x1, x2, sigma)); p = svmPredict(model, X); fprintf('Training Accuracy: %f\n', mean(double(p == y)) * 100); p = svmPredict(model, Xtest); fprintf('Test Accuracy: %f\n', mean(double(p == ytest)) * 100); fprintf('Program paused. Press enter to continue.\n'); pause; 

आप यह देख सकते हैं कि पाठ्यक्रम वेबसाइट पर svmTrain / svmPredict फ़ंक्शन कैसे लागू किए जाते हैं या, उदाहरण के लिए, यहां ।

क्रॉस-वैलिडेशन सैंपल में सभी एल्गोरिदम ने आंतरिक मापदंडों (नियमितीकरण के लिए λ , गॉसियन फ़ंक्शन के लिए C , तंत्रिका नेटवर्क की छिपी परत के आकार के लिए आकार) को सॉर्ट किया। हम उनमें से कुछ के लिए अंतिम सटीकता परिणाम प्रस्तुत करेंगे:

तंत्रिका नेटवर्क			लॉजिस्टिक रिग्रेशन			SVM
आकार = 30, λ = 1	आकार = 30, λ = 0.01	आकार = 30, λ = 0.001	λ = 0	λ = 0.01	λ = 1	रैखिक (λ 0.001, σ = 0.001)	गाऊसी (λ 0.1, s = 0.1)	गाऊसी (λ 0.001, s = 0.001)
96.41%	97.88%	98.16%	97.51%	97.88%	98.16%	96.48%	97.14%	98.89%

यहां यह स्पष्ट करना आवश्यक है कि सिस्टम तैयार करने की प्रक्रिया में परिणाम बहुत खराब था (एसवीएम के लिए 96.6%, उदाहरण के लिए), और डीबगिंग ने बहुत ही ठोस सुधार किए। हमने संपूर्ण नमूना के वास्तविक डेटा पर सबसे सरल और सबसे तेज़ के रूप में लॉजिस्टिक रिग्रेशन लॉन्च किया और वर्गीकरण परिणाम को संशोधित किया। हमें यह जानकर आश्चर्य हुआ कि सिस्टम मुझसे ज्यादा स्मार्ट हो गया, क्योंकि 30% मामलों में किसी व्यक्ति द्वारा संदेशों के वर्गीकरण में त्रुटि थी (जैसा कि मैंने लिखा था, मैंने ~ 5000 संदेशों को देखा और जैसा कि यह निकला, उसने कहीं-कहीं 30-40% वर्गीकरण किया), और सिस्टम सब कुछ सही ढंग से वर्गीकृत किया। डीबगिंग के दौरान, हमने डेटाबेस में त्रुटियों को ठीक किया और, तदनुसार, विधि की सटीकता में वृद्धि हुई। इसके अलावा, हमने विशेषता वेक्टर का विस्तार किया यदि हमने देखा कि कुछ दिलचस्प पैटर्न सिस्टम द्वारा संसाधित नहीं हैं।

हमने एसवीएम विधि का उपयोग करने के लिए चुना, सामान्य नमूने पर विशेषताएँ निम्नानुसार थीं:

संदेश		तथ्य
		सही	ग़लत
दृष्टिकोण	सही	4998	36
	ग़लत	11	390

चूंकि सिस्टम में संपत्ति है कि कक्षाएं तिरछी कक्षाएं हैं, इसलिए मैं एल्गोरिथ्म की तुलना करने के लिए पैरामीटर भी दूंगा:

शुद्धता	याद	शुद्धता
99.28%	99.78%	99.13%

अंत में, हमने साइट पर संदेशों को फ़िल्टर करने के लिए गॉसियन फ़ंक्शन के मूल के साथ एसवीएम का उपयोग करने का निर्णय लिया। यह लॉजिस्टिक रिग्रेशन की तुलना में अधिक जटिल है, लेकिन काफी बेहतर परिणाम देता है, हालांकि यह अधिक धीरे-धीरे काम करता है।
संपूर्ण संदेश संसाधन पथ निम्नानुसार है:

• उपयोगकर्ता साइट पर एक संदेश भेजता है, बैकबोन जेएस क्लाइंट की मशीन पर एक मॉडल बनाता है और अपने सर्वर एपीआई में एक पोस्ट अनुरोध भेजता है;
• Django TastyPie में लिखा गया सर्वर API Django मॉडल सत्यापन फॉर्म का उपयोग करता है;
• पहला सत्यापनकर्ता उपयोगकर्ता प्रोफ़ाइल को डेटाबेस से खींचता है और जाँचता है कि क्या उपयोगकर्ता एक घुसपैठिए के रूप में चिह्नित है (आगे की जांच करने की कोई आवश्यकता नहीं है, 403 प्रतिक्रिया) या उसने पहले ही साइट के माध्यम से भुगतान किया है (आगे की जांच करने की कोई आवश्यकता नहीं है, तुरंत 201 प्रतिक्रिया);
• SvmPredict सत्यापनकर्ता संदेश के पाठ की जाँच का परिणाम देता है। यदि उपयोगकर्ता ने नियमों का उल्लंघन किया है, तो उसकी प्रोफ़ाइल में संबंधित ध्वज सेट है, अन्यथा सब कुछ ठीक है और उपयोगकर्ता को एपीआई से 201 प्रतिक्रियाएं मिलती हैं और संदेश डेटाबेस को लिखा जाता है;
• यदि संदेश में संपर्क था या उपयोगकर्ता एक घुसपैठिया था, तो ग्राहक को 403 प्रतिक्रिया दी जाती है, जिसके प्राप्त होने पर बैकबोन उपयोगकर्ता को संदेश देता है कि वह नियमों का उल्लंघन कर रहा है। डेटाबेस में उपयोगकर्ता को घुसपैठिया के रूप में चिह्नित किया गया है;

अब तक, यह अच्छी तरह से काम कर रहा है, और हम इस बारे में खुश हैं।

निष्कर्ष

यह समझने के लिए कि मशीन लीनिंग पुरानी प्रणाली की तुलना में बेहतर क्यों काम करती है - बहुत सरल है - यह उन विशेषताओं के बीच उन संबंधों को प्रकट करता है जो विशेषज्ञ अवलोकन में छिपे थे। उदाहरण के लिए, हमारे पास एक नियमित अभिव्यक्ति और घटना के लिए कई स्थितियां हैं: यदि पाठ में सिरिलिक और लैटिन है, तो कुछ अंक और संदेश छोटा है, तो यह सबसे अधिक संभावना है संपर्कों का आदान-प्रदान। अब हम केवल व्यक्तिगत घटनाओं को गिनते हैं, और सिस्टम स्वयं समझता है कि उनके बीच क्या संबंध है और हमारे स्थान पर नियम बनाता है।

अब हम वास्तव में अच्छे सटीकता संकेतकों के कारण संदेशों को वर्गीकृत करने के लिए उत्पादन में एसवीएम का उपयोग करते हैं। हम इसे बहुत सरल तरीके से उपयोग करते हैं - हमने इष्टतम मॉडल के वजन का सेट लिया और वर्गीकरण के लिए उपरोक्त उल्लिखित अजगर के लिए svmPredict फ़ंक्शन का उपयोग किया। एक आदर्श दुनिया में, शिक्षक के साथ एक प्रतिक्रिया प्रणाली बनाना आवश्यक होगा, ताकि व्यवस्थापक वर्गीकरण त्रुटियों को इंगित करें, और प्रणाली वजन को समायोजित करेगी और सुधार करेगी। लेकिन हमारी परियोजना वास्तविक दुनिया में रहती है, जहां समय = धन, और अब तक हम इस तथ्य का आनंद ले रहे हैं कि गलत अवरोधन के बारे में समर्थन के अनुरोधों की संख्या में 2 गुना की गिरावट आई है। विश्वास की दहलीज को संतुलित करने के लिए यह भी एक दिलचस्प विचार है और, तदनुसार, पहले और दूसरे प्रकार की त्रुटियां हैं, लेकिन अभी तक सब कुछ हमें सूट करता है। "संदेश छोड़ें" जैसे त्रुटियों की संख्या को मापना काफी कठिन है। मैं केवल यह स्पष्ट करूंगा कि सिस्टम की शुरुआत के बाद भुगतान में आवेदनों का रूपांतरण नहीं हुआ है। दूसरे शब्दों में, भले ही अधिक पास हों, यह व्यवसाय को प्रभावित नहीं करता है। लेकिन आंख पर कम पास थे। इसलिए सप्ताहांत में यह बहुत अच्छा परिणाम है।

यदि विषय आपके लिए दिलचस्प है, तो मैं ट्यूटोरियल सिफारिशों के लिए एक सहयोगी फ़िल्टरिंग दृष्टिकोण के बारे में लिखने के लिए तैयार हूं जो हम करते हैं। यदि आपको एक कोड की आवश्यकता है, तो भी संपर्क करें - वहां कुछ भी गुप्त नहीं है, लेकिन लेख में मैं पाइपलाइन का अधिक वर्णन करना चाहूंगा।

पुनश्च: हम बढ़ रहे हैं और भविष्य में हम अपने कीव कार्यालय में 2 स्मार्ट और जिम्मेदार प्रोग्रामर की तलाश कर रहे हैं: एक आंतरिक और अधिक कार्यों को बंद करने का अनुभव है जो मेरे दोनों हाथों की कमी है। पायथन / Django और जेएस / बैकबोन के हमारे ढेर। कई दिलचस्प कार्य और सर्वोत्तम अभ्यास। ईमेल dmytro@preply.com