फिर भी एक और क्लासिफायर

ज्वाइन करने के बजाय

आलस्य प्रगति का इंजन है। आप खुद अनाज को पीसना नहीं चाहते हैं - एक चक्की बनाते हैं, आप खुद अपने दुश्मनों पर पत्थर नहीं फेंकना चाहते हैं - एक गुलेल का निर्माण करें, जिज्ञासा के बंधन पर जलते हुए थक जाएं और सामंती प्रभु के नीचे अपनी पीठ झुकाएं - लोगों के साथ पुनर्जागरण करें ... हालांकि, मैं किस बारे में बात कर रहा हूं।
स्वचालन, सज्जनों। आप कुछ उपयोगी प्रक्रिया लेते हैं जिसमें एक व्यक्ति भाग लेता है, आप एक व्यक्ति को एक जटिल तंत्र से बदल देते हैं, आपको लाभ मिलता है। अपेक्षाकृत हाल ही में, यह एक व्यक्ति को कोड के एक टुकड़े के साथ बदलने के लिए भी फैशनेबल हो गया है। ओह, कितने महान व्यवसायों के मुखबिर की सूचना के तहत गिर सकता है। खासकर जब आप समझते हैं कि हमारे समय में कोड का एक टुकड़ा न केवल पूर्व निर्धारित व्यवहार के लिए सक्षम है, बल्कि कुछ प्रकार के व्यवहार को "सीखने" में भी सक्षम है।

थोड़ा सा संक्षेप

आम तौर पर, एक एल्गोरिथ्म के लिए ऐसे सुपरपावर जो हमारे कोड ऑफ पीस का प्रतिनिधित्व करते हैं, न केवल सीखने, बल्कि मशीन लर्निंग कहलाते हैं। आमतौर पर, हमारा मतलब है कि केवल बुद्धि से संपन्न कोई चीज सीख सकती है। और, आश्चर्यजनक रूप से, मशीन लर्निंग का अनुशासन कृत्रिम बुद्धिमत्ता (कृत्रिम बुद्धिमत्ता उर्फ ​​AI) का एक बहुत अधिक सामान्य अनुशासन का हिस्सा है

जैसा कि चित्र दिखाता है, कई एआई कार्य मशीन लर्निंग एल्गोरिदम पर आधारित हैं। यह केवल कुछ मजेदार चुनने और निर्णय लेने के लिए कोई कम मज़ा नहीं है।

और कल्पना करना

मान लें कि,% उपयोगकर्ता नाम%, एक मशीन सीखने के विशेषज्ञ द्वारा एक कंपनी में रखा गया था जो IMDb वेबसाइट का मालिक है। और वे कहते हैं कि वे कहते हैं, हम चाहते हैं कि रूसी इवानस ने अपनी किनोपोइक खोज की है, उपयोगकर्ता समीक्षा हरे या लाल रंग में चिह्नित है, जो इस बात पर निर्भर करता है कि समीक्षा सकारात्मक है या नकारात्मक। और यहाँ आप समझ रहे हैं कि समीक्षाओं के साथ एक अशोभनीय आकार डेटाबेस लेना आवश्यक है और एक एल्गोरिथ्म जारी करना जो अच्छी तरह से प्रशिक्षित होगा और इसके सभी सेट को दो असंगत उप-वर्गों (कक्षाओं) में तोड़ देगा, ताकि त्रुटि की संभावना कम से कम हो।
एक व्यक्ति की तरह, हमारा एल्गोरिथ्म या तो अपनी गलतियों से सीख सकता है (शिक्षक के बिना सीखना, बिना पढ़े सीखना), या किसी और के उदाहरण से (शिक्षक के साथ सीखना, पर्यवेक्षित सीखना)। लेकिन, इस मामले में, वह खुद सकारात्मक और नकारात्मक के बीच अंतर नहीं कर सकता है, क्योंकि उन्हें कभी भी पार्टियों में नहीं बुलाया गया था और अन्य लोगों के साथ उनका बहुत कम संपर्क था। इसलिए, आपको तैयार किए गए उदाहरणों (मिसाल) पर प्रशिक्षण करने के लिए कक्षाओं (प्रशिक्षण नमूने) के लिए पहले से ही समीक्षाओं का एक नमूना प्राप्त करने की आवश्यकता है।
कुल मिलाकर, हम भावना विश्लेषण की समस्या को हल करना चाहते हैं, जो प्राकृतिक भाषा प्रसंस्करण के कार्यों से संबंधित है, एक निश्चित वर्गीकरण को प्रशिक्षित करके जो हमें बताएगा कि क्या यह प्रत्येक नई समीक्षा के लिए सकारात्मक या नकारात्मक है। अब आपको एक क्लासिफायर का चयन करने और पूरी चीज़ को कोड करने की आवश्यकता है।

भगवान, कितना भोला है

सामान्य तौर पर, जंगली में विभिन्न वर्गीकरणकर्ताओं की एक बड़ी संख्या होती है। सबसे सरल बात जो हम यहां ले सकते हैं, वह है सभी लेखों का उदाहरण देना, उदाहरण के लिए, सकारात्मक लोगों को। परिणाम: सीखने की कोई जरूरत नहीं है, वर्गीकरण की सटीकता 50% है, ब्याज 0% है।
लेकिन अगर आप इसके बारे में सोचते हैं ... हम एक वर्ग का चयन कैसे करते हैं, जिसे हम किसी अन्य ऑब्जेक्ट को असाइन करेंगे? हम इसे चुनते हैं ताकि इस वर्ग से संबंधित वस्तु की संभावना अधिकतम हो (कप्तान!), यानी।

, जहां C कुछ प्रकार की कक्षा है, और d एक वस्तु है, हमारे मामले में यह एक समीक्षा है। इस प्रकार, हम उत्तरवर्ती संभावना को अधिकतम करने की कोशिश कर रहे हैं कि समीक्षा सकारात्मक या नकारात्मक वर्ग से संबंधित है।
सशर्त संभावना को देखते हुए, यह तुरंत बेयस के प्रमेय को लागू करने के लिए भीख माँगता है, और जब से हम अभी भी अधिकतम की तलाश कर रहे हैं, यह भी त्यागने की भीख माँगता है, अनावश्यक के रूप में, परिणाम के रूप में प्राप्त करने वाला:

यह सब शांत है, आप कहते हैं, लेकिन वास्तविक जीवन में इन चमत्कारी संभावनाओं को कहाँ से प्राप्त करें? ठीक है, पी के साथ सब कुछ सरल है: यदि आपके पास एक प्रशिक्षण नमूना है जो कक्षाओं के वितरण को पर्याप्त रूप से प्रदर्शित करता है, तो आप मूल्यांकन कर सकते हैं:

जहाँ n वर्ग C से संबंधित वस्तुओं की संख्या है, N नमूने का आकार है।
पी के साथ (डी | सी) सब कुछ थोड़ा अधिक जटिल है। यहां हमें एक दूसरे से दस्तावेज़ में व्यक्तिगत शब्दों की स्वतंत्रता के बारे में "भोली" धारणा बनानी चाहिए:

और समझते हैं कि n एक-आयामी घनत्व की बहाली एक n-आयामी की तुलना में बहुत सरल कार्य है।
इस मामले में, प्रशिक्षण नमूने के अनुसार, आप मूल्यांकन कर सकते हैं:

, जहाँ m कक्षा C में शब्दों की संख्या w है, M, वर्ग C में शब्दों की संख्या (या बल्कि, टोकन) है। इसलिए मुझे यह मिल गया है:

लेकिन इस तरह के एक क्लासिफायर को भोले बेयस क्लासिफायरियर कहा जाता है।
स्वतंत्रता की भोली धारणा की वैधता के बारे में कुछ शब्द। इस तरह की धारणा शायद ही कभी सच होती है, इस मामले में, उदाहरण के लिए, यह स्पष्ट रूप से गलत है। लेकिन, जैसा कि अभ्यास से पता चलता है, भोले बायेसियन क्लासिफायर कई समस्याओं में आश्चर्यजनक रूप से अच्छे परिणाम दिखाते हैं, जिनमें वे शामिल हैं जहां स्वतंत्रता की धारणा, सख्ती से बोलना, पूरी नहीं होती है।
भोले बायेसियन क्लासिफायर के फायदे प्रशिक्षण नमूने के आकार के प्रति असंवेदनशीलता, उच्च सीखने की गति और तथाकथित रिट्रेनिंग के लिए प्रतिरोध (ओवरफिटिंग एक ऐसी घटना है जिसमें एल्गोरिथ्म प्रशिक्षण के नमूने पर बहुत अच्छा काम करता है और खराब परीक्षण पर)। इसलिए, उनका उपयोग या तो तब किया जाता है जब प्रारंभिक डेटा बहुत छोटा होता है, या जब इस तरह का बहुत अधिक डेटा होता है, और सीखने की गति पहले आती है। नुकसान: सबसे अच्छी सटीकता नहीं, खासकर अगर स्वतंत्रता की धारणा का उल्लंघन किया जाता है।

डेवलपर्स, डेवलपर्स, डेवलपर्स

और अब उन लोगों के लिए जो पहले से ही कोड को देखने के लिए बेताब हैं। प्रशिक्षण नमूना कॉर्नेल विश्वविद्यालय द्वारा तैयार IMDb समीक्षाओं का एक संग्रह था (जिनके कर्मचारियों ने स्वयं इस डेटा के साथ एक मनोरंजक अध्ययन किया था)।
सबसे दिलचस्प add_example और वर्गीकृत तरीके। पहले, क्रमशः, प्रशिक्षण में लगे हुए हैं, आवश्यक संभावना घनत्व को बहाल करते हैं, दूसरा - परिणामी मॉडल को लागू करता है।

def add_example(self, klass, words): """ * Builds a model on an example document with label klass ('pos' or 'neg') and * words, a list of words in document. """ self.docs_counter_for_klass[klass] += 1 for word in words: self.token_counter_for_klass[klass] += 1 self.word_in_klass_counter_for[klass][word] += 1 

प्रशिक्षण बहुत सीधा है - हमें समीक्षा और उसके टैग किए गए वर्ग से शब्द मिलते हैं। हम कक्षा n में दस्तावेजों की संख्या, वर्ग M में शब्दों की संख्या और वर्ग में शब्दों की संख्या पर विचार करते हैं - m। सभी और वर्गीकृत।

  def classify(self, words): """ 'words' is a list of words to classify. Return 'pos' or 'neg' classification. """ score_for_klass = collections.defaultdict(lambda: 0) num_of_docs = sum(self.docs_counter_for_klass.values()) for klass in self.klasses: klass_prior = float(self.docs_counter_for_klass[klass]) / num_of_docs score_for_klass[klass] += math.log(klass_prior) klass_vocabulary_size = len(self.word_in_klass_counter_for[klass].keys()) for word in words: score_for_klass[klass] += math.log(self.word_in_klass_counter_for[klass][word] + 1) score_for_klass[klass] -= math.log(self.token_counter_for_klass[klass] + klass_vocabulary_size) sentiment = max(self.klasses, key=lambda klass: score_for_klass[klass]) return sentiment 

क्योंकि संभावनाएं बहुत कम संख्या में हो सकती हैं, लेकिन हम अभी भी अधिकतमकरण में लगे हुए हैं, तो आप अंतरात्मा की आवाज़ के बिना प्रचार कर सकते हैं:

- यह बताता है कि क्या हो रहा है। कक्षाओं का परिणाम, क्रमशः, वह बन जाता है जिसने अधिकतम अंक प्राप्त किया।

  def cross_validation_splits(self, train_dir): """Returns a lsit of TrainSplits corresponding to the cross validation splits.""" print '[INFO]\tPerforming %d-fold cross-validation on data set:\t%s' % (self.num_folds, train_dir) splits = [] for fold in range(0, self.num_folds): split = TrainSplit() for klass in self.klasses: train_file_names = os.listdir('%s/%s/' % (train_dir, klass)) for file_name in train_file_names: example = Example() example.words = self.read_file('%s/%s/%s' % (train_dir, klass, file_name)) example.klass = klass if file_name[2] == str(fold): split.test.append(example) else: split.train.append(example) splits.append(split) return splits 

उपलब्ध डेटा का पूरी तरह से उपयोग करने के लिए, k- गुना क्रॉस-वैलिनेशन लागू किया गया था: उपलब्ध डेटा को k भागों में विभाजित किया गया है, फिर मॉडल को k - 1 डेटा के कुछ हिस्सों पर प्रशिक्षित किया जाता है, और शेष डेटा का उपयोग परीक्षण के लिए किया जाता है। प्रक्रिया को के बार दोहराया जाता है, अंत में, डेटा के प्रत्येक टुकड़े का उपयोग परीक्षण के लिए किया जाता है। परिणामस्वरूप क्लासिफायर दक्षता की गणना औसत के रूप में की जाती है।

खैर, ज़ेन को पूरी तरह से हासिल करने के लिए, मैं एक शिक्षक के साथ सीखने की प्रक्रिया का चित्रण करता हूँ (सामान्य स्थिति में):


यह सब क्या आया?

$ python NaiveBayes.py ../data/imdb1
[जानकारी] डेटा सेट पर १० गुना क्रॉस-सत्यापन करना: ../data/imdb1
[जानकारी] गुना 0 सटीकता: 0.765000
[जानकारी] गुना 1 सटीकता: 0.825000
[जानकारी] गुना 2 सटीकता: 0.810000
[जानकारी] गुना 3 सटीकता: 0.800000
[जानकारी] गुना 4 सटीकता: 0.815000
[जानकारी] गुना 5 सटीकता: 0.810000
[जानकारी] गुना 6 सटीकता: 0.825000
[जानकारी] मोड़ो 7 सटीकता: 0.825000
[जानकारी] गुना 8 सटीकता: 0.765000
[जानकारी] 9 सटीकता को मोड़ो: 0.820000
[जानकारी] सटीकता: 0.806000

फिल्टर को रोकने के साथ:
$ python NaiveBayes.py -f ../data/imdb1
[जानकारी] डेटा सेट पर १० गुना क्रॉस-सत्यापन करना: ../data/imdb1
[जानकारी] गुना ० सटीकता: ०.0000O००००
[जानकारी] गुना 1 सटीकता: 0.815000
[जानकारी] गुना 2 सटीकता: 0.810000
[जानकारी] गुना 3 सटीकता: 0.825000
[जानकारी] गुना 4 सटीकता: 0.810000
[जानकारी] गुना ५ सटीकता: ०.000०००००
[जानकारी] गुना 6 सटीकता: 0.815000
[जानकारी] गुना 7 सटीकता: 0.830000
[जानकारी] गुना acy सटीकता: ०.0000६००००
[जानकारी] गुना 9 सटीकता: 0.815000
[जानकारी] सटीकता: 0.805000
मैं पाठक को विचार करने के लिए छोड़ देता हूं कि स्टॉप शब्दों की फ़िल्टरिंग ने परिणाम को क्यों प्रभावित किया (अच्छी तरह से, यही कारण है कि इसने लगभग इसे प्रभावित नहीं किया)।

उदाहरण

यदि हम दुर्लभ संख्या से दूर जाते हैं, तो वास्तव में हमें क्या मिला?
बीज के लिए:

 "Yes, it IS awful! The books are good, but this movie is a travesty of epic proportions! 4 people in front of me stood up and walked out of the movie. It was that bad. Yes, 50 minutes of wedding...very schlocky accompanied by sappy music. I actually timed the movie with a stop watch I was so bored. There is about 20 minutes of action and the rest is Bella pregnant and dying. The end. No, seriously. One of the worst movies I have ever see" 

इस तरह की समीक्षा को स्पष्ट रूप से नकारात्मक के रूप में मान्यता प्राप्त है, जो आश्चर्य की बात नहीं है। त्रुटियों को देखना अधिक दिलचस्प है।

 " `Strange Days' chronicles the last two days of 1999 in los angeles. as the locals gear up for the new millenium, lenny nero (ralph fiennes) goes about his business of peddling erotic memory clips. He pines for his ex-girlfriend, faith (juliette lewis ), not noticing that another friend, mace (angela bassett) really cares for him. This film features good performances, impressive film-making technique and breath-taking crowd scenes. Director kathryn bigelow knows her stuff and does not hesitate to use it. But as a whole, this is an unsatisfying movie. The problem is that the writers, james cameron and jay cocks ,were too ambitious, aiming for a film with social relevance, thrills, and drama. Not that ambitious film-making should be discouraged; just that when it fails to achieve its goals, it fails badly and obviously. The film just ends up preachy, unexciting and uninvolving." 

इस समीक्षा को सकारात्मक लेबल किया गया है, लेकिन इसे नकारात्मक के रूप में पहचाना गया है। यहां आप प्रारंभिक अंकन की शुद्धता के बारे में सवाल पूछ सकते हैं, क्योंकि मेरी राय में भी किसी व्यक्ति के लिए यह निर्धारित करना मुश्किल है कि यह समीक्षा सकारात्मक है या नकारात्मक। यह आश्चर्य की बात नहीं है, कम से कम, क्लासिफायर ने इसे नकारात्मक के रूप में क्यों वर्गीकृत किया है: असंतोषजनक, विफल, बुरी तरह से, अस्पष्ट, असमान, काफी मजबूत नकारात्मक संकेतक हैं जो बाकी को पछाड़ते हैं।
और, ज़ाहिर है, क्लासिफायर व्यंग्य को नहीं समझता है और इस मामले में नकारात्मक को सकारात्मक रूप से आसानी से स्वीकार करता है:

 "This is what you call a GREAT movie? AWESOME acting you say?Oh yeah! Robert is just so great actor that my eyes bleeding when I'm see him. And the script is so good that my head is exploding. And the ending..ohhh, you gonna love it! Everything is so perfect and nice - I dont got words to describe it!" 

निष्कर्ष

राय के विश्लेषण के अलावा कई क्षेत्रों में भोले बेसेसियन सहित क्लासिफायर का उपयोग किया जाता है: स्पैम फ़िल्टरिंग, भाषण मान्यता, क्रेडिट स्कोरिंग, बायोमेट्रिक पहचान, आदि।
भोले बायेसियन के अलावा, कई अन्य क्लासीफायर हैं: पेसेप्ट्रॉन, डिसीजन ट्री, सपोर्ट वेक्टर विधि (एसवीएम), न्यूक्लियर क्लासिफायर (कर्नेल क्लासीफायर), आदि पर आधारित क्लासिफायर। लेकिन एक शिक्षक के साथ पढ़ाने के अलावा, एक शिक्षक के बिना प्रशिक्षण भी है, सुदृढीकरण (सुदृढीकरण सीखने) के साथ प्रशिक्षण, रैंक करना सीखना (रैंक करना सीखना) और बहुत कुछ ... लेकिन यह एक पूरी तरह से अलग कहानी है

---

यह लेख टेक्नोपार्क @ Mail.Ru परियोजना के छात्रों के लिए एक प्रतियोगिता के ढांचे में लिखा गया था