NodeJS पर प्राकृतिक पुस्तकालय का उपयोग करते हुए रूसी पाठ का वर्गीकरण

प्रस्तावना

मैं किसी को आश्चर्यचकित नहीं करता अगर मैं कहता हूं कि एक आधुनिक व्यक्ति और विशेष रूप से एक प्रोग्रामर, हर दिन बहुत सारी जानकारी प्राप्त करता है। उदाहरण के लिए, मेरा आरएसएस क्लाइंट मेरे लिए एक सप्ताह में लगभग 500 लेख जारी करता है। और, ज़ाहिर है, यह जानकारी के एकमात्र स्रोत से बहुत दूर है।

मैंने NodeJS पर एक प्रशिक्षित लेख फ़िल्टर के साथ अपने लिए RSS क्लाइंट बनाने के बारे में सोचा। सिद्धांत रूप में, नोड के तहत रेडीमेड आरएसएस रीडर हैं, क्लासिफायर के साथ रेडी-मेड न्यूरल नेटवर्क हैं, इसलिए मुझे प्रोटोटाइप लिखना विशेष रूप से मुश्किल काम नहीं लग रहा था।

मैंने हाथ में आए तंत्रिका नेटवर्क का परीक्षण करके शुरू करने का फैसला किया। मैंने थोड़ी मात्रा में इनपुट लिया। मैंने गीक पत्रिका से नोडज पर लेखों के सकारात्मक डेटा की नकल की मुझे "tape.ru" पर नकारात्मक डेटा मिला। क्लासिफायर का कार्य प्रोग्रामिंग और नोडज पर लेखों को छांटना था, जो मेरे विकास के लिए सामान्य समाचार से जुड़े थे।

मैं ब्रेन और फैन के साथ काम करने के परिणाम नहीं दिखाना चाहता - मुझे नहीं लगता कि मेरे पास उन्हें जज करने के लिए पर्याप्त विशेषज्ञता है। मैं सिर्फ इतना कहूंगा कि उन्होंने मुझे पूरी तरह से आउट ऑफ बॉक्स सूट नहीं किया - मेरे इनपुट पर उन्होंने पर्याप्त संख्या में सही उत्तर नहीं दिए। लेकिन नेचुरल लाइब्रेरी ने मुझे बहुत प्रभावित किया।

आगे मैं दिखाऊंगा कि मैंने क्लासिफायर को कैसे प्रशिक्षित किया, इसके काम की जाँच की और मुझे रूसी भाषा समझाई।

इनपुट डेटा

जिस डेटा पर मैंने क्लासिफ़ायर का प्रशिक्षण और परीक्षण किया है, उसे यहाँ देखा जा सकता है । लेख के लिए उनमें से बहुत सारे हैं, इसलिए मैंने उन्हें यहां से निकाल दिया।

कोड

'use strict'; var data = require('./data'); var natural = require('natural'), porterStemmer = natural.PorterStemmerRu, classifier = new natural.BayesClassifier(porterStemmer); //  classifier'     . for (var i = 0; i < data.good.length; i++) { classifier.addDocument(data.good[i], 'good'); }; for (var i = 0; i < data.bad.length; i++) { classifier.addDocument(data.bad[i], 'bads'); }; //     . classifier.train(); //     . console.log('START CLASSIFICATION'); console.log('Test on good'); for (var i = 0; i < data.test_good.length; i++) { console.log("> ",classifier.classify(data.test_good[i])); }; console.log('Test on bad'); for (var i = 0; i < data.test_bad.length; i++) { console.log("> ",classifier.classify(data.test_bad[i])); }; 

परिणाम

  स्टार्ट क्लास
 अच्छा पर टेस्ट करें
 > अच्छा
 > अच्छा
 > अच्छा
 > अच्छा
 खराब पर टेस्ट
 > बैड्स
 > बैड्स
 > बैड्स
 > बैड्स
 > अच्छा
 > बैड्स
 > बैड्स
 > अच्छा 

रूसी भाषा का समर्थन

उच्च गुणवत्ता वाले वर्गीकरण के लिए, प्राकृतिक "स्टेमर" घटक का उपयोग करता है, जो पाठ को शब्दों की एक सरणी में विभाजित करता है, बेकार शब्दों (तथाकथित स्टॉपवर्ड्स ) को हटाता है, और शब्द के अंत को काटता है।

डिफ़ॉल्ट रूप से, क्लासिफायरियर रूसी शब्दों की उपेक्षा करता है, हालांकि परियोजना में रूसी भाषा के लिए समर्थन है। क्लासिफायर को रूसी भाषा को समझने के लिए, क्लासिफायर को इनिशियलाइज़ करना आवश्यक है, इसमें रूसी भाषा के लिए इंसुलेटर को पास करना, इस तरह से डिफॉल्ट इंग्लिश उत्तेजक को बदलना। यह करना बहुत आसान है:

 var classifier = new natural.BayesClassifier(natural.PorterStemmerRu); 

अब क्लासिफायर के अंदर के पाठ को सही ढंग से संसाधित किया जाएगा, रूसी भाषा की ख़ासियत को ध्यान में रखते हुए।

प्रयोग प्रेमी

मैंने विशेष रूप से एक वर्किंग क्लासिफायर के साथ एक रिपॉजिटरी बनाई। स्थापना तुच्छ है:

 git clone git@github.com:shuvalov-anton/classifier.git cd classifier npm i node app.js 

इसके बाद, data.js में डेटा को अपने में बदलें और परिणाम देखें।

पुनश्च

ईमानदारी से, मुझे परिणाम का मूल्यांकन करने के लिए जानकारी को वर्गीकृत करने का कोई अनुभव नहीं है, लेकिन एक साधारण उपयोगकर्ता के रूप में प्राकृतिक के कार्य के परिणामों ने मुझे वास्तव में प्रभावित किया। दुर्भाग्य से, मुझे गीथब पर रीडमी के अलावा कोई और अधिक या कम गंभीर परियोजना प्रलेखन नहीं मिला। और यह समझने के लिए कि रूसी भाषा को कैसे शामिल किया जाए, मुझे स्रोत के माध्यम से हंगामा करना पड़ा, लेकिन इसमें कुछ सुपर कॉम्प्लेक्स था, और, मुझे लगता है, परिणाम इसके लायक था!