संदर्भ वेक्टर विधि द्वारा दस्तावेजों का वर्गीकरण

टेक्स्ट क्लासिफायर बनाने में मुझे तीन साल पहले का समय लगा। इस लेख में मैं इस बारे में बात करूंगा कि यह कैसे काम करता है और आम तौर पर इस तरह के एल्गोरिदम के कार्यान्वयन और परीक्षण के कुछ पहलू हैं।

वर्गीकरण

विकिपीडिया के अनुसार, वर्गीकरण, सूचना पुनर्प्राप्ति के कार्यों में से एक है, जिसमें दस्तावेज़ की सामग्री के आधार पर कई श्रेणियों में से एक को एक दस्तावेज़ निर्दिष्ट करना शामिल है।
यही हम करेंगे।

मुझे लगता है कि यह वर्णन करने की आवश्यकता नहीं है कि यह क्यों आवश्यक है, क्योंकि दस्तावेजों का वर्गीकरण लंबे समय से सूचना पुनर्प्राप्ति में उपयोग किया गया है, साहित्यिक चोरी की खोज में, और इसी तरह।

संग्रह

क्लासिफायर ट्रेन करने के लिए (यदि हमारा क्लासिफायर ट्रेन करने योग्य है) तो आपको दस्तावेजों के कुछ संग्रह की आवश्यकता है। हालांकि, परीक्षण के लिए के रूप में।
ऐसा करने के लिए, ग्रंथों के विभिन्न परीक्षण संग्रह हैं, जो मूल रूप से इंटरनेट पर आसानी से पाए जा सकते हैं। मैंने RCV1 संग्रह (रायटर कॉर्पस खंड 1) का उपयोग किया। रायटर का यह संग्रह अगस्त 1996 से अगस्त 1997 तक के समाचारों की तरह छांटा गया। संग्रह में अंग्रेजी में लगभग 810,000 समाचार लेख हैं। यह लगातार सूचना पुनर्प्राप्ति और पाठ प्रसंस्करण के क्षेत्र में विभिन्न अनुसंधान के लिए उपयोग किया जाता है।

संग्रह में श्रेणीबद्ध श्रेणियां हैं (एक दस्तावेज़ विभिन्न श्रेणियों से संबंधित हो सकता है, उदाहरण के लिए, अर्थव्यवस्था के लिए और एक ही समय में तेल के लिए)। प्रत्येक श्रेणी का अपना कोड होता है, और ये कोड पहले से ही समाचार के लिए जिम्मेदार होते हैं (कुल मिलाकर लगभग अस्सी श्रेणियां)। उदाहरण के लिए, चार श्रेणियां पदानुक्रम के प्रमुख हैं: CCAT (कॉर्पोरेट / औद्योगिक), ECAT (अर्थशास्त्र), GCAT (सरकारी / सामाजिक), और MCAT (बाजार)।
श्रेणियों की एक पूरी सूची यहां पाई जा सकती है।

अब हम कुछ और महत्वपूर्ण बिंदुओं से निपटेंगे। सबसे पहले, क्लासिफायरियर को प्रशिक्षित करने के लिए, ग्रंथों पर मुहर लगाने और स्टॉप शब्दों को फेंकने के लिए भी अच्छा होगा।

• स्टेमिंग। हमें वर्गीकृत करते समय, यह मायने नहीं रखता है कि शब्द "तेल" ("तेल", "तेल", "तेल", "तेल") कैसे लिखा जाता है - हम अभी भी समझेंगे कि यह तेल के बारे में है। शब्दों को एक रूप में लाने को स्टेमिंग कहा जाता है। अंग्रेजी में ग्रंथों पर मुहर लगाने के लिए तैयार समाधान हैं, उदाहरण के लिए , पोर्टर एल्गोरिदम का यह कार्यान्वयन । यह लाइब्रेरी इंडियाना विश्वविद्यालय में जावा में लिखी गई है और इसे स्वतंत्र रूप से वितरित किया गया है। मैंने रूसी में खोज नहीं की, शायद वहाँ भी कुछ है।
• शब्दों को रोकें। यहां सब कुछ स्पष्ट है। शब्द "और", "लेकिन", "द्वारा", "से", "के तहत" और इतने पर, किसी भी तरह से वर्गीकरण को प्रभावित नहीं करते हैं, क्योंकि वे हर जगह पाए जाते हैं। व्यवहार में, वे आम तौर पर संग्रह में सबसे लोकप्रिय शब्दों में से कुछ लेते हैं और उन्हें फेंक देते हैं (संख्या भी फेंक दी जा सकती है)। आप बस यहाँ से सूची ले सकते हैं।
  

इस तरह के प्रसंस्करण एक कार्य के आयाम को कम करने और उत्पादकता में सुधार करने के लिए पहले से ही स्थापित तरीका है।

वेक्टर विधि का समर्थन करें

अब हम पाठ दस्तावेजों से सार करते हैं और मौजूदा वर्गीकरण एल्गोरिदम में से एक पर विचार करते हैं।
मैं यहां विवरण और गणितीय गणना लोड नहीं करूंगा। यदि वे दिलचस्प हैं, तो उन्हें पाया जा सकता है, उदाहरण के लिए, विकिपीडिया पर या हैबर पर।
मैं आपको संक्षेप में बताऊंगा।
मान लीजिए कि हमारे पास एक n- आयामी स्थान में कई बिंदु हैं, और प्रत्येक बिंदु दो वर्गों में से केवल एक का है। यदि हम किसी भी तरह उन्हें आयाम n-1 के हाइपरप्लेन द्वारा दो सेटों में विभाजित कर सकते हैं, तो यह समस्या को तुरंत हल कर देगा। यह हमेशा नहीं होता है, लेकिन अगर सेट रैखिक रूप से अलग है, तो हम भाग्यशाली हैं:



क्लासिफायर बेहतर काम करता है, सेट के निकटतम बिंदु पर विभाजित हाइपरप्लेन से अधिक से अधिक दूरी। हमें हर संभव बस ऐसे हाइपरप्लेन को खोजने की जरूरत है। इसे इष्टतम विभाजन हाइपरप्लेन कहा जाता है:



खोज के लिए एक सरल विचार का उपयोग किया जाता है: दो समानांतर हाइपरप्लेन के निर्माण के लिए जिसके बीच में कोई बिंदु नहीं होते हैं और उनके बीच की दूरी को अधिकतम करने के लिए। समानांतर हाइपरप्लेन के निकटतम बिंदुओं को समर्थन वैक्टर कहा जाता है, जिसने विधि को नाम दिया।
लेकिन क्या होगा अगर सेट रैखिक रूप से अलग नहीं है? इसके अलावा, सबसे अधिक संभावना है कि ऐसा है। इस मामले में, हम बस क्लासिफायर को सेटों को विभाजित करने की अनुमति देते हैं ताकि अंक हाइपरप्लेन के बीच दिखाई दे सकें (इसलिए क्लासिफायर की त्रुटि, जिसे हम कम करने की कोशिश कर रहे हैं)। इस तरह के एक हाइपरप्लेन को खोजने के बाद, वर्गीकरण प्रौद्योगिकी का विषय बन जाता है: आपको यह देखने की जरूरत है कि हाइपरप्लेन के किस तरफ वेक्टर निकला है, जिसके वर्ग को निर्धारित किया जाना चाहिए।

तैयार कार्यान्वयन

बेशक, आप एल्गोरिथ्म को स्वयं लागू कर सकते हैं। लेकिन अगर अच्छे तैयार किए गए समाधान हैं, तो इससे बहुत समय बर्बाद हो सकता है, और इस तथ्य से नहीं कि आपका कार्यान्वयन बेहतर होगा या कम से कम समान होगा।
समर्थन वेक्टर मशीन का एक महान कार्यान्वयन है जिसे एसवीएम प्रकाश कहा जाता है। यह डॉर्टमुंड के तकनीकी विश्वविद्यालय में बनाया गया था और इसे नि: शुल्क वितरित किया जाता है (केवल अनुसंधान उद्देश्यों के लिए)। कई कार्यान्वयन विकल्प हैं (उदाहरण के लिए, एक जो रिलेशनल डेटाबेस से सीख सकते हैं), लेकिन आप सबसे सरल एक ले सकते हैं जो पाठ फ़ाइलों के साथ काम करता है। इस तरह के एक क्लासिफायरियर में दो निष्पादन योग्य फाइलें होती हैं - प्रशिक्षण और वर्गीकरण मॉड्यूल।

ट्रेनिंग

प्रशिक्षण मॉड्यूल एक इनपुट के रूप में प्रशिक्षण डेटा के साथ एक पाठ फ़ाइल प्राप्त करता है। फ़ाइल में +1 या -1 लेबल वाले वैक्टर होने चाहिए, जो इस बात पर निर्भर करता है कि वह किन दो वर्गों से संबंधित है।
यह इस तरह दिखता है:
-1 0 0 0 0 0 0 6 6 0 0 6.56 0 0 0 0 0 0 0 45.56 0 0 0 0 0 0 0.5 0 0 0 0 0 0
मॉड्यूल भी ऐसे रिकॉर्ड को समझेगा:
-1 7: 6 11: 6.56 19: 45.56 25: 0.5 (यानी, आप केवल एक इंडेक्स के साथ नॉनज़रो वैल्यूज़ को सूचीबद्ध कर सकते हैं)।

वर्गीकरण

दूसरा मॉड्यूल इनपुट के रूप में वर्गीकृत करने के लिए डेटा के साथ एक पाठ फ़ाइल प्राप्त करता है। प्रारूप प्रशिक्षण के लिए समान है। वर्गीकरण के बाद, एक res.txt बनाया जाता है जिसमें परिणाम दर्ज किए जाते हैं।

दस्तावेज़ वर्गीकरण के लिए svm

अब देखते हैं कि दस्तावेज वर्गीकरण में svm कैसे लगाया जा सकता है। वैक्टर कहां से लाएं? यह निर्धारित करने के लिए कि हमारे दस्तावेज़ किस श्रेणी के हैं, अगर कुल 80 हैं, और svm केवल यह निर्धारित कर सकता है कि क्या यह दो वर्गों में से एक है?

दस्तावेज़ एक वेक्टर है

एक वेक्टर के रूप में एक दस्तावेज पेश करना मुश्किल नहीं है। पहले आपको एक संग्रह शब्दकोश बनाने की आवश्यकता है - यह उन सभी शब्दों की एक सूची है जो इस संग्रह में दिखाई देते हैं (RCV1 संग्रह के लिए, यह 47,000 शब्द हैं)। शब्दों की संख्या वैक्टर के आयाम होंगे। उसके बाद, दस्तावेज़ को एक वेक्टर के रूप में प्रस्तुत किया जाता है, जहां i-th तत्व दस्तावेज़ में शब्दकोश के i-th शब्द की घटना का एक उपाय है। यह + 1 या -1 हो सकता है यह इस बात पर निर्भर करता है कि शब्द दस्तावेज़ में शामिल है या नहीं, या घटनाओं की संख्या। या दस्तावेज़ में शब्द का "हिस्सा"। कई विकल्प हैं। नतीजतन, बड़े आयाम के वैक्टर प्राप्त होते हैं, जहां अधिकांश तत्व शून्य होते हैं।

80 श्रेणियां - 80 क्लासीफायर

यदि हमारे पास 80 श्रेणियां हैं, तो हमें 80 बार क्लासिफायर चलाने की आवश्यकता है। अधिक सटीक रूप से, हमारे पास प्रत्येक श्रेणी के लिए 80 क्लासीफायर होने चाहिए, जो यह निर्धारित करने में सक्षम हों कि दस्तावेज़ इस श्रेणी में आता है या नहीं।

टेस्ट। मैट्रिक्स

क्लासिफायर का परीक्षण करने के लिए, आप एक ही संग्रह के हिस्से का उपयोग कर सकते हैं (केवल तब आपको प्रशिक्षण के समय इस भाग का उपयोग नहीं करना चाहिए) क्लासिफायर के परिणामों की तुलना मैन्युअल परिणामों से करते हुए।
सहपाठियों के काम का मूल्यांकन करने के लिए, कई मैट्रिक्स का उपयोग किया जाता है:

• सटीकता = ((r - kr) + kw) / n
  वास्तव में, यह सटीकता है।
  
• परिशुद्धता = kr / n
• स्मरण = क्रि / र

यहाँ kw उन दस्तावेजों की संख्या है जिन्हें क्लासिफायर ने गलत श्रेणी में रखा है जो वांछित श्रेणी से संबंधित नहीं हैं।
kr - उन दस्तावेजों की संख्या, जिन्हें क्लासीफायर ने वांछित श्रेणी से संबंधित के रूप में ठीक से नोट किया है।
आर - क्लासिफायरियर के अनुसार वांछित श्रेणी से संबंधित दस्तावेजों की कुल संख्या।
n वांछित श्रेणी से संबंधित दस्तावेजों की कुल संख्या है।

इन मेट्रिक्स में से, प्रेसिजन और रिकॉल सबसे महत्वपूर्ण हैं, क्योंकि वे दिखाते हैं कि किसी दस्तावेज़ को एक श्रेणी प्रदान करने में हमसे कितनी गलती हुई थी और आमतौर पर हमारा क्लासिफायर बेतरतीब ढंग से कैसे काम करता है। दोनों मेट्रिक्स एक के करीब हैं, बेहतर है।

और एक छोटा सा उदाहरण। वेक्टर को संकलित करने के बाद, दस्तावेज़ में शब्द की माप के रूप में उसका "शेयर" (दस्तावेज़ में शब्दों की कुल संख्या से विभाजित दस्तावेज़ में शब्दों की संख्या), और 32000 दस्तावेज़ों के लिए क्लासिफायर का प्रशिक्षण दिया और 3000 के वर्गीकरण के साथ, निम्नलिखित परिणाम प्राप्त किए गए:
परिशुद्धता = 0.95
याद = 0.75
अच्छे परिणाम, उनके साथ नए डेटा को संसाधित करने के लिए क्लासिफायरियर का उपयोग किया जा सकता है।

संदर्भ

RCV1 के बारे में:
RCV1 के बारे में
यहां आप संग्रह पा सकते हैं।
एसवीएम के बारे में:
विकिपीडिया
बढ़िया लेख