अनुशंसित प्रणाली: पाठ खनन के उपयोगी कार्य

मैं वेब पेजों की सिफारिश प्रणाली में उत्पन्न होने वाली विभिन्न समस्याओं को हल करने के लिए टेक्स्ट माइनिंग विधियों के उपयोग पर लेखों की श्रृंखला जारी रखता हूं। आज मैं दो कार्यों के बारे में बात करूंगा: स्वचालित रूप से RSS फ़ीड्स के पृष्ठों के लिए श्रेणियां निर्धारित करना और वेब पृष्ठों के बीच डुप्लिकेट और साहित्यिक चोरी का पता लगाना। तो, क्रम में।

RSS फ़ीड्स से वेब पेजों को स्वचालित रूप से श्रेणीबद्ध करें

सर्फ़िंगबर्ड में वेब पेज (या यों कहें, उनसे लिंक) जोड़ने की सामान्य योजना इस प्रकार है: एक नया लिंक जोड़ते समय, उपयोगकर्ता को तीन श्रेणियों तक निर्दिष्ट करना चाहिए, जिसके लिए यह लिंक है। यह स्पष्ट है कि ऐसी स्थिति में, श्रेणियों को स्वचालित रूप से निर्धारित करने का कार्य इसके लायक नहीं है। हालांकि, मैन्युअल जोड़ के अलावा, लिंक आरएसएस फ़ीड से डेटाबेस को मिलता है, जो कई लोकप्रिय साइटों द्वारा प्रदान किया जाता है। चूंकि RSS फ़ीड्स के माध्यम से बहुत सारे लिंक आते हैं, अक्सर मॉडरेटर्स (और इस मामले में उन्हें श्रेणियों को नीचे रखने के लिए मजबूर किया जाता है) बस इस तरह के वॉल्यूम के साथ सामना नहीं कर सकते हैं। समस्या श्रेणियों में स्वत: वर्गीकरण की एक बुद्धिमान प्रणाली बनाने की पैदा होती है। कई साइटों के लिए (उदाहरण के लिए, lenta.ru या sueta.ru), श्रेणियों को सीधे rss-xml से खींचा जा सकता है और मैन्युअल रूप से हमारी आंतरिक श्रेणियों से जोड़ा जा सकता है:




RSS फ़ीड्स के लिए चीजें बदतर हैं जो कि निश्चित श्रेणियां नहीं हैं और इसके बजाय कस्टम टैग का उपयोग करते हैं। मनमाने ढंग से दर्ज किया गया टैग (LJ पोस्ट में एक विशिष्ट उदाहरण टैग हैं) मैन्युअल रूप से हमारी श्रेणियों के साथ संबद्ध नहीं किया जा सकता है। और यहाँ, अधिक सूक्ष्म गणित पहले से ही शामिल हैं। पाठ सामग्री (शीर्षक, टैग, उपयोगी पाठ) पृष्ठ से निकाला जाता है और एलडीए मॉडल लागू किया जाता है, जिसका संक्षिप्त विवरण मेरे पिछले लेख में पाया जा सकता है। नतीजतन, विषयगत एलडीए विषयों से संबंधित वेब पेज की संभावना वेक्टर की गणना की जाती है। एलडीए साइट विषयों के परिणामस्वरूप वेक्टर को श्रेणी के आधार पर वर्गीकरण समस्या को हल करने के लिए एक फीचर वेक्टर के रूप में उपयोग किया जाता है। इसके अलावा, वर्गीकरण की वस्तुएं साइटें हैं, कक्षाएं श्रेणियां हैं। लॉजिस्टिक रिग्रेशन को एक वर्गीकरण विधि के रूप में इस्तेमाल किया गया था , हालांकि किसी भी अन्य विधि, जैसे भोले बेसेसियन क्लासिफायर का उपयोग किया जा सकता है।

विधि का परीक्षण करने के लिए, आरएसएस फीडर द्वारा मॉडरेटर द्वारा वर्गीकृत 5 हजार साइटों पर मॉडल प्रशिक्षण हुआ, जिसके लिए एलडीए विषयों द्वारा वितरण भी ज्ञात था। एक परीक्षण नमूने पर प्रशिक्षण के परिणाम तालिका में प्रस्तुत किए गए हैं:



परिणामस्वरूप, एक स्वीकार्य वर्गीकरण गुणवत्ता (झूठे जासूसों की हिस्सेदारी और झूठे पास के हिस्से के अनुसार) को केवल निम्न श्रेणियों में प्राप्त किया गया था: चित्र, कामुक, हास्य, संगीत, यात्रा, खेल, प्रकृति। बहुत सामान्य श्रेणियां, उदाहरण के लिए फोटो, वीडियो, समाचार, त्रुटियां बड़ी हैं।

निष्कर्ष में, हम यह कह सकते हैं कि यदि, बाहरी श्रेणियों के लिए तंग बंधन के मामले में, वर्गीकरण पूरी तरह से स्वचालित मोड में सिद्धांत रूप में संभव है, तो पाठ सामग्री द्वारा वर्गीकरण अनिवार्य रूप से अर्ध-स्वचालित मोड में किया जाना है, जब सबसे संभावित श्रेणियों को मॉडरेटर को पेश किया जाता है। हमारा लक्ष्य यहां जितना संभव हो उतना मध्यस्थ के काम को आसान बनाना है।

वेब पृष्ठों के बीच डुप्लिकेट और साहित्यिक चोरी के लिए खोजें

एक अन्य कार्य जो टेक्स्ट माइनिंग को हल कर सकता है वह डुप्लिकेट सामग्री के साथ लिंक ढूंढना और फ़िल्टर करना है। निम्नलिखित कारणों में से एक के लिए पुनरावृत्ति सामग्री संभव है:

1. कई अलग-अलग लिंक के लिए, उसी अंतिम लिंक पर पुनर्निर्देशित होता है;
2. सामग्री पूरी तरह से विभिन्न वेब पृष्ठों पर कॉपी की जाती है;
3. सामग्री आंशिक रूप से या थोड़ा संशोधित कॉपी की गई।

पहले और दूसरे बिंदु तकनीकी हैं और अंत लिंक प्राप्त करने और डेटाबेस में सभी पृष्ठों के लिए उपयोगी सामग्री की तुलना करके हल किए जाते हैं। हालांकि, पूर्ण कॉपी-पेस्ट के साथ भी, उपयोगी पाठ की एक औपचारिक तुलना स्पष्ट कारणों से काम नहीं कर सकती है (उदाहरण के लिए, साइट मेनू से यादृच्छिक वर्ण या शब्द शामिल हैं), और पाठ को थोड़ा संशोधित किया जा सकता है। हम इस तीसरे विकल्प पर अधिक विस्तार से विचार करेंगे। एक विशिष्ट डबल इस तरह लग सकता है:



शब्द के व्यापक अर्थ में उधार निर्धारण की समस्या बल्कि जटिल है। वह हमें एक संकीर्ण कथन में दिलचस्पी देती है: हमें पाठ के प्रत्येक वाक्यांश में साहित्यिक चोरी की खोज करने की आवश्यकता नहीं है, लेकिन हमें केवल संपूर्ण सामग्री पर दस्तावेजों की तुलना करने की आवश्यकता है।
ऐसा करने के लिए, आप प्रभावी रूप से शब्द मॉडल के मौजूदा बैग और सभी साइट शब्दों की गणना की गई TF-IDF भार का उपयोग कर सकते हैं। कई अलग-अलग तकनीकें हैं।

शुरू करने के लिए, हम निम्नलिखित संकेतन प्रस्तुत करते हैं:
- सभी विभिन्न शब्दों का एक शब्दकोश;
- ग्रंथों का शरीर (वेब ​​पेजों की सामग्री);
- दस्तावेज़ में बहुत सारे शब्द।

दो दस्तावेजों की तुलना करने के लिए और पहले आपको शब्दों का एक संयुक्त वेक्टर बनाने की आवश्यकता है दोनों दस्तावेजों में दिखाई देने वाले शब्दों से:

पाठ समानता की गणना सामान्यीकरण के साथ अदिश उत्पाद के रूप में की जाती है:

अगर (समानता दहलीज), तब पृष्ठों को युगल माना जाता है।

एक अन्य दृष्टिकोण टीएफ-आईडीएफ के वजन को ध्यान में नहीं रखता है, लेकिन बाइनरी डेटा का उपयोग करके समानता बनाता है (क्या दस्तावेज़ में एक शब्द है या नहीं)। पृष्ठ अंतरों का मूल्यांकन करने के लिए, जैक्वार्ड गुणांक का उपयोग किया जाता है :
।
जहाँ - दस्तावेजों में बहुत सारे सामान्य शब्द।

इन विधियों के आवेदन के परिणामस्वरूप, कई हजार जुड़वा बच्चों की पहचान की गई थी। एक औपचारिक गुणवत्ता मूल्यांकन के लिए, प्रशिक्षण सेट पर युगल को विशेषज्ञ रूप से चिह्नित करना आवश्यक है।

अभी के लिए बस इतना ही, मुझे उम्मीद है कि लेख आपके लिए उपयोगी होगा। और सिफारिशों को सुधारने के लिए टेक्स्ट माइनिंग को लागू करने के तरीके पर नए विचारों के लिए हमें खुशी होगी!