लघु पाठ संदेशों का विकिपीडिया

इस लेख में, मैं रीडर समस्याओं में तैयार किए गए प्रश्नों में से एक का उत्तर देना चाहूंगा । क्या स्वर्ग कहीं पास में है? । नीचे की रेखा इस प्रकार है। हमारे पास एक प्रणाली है जिसमें पाठ संदेश प्राप्त होते हैं, हमें प्रत्येक संदेश के लिए पाठ से संबंधित विकिसिज़ का एक सेट बनाने की आवश्यकता होती है। मान लीजिए कि एक पाठ है - "बराक ओबामा पुतिन से मिले।" आउटपुट में विकिपीडिया पृष्ठों "बराक ओबामा" और "पुतिन वी.वी." के लिंक होने चाहिए। हम संभावित एल्गोरिदम में से एक का वर्णन करते हैं।

और इसलिए चलो

freq (ए) - लिंक या सादे पाठ के रूप में विकिपीडिया पृष्ठों के पाठ में वाक्यांश ए की घटना की आवृत्ति। अर्थात्, A = "सांता क्लॉस" कहते हैं । फिर freq ("सांता क्लॉज़") विकिपीडिया पृष्ठों पर दिए गए पाठ को प्रदर्शित करने की संख्या है। स्वाभाविक रूप से, विभिन्न रूपों को ध्यान में रखा जाना चाहिए, इसके लिए हम लेमेटाइजेशन या स्टेमिंग के एल्गोरिदम में से एक का उपयोग करते हैं।

लिंक (ए) - विकिपीडिया पृष्ठों पर लिंक के रूप में वाक्यांश ए की घटना की आवृत्ति। लिंक (सांता क्लॉस) - यह वाक्यांश सभी विकी पृष्ठों पर कितनी बार लिंक है। लिंक (ए) <= फ्रीक (ए) - मुझे लगता है कि यह स्पष्ट है।

lp (ए) = लिंक (ए) / फ्रीक (ए) - संभावना है कि ए लिंक है। यही है, कि ए को सामान्य रूप से पाठ में विकीनीकरण के लिए एक उम्मीदवार के रूप में माना जाना चाहिए।

Pg (A) - सभी विकिपीडिया पृष्ठ, जो पाठ A लिंक के साथ लिंक करते हैं।

लिंक (पी, ए) - पाठ ए के साथ कितनी बार लिंक पेज पी के लिए लिंक।

P (p | A) वह संभावना है जो A पृष्ठ p से लिंक करती है। लिंक के रूप में गणना (पी, ए) / पीजी (ए) । पाठ का एनोटेट करना प्रायिकता P (p | A) पर सीधे निर्भर करता है

हम गणना लिंक (ए) और एलपी (ए) के साथ एक प्लेट बनाएंगे। फिर हम सब कुछ छोड़ देते हैं जहां लिंक (ए) <2 या एलपी (ए) <0.1 , तत्व छोड़ दिए गए लिंकपी शब्दकोश बनाते हैं। इस शब्दकोश के आधार पर, हम पाठ से वाक्यांशों का चयन करेंगे। थ्रेशोल्ड आप अपना ले सकते हैं। दहलीज जितना ऊंचा होगा, उतने ही कम उम्मीदवार। तदनुसार, निर्माण से पहले, सभी ए प्रारंभिक रूप में reducible है।

लेकिन अगर हम केवल पी (पी | ए) पर काम करते हैं, तो परिणाम संदिग्ध होंगे, क्योंकि अर्थ संदर्भ पर बहुत कुछ निर्भर करता है, इसलिए हम आगे बढ़ते हैं। ऐसा करने के लिए, हमें विकिपीडिया पृष्ठों की निर्भरता पर डेटा की आवश्यकता है।

सभी पृष्ठों के लिए, हम Google दूरी के आधार पर निर्भरता की गणना करते हैं।

जहाँ (p) पृष्ठ का एक सेट है जो p से लिंक करता है | W | - विकिपीडिया पर पृष्ठों की संख्या। हम इस डेटा को उन पृष्ठों के जोड़े के लिए सहेजते हैं जिनमें उनका गुणांक एक निश्चित सीमा मूल्य से अधिक है।

जैसा कि ऊपर उल्लेख किया गया है, कौन सा पृष्ठ वाक्यांश के साथ कई मामलों में संबद्ध है, संदर्भ पर निर्भर करता है, इसलिए हम संदर्भ के प्रभाव की गणना करते हैं।

जहाँ B, A उस पाठ से निकाले गए वाक्यांश हैं जिनकी तुलना विकि पृष्ठ पर करने की आवश्यकता है, p wiki पृष्ठ है, जो A के लिए मेल खाता है । चयन के लिए सामान्य सूत्र निम्नानुसार होगा।

संभावना है कि पृष्ठ p से मेल खाना चाहिए, At - पाठ A के वाक्यांशों (मिलान पृष्ठों के लिए उम्मीदवार)।

सामान्य तौर पर, एल्गोरिथ्म के चरण निम्नानुसार हैं।

1. परिणामी पाठ टोकन और स्टीम है।
2. इसमें एन तक के सभी वाक्यांशों को आवंटित करें (हम संसाधन उपलब्धता की गणना से चुनते हैं)।
3. हम लिंकप डिक्शनरी में हाइलाइट किए गए वाक्यांशों की उपस्थिति की तलाश करते हैं (विकिपीडिया पर पाए जाने वाले सभी लिंक ग्रंथों की संभावना है कि वे हमारी सीमा से अधिक लिंक हैं)। हम पाठ से चयनित वाक्यांशों को बनाते हैं और लिंकपी शब्दकोश में पाए जाते हैं।
4. यदि हम इस बात का सामना करते हैं कि a, b दोनों विशिष्ट वाक्यांश हैं, डिक्शनरी लिंकपी और एक विकल्प b दोनों में, तो lp (a) और lp (b) की तुलना करें यदि lp (a) <lp (b) हम इसे At से फेंकते हैं। इस प्रकार, हम मामलों से छुटकारा पा लेते हैं जब हमारे पास एक = "सेब" बी = "सेब कंप्यूटर" होता है । यदि lp (a)> = lp (b) , तो freq (a) और freq (b) को देखें । अगर freq (a)> freq (b) तो, सबसे अधिक संभावना है, एक अर्थहीन तत्व है और इससे छुटकारा भी मिलता है।
5. प्रत्येक वाक्यांश के लिए, हम P (p | a)> 0 (कुल संभावना, At से संबंधित ) के आधार पर तुलना के लिए उम्मीदवारों का एक सेट बनाते हैं। यही है, हमें सभी उपलब्ध मिलान विकल्प मिलते हैं।
6. हम संकलित सेटों के आधार पर Pr (p | a) की गणना करते हैं।
7. प्रत्येक के लिए सबसे बड़ा Pr (p | a) वाला p चुनें।

इस एल्गोरिथ्म को लागू करने के लिए, हमें निम्न तालिकाओं की आवश्यकता है।

लिंकपी - पाठ से विकिपीडिया उम्मीदवारों को उजागर करने के लिए कार्य करता है।

• ए - विकिपीडिया पर एक वाक्यांश एक कड़ी के रूप में मिला;
• एलपी (ए) ;
• freq (ए) ।

कॉमन - मिलान मिलान के लिए विकल्प खोजने के लिए, साथ ही मूल सूत्र की गणना के लिए।

• ए - विकिपीडिया पर एक वाक्यांश एक कड़ी के रूप में मिला;
• पी - विकिपीडिया पृष्ठ की आईडी;
• P (p | A) वह संभावना है जो A पृष्ठ p से लिंक करती है।

संबंधित - मूल सूत्र की गणना करने के लिए।

• विकी पेज p1 ;
• विकी पेज P2 ;
• rel (p1, P2) ।

निष्कर्ष

एल्गोरिथ्म अपने आप में काफी सरल है, लेकिन कार्यान्वयन की कठिनाइयां उत्पन्न होती हैं। विशेष रूप से, संग्रहीत डेटा का आकार काफी बड़ा है, और खोज को न्यूनतम समय लेना चाहिए। एक कार्यान्वयन में, ल्यूसीन का उपयोग करके मेमोरी इंडेक्स का निर्माण पूरा किया गया था, जिसके बाद इन सूचकांकों पर एक खोज की गई थी। मुख्य समस्या संबंधित तालिका के साथ काम कर रही है। यदि आप डेटाबेस में डेटा संग्रहीत करते हैं, तो पाठ प्रसंस्करण में लंबा समय लगता है, मेमोरी में भंडारण के मामले में आपको बाद की महत्वपूर्ण मात्रा की आवश्यकता होगी।

मेरे द्वारा आए सभी विकिपीडिया एल्गोरिदम थोड़े अंतर के साथ उपरोक्त सिद्धांत पर बनाए गए थे। तंत्रिका नेटवर्क का उपयोग करके कार्यान्वयन को देखना दिलचस्प होगा, लेकिन मैंने ऐसा काम नहीं देखा है।