👞 😻 🙆🏿 पूरी तरह से समझने की कला। यांडेक्स अनुरोध विस्तार 💣 🏎️ 🚶

आज हम एक ऐसे तंत्र के बारे में बात करेंगे जो यैंडेक्स खोज को उपयोगकर्ता के दिमाग में वही खोजने की अनुमति देता है, चाहे वह कितनी भी संक्षिप्त और आकस्मिक रूप से अपने अनुरोध को क्यों न हो।

खोज दुनिया में, इस तंत्र को खोज क्वेरी एक्सटेंशन कहा जाता है। यह शब्द काफी व्यापक है, जिसमें सुधार, पर्यायवाची, लिप्यंतरण, और यहां तक कि संज्ञानात्मक (बाद वाले को कभी-कभी गलती से रूपात्मक समर्थन कहा जाता है) भी शामिल है।

इस तंत्र में कौन से भाग शामिल हैं? उसे अनुमान लगाने में क्या मदद करता है? और उनकी प्रत्येक दुर्लभ गलतियों के लिए हजारों अनुरोध क्यों हैं जो उन्होंने बहुत मदद की?

अनुरोध को केवल ले और विस्तारित क्यों नहीं किया जा सकता है।

एक छोटे से ऑनलाइन स्टोर या स्थानीय मंच पर आदिम खोज कार्यान्वयन का उपयोग करते हुए, किसी को अक्सर प्रारंभिक क्वेरी को मैन्युअल रूप से सुधारना होता है - शब्दों को समानार्थी शब्दों के साथ बदलें, मामले अलग-अलग होते हैं, क्रिया काल, और इसी तरह।

कई साल पहले इस पर ध्यान देने के बाद, खोज इंजन के डेवलपर्स ने फैसला किया कि उपयोगकर्ता के जीवन को बहुत सरल करना संभव है, अगर तुरंत, स्वचालित रूप से, न केवल किसी दिए गए क्वेरी के लिए खोज करने के लिए, बल्कि इसके विभिन्न रूपों और सुधारों के लिए भी। अब, कोई भी ऐसे उपयोगकर्ता के हाथों में सटीक खोज परिणामों से आश्चर्यचकित नहीं होता है जो खोज क्वेरी लिखने की पेचीदगियों में परिष्कृत नहीं हैं - हालांकि, क्वेरी बनाने में स्वतंत्रता बचाने और बढ़ाने के लिए संघर्ष जारी है।

आज हम केवल क्वेरी विस्तार तंत्र पर विचार करेंगे, अर्थात मूल क्वेरी को दूसरे शब्दों में पूरक करेंगे। हम अनुरोध को बदलने के तरीकों के बारे में बात करने की कोशिश करेंगे ( शब्द "सहपाठियों में टाइपो को सही करना " और एक बार ब्रीच-मुल्ला, ब्रीच-मुल्लो का उल्लंघन करते हुए )।

हम एक्सटेंशन को कई प्रकारों में विभाजित करते हैं, जिनमें से प्रत्येक में भाषाविज्ञान में समानताएं हैं, लेकिन अपने तरीके से भी इसके प्रोटोटाइप से अलग है:

संकेताक्षर ( rf → R रूसी संघ)

संक्षिप्तीकरण का प्रकटीकरण संभवत: विस्तार का सबसे भ्रामक रूप है - यह पहली नज़र में सटीक और अस्पष्ट लगता है ("स्पष्ट", "मॉस्को स्टेट यूनिवर्सिटी" "मॉस्को स्टेट यूनिवर्सिटी"), लेकिन यह जल्दी से स्पष्ट हो जाता है: दोनों "मैकोवियन", और "मारीपोल", और हैं "अंतर्राष्ट्रीय मानवतावादी", और अन्य।

हम कई प्रकार के संक्षिप्तीकरण करते हैं:

परिवर्णी शब्द (मॉस्को स्टेट यूनिवर्सिटी "," CTP ") - शब्दों के पहले अक्षर से मिलकर बनता है। परिवर्णी शब्द, विशेष रूप से 2-3 अक्षर वाले, सबसे अधिक डिकोडिंग विकल्प हैं। ब्रीफिंग की अस्पष्टता जितनी अधिक होती है, उतना कम वजन हम रैंकिंग के समय देते हैं।
समग्र ("माटमेह", "कृषि") - आमतौर पर मूल शब्द हैं। कभी-कभी जड़ें एक अतिरिक्त पत्र से जुड़ जाती हैं (जैसे " बेंज ओ देखा " = " बेंज और आरा ")
विराम चिह्न ("जी", "प्रयुक्त", "आरएन") - जब संक्षिप्त नाम में विराम चिह्न शामिल होता है।
उपसर्गों का पृथक्करण, जिनमें से प्रत्येक प्रारंभिक अक्षर में घटाया गया है: "ऑटो", "मोटरसाइकिल", "सभी", "गर्म"। उदाहरण के लिए, इसलिए यह "ताप विद्युत संयंत्र" = "ऊष्मा ताप विद्युत केंद्र " निकला

क्षेत्रीयता को कैसे ध्यान में रखा जाए; कैसे झूठी परिकल्पनाओं को काटें

पॉलीसिम के अलावा, इस प्रकार के विस्तार में, क्षेत्रीयता को ध्यान में रखना दिलचस्प है, क्योंकि प्रत्येक क्षेत्र में संक्षिप्त नाम का अपना कोडिंग हो सकता है। मोर्दोविया के उपयोगकर्ता, जिनके पास अपना मॉस्को स्टेट यूनिवर्सिटी है ( जिसका नाम ओगरियोव के नाम पर रखा गया है ), रूस के अन्य क्षेत्रों के निवासियों की तुलना में उनके मॉस्को नाम में कम दिलचस्पी नहीं रखते हैं। लेकिन पर्याप्त क्षेत्रीय डेटा नहीं हो सकता है, आपको स्थानीय संपत्ति और किसी अन्य क्षेत्र से इसके अधिक प्रसिद्ध समकक्ष के बीच एक संतुलन का चयन करना होगा - ताकि दोनों को ढूंढना आसान हो।

विस्तार के विकल्प एकत्र करते समय, कई झूठी परिकल्पनाएं होती हैं, जिन्हें हम विभिन्न आंकड़ो से लड़ते हैं:

"फोटो" = "फोटोग्राफी बामी के बारे में " (जब वाक्यांश के सभी शब्दों को कम करके लगभग समान लंबाई के भागों में घटाया जाना चाहिए)
" आशीर्वाद हम देते हैं " = " देने के बारे में आशीर्वाद ", "माँ" = " माँ एक एना " (एक स्वर गायब नहीं हो सकता है, कम से कम एक पूरे शब्दांश)
"प्राकृतिक ऊर्जा और वाहक की एक्स रासायनिक प्रौद्योगिकी" = "htn" (एक अलग उपसर्ग के साथ शब्द का पहला अक्षर, "ई", संक्षिप्त नाम में भी मौजूद होना चाहिए)
"जला दिया गया" = "कोरिया अब मरम्मत के अधीन नहीं है" (कई चूक, संक्षिप्त नाम के पहले अक्षर)
"नाज़ोय" = "कष्टप्रद" (एक शब्द से संक्षेप में इतने लंबे शब्द का अनुवाद नहीं होता)

लिप्यंतरण (प्यूज़ो → प्यूज़ो)

संक्षेप के विपरीत, अंतर्ज्ञान यहीं है: एक्सटेंशन के सभी लाभों के कई दसियों प्रतिशत के लिए लिप्यंतरण खाते हैं। उसके पास अच्छी सटीकता और पूर्णता है; यह किसी भी संदर्भ में बहुत मदद करता है।

उपयोगकर्ता कीबोर्ड लेआउट को स्विच करना पसंद नहीं करते हैं, और जब एक विदेशी नाम या इलाके की खोज करते हैं, तो मूल में सही वर्तनी याद रखने के बजाय उन्हें "डेमेंजोट" और "कोलोन" के बजाय "डेमंजो" रूसी में टाइप करना आसान होता है। रिवर्स स्थिति भी काफी अक्सर होती है: विदेशों में रूसी बोलने वाले डायस्पोरा के निवासियों को रूसी में मंचों पर संवाद करने के लिए अधिक आदी है, लेकिन लिप्यंतरण का उपयोग करना। सिरिलिक प्रश्नों के लिए ऐसे फ़ोरम में खोज आवश्यक है। लिप्यंतरण तब काम में आता है जब क्वेरी शब्द पाया साइट के पते में निहित होता है।

व्यवहार में, हमें लिप्यंतरण की भी आवश्यकता नहीं है, लेकिन तथाकथित व्यावहारिक प्रतिलेखन - किसी अन्य भाषा के माध्यम से मूल ध्वनि का निकटतम संभव संचरण। अन्यथा, उदाहरण के लिए, फ्रांसीसी शब्द मान्यता से परे विकृत होंगे।

कार्यान्वयन: अक्षर द्वारा, व्यंजन स्वरों की श्रृंखला (खंड) द्वारा शब्दांश द्वारा

कार्यान्वयन के विकल्प

हम एक स्वतंत्र पोस्ट के लिए बारीकियों को छोड़कर, अपने आप को एक सतही समीक्षा तक सीमित रखते हैं। सबसे प्रसिद्ध और सबसे आसान तरीका पत्र-पत्र के नियमों का उपयोग करके लिप्यंतरण है । लैटिन और सिरिलिक के बीच कई अनुवाद मानक हैं, अधिकांश एक-से-एक हैं (पूर्ण या लगभग सभी अक्षरों के लिए)। दुर्भाग्य से, यह विधि नामों के लिए बहुत खराब गुणवत्ता देती है - यहां तक कि रेनॉल्ट और पेगोट कभी भी रेनॉल्ट और प्यूज़ोट नहीं बनेंगे।

सिलेबल्स द्वारा एक और अधिक उन्नत तरीका है। संदर्भ की परवाह किए बिना प्रत्येक शब्दांश का अनुवाद, काफी सटीक रूप से काम करता है। लेकिन कठिनाइयाँ हैं:

प्रत्येक भाषा के सिलेबल्स में विभाजित होने के अपने नियम हैं, और काफी उच्च सटीकता के साथ उनका कार्यान्वयन nontrivial है।
समान सिलेबल्स का उच्चारण भी अलग-अलग भाषाओं में अलग-अलग तरीके से किया जाता है, इसलिए प्रत्येक भाषा के लिए आपको नियमों का अच्छी तरह से वर्णन करने की आवश्यकता होती है।
इन कारणों से, भाषा की एक अचूक परिभाषा विशेष रूप से महत्वपूर्ण है।

खंड विधि

हमने तीसरा तरीका चुना, विभाजन की विधि। एक खंड लगातार स्वर / व्यंजन का एक समूह है। हमें शब्दों के जोड़े के उदाहरणों की एक बड़ी संख्या को खोजने की आवश्यकता है जब हम मज़बूती से जानते हैं कि एक दूसरे का प्रतिलेखन है। और इन उदाहरणों के लिए, मशीन लर्निंग का उपयोग करके, कुछ सेगमेंट को दूसरों के लिए परिवर्तित करने के लिए नियमों का निर्माण करें।

यहाँ यह कैसे काम करता है। प्रशिक्षण सेट से प्रत्येक जोड़ी के लिए, शब्दों को खंडों में विभाजित किया जाता है। मूल शब्द और उसके प्रतिलेखन के खंडों के बीच सही प्रतिलेखन के प्रत्येक उदाहरण के लिए, एक पत्राचार स्थापित किया जाता है - यह पता चलता है कि लगभग सभी मामलों में रूसी और विदेशी शब्दों में खंडों की संख्या बराबर है।

इसके अलावा, मूल सेगमेंट वाले संबंधित सेगमेंट सेगमेंट प्रशिक्षण सेट में प्रवेश करते हैं: स्वयं और आसपास के संदर्भ (पड़ोसी सेगमेंट) दोनों के साथ। परिणामस्वरूप, मशीन लर्निंग प्रत्येक सेगमेंट के लिए अलग-अलग ट्रांसक्रिप्शन विकल्पों की संभावनाओं को निर्धारित करता है:

खंड अस्पष्टता के बारे में

वहाँ कुछ चालें हैं, जिनके कारण खंड एक-से-एक नहीं हो सकते हैं। पहला सरल है: कुछ शब्द अप्राप्य व्यंजन के साथ शुरू होते हैं, जैसे L'Humanite> Humanite। ऐसे खंडों को खाली में बदल दिया जाता है। दूसरा अधिक जटिल है: एक शब्द के बीच में "धाराप्रवाह" स्वर होते हैं (जैसा कि "स्टेट ई मेंटल" में हाइलाइट किया गया "ई" नहीं पढ़ा जाता है) या व्यंजन (जैसा कि ऊपर "गिलोय" में है)। लेवेंसहाइट एल्गोरिथ्म का उपयोग करते हुए धाराप्रवाह पत्रों द्वारा खंडों के साथ संरेखण में मदद मिलती है : पहले हम एक पत्र-दर-अक्षर पत्राचार स्थापित करते हैं, और फिर हम आसन्न अक्षरों को खंडों में गोंद करते हैं, एक भाषा में एक शब्द को विभाजित करने में अंतर को ध्यान में रखते हुए।

इस उदाहरण से, यह स्पष्ट है कि "वें" अधिक सही रूप से एक स्वर माना जाता है। और हम "बी", "बी", हाइफ़न और एपोस्ट्रोफ़ को व्यंजन मानते हैं - वे ध्वनि को तोड़ते हैं।

गुणवत्ता के बारे में

हमारे अनुभव में, खंड विधि सबसे अच्छी सटीकता देती है। यह सभी आम भाषाओं के लिए अच्छी तरह से काम करता है - जैसे कि चीनी और वियतनामी जैसी जटिल भाषाओं के लिए (निश्चित रूप से, उनके पत्र लेखन में)। और यहां तक कि आपको उचित सटीकता के साथ रूसी से मूल भाषा में वर्तनी को पुनर्स्थापित करने की अनुमति देता है। इसके अलावा, विधि को शब्द की भाषा की परिभाषा की आवश्यकता नहीं है।

पहले नामों, भौगोलिक नामों, लोकप्रिय ब्रांडों और संगीत समूहों के नामों के परीक्षण संग्रह पर, विधि 99% तक की सटीकता दिखाती है। यदि हम परिकल्पनाओं के पूरे सेट पर सटीकता का मूल्यांकन करते हैं, जो वास्तविक प्रश्नों और खोज सूचकांक द्वारा विस्तारित होता है, तो यह कम और कम सटीक परिकल्पना के साथ शब्दकोश को बढ़ाता है। लगभग 3 मिलियन लिप्यंतरण आधारित एक्सटेंशन अब उपयोगकर्ताओं के लिए उपलब्ध हैं, और उनकी सटीकता लगभग 90% है।

वर्तनी के विकल्प (ike i → ike a )

ऑर्फो-ऑप्शंस ऐसे शब्द हैं जिनके अर्थ समान हैं, और उन्हें इस तरह से लिखा जा सकता है और, और दोनों वर्तनी को साक्षर माना जाता है।

सबसे पहले, ये विदेशी शब्द हैं जो कान से लिखे गए हैं, और अक्सर एक भी विहित वर्तनी नहीं होती है ("एक जैसे" / " एक ", " व्याख्या n" / "व्याख्या n")।

स्कारलेट जोहानसन लिखने के 35 तरीके

स्कारलेट जोहानसन
स्कारलेट जोहानसन
"स्कारलेट जोहानसन"
"स्कारलेट जोहानसेन"
स्कारलेट जोहानसन
स्कारलेट जोहानसन
"स्कारलेट जॉनसन"
स्कारलेट जोहानसन
स्कारलेट जोहानसन
स्कारलेट जोहानसन
स्कारलेट जोहानसन
"स्कारलेट जोहानसन"
स्कारलेट जोहानसन
स्कारलेट जोहानसन
स्कारलेट जोहानसन
"स्कारलेट योहनसन"
स्कारलेट जोहानसन
स्कारलेट जोहानसन
स्कारलेट जोहानसन
स्कारलेट जोहानसन
स्कारलेट जोहासन
स्कारलेट जोहानसन
"स्कारलेट योहनसेन"
"स्कारलेट एहनसेन"
"स्कारलेट जोहानसन"
स्कारलेट जोहानसन
स्कारलेट जोन्सन
स्कारलेट जोहानसन
"स्कारलेट जोहानसन"
"स्कारलेट योहनसन"
"स्कारलेट येखानसन"
"स्कारलेट योहनसन"
स्कारलेट जोहानसन
स्कारलेट जोहानसन
"स्कारलेट जोहानसन"

लिप्यंतरण के विपरीत, यहाँ हम एक ही भाषा में जोड़े के साथ काम कर रहे हैं। कई शब्द जिन्हें एक एकल लैटिन वर्तनी में स्थानांतरित किया जा सकता है उन्हें ऑर्थोवेरिएंट्स कहा जाता है।

दूसरे, रूसी शब्द जिन्हें अलग तरह से लिखा जा सकता है ("बीट आरडी" → "बिल आरडी", "जन्मदिन मेरा है" → "जन्मदिन मेरा है")

अनाथ विकल्प किसके लिए दिलचस्प हैं?

उन्हें टाइपोस और पैडोनकफ्सकोगो स्लैंग से अलग करना आवश्यक है। और एक पुरानी वर्तनी भी है।

टाइपोस के साथ उन्हें स्पष्ट रूप से अलग करना आवश्यक है:
- टाइपो के लिए, उपयोगकर्ता को एक स्पष्ट संदेश देखने के लिए उपयोग किया जाता है: "टाइपो को अनुरोध में सही किया गया था" और मूल अनुरोध के लिए खोज करने के लिए स्विच करने में सक्षम हो। ऑर्थोवेरिएंट्स के लिए, ऐसी चेतावनी अनुचित होगी, क्योंकि सभी संभव वर्तनी मान्य हैं।
- जब हमें यकीन हो जाता है कि उपयोगकर्ता सील कर दिया गया है, तो हम केवल अनुरोध को सही के साथ प्रतिस्थापित करते हैं। Orpovariants के लिए ऐसा नहीं किया जा सकता है, हम अधिकांश उपयोगी दस्तावेजों को एक अलग वर्तनी ("जन्म" के बजाय "जन्म") के साथ खो देंगे। लेकिन अन्य वर्तनी के साथ विस्तार सही होगा। टाइपोस के विपरीत - अनपढ़ दस्तावेज उपयोगकर्ता को परेशान कर सकते हैं जिन्होंने त्रुटियों के बिना अनुरोध किया था।
इंटरनेट स्लैंग ( "पैडोनकैफ़्स्की / अल्बानियाई यज़ीग" ) और मेम्स ("कोटेगी"; कोटे ") से ऑर्थोवेरिएंट्स के बीच अंतर करने में सक्षम होना महत्वपूर्ण है। स्लैंग और सामान्य वर्तनी को एक दूसरे के साथ विस्तारित नहीं किया जा सकता है:
- एक मेम के साथ अनुरोध पर, सामान्य वर्तनी वाले दस्तावेज़ नहीं दिखाए जा सकते हैं, वे इच्छुक मेम के साथ हस्तक्षेप करेंगे;
- और इसके विपरीत, यदि आप इसके एनालॉग-मेम्स को आम तौर पर इस्तेमाल की जाने वाली वर्तनी के साथ मिलाते हैं, तो इससे "सार्वभौमिक" विषयों के लिए अनुरोध जारी हो जाएगा।

सौभाग्य से, स्लैंग में उपयोग का एक विशिष्ट संदर्भ है, यह इसे ओर्थोवेरिएंट्स से अलग करने में मदद करता है।

तीसरा प्रकार अलग है - एक पुरानी वर्तनी : "महान शक्ति", "पवित्र" (उदाहरण के लिए, "राजा")। एक्सटेंशन के लिए धन्यवाद, आधुनिक भाषा में समानांतर अनुवाद के साथ मूल पुराने रूसी ग्रंथ हैं, और मूल के बिना स्वयं अनुवाद - बाद वाले को पढ़ने और पढ़ने के लिए अप्रस्तुत पाठक के लिए आसान है।

शब्द निर्माण (मास्को-मास्को)

ऊपर वर्णित एक्सटेंशन के प्रकार (संक्षिप्त रूप, अनुवाद, विभक्ति, ऑर्थोवेरिएंट्स) ने क्वेरी के सटीक शब्दों को सभी संभव तरीकों से प्रतिबिंबित करने की कोशिश की, जो कि अर्थपूर्ण है। लेकिन यह जल्दी से स्पष्ट हो गया कि मूल अनुरोध के लिए अर्थपूर्ण एडिटिव्स को अधिक साहसपूर्वक अनुमति देना आवश्यक था। इसलिए विस्तार शब्द निर्माण ("मास्को मेट्रो" → "मास्को मेट्रो") और समानार्थक शब्द ("हिप्पो" → "हिप्पो") के साथ फिर से भर दिया गया।

शब्द निर्माण के सिद्धांत द्वारा विस्तार का विचार है कि भाषण में संज्ञानात्मक शब्दों को जोड़ा जाए, यहां तक कि भाषण के अन्य हिस्सों ("मास्को मेट्रो" → "मास्को मेट्रो") को भी शामिल किया जाए।

शब्द-निर्माण तंत्र को अक्सर बस आकृति विज्ञान कहा जाता है, हालांकि यह पूरी तरह से सच नहीं है: शब्द शिक्षा के अलावा, शब्द परिवर्तन भी आकृति विज्ञान को संदर्भित करता है (अर्थात, "ब्रीच-मुल्लो")। इनविटेशन बहुत कम ही नई अर्थ संबंधी बारीकियों को क्वेरी में जोड़ता है, यह आमतौर पर सभी रूपों में मूल क्वेरी शब्द खोजता है (जैसा कि वे कहते हैं, "पूरे प्रतिमान "), इसलिए हम इस पोस्ट में इसे नहीं छूएंगे।

शब्द गठन, इसके विपरीत, शब्दार्थ दूर के रूप को जोड़ सकते हैं - सामान्य विचारों के विपरीत, एक ही मूल के साथ शब्दों का अर्थ में करीब होना जरूरी नहीं है। थोड़े से शब्द गठन प्रकार केवल अच्छे खोज एक्सटेंशन में हैं, इसलिए आपको सावधान रहने की आवश्यकता है।

कुछ उदाहरण

उपयोगी प्रकारों में से हैं <संज्ञा> → <एक मूल विशेषण>, उदाहरण के लिए, "मॉस्को" → "मॉस्को": "मॉस्को का मेयर" → "मॉस्को मेयर"। लेकिन यहां भी सूक्ष्मताएं हैं, मुख्य रूप से नामित संस्थाओं से जुड़ी हैं:

संगठनों के नाम: [मॉस्को डिपार्टमेंट स्टोर] store [मॉस्को डिपार्टमेंट स्टोर], मॉस्को में ये दो अलग-अलग स्टोर हैं, दोनों बहुत प्रसिद्ध हैं
लोगों के उपनाम: सरकार में काम करने वाले अधिकारी का उपनाम "मॉस्को" हो सकता है - और यह अनुरोध (मॉस्को) को प्रभावित करेगा।
भौगोलिक नाम: उपनगरों में मॉस्को शहर है - उसके लिए, अनुरोध [मॉस्को के मेयर] का अर्थ मॉस्को के मेयर के समान नहीं है।

जोड़े <संज्ञा> → <आकृति का नाम> ("साइकिल" → "साइकिल चालक") - प्रारंभिक अनुरोध के अर्थ से दृढ़ता से दूर ले जाते हैं। यदि <संज्ञा> → <विशेषण> "साइकिल" → "साइकिल" उपयोगी है (उदाहरण के लिए, [साइकिल की खरीद] → [[साइकिल की दुकान]), तो "साइकिल" → "साइकिल" खोज को और खराब कर देगा, क्योंकि [साइकिल की खरीद] के अनुरोध पर, आदि। जारी किया जाएगा, उदाहरण के लिए, "साइकिल चालक की लैंडिंग" के बारे में दस्तावेज, "साइकिल चालक की चोट" के बारे में, आदि।

[ड्राइंग सबक]: "ड्रा" शब्द के साथ विस्तार करना अच्छा है, लेकिन खराब "ड्राफ्ट्समैन"
[डिप्टी रियर कमांडर]: अच्छा "रियर", बुरा "रियर"
[आदेश यूक्रेन में धागा धागा]: अच्छा "आदेश", बुरा "ग्राहक"

इसी तरह, लिंग परिवर्तन के बहुत सारे बुरे उदाहरण हैं। "कर्मचारी" → "कर्मचारी" लें: यदि अनुरोध [कर्मचारी के साथ समझौता] समझौते के किसी भी विषय पर दस्तावेजों की एक विस्तृत कक्षा देता है, तो इसे "कर्मचारी" शब्द के साथ विस्तारित करना, अवांछित दस्तावेज, उदाहरण के लिए, डिक्री के लिए नियामक ढांचे के बारे में (जो) किसी भी कर्मचारी के बारे में एक सामान्य मामला, सबसे अधिक संभावना है, मदद नहीं करेगा)।

इस प्रकार, रूप में शब्दों की समानता अक्सर भ्रामक होती है, और खोज के दृष्टिकोण से, सामग्री सबसे अधिक प्रतीत होता है निर्दोष परिवर्तनों के साथ भी बहुत बदल जाती है।

अन्य भाषाओं में, चीजें अलग हैं

यह उत्सुक है कि रूसी भाषा शब्द निर्माण के मामले में हमेशा सबसे कठिन है। उदाहरण के लिए, तुर्की में, औपचारिक रूप से अलग-अलग अर्थों वाले कॉग्नेट्स केवल एक ही शब्दावली प्रतिमान का हिस्सा हैं:

"युज़" - एक सौ, "युज़डे" - प्रतिशत,
"टॉप" बॉल / कोर है, "टॉपका" फुटबॉलर / गनर है।

और अगर रूसी में हम दर्द रहित रूप से उस शब्द के सभी रूपों का उपयोग कर सकते हैं जिसके लिए हमने एक विस्तार तैयार किया है, तो तुर्की में हमें अलग-अलग शब्दों के बीच नहीं, बल्कि एक ही शब्द के रूपों के बीच प्रासंगिक निकटता की गणना करनी होगी। और अर्थ के विरूपण को रोकने के लिए एक ही शब्द के दूर रूपों के उपयोग को सीमित करें।

समानार्थी (मोबाइल → सेल)

क्या आधार के रूप में पारंपरिक शब्दकोशों से अकादमिक समानार्थी शब्द लेना संभव है, और बस उन्हें एक खोज में लोड करना है? वास्तव में, शब्दकोशों में विश्वसनीय समानार्थक शब्द के व्यापक रैंक एकत्र किए गए हैं।

यह पता चला है कि खोज भाषा आदर्श लिखित भाषा से पूरी तरह से अलग है।

अक्सर शब्दकोश सटीक पर्यायवाची देते हैं, लेकिन उन्हें एक शैलीगत चिह्न प्रदान करते हैं: मेहराब। सड़ना। , वैज्ञानिक कवि। और कुछ शब्द, यहां तक कि आधुनिक होने और, औपचारिक रूप से, आमतौर पर उपयोग किए जाते हैं, केवल कुछ इंद्रियों या शैलियों में लिखित रूप में उपयोग किए जाते हैं:

"जादूगर" → "जादूगर": दूसरे का उपयोग मुख्य रूप से लोककथाओं में किया जाता है, और केवल एक नकारात्मक तरीके से
"प्रवेश" → "सामने का दरवाजा": दूसरे का उपयोग आधिकारिक पते में नहीं किया जाता है; सेंट पीटर्सबर्ग क्षेत्र में दस्तावेजों की सीमा को सीमित करता है - मूल या कार्रवाई की जगह से।
"डॉक्टर" → "चिकित्सक": दूसरा मुख्य रूप से शिक्षा प्रोफ़ाइल के लिए उपयोग किया जाता है, लेकिन किसी पेशे या सेवा के प्रकार को निर्दिष्ट करने के लिए नहीं
"ट्रेनर" → "टैमर": दूसरा केवल खतरनाक जानवरों से संबंधित है
नतीजतन, एक व्यक्ति एक स्पष्ट शैली (पुरातन / वैज्ञानिक / बोली ...) के साथ दस्तावेज प्राप्त करेगा जो वह चाहता था - जो हमेशा उसकी समस्याओं को हल करने में उपयोगी नहीं होगा।

इसलिए, हम विशुद्ध रूप से शब्दावली से दूर चले गए हैं, समानार्थक शब्द की भाषाई समझ; समकक्षों के लिए सांख्यिकीय खोज बहुत बेहतर काम करती है।कोई भी विकल्प एकत्र किया जाता है जो शैक्षणिक अर्थों में समानार्थी नहीं हो सकता है, लेकिन उपयोगकर्ता जो खोज रहा है उसे खोजने में मदद करें। यह ठीक मुख्य गुणवत्ता मानदंड है - रैंकिंग के लिए एक्सटेंशन की उपयोगिता (और अर्थ में उनकी शब्दकोश निकटता नहीं)।

लेकिन पारंपरिक अर्थों में सांख्यिकीय रूप से एकत्र किए गए समानार्थक शब्द (समान अर्थ वाले शब्द) का संग्रह पर्याप्त नहीं है। अत्यधिक विशिष्ट प्रश्नों के लिए जिनके लिए इंटरनेट पर बहुत कम जानकारी है, कुछ क्वेरी शब्दों को अधिक सामान्य अवधारणाओं ( "हाइपरोन्स" ) से बदलने के लिए उपयोगी हो सकता है ।

एक आम की जगह का एक उदाहरण; सामान्य निजी की जगह क्यों नहीं ले सकते

, [ ]: «» «», . , [ ], , .

, , . [ ] , , . «» «», .

एक्सटेंशन विकल्प कैसे एकत्र करें

— , , .

, , « » . , (.. « ») — .

: « (Scarlett Johansson)»
( N- — N : "… ": «» → «») — , . « ».
— , , -: « → »
( )
— « », , , . .
— ,
,
Wikipedia:

150 — .

, , — , .

- (, ), ( , ). ( , ).

100 .

100 — , .

;

, . . , . — .
. — , . — , .

, .

, (A, B) 60 , , . — , N-; ; (, ).

, ( ) « B A, ».

— , . . , , .

10 — «» . .

, , .

, [] [ ^ mgu ^ msu ^ « »].

, (« »). , , . («») , ( , « ») — .

, , , .

, , ; , ? , . , — . , : , . , 20% . « ».

, , () , .

, :

;
;
;
( ) — ;
(.. Mutual Information) — .

, , . - , - «» .

, , 27% , .

, :

; ;

:
[ ] → [ ] ( « » = « »)
[ ] ( « » = « »)
. :
[ ] → «, , »; «»; «»; «, , , , »
[ ] → «, , »; «»; «», «»
— :
[ ]
[ ]
, , (« » → « »).
, ( ) . , :
[ ]: «» → «»
[ ]: «» → «»
[ ]: «» → «»
[ ]: «» → «»
[ ]: «» → «»
[ ]: «» → «» (., «»)
[ ]: «» → «»
[ ]: «» → «» ( [] — « »)

« » — .

, , . , , . , .

, , . : , .

उचित नामों को विशेष देखभाल की आवश्यकता होती है। यदि आप केवल प्रासंगिक निकटता पर भरोसा करते हैं, तो "एमटीएस" और "बीलाइन", "Google" और "यांडेक्स", "VKontakte" और "फेसबुक" समानार्थक शब्द के रूप में व्यवहार करते हैं। दोनों बीलाइन के मामले में और एमटीएस के मामले में , उपयोगकर्ता एक ही पहलुओं में रुचि रखते हैं: "एसएमएस", "व्यक्तिगत खाता", "इंटरनेट", "टैरिफ", "रोमिंग"। और जब मोबाइल ऑपरेटर चुनते हैं, तो वे एक ही अनुरोध (टैरिफ, कवरेज क्षेत्र, आदि) पूछते हैं, केवल कंपनी का नाम बदलते हैं - जो कि समानार्थी के साथ अनुरोध के शास्त्रीय सुधारों से अप्रभेद्य है।

लेकिन ऐसे उदाहरण जिनमें "एमटीएस" → "बीलाइन" जैसे प्रतिस्थापन वास्तव में उपयोगकर्ता के अनुरोध का बेहतर जवाब देने में मदद करते हैं, काफी दुर्लभ हैं। अधिकांश मामलों में, ऐसा प्रतिस्थापन न केवल मदद करता है, बल्कि बेवकूफ भी दिखता है। उदाहरण के लिए:

(इस mote के लिए हमारे सहयोगियों को क्षमा करें - हमें अपने आप में एक दिलचस्प लॉग नहीं मिला)

इसलिए, जब उचित नामों की बात आती है, तो हम उपयोग किए गए एक्सटेंशन के शस्त्रागार को संकीर्ण करने का प्रयास करते हैं: अनुवाद और टाइपो बिना प्रतिबंध के उपयोग किए जाते हैं, और हम समानार्थक शब्द के साथ चुनिंदा कार्य करते हैं।

हम उचित नामों के लिए समानार्थक शब्द के साथ कैसे काम करते हैं

हम किसी वस्तु के नाम का विस्तार करने का प्रयास तभी करते हैं जब हमें यकीन हो जाता है कि विस्तार इसका एक वैकल्पिक पदनाम है (उदाहरण के लिए, घटिया और स्नेही "Vkontash" → "Vkontakt" या बोलचाल की भाषा में "केरोसिन" → "रूसी स्टेट यूनिवर्सिटी ऑफ़ ऑयल एंड गैस"), और किसी अन्य ऑब्जेक्ट का नाम नहीं है। एल्गोरिदम को दूसरे से अलग करने के लिए सिखाना आसान नहीं है, साथ ही साथ यह निर्धारित करने के लिए कि मूल वस्तु आम तौर पर एक उचित नाम है। हम मूल्यांकनकर्ताओं और विकिपीडिया डेटा से उदाहरणों से विभिन्न वस्तुओं के उचित नामों को अलग करने के लिए स्वचालन सिखाते हैं: यदि विकिपीडिया का हमारे प्रत्येक शब्द के लिए अपना लेख है, तो इसका सबसे अधिक अर्थ है कि हम विभिन्न संस्थाओं के साथ काम कर रहे हैं।

क्वेरी भाषा विचार

आमतौर पर एक्सटेंशन उस भाषा के लिए सटीक रूप से पेश किए जाते हैं जिसमें अनुरोध सेट होता है। लेकिन क्या होगा अगर विश्वास करने का कारण है कि उपयोगकर्ता किसी अन्य भाषा को समझता है, और इस पर काफी अधिक परिणाम हैं? फिर इस भाषा में दस्तावेजों की पेशकश करना बुद्धिमानी है। उदाहरण के लिए, यूक्रेनी क्वेरी [बुनाई पैटर्न] का विस्तार रूसी [बुनाई पैटर्न] द्वारा किया जा सकता है, जिसके कई गुना अधिक अच्छे परिणाम हैं।

विस्तार गुणवत्ता और खोज गुणवत्ता

खोज परिणामों की पूर्णता आधुनिक विस्तार का मुख्य लक्ष्य है: खोज के उपयोग के अनुरोध और सहिष्णुता के शब्दों के प्रति सहिष्णुता में अशुद्धियों के लिए प्रतिरोधी होना; जो सबसे अधिक संभव है, वह भी सबसे अधिक अनपेक्षित मामलों में खोजें।

बहुत सरलीकृत, एक प्रक्रिया के रूप में खोज में दो मुख्य चरण होते हैं: फ़िल्टरिंग और रैंकिंग। फ़िल्टरिंग इंडेक्स से उन दस्तावेज़ों का चयन करता है जो किसी भी प्रश्न के लिए प्रासंगिक होते हैं, उन्हें प्रासंगिकता के आधार पर सूचीबद्ध करते हैं।

विस्तार तंत्र फ़िल्टरिंग चरण में एक महत्वपूर्ण भागीदार है। एक्सटेंशन सभी संभव प्रतिस्थापनों को ढूंढते हैं, और रैंकिंग उनसे चुनने में सक्षम है कि वास्तव में उपयोगकर्ता के लिए क्या उपयोगी होगा।

इसलिए, विस्तार तंत्र का एक प्रमुख गुणवत्ता पैरामीटर संभव प्रतिस्थापन के शब्दकोश की पूर्णता है। उसके लिए, हम अनपढ़ एक्सटेंशन देने के लिए तैयार हैं यदि वे उपयोगकर्ता को सही खोजने में मदद करते हैं। उदाहरण के लिए, "युद्ध k raft" एक गैर-विहित नाम है (सही ढंग से "युद्ध c raft"), लेकिन कुछ समय पहले यह गेमिंग मंचों पर बहुत आम था - और कुछ प्रश्नों के लिए (जैसे [warcraft walkthrough]), एक्सटेंशन "warcraft" → " युद्ध k बेड़ा "जो इसके बिना नहीं पाया जा सकता है खोजने की अनुमति दी।

यदि एक्सटेंशन सही को खोजने में मदद करता है, तो इसकी "शुद्धता", "साक्षरता" या "कैनोनिकिटी", यहां तक कि मूल अनुरोध के अर्थ में शैक्षणिक निकटता भी हमारे लिए महत्वपूर्ण नहीं है।

हम खोज में स्थानांतरण से पहले और खोज में ही एक्सटेंशन की गुणवत्ता की निगरानी करते हैं

लेकिन भले ही रैंकिंग बेकार एक्सटेंशन के लिए बहुत सहनशील है, हम इसे सुरक्षित रूप से खेलना पसंद करते हैं और खोज में आने से पहले ही खुद एक्सटेंशन की गुणवत्ता की निगरानी करते हैं। जब भी हम एक्सटेंशन में किसी प्रकार का परिवर्तन करते हैं, हम न केवल एक्सटेंशन की पूर्णता के लिए स्वयं प्रयास करते हैं, बल्कि ध्यान से देखते हैं ताकि उनकी सटीकता में गिरावट न हो। यदि कुल खोज गुणवत्ता का मीट्रिक खोज परिणामों के पहले पृष्ठ पर खराब परिणामों की अनुपस्थिति का मूल्यांकन करता है, तो एक्सटेंशन की गुणवत्ता का मालिकाना मीट्रिक खोज परिणामों से सामान्य रूप से कष्टप्रद एक्सटेंशन को समाप्त करने में मदद करता है।

एक्सटेंशन की गुणवत्ता को कैसे मापें और सामान्य रूप से खोजें

हमें अभी तक अन्य खोज इंजनों के सापेक्ष स्वयं एक्सटेंशन की एक विश्वसनीय गुणवत्ता मीट्रिक नहीं मिली है, जो एक ही समय में हमारे सहज अनुमानों के समान होगी और वास्तविक उपयोगकर्ता अपेक्षाओं पर आधारित होगी (और सट्टा उदाहरणों पर नहीं)। इसलिए, हमें pfound खोज गुणवत्ता के संयुक्त मूल्यांकन द्वारा निर्देशित किया जाता है। यह इस संभावना का अनुमान लगाता है कि उपयोगकर्ता को वह मिलेगा जो वह ढूंढ रहा है, यांडेक्स द्वारा निर्धारित अनुरोधों की पूरी धारा पर औसतन लिया गया है। प्रत्येक अनुरोध के लिए, मीट्रिक इस मुद्दे पर दिखाए गए पहले दस्तावेज़ों की उपयोगिता को सारांशित करता है - दस्तावेज़ को उच्च रैंक के लिए समायोजित किया गया है। यह जारी करने पर जितना कम होगा, मीट्रिक में इसका वजन उतना कम होगा कि उपयोगकर्ता इस तक पहुंच जाएगा। अनुरोधकर्ताओं के आकलन के अनुसार हम प्रत्येक दस्तावेज़ की उपयोगिता का मूल्यांकन करते हैं:

यहां: pRel - i-th दस्तावेज़ की प्रासंगिकता (उपयोगकर्ता द्वारा इस दस्तावेज़ में उत्तर पाए जाने की संभावना)। pLook - आउटपुट में i-th दस्तावेज़ देखने की संभावना।

हम आशा करते हैं कि एक्सटेंशन अन्य सभी खोज घटकों के समान ही अच्छे के लिए काम करें। खोज की समग्र गुणवत्ता के लिए एक्सटेंशन का योगदान काफी महत्वपूर्ण है - यह कई प्रतिशत है। यही है, यदि आप इसे बहुत सरल करते हैं, तो यैंडेक्स के लिए कई मिलियन अनुरोधों को प्रतिदिन केवल एक्सटेंशन के लिए उच्च-गुणवत्ता प्रतिक्रिया प्राप्त होती है। और एक तरह से या किसी अन्य में, वे यैंडेक्स के अनुरोधों के कुल प्रवाह के 30% और 15% प्रवाह का जवाब देने में मदद करते हैं - वे एक मूर्त सुधार देते हैं।

साहित्य

एवगेनी सोलोविओव, थिसॉरस एक्‍सटेंशन इन इंफॉर्मेशन रिट्रीवल । यैंडेक्स, 2010 (प्रस्तुति)।
Voorhees, लेक्सिकल-सिमेंटिक रिलेशंस का उपयोग करते हुए क्वेरी एक्सपेंशन - वर्डनेट से एक्सटेंशन का उपयोग करके टीआरईसी पर परिणाम को सुधारने वाले पहले लेखक थे।
जोन्स एट अल। उत्पन्न होने वाले सुझाव - याहू में! विज्ञापनों की खोज की पूर्णता बढ़ाने की समस्या को हल किया।
डांग, ज़ू, क्रॉफ्ट। प्रसंग-आधारित क्वासी-पर्याय निष्कर्षण - एन-ग्राम के शरीर का उपयोग करके समानार्थक शब्द का संग्रह (उदाहरण के लिए, जैसे )।
डांग, क्रॉफ्ट। एंकर टेक्स्ट का उपयोग करके क्वेरी रिफॉर्मुलेशन - माइक्रोसॉफ्ट रिसर्च से एक्सटेंशन इकट्ठा करने के लिए लिंक टेक्स्ट डेटा का उपयोग करने का एक उदाहरण।
रुपये गिलेरेवस्की, बी.ए. Starostin। रूसी पाठ में विदेशी नाम और नाम। एम।, हाई स्कूल, 1985 - व्यावहारिक प्रतिलेखन पर।

पूरी तरह से समझने की कला। यांडेक्स अनुरोध विस्तार