अनुरोधों का प्रसंस्करण और वर्गीकरण। भाग एक: क्वेरी पार्सर

Mail.Ru सर्च में क्वेरी प्रोसेसिंग डिपार्टमेंट के साथ क्या व्यस्त है? यदि एक वाक्य में, हम क्वेरी को "समझने" का प्रयास करते हैं, अर्थात् हम खोज के लिए क्वेरी तैयार करते हैं, तो इसे हमारे सूचकांक, रैंकिंग, मिक्स और अन्य घटकों के साथ बातचीत के लिए उपयुक्त रूप में लाएं। यदि आप हमारे काम के बारे में अधिक जानना चाहते हैं - बिल्ली में आपका स्वागत है। इस पोस्ट में मैं हमारे काम के क्षेत्रों में से एक के बारे में बात करूंगा - क्वेरी पार्सर।

हम कहां हैं, हम कौन हैं और यहां का पार्सर कहां है?

आंकड़ा खोज सेवा की संरचना को दर्शाता है। जिस सिस्टम में हम काम करते हैं उसके कुछ हिस्सों को गुलाबी रंग में हाइलाइट किया गया है।



अंजीर। 1. खोज में हमारा स्थान

सीमांत उपयोगकर्ता को अनुरोध दर्ज करने के लिए एक फॉर्म प्रदान करता है, जब तैयार हो जाता है, तो अनुरोध मेटाएएसएम को भेजा जाता है, जहां यह क्वेरी पार्सर में जाता है, जो इसके विश्लेषण और वर्गीकरण में लगा हुआ है। फिर अनुरोध, अतिरिक्त मापदंडों के साथ समृद्ध, एक पेड़ के रूप में बैकेंड में स्थानांतरित किया जाता है, जहां, इस पेड़ के आधार पर, अनुरोध के अनुरूप डेटा को सूचकांक से निकाला जाता है और अंतिम रैंकिंग प्रसंस्करण में स्थानांतरित किया जाता है।

खोज प्रणाली में अनुरोध सबमिट करने से पहले, इसे दो और घटकों द्वारा संसाधित किया जाता है। सबसे पहले एक सजस्ट है, एक सेवा जो अनुरोध को जारी रखने के लिए, लगभग हर कीस्ट्रोके को जवाब देती है, विकल्प प्रस्तुत करती है, उसकी राय में। दूसरा स्पेलसेचर है, जिसे भेजने के बाद अनुरोध प्रेषित किया जाता है: यह टाइपो के लिए अनुरोध का विश्लेषण करता है।

नेविगेशन बेस को कार्यक्षमता के आधार पर अलग से दर्शाया गया है; वास्तव में, इसे क्वेरी पार्सर में एकीकृत किया गया है, लेकिन इसके नीचे और भी बहुत कुछ।

कक्षाओं और प्रश्नों की किस्में

हमें अनुरोध और प्रारंभिक विश्लेषण के किसी भी वर्गीकरण की आवश्यकता क्यों है? कारण यह है कि अलग-अलग क्वेरी वर्गों के लिए अलग-अलग डेटा, अलग-अलग रैंकिंग फ़ार्मुलों, परिणामों के अलग-अलग दृश्य प्रतिनिधित्व की आवश्यकता होती है।


अंजीर। 2. विभिन्न प्रकार के अनुरोध

परंपरागत रूप से, सभी खोज प्रश्नों को तीन वर्गों में विभाजित किया गया है:
● जानकारी
● नेविगेशन
● लेन-देन
उनमें से प्रत्येक, बदले में, छोटी कक्षाओं में विभाजित होता है। यह आरेख पूर्ण होने का दिखावा नहीं करता है, प्रश्नों के पूरे सेट को खंडित करने की प्रक्रिया वास्तव में, भग्न है - यह धैर्य और संसाधनों का मामला है। केवल सबसे बुनियादी तत्व यहां सूचीबद्ध हैं।

लेन-देन के अनुरोधों में इंटरनेट पर निहित सामग्री की खोज, और ऑफ़लाइन होने वाली वस्तुओं की खोज शामिल है, अर्थात, सबसे पहले, विभिन्न सामान और सेवाएं। नेविगेशन क्वेरी - स्पष्ट रूप से निर्दिष्ट साइटों, ब्लॉगों और माइक्रोब्लॉगिंग, व्यक्तिगत पृष्ठों, संगठनों के लिए खोजें। सूचनात्मक अर्थ के संदर्भ में प्रश्नों का सबसे व्यापक वर्ग है, बाकी सब इस पर लागू होता है: समाचार, तथ्यों और शर्तों पर प्रश्नों की सहायता, राय और समीक्षाओं की खोज, प्रश्नों के उत्तर, और बहुत कुछ।

तुरंत, मैं ध्यान देता हूं कि एक अनुरोध में अक्सर कई वर्गों के गुण होते हैं। इसलिए, वर्गीकरण एक पेड़ की संरचना का निर्माण नहीं है, जिसके प्रत्येक कक्ष में अनुरोध का एक हिस्सा गिरता है, लेकिन टैगिंग, अर्थात्, अतिरिक्त गुणों के साथ अनुरोध को समाप्त करना।

विषयों का वितरण

अंजीर। 3. विभिन्न अनुरोध वर्गों की आवृत्ति वितरण

विभिन्न क्वेरी कक्षाओं के आकार का एक अनुमान बताता है कि छोटी संख्या में वर्गों में क्वेरी स्ट्रीम का एक बड़ा अनुपात होता है, और उनके बाद क्वेरी स्ट्रीम टुकड़े घटने की एक लंबी पूंछ होती है। विषय जितना संकीर्ण होगा, उसके लिए अनुरोध उतने कम होंगे और ऐसे विषय उतने अधिक होंगे।

व्यावहारिक दृष्टिकोण से, इसका मतलब है कि हम बिल्कुल सभी अनुरोधों को वर्गीकृत करने की कोशिश नहीं कर रहे हैं - हम बल्कि अनुरोधों की सामान्य धारा से सबसे महत्वपूर्ण लोगों को चुटकी लेने की कोशिश कर रहे हैं। एक नियम के रूप में, एक वर्ग चुनने की कसौटी इसकी आवृत्ति है, लेकिन न केवल: यह अनुरोध हो सकता है कि हम कुशलतापूर्वक प्रक्रिया कर सकते हैं, परिणामों की कल्पना करना दिलचस्प है, और इसी तरह।

पार्सर वास्तुकला

अंजीर। 4. क्वेरी पार्सर वास्तुकला

एक पार्सर एजेंटों की एक कतार है, जिनमें से प्रत्येक किसी अनुरोध पर किसी प्रकार की कम या अधिक परमाणु कार्रवाई करता है, इसे शब्दों में तोड़ना और अन्य नियमित संस्थाओं जैसे URL और फोन नंबर से शुरू होता है, और उद्धरण डिटेक्टर जैसे जटिल क्लासिफायर के साथ समाप्त होता है।

एजेंटों को लाइन में खड़ा किया जाता है। प्रत्येक अनुरोध इस कतार के माध्यम से चलाया जाता है, और प्रत्येक एजेंट के परिणाम अनुरोध के आगे के तार्किक मार्ग को प्रभावित करते हैं - उदाहरण के लिए, नेविगेशनल के रूप में वर्गीकृत एक अनुरोध को उद्धरण डिटेक्टर द्वारा संसाधित नहीं किया जाएगा। अनुरोध स्वयं यहां एक प्रकार के बुलेटिन बोर्ड के रूप में प्रस्तुत किया गया है, जिस पर प्रत्येक एजेंट एक संदेश छोड़ सकता है, अन्य एजेंटों के संदेशों को पढ़ सकता है और यदि आवश्यक हो, तो उन्हें बदल या रद्द कर सकता है। पूरा होने पर, अनुरोध अतिरिक्त मिक्सर में प्रेषित किया जाता है और, अंततः, बैकएंड पर भेजा जाता है, जहां एजेंटों द्वारा दर्ज किए गए सभी अतिरिक्त पैरामीटर रैंकिंग कारकों के रूप में उपयोग किए जाते हैं।

शब्दकोशों

क्वेरी पार्सर के लिए मुख्य डेटा प्रदाता शब्दकोशों है। ये बहुत बड़ी फाइलें हैं जिनमें तार के समूहीकृत सरणियाँ हैं, जिनमें से प्रत्येक का एक विशिष्ट अर्थ है।


अंजीर। 5. शब्दकोश: जीवन से एक उदाहरण

आकृति एक शब्दकोश के टुकड़े को दिखाती है, जिसमें ऐसे शब्द हैं जो "फिल्म्स" वर्ग के प्रश्नों के लिए सबसे विशिष्ट हैं। शब्दों के इन समूहों में से प्रत्येक को एक मार्कर के साथ जोड़ा जा सकता है (चित्र में यह हरे रंग के फ्रेम से घिरा हुआ है)। इसका अर्थ है कि यदि अनुरोध में ऐसा अंश पाया जाता है, तो पूरे अनुरोध को चिह्नित किया जाएगा, यह दर्शाता है कि इस अनुरोध का विषय एक फिल्म है।

समान शब्दकोशों में, समानार्थी शब्द सेट होते हैं (आकृति में लाल फ्रेम)। उनके लिए धन्यवाद, यदि, उदाहरण के लिए, क्वेरी में "साउंडट्रैक" शब्द शामिल है, तो क्वेरी को "साउंड ट्रैक", "साउंड ट्रैक" और संक्षिप्त नाम OST के वाक्यांशों के साथ विस्तारित किया जाएगा।

ऐसे दर्जनों शब्दकोश हैं। उनमें से कुछ का आकार सैकड़ों हजारों है, यहां तक ​​कि ऐसी लाखों लाइनें भी हैं। उनके आधार पर, अनुरोध का प्राथमिक प्रसंस्करण होता है, इसका रंग, जिसके बाद अधिक जटिल तर्क काम करता है।

मार्कर

चलो तीन प्रश्न लेते हैं:
● कैरिबियन के समुद्री डाकू
● कैरिबियन गहराई
● कैरेबियाई संकट के परिणाम
पाठ खोज के दृष्टिकोण से, उनमें से सभी केवल तीन शब्दों वाले तार हैं, जबकि उपयोगकर्ता के दृष्टिकोण से, उनमें से प्रत्येक का पूरी तरह से अलग अर्थ है। हमारा लक्ष्य इन अंतरों के बारे में यथासंभव प्रणाली को बताना है।


अंजीर। 6. शब्दकोश और मार्कर

आकृति में चार शब्दकोश स्पष्टता के लिए चुने गए हैं और वास्तविक लोगों के साथ काफी मेल नहीं खाते हैं। इन शब्दकोशों में मिश्रण के लिए उपयुक्त तथ्य, ऐतिहासिक घटनाओं के साथ एक शब्दकोश, फिल्मों के साथ एक शब्दकोश और भौगोलिक वस्तुओं के साथ एक शब्दकोश है। क्वेरी के सभी शब्द और वाक्यांश इन शब्दकोशों के माध्यम से चलाए जाते हैं, जिसके परिणामस्वरूप निम्नलिखित टुकड़े पाए जाते हैं:
● पाइरेट्स ऑफ द कैरिबियन को एक फिल्म के रूप में टैग किया गया है, जिसके अंदर किसी तरह का भूगोल है
● कैरिबियन की गहराई एक वस्तुनिष्ठ तथ्य है
● कैरेबियाई संकट के बाद में एक तथ्य मार्कर होता है, जैसा कि "बाद में," और ऐतिहासिक घटना, कैरिबियन संकट से स्पष्ट है।


अंजीर। 7. शब्दकोश और मार्कर: मध्यवर्ती परिणाम

अंतिम चरण फिल्म में शामिल भौगोलिक विशेषता को हटाने के लिए है ताकि यह चयन में हस्तक्षेप न करे। इस तरह के विलोपन की आवश्यकता को भी शब्दकोश में वाक्य रचना द्वारा कॉन्फ़िगर किया गया है। इसे मार्कर लालच कहा जाता है: एक नियम के रूप में (लेकिन हमेशा नहीं), बड़ी संख्या में मार्कर और दूसरे में एक को शामिल करने का मतलब है कि आंतरिक मार्कर को अनदेखा किया जाना चाहिए।


अंजीर। 8. शब्दकोश और मार्कर: कुल

शब्दकोशों के प्रकार

शब्दकोशों की सामग्री को दो बड़े वर्गों में विभाजित किया गया है:
● फ़्रिक्वेंसी एक्सप्रेशन-मार्कर किसी विशिष्ट विषय या उपयोगकर्ता के इरादे को दर्शाते हैं। ऐसे शब्दकोशों को मैन्युअल रूप से संकलित किया जाता है।
● वस्तुओं (फिल्मों, व्यंजनों, व्यंजन, मशहूर हस्तियों, भौगोलिक नाम, आदि)।

शब्दकोशों को भरने के दृष्टिकोण से, वस्तुएँ सबसे बड़ी रुचि हैं। कई दृष्टिकोण हैं। पहले, फिर से, उन्हें मैन्युअल रूप से रचना करना है। यह डेटा प्राप्त करने का सबसे अच्छा तरीका है, लेकिन सबसे अधिक समय लेने वाला भी है।

ऑब्जेक्ट शब्दकोश का स्वचालित निर्माण एक अलग पोस्ट के लिए एक विषय है, लेकिन अगर संक्षेप में वर्णित किया जाए, तो यह सरल एल्गोरिदम का एक जटिल सेट है, जो किसी दिए गए प्रकार की वस्तुओं के एक छोटे से प्रशिक्षण सेट के आधार पर, इन अनुरोधों में से प्रत्येक को तोड़ते समय लॉग से एक ही प्रकार की वस्तुओं वाले सभी अनुरोधों का चयन करता है। वस्तु और उसके संदर्भ पर।



यह ध्यान दिया जाना चाहिए कि कई प्रश्न अस्पष्ट हैं: उदाहरण के लिए, क्वेरी "हॉब डाउनलोड करें" के लिए यह कहना पूरी तरह से असंभव है कि उपयोगकर्ता क्या डाउनलोड करना चाहता है - एक फिल्म, एक फिल्म, एक किताब या एक गेम।

क्वेरी पार्सर के संचालन में अंतिम चरण रैंकिंग को प्राप्त जानकारी का प्रसारण है। इससे पहले, अनुरोध के बारे में डेटा का प्रतिच्छेदन और सूचकांक से संरचना और डेटा होता है। संक्षेप में, प्रत्येक क्वेरी शब्द के लिए, दस्तावेजों की सूचियों को रिवर्स इंडेक्स से प्राप्त किया जाता है, जो तब क्वेरी ट्री की संरचना द्वारा निर्दिष्ट नियमों के अनुसार प्रतिच्छेद करते हैं। कठिनाई इस तथ्य में निहित है कि सभी शब्दों के अलग-अलग वजन हैं, कुछ शब्दों को वैकल्पिक माना जा सकता है, शब्दों का क्रम, क्वेरी में उनका आकार, उनके बीच की दूरी और अन्य गुण मायने रखते हैं। सभी प्राप्त डेटा, सभी अनुरोधों के झंडे के साथ, रैंकिंग में पारित किए जाते हैं, जहां वे अंतिम खोज परिणाम का निर्धारण करने वाले कारकों की भीड़ का हिस्सा बन जाते हैं।


अंजीर। 9. अनुरोध पेड़: हवाई टिकट मास्को तेल अवीव

उद्धरण चिह्नों

कोटेशन एक अधिक जटिल वर्गीकरण का एक उदाहरण है, जिसे केवल शब्दकोशों के आधार पर गुणात्मक रूप से नहीं किया जा सकता है। प्रारंभ में, जब प्रसंस्करण उद्धरण, क्वेरी लॉग का बस विश्लेषण किया गया था: यह पता चला था कि क्या उद्धरण हैं, वे कैसे भिन्न होते हैं। उद्धरण अनुरोध के मुख्य, सबसे स्पष्ट संकेत एक लंबी लंबाई, शब्दों की व्याकरणिक स्थिरता, बड़े अक्षरों की उपस्थिति और विराम चिह्न हैं। इन विशेषताओं के आधार पर, पहले एजेंट को लागू किया गया था, जो मैन्युअल रूप से चयनित गुणांक और आदिम का उपयोग करते हुए अगर-तब-तब तर्क, संभावना की गणना करता है कि अनुरोध एक उद्धरण है।

हालांकि, जब बहुत सारे कारक होते हैं, और यह पहले से ही असंभव है और यहां तक ​​कि उनमें से प्रत्येक के प्रभाव का मैन्युअल रूप से मूल्यांकन करने के लिए हानिकारक है, मशीन स्विचिंग के लिए विभिन्न एल्गोरिदम लागू होते हैं। उद्धरणों की पहचान करते समय, उसी कोड का उपयोग किया जाता है जो रैंकिंग में उपयोग किया जाता है। एक प्रशस्ति पत्र अनुरोध की प्रतिक्रिया न केवल रैंकिंग पर इस कारक का प्रभाव है, बल्कि इसी तरह के दस्तावेजों के लिए gluing एल्गोरिथ्म में बदलाव भी है। यदि क्लासिफायर विफल हो जाता है, जिसके परिणामस्वरूप एक पूरे के रूप में एक असफल खोज है, तो आपको एक पुन: अनुरोध करना होगा जिसमें अनुरोध को अब उद्धरण नहीं माना जाता है। इस प्रकार, पार्सर समग्र रूप से खोज एल्गोरिदम को भी प्रभावित करता है।


अंजीर। 10. उद्धरण

मशीन लर्निंग के लिए, मार्कोव मॉडल पर आधारित निर्णय पेड़ों और विधियों का उपयोग किया जाता है। अधिक परिष्कृत तरीके वास्तविक समय के लिए निषेधात्मक रूप से महंगे हैं। इसलिए, प्रश्नों की क्लस्टरिंग या ऑब्जेक्ट्स का चयन प्रारंभिक प्रसंस्करण के लिए प्रस्तुत किया जाता है, और मक्खी पर नहीं किया जाता है।

जारी रखा जाए

मैं आपको अलग से नेविगेशन अनुरोधों के बारे में बताऊंगा - आने वाले दिनों में जारी रहने की प्रतीक्षा करें। इसके अलावा, अगले एपिसोड में, मैं मंत्रमुग्ध करने वाले और सगास्टास पर रहूंगा।

यदि आपके पास कोई प्रश्न या उपयोगी अनुभव है जिसे आप साझा करना चाहते हैं, तो टिप्पणी में आपका स्वागत है।

मिखाइल डोलिनिन,
खोज क्वेरी टीम लीडर