मेल में खोज की गुणवत्ता को मापना

जनवरी में, इस पोस्ट में, मैंने Mail.Ru मेल में पूर्ण-पाठ खोज के बारे में बात की।

हालांकि, आप कैसे निर्धारित करते हैं कि एक नई खोज वास्तव में बेहतर है? खोज की गुणवत्ता कैसे मापनी है, इस बारे में मैं इस पोस्ट में बताऊंगा।

शुरू करने के लिए, खोज क्वेरी की सामान्य निष्पादन योजना पर विचार करें।



खोज गुणवत्ता का मुख्य पैरामीटर इसकी गति है । यह इस तरह सामने के छोर पर मापने के लिए सबसे सुविधाजनक है:

$mailsearch_start = Time::HiRes::time(); $answer = MailSearch::Query($request); $mailsearch_end = Time::HiRes::time(); 

डेटा लॉग को लिखा जाता है, और हर 5 मिनट में एक विशेष डेमन सभी फ्रंट-एंड से लॉग के अगले बैच को इकट्ठा करता है और चार्ट पर अगला सेगमेंट बनाता है। यह ध्यान दिया जाना चाहिए कि आपके पास खोज गति संकेतक के साथ दो ग्राफ़ होने चाहिए।

सबसे पहले, एक "पांच-मिनट" चार्ट जो वर्तमान स्थिति को प्रदर्शित करता है। यह "तीव्र" स्थितियों के निदान के लिए उपयोगी हो सकता है, उदाहरण के लिए, अगर अगले अद्यतन के बाद खोज अचानक काम करना शुरू कर दिया, जैसा कि अपेक्षित नहीं है, लेकिन बहुत धीरे-धीरे।


चित्र 1. उफ़! ऐसा लगता है कि उन्होंने कुछ गलत किया है ...

दूसरे, हमें एक "दैनिक" चार्ट की भी आवश्यकता है, जो हमें पहली नज़र में गहरी और कम ध्यान देने योग्य समस्याओं का पता लगाने की अनुमति देता है। उदाहरण के लिए, यदि अनुक्रमित का पुनर्निर्माण बहुत दुर्लभ है, तो एक निश्चित "ऋण" लगातार जमा होगा - एक निश्चित मात्रा में गैर-अनुक्रमित डेटा, जिसके लिए केवल अनुक्रमिक खोज संभव है। यह "ऋण" कई दिनों या हफ्तों (चित्रा 2) की गति में धीमी गिरावट के रूप में ग्राफ पर दिखाई देगा। चार्ट का ऐसा व्यवहार एक संकेत है कि यह अधिक बार अनुक्रमण की दिशा में अनुक्रमण योजनाकार की कार्य नीति को संशोधित करने के लायक होगा।

पुराने खोज इंजन से नए पर स्विच करने पर भी यह चार्ट हमारे लिए बहुत उपयोगी साबित हुआ। उन्होंने प्रश्न का स्पष्ट रूप से उत्तर देना संभव बनाया: "क्या यह नई खोज के साथ बेहतर हो गया है?"। सर्वर की पूर्ण रीइन्डेक्सिंग में आमतौर पर कई दिन लगते हैं, और दैनिक चार्ट दिखाता है कि, इस समय के दौरान, खोज को धीरे-धीरे 2.5 गुना (चित्र 3) के अंतर तक त्वरित किया गया था।


चित्र 2. हम इंडेक्सेशन द्वारा "ऋण" बचाते हैं। सोचने का अवसर ...


चित्र 3. नए खोज इंजन पर जाएं।

निम्नलिखित खोज प्रश्नों की संख्या के ग्राफ पर ध्यान देने योग्य है। यह ग्राफ अपने आप में, अन्य डेटा का विश्लेषण किए बिना, जांच करना मुश्किल है। उदाहरण के लिए, खोजों की संख्या में कमी दो विपरीत चीजों को इंगित कर सकती है:

1. उपयोगकर्ता अधिक बार यह जानने लगे कि वे पहले प्रयास में क्या देख रहे थे (अच्छा, चित्र 4 देखें)
2. उपयोगकर्ताओं ने आम तौर पर यह ढूंढना बंद कर दिया कि वे क्या ढूंढ रहे हैं (खराब)

चित्रा 4. इस मामले में, वे पहले प्रयास पर अक्सर वांछित आइटम ढूंढना शुरू कर देते हैं।

खोज गुणवत्ता का एक महत्वपूर्ण पैरामीटर रिक्त परिणाम के साथ प्रश्नों की संख्या है । औसतन, यह 30% है, इनमें से अधिकांश अनुरोध कई उपयोगकर्ताओं के लिए एक खुले पृष्ठ "सभी अपठित" हैं (नए पत्र की प्रतीक्षा में)। इस संकेतक में तेज वृद्धि एक घातक खोज त्रुटि का संकेत दे सकती है (यदि यह संकेतक एक निश्चित सीमा मूल्य से अधिक है, तो डेवलपर्स और सिस्टम एडमिनिस्ट्रेटर को एक एसएमएस अधिसूचना भेजने के लिए समझ में आता है, क्योंकि ऐसी त्रुटियां न्यूनतम समय में तय की जानी चाहिए, चित्र 5 देखें)।


चित्रा 5. कुछ समस्या दिखाई दी ... एसएमएस भेजने का समय।

खोज से पत्रों पर क्लिक की संख्या सीधे परिणामों के चयन की गुणवत्ता को इंगित करती है (चित्रा 6)। इस तथ्य के कारण कि स्निपेट हैं (अनुरोध के शब्दों को उजागर करने के साथ पत्र के पाठ के छोटे अंश), उपयोगकर्ता शायद ही कभी उन पत्रों पर क्लिक करते हैं जो उनकी अपेक्षाओं को पूरा नहीं करते हैं। आमतौर पर, गुणवत्ता में गिरावट धीरे-धीरे होती है, और आपको खोज के अगले संस्करण के लेआउट के बाद लंबे समय तक गतिशीलता देखने की आवश्यकता होती है।


चित्र 6. खोज की गुणवत्ता में सुधार हुआ है - क्लिक की संख्या में वृद्धि हुई है।

यह "क्वॉलिफाइंग" खोज प्रश्नों की संख्या को मापने के लिए भी समझ में आता है। प्रायिकता के उच्च स्तर के साथ, खोज परिणामों के एक खुले पृष्ठ से निष्पादित खोज क्वेरी को शोधन अनुरोध माना जा सकता है। यह निष्कर्ष इस धारणा के कारण है कि उपयोगकर्ता द्वारा कुछ खोजने की कोशिश करने के बाद, लेकिन खोज परिणामों ने उसके लिए काम नहीं किया, उसने खोज को दोहराने का फैसला किया, लेकिन किसी तरह "अलग", एक अलग अनुरोध के साथ। इस तरह के अनुरोध औसतन 1-3% हैं। इस सूचक की वृद्धि इंगित करती है कि जो कुछ पहले सफल था उससे कुछ मिलना बंद हो गया है (चित्र 7)।


चित्रा 7. दोहराया अनुरोधों के 3% अतिरिक्त।

"क्वॉलिफाइंग" खोज प्रश्नों के विषय को विकसित करते हुए, यह ध्यान देने योग्य है कि इससे खोज परिणामों के "टर्न ओवर" की संख्या को मापने के लिए समझ में आता है। इस मूल्य की वृद्धि सबूत के रूप में काम कर सकती है, उदाहरण के लिए, परिणामस्वरूप नमूना बहुत बड़ा है। इस तरह के अनुरोध औसतन 1-2% हैं। उनमें से ज्यादातर समय में "गहराई से" फ़्लिप करते हुए, कभी-कभी पुराने अक्षरों की तलाश करने की स्वाभाविक आवश्यकता के कारण होते हैं। इस सूचक की वृद्धि इंगित करती है कि कुछ "अतिशयोक्तिपूर्ण" परिणामों में गिर गया और वापस (अगले पृष्ठों के लिए) प्रासंगिक पत्रों को धक्का दिया। इस सूचक का गिरना, इसके विपरीत, निश्चित रूप से एक अच्छा संकेत है, क्योंकि उपयोगकर्ता खोज के परिणामों के पहले पृष्ठ (चित्रा 8) पर वे क्या ढूंढना शुरू करते हैं।


चित्रा 8. अब आपको जो कुछ भी चाहिए वह पहले पृष्ठ पर है, और कम बार के माध्यम से पत्ती।

अंत में, हम ऐसे पैरामीटर पर विचार करते हैं, जब उपयोगकर्ता खोज परिणाम प्राप्त करने के बाद किसी पत्र पर क्लिक करता है । यह ग्राफ़ खोज नमूने की गुणवत्ता (इसकी सटीकता) और हाइलाइटिंग स्निपेट्स की गुणवत्ता दोनों को इंगित करता है। जितनी तेज़ी से उपयोगकर्ता अपनी आँखों से चयन में अक्षर पाता है, उतनी तेज़ी से वह उस पर क्लिक करता है (चित्र 9)। परिणाम खोजने की गति दोनों खोज को बढ़ाती है जो सही ढंग से काम करती है (सही छँटाई, चयन में "अतिरिक्त" परिणामों की अनुपस्थिति), और स्निपेट्स में क्वेरी से शब्दों के "हाइलाइटिंग" की गुणवत्ता (बेहतर यह है, जितनी तेज़ी से वांछित परिणाम के लिए "चिपटना" होगा)।


चित्रा 9. स्निपेट रंग को फिर से काम किया गया है, और औसत संक्रमण समय गिर गया है।

खोज की गुणवत्ता का आकलन करने से, इन सभी संकेतकों का एक साथ विश्लेषण करना समझ में आता है। सैजैस्ट (खोज संकेत) के लिए इसी तरह के ग्राफ मौजूद हैं, खोज की गुणवत्ता सीधे उन की गुणवत्ता पर निर्भर करती है (3% खोज क्वेरीज़ सैडजस्ट की मदद से की जाती हैं)। इस तथ्य के कारण कि अक्सर खोज गुणवत्ता एक निश्चित समय के बाद ही खराब हो जाती है, सभी ग्राफ़ दो तराजू पर निर्मित होते हैं - पांच मिनट और दैनिक। इस प्रकार, जब तक वे उपयोगकर्ताओं की एक विस्तृत श्रृंखला पर ध्यान देने योग्य नहीं हो जाते, तब तक खोज के साथ संभावित समस्याओं का निदान और हल करना संभव हो जाता है।

यदि आपके पास प्रश्न खोज के क्षेत्र में समस्याओं को हल करने के लिए प्रश्न, विचार या अनुभव है, तो टिप्पणियों में चर्चा करें।

दिमित्री कलुगिन-बालाशोव
Mail.Ru मेल प्रोग्रामर

पुनश्च: सभी रेखांकन वास्तविक घटनाओं के आधार पर एक्सेल में व्यक्तिगत रूप से मेरे द्वारा किए गए थे।