एवरनोट पर खोज क्वेरी संकेत के अंदर एक नज़र

एवरनोट में सीनियर डेटा प्रोडक्ट इंजीनियर, ज़ीशा कुर्रिम्बॉय द्वारा पोस्ट किया गया



एवरनोट में शामिल होने के बाद, मैंने जो पहली चीज की, वह मैक के लिए एवरनोट में स्वचालित खोज संकेतों को लागू करने और लागू करने के बारे में सोच रही थी।

यहाँ अब यह कैसा दिखता है:



हम में से अधिकांश कभी-कभी इस तथ्य का सामना करते हैं कि हम एक क्वेरी को सटीक रूप से तैयार नहीं कर सकते हैं, जो खोज लाइन और ब्लिंकिंग कर्सर के साथ एक है। इस समस्या को हल करने के लिए, हमने आपके प्रकार के रूप में पेश किए गए डायनामिक खोज सुझावों को जोड़ा, जो उपयोगकर्ता के नोट्स के आधार पर बनते हैं।

इस लेख में मैं एवरनोट में खोज युक्तियों के कार्यान्वयन की कुछ विशेषताओं को छूना चाहता हूं।

एवरनोट सर्च टिप्स किसी भी अन्य से अलग कैसे हैं?

हम में से कई लोगों के लिए, खोज संकेत रोजमर्रा की जिंदगी का एक अभिन्न हिस्सा बन गए हैं। सुझावों से पहले Google खोज क्या थी यह याद रखना इतना आसान नहीं है। इस तथ्य के बावजूद कि उन्हें बहुत पहले वितरण नहीं मिला था, हम पहले से ही सहज रूप से किसी भी खोज स्ट्रिंग से उपयुक्त क्वेरी विकल्पों की एक ड्रॉप-डाउन सूची की अपेक्षा करते हैं जो हम देखते हैं।

तो उपस्थिति के समान, विभिन्न सेवाओं के संकेत वास्तव में अलग-अलग तरीकों से काम करते हैं। Google अपने खोज प्रश्नों के बढ़ते डेटाबेस से विकल्पों का निर्माण कर रहा है। इसलिए उपयोगकर्ता को उन विकल्पों के साथ प्रेरित किया जाता है जो अन्य लोग अक्सर उसके सामने देखते थे, लेकिन ये विकल्प उसके लिए बिल्कुल भी परिचित नहीं हो सकते हैं। हालांकि, यह मॉडल वेब खोज के लिए अच्छी तरह से काम करता है, जिसे दुनिया भर में सबसे विविध जानकारी मिलनी चाहिए।

एवरनोट में एक खोज के मामले में, हम अपनी खुद की जानकारी के बारे में बात कर रहे हैं। एवरनोट खोज परिणामों में, आप उन डेटा को देखते हैं जिन्हें आपने एक बार जोड़ा था, और हम इसका उपयोग युक्तियों को उत्पन्न करने के लिए करते हैं। हम नोटों के एक अलग सेट के साथ काम कर रहे हैं और अनधिकृत उपयोगकर्ताओं के डेटा के साथ उन्हें पूरक नहीं कर सकते। इस प्रकार, जबकि कई अन्य सेवाएं बिग डेटा समस्या के बारे में बात कर रही हैं, एवरनोट लाखों और लाखों छोटे डेटा समस्याओं का सामना कर रहा है। प्रत्येक उपयोगकर्ता की तरह प्रत्येक डेटा सेट अद्वितीय है।

एक और अंतर सामग्री का प्रकार है जिसका उपयोग हम संकेत बनाने के लिए करते हैं। कई सेवाएं जो खोज संकेत का समर्थन करती हैं, एक परिमित (यद्यपि बड़े) सेट से असतत क्वेरी विकल्प प्रदान करती हैं - इन्हें पहले खोज क्वेरी, लोगों, कंपनियों आदि में दर्ज किया जा सकता है। एवरनोट में, संरचित और किसी भी सामग्री से संकेत निकाले जा सकते हैं। और नहीं, जो आपके किसी भी नोट और किसी भी भाषा में मौजूद है। सिस्टम स्वयं नोटों की सामग्री का विश्लेषण करके उपयोगकर्ता के लिए संकेतों की प्रासंगिकता निर्धारित करता है।

कार्यान्वयन प्लेटफ़ॉर्म चुनना

हम एक क्रॉस-प्लेटफ़ॉर्म सेवा पर काम कर रहे हैं और एवरनोट उपयोगकर्ताओं को उन सभी उपकरणों पर काम करने में समान रूप से सहज बनाने की कोशिश करते हैं जो उन्हें पसंद हैं। इसलिए, हमें शुरुआत में प्रॉम्प्ट को लागू करने के लिए एक प्लेटफ़ॉर्म चुनते समय एक कठिन निर्णय लेना था, यह चुनना कि क्या सर्वर पर एक सिस्टम बनाना है ताकि सभी क्लाइंट पर तुरंत इसका उपयोग करने की क्षमता हो, या किसी एकल क्लाइंट में मूल कार्यान्वयन के साथ शुरू हो सके। हमने दूसरा विकल्प चुना और मैक के साथ कई कारणों से शुरू किया।

• हम खोज संकेत चाहते थे, साथ ही साथ अन्य खोज कार्यक्षमता, ऑफ़लाइन उपलब्ध होना चाहते थे।
• हम मंच का लाभ उठाना चाहते थे। मैक ओएस भाषाई एपीआई का एक प्रभावशाली सेट प्रदान करता है जिसका उपयोग हम कार्य को पूरा करने के लिए कर सकते हैं।
• हम उत्पादकता और उपयोगकर्ता अनुभव सुनिश्चित करना चाहते थे, भले ही इसका मतलब था कि हमें खुद पर अधिक काम करना था।

विवरण

तीन मुख्य घटक जो इस कार्यक्षमता को रेखांकित करते हैं, वे हैं शब्दों का सूचकांक, संकेतों का निर्माण और उनका निष्कर्षण।

शब्दों का सूचकांक
खोज संकेत एक उल्टे सूचकांक में संग्रहीत होते हैं, मुख्य खोज सूचकांक से अलग होते हैं। हमने स्वयं खोज सूचकांक का उपयोग करने की संभावना पर विचार किया, लेकिन पाया कि यद्यपि सैद्धांतिक रूप से इसे एक आधार के रूप में लिया जा सकता है, यह व्यक्तिगत कीवर्ड की खोज पर भी केंद्रित है, और आउटपुट बहुत कम गुणवत्ता के संकेत देता है।

इसलिए हमारे सूचकांक में, हमने प्रत्येक शब्द को नोटों की एक सूची से जोड़ा है जिसमें यह शामिल है।

टूलटिप्स बनाएँ
उपयोगकर्ता द्वारा खोज बार में लिखना शुरू करने से पहले ही खोज संकेत का तंत्र काम करना शुरू कर देता है। हर बार जब आप नोट बनाते हैं, संशोधित करते हैं, या हटाते हैं, तो हम शीर्षक, टैग, और नोट की सामग्री से संभावित संकेतों की एक सूची तैयार करते हैं, जो तब उल्टे सूचकांक में क्रमबद्ध होते हैं।

यह निम्नानुसार काम करता है।

हम एक नोट के पाठ में अलग-अलग शब्द ढूंढकर शुरू करते हैं। शब्द फिल्टर की एक श्रृंखला से गुजरते हैं जो पाठ को सामान्य करते हैं (उदाहरण के लिए, लोअरकेस, डाइक्रिटिक्स को खत्म करते हैं) और स्टॉप शब्द (बहुत आम) को हटा दें। फ़िल्टर किए गए शब्दों को फिर वाक्यांशों में वर्गीकृत किया जा सकता है जो किसी विशेष पाठ के लिए प्रासंगिक हो सकता है। अंत में, फिल्टर से गुजरने वाले शब्दों और वाक्यांशों को सूचकांक प्रविष्टियों के रूप में क्रमबद्ध किया जाता है।

इस कदम पर, कुछ भाषाओं की विशेषताओं पर विचार करना भी आवश्यक है। उदाहरण के लिए, चीनी और जापानी एक दूसरे से शब्दों को अलग करने के लिए रिक्त स्थान का उपयोग नहीं करते हैं। इसलिए, शब्द सीमाओं को खोजने के लिए अधिक जटिल एल्गोरिदम लागू करना आवश्यक है। यह समस्या और भी दिलचस्प (और अधिक कठिन) हो जाती है, यह देखते हुए कि नोट में एक साथ कई भाषाओं में प्रविष्टियाँ हो सकती हैं।

और निश्चित रूप से, पूरी प्रक्रिया को पृष्ठभूमि में जगह लेनी चाहिए, वर्तमान में सिस्टम के निर्बाध संसाधनों का उपयोग करके, और उपयोगकर्ता के साथ हस्तक्षेप नहीं करना चाहिए।

पुनः प्राप्त संकेत
हम खोज करने के लिए तैयार हैं - अब क्या हो रहा है? जब उपयोगकर्ता खोज बार में पाठ दर्ज करना शुरू करता है, तो हिंट एक्सट्रैक्शन सिस्टम सबसे पहले उन नोटों के सेट को निर्धारित करता है जो संदर्भ द्वारा इनपुट क्वेरी में आते हैं और उपयोगकर्ता के लिए देख रहे नोटबुक और लेबलों के संयोजन को संतुष्ट करते हैं। फिर, संभावित क्वेरी एंडिंग का एक सेट प्राप्त करने के लिए खोज क्वेरी में दर्ज किए गए भाग को संकेत सूचकांक में खोजा जाता है। अंत में, हम उन सभी छोरों को फ़िल्टर करते हैं जो प्रासंगिक रूप से प्रासंगिक नोटों में नहीं आते हैं।

फिर हम प्रत्येक संकेत का मूल्यांकन करते हैं और इसे TF-IDF पर आधारित एक विशेष सूत्र के अनुसार प्रासंगिकता से रैंक करते हैं। सबसे उच्च श्रेणीबद्ध युक्तियां फाइनल में जाती हैं, जहां बहुत समान युक्तियां (उदाहरण के लिए, "आइस स्केट" और "आइस स्केटिंग") संयुक्त हैं।

कई मायनों में, यह घटक सबसे जटिल है, लेकिन यह सबसे तेज़ भी होना चाहिए, क्योंकि उपयोगकर्ता को एक सेकंड से भी कम समय में परिणाम देना आवश्यक है। इसलिए, प्रदर्शन के संदर्भ में, हमने संकेत प्रणाली के इस हिस्से पर विशेष ध्यान दिया।

आगे क्या है

यदि आप मैक के लिए एवरनोट के साथ काम कर रहे हैं और अभी तक इस सुविधा की कोशिश नहीं की है, तो मैं वास्तव में चाहूंगा कि आप इसके साथ काम करें और अपने छापों के बारे में बताएं।

भविष्य में, हम इस कार्यक्षमता को कुछ अन्य एवरनोट ग्राहकों के साथ जोड़ देंगे।