कैसे Yandex.Mail आप क्या जरूरत को समझने के लिए शुरू किया

कुछ मिनट पहले, Yandex.Mail ने पत्र पढ़ने और लिखने के लिए एक नए दृष्टिकोण की घोषणा की। हमारा मानना ​​है कि आधुनिक मेल अब की तुलना में अधिक स्मार्ट होना चाहिए। उसे समझना चाहिए कि क्या लिखा गया है और तुरंत इसका जवाब देने में मदद करें। अपने उपयोगकर्ताओं को एक साथ कुछ करने देना बेहतर है। आप हमारी प्रेस रिलीज़ में नई सुविधाओं के बारे में थोड़ा और पढ़ सकते हैं। इस पोस्ट में हम यह बताना चाहते हैं कि आज घोषित सबसे महत्वपूर्ण नवाचारों में से एक कैसे काम करता है।

वास्तव में हमने क्या किया

क्या होगा अगर मेल आपके लिए पत्र की सामग्री से संबंधित नियमित काम करना शुरू कर दे? उदाहरण के लिए, यह एक महत्वपूर्ण घटना के बारे में नहीं भूलने में मदद करेगा, यह आपको समुद्र में आगामी प्रस्थान की याद दिलाएगा, यह आवश्यक लिंक और उपयोगी जानकारी प्रदान करेगा। भाषाविज्ञान विभाग में मेरे सहयोगियों ने एक बहुत ही विशेष तकनीक लागू की है, जो हमें उम्मीद है कि इस विचार को बदल देगा कि ई-मेल क्या है।

यह तकनीक आपको पत्र की सामग्री के लिए विशेष एल्गोरिदम को स्वचालित रूप से लागू करने और कुछ तथ्यों को कंप्यूटर-समझने योग्य संरचना के रूप में निकालने की अनुमति देती है। इसके लिए धन्यवाद, Yandex.Mail अब आपको अपने पत्र से संबंधित अधिक प्रासंगिक जानकारी बता सकता है।

उदाहरण के लिए, यदि पत्र में किसी घटना के लिए निमंत्रण है और यह इंगित करता है कि यह कहां होगा, तो हम इस स्थान को मानचित्र पर दिखाएंगे और खो जाने में मदद नहीं करेंगे।

पर्दे के पीछे कौन सी तकनीक है

तो, आपको एक मित्र का पत्र मिला, जहां वह आपको एक दिलचस्प सम्मेलन या एक फिल्म के लिए बुलाता है। कंप्यूटर के दृष्टिकोण से, यह पाठ बाइट्स के संग्रह से ज्यादा कुछ नहीं है। लेकिन एक व्यक्ति पाठ में प्रमुख वस्तुओं और छवियों को उजागर कर सकता है।

Yandex.Mail में एक पत्र का प्रसंस्करण इसकी प्राप्ति और बचत के समय भी शुरू होता है (हम इस प्रक्रिया को "बुकमार्क" कहते हैं)। स्पैम रक्षा सत्यापन के दौरान हेयोरिस्टिक एल्गोरिदम का उपयोग करता है और यह निर्धारित करता है कि यह किस प्रकार का हो सकता है: एक विमान के लिए एक इलेक्ट्रॉनिक टिकट, सोशल नेटवर्क से एक पत्र, एक व्यक्ति से एक पत्र, आदि।

पत्र को किस प्रकार सौंपा जाएगा, यह देखने के समय उसके पाठ - तथ्यों को निकालने के संदर्भ में इसे एक दस्तावेज कहा जाता है - एक या किसी अन्य हैंडलर को निष्कर्षण के लिए भेजा जाता है। फैक्ट हैंडलर सरल और तेज दोनों हो सकते हैं (उदाहरण के लिए, साधारण रेगुलर एक्सप्रेशन), और काफी जटिल।

कई तरीके जो मशीन को प्राकृतिक भाषा पाठ को समझने और एल्गोरिदम की इस विशेषता को लागू करने की अनुमति देते हैं, वे जानकारी निकालने के एक अधिक सामान्य कार्य का हिस्सा हैं। Yandex.Mail , Tomita parser का उपयोग करके ईवेंट निमंत्रण प्राप्त करता है , जो Masaru Tomita एल्गोरिथ्म पर आधारित है। इसकी पहुंच 2012 के अंत में खोली गई।

Tomita parser स्वयं संदर्भ-मुक्त व्याकरण लिखने का एक उपकरण है। इसकी मदद से, कोई भी टेम्प्लेट के एक सेट का वर्णन कर सकता है जिसके द्वारा पाठ को संरचित किया जाएगा। पार्सर कीवर्ड शब्दकोशों और नियमों के आधार पर काम करता है जो भाषाविद लिखते हैं। शब्दकोश काफी बड़े हो सकते हैं।

पत्र में घटनाओं को कैसे पहचाना जाता है

एक उदाहरण के रूप में पार्सर के काम पर विचार करें। आपको निम्नलिखित पाठ वाला एक ईमेल प्राप्त होगा:

"21 नवंबर 2013 को, नौजवान शोधकर्ताओं के लिए टाइपोलॉजी और व्याकरण पर दसवां सम्मेलन रूसी एकेडमी ऑफ साइंसेज (सेंट पीटर्सबर्ग) के भाषाई अध्ययन संस्थान में आयोजित किया जाएगा।"

टॉमिट में इस बात के सबूत हैं कि किसी निमंत्रण के शब्द "सबसे ऊपर" क्या हो सकते हैं। उदाहरण के लिए, क्रिया "आमंत्रित", "पास", "जगह ले" - यहाँ क्रिया "पास" का रूप है। "शीर्ष" में घटकों का एक सेट होता है जिसे भरना चाहिए। एक घटना प्राप्त करने के लिए, वाक्य में, वास्तविक क्रिया के अलावा, घटना का नाम और उसकी तारीख का संकेत दिया जाना चाहिए। क्रिया के मामले में "पास से गुजरना", घटना का नाम विषय होना चाहिए, अन्य संदर्भों में इसे अन्य वाक्यविन्यास भूमिकाओं द्वारा व्यक्त किया जा सकता है। उदाहरण के लिए, क्रिया "आमंत्रित" के लिए आवश्यक है कि घटना को जोड़ के रूप में व्यक्त किया जाए (सम्मेलन में आमंत्रित करें, यात्रा के लिए आमंत्रित करें)।

दिनांक और नाम के अलावा, घटना में एक स्थान और समय हो सकता है। संगठन और पते आंतरिक संरचना और शब्दकोशों द्वारा व्याकरण द्वारा प्रतिष्ठित हैं। उदाहरण के लिए, यदि नाम में "संस्थान, बैंक, होटल" कीवर्ड है, तो आश्रित शब्दों वाले इन कीवर्ड को कंपनी के रूप में निकाला जाएगा। ऊपर के उदाहरण में, "इंस्टीट्यूट ऑफ लिंग्विस्टिक स्टडीज ऑफ द रशियन एकेडमी ऑफ साइंसेज" को निकाला गया है।

घटना के बारे में जानकारी के साथ ब्लॉक Yandex.Mail इंटरफ़ेस में प्रदर्शित होता है उस समय जब संदेश पृष्ठ के ध्यान देने योग्य ऊपरी भाग में खोला जाता है। इस व्यवस्था के साथ, तथ्यों को निकालने का समय महत्वपूर्ण है - आप उपयोगकर्ता की विलंबता को काफी नहीं बढ़ा सकते हैं। मुझे स्वीकार करना चाहिए, हम पहले प्रयास में पर्याप्त प्रदर्शन हासिल करने में सफल नहीं हुए। शब्दकोष के साथ रूसी भाषा के पार्सर के अपने ज्ञान की मात्रा लगभग 1 जीबी है। हर सेकंड में लगभग 1,000 पत्र Yandex.Mail में प्रदर्शित किए जाते हैं, और उनमें से प्रत्येक के लिए आपको तथ्यों को उजागर करना होगा और उन्हें प्रदर्शन के लिए फ्रंट-एंड पर भेजना होगा। क्लाइंट की ओर से कैशिंग के सक्रिय उपयोग के बावजूद, सहमति समय को पूरा करने के लिए प्रबंधन अनुरोधों की संख्या बहुत बड़ी है।

Tomita एल्गोरिदम पाठ क्रमिक रूप से प्रक्रिया करते हैं। इसलिए, दस्तावेज़ जितना बड़ा होता है, उसे प्रोसेस करने में उतना ही अधिक समय लगता है। इसलिए, इसे गति देने के लिए, हम पाठ को कई भागों में तोड़ते हैं और उनमें से प्रत्येक को अलग-अलग एक समानांतर धारा में संसाधित करते हैं। इसके अलावा, हम वाक्यों की सीमाओं के साथ पाठ को तोड़ते हैं - इससे महत्वपूर्ण जानकारी खोने की संभावना कम हो जाती है। प्रतिक्रिया की दर बढ़ी है, लेकिन मौजूदा क्लस्टर के कंप्यूटिंग संसाधन डेटा की ऐसी धारा को संभालने के लिए पर्याप्त नहीं थे।

बेशक, तथ्यों को निकालने में शामिल मशीनों की संख्या में वृद्धि करना संभव था, लेकिन हमने टॉमिटा के सामने एक प्रारंभिक फिल्टर लगाने का फैसला किया, जो एक विशेष नियमित अभिव्यक्ति द्वारा निर्धारित करता है कि कोई घटना दस्तावेज़ में हो सकती है या नहीं। उत्तरार्द्ध मामले में, पाठ को पूर्ण निष्कर्षण के लिए भेजने की आवश्यकता नहीं है। इसके अलावा, हमने जानबूझकर इस तरह के एक रेक्सएक्सप को उठाया है, जो संभावित रूप से अधिक गलत सकारात्मकता देता है। पार्सर के अनुरोधों की संख्या आधी हो गई थी, और हम मशीनों को अनलोड करने और अन्य कार्यों के लिए संसाधनों को मुक्त करने में सक्षम थे।

ईवेंट 3.5% अक्षरों में सम्‍मिलित हैं और हर दिन हम एक मिलियन से अधिक ईवेंट से जानकारी निकालते हैं। अब हमारे मामले में लगभग 500 टेम्पलेट हैं, एक और 3,500 रास्ते में हैं, जो हमें काम की सटीकता को बढ़ाने में मदद करेगा।

इलेक्ट्रॉनिक टिकट को पार्स कैसे करें

घटनाओं के निष्कर्षण शुरू होने के कुछ समय बाद, हमने इस बारे में सोचा कि हम कैसे यांडेक्स की मदद कर सकते हैं। उपयोगकर्ता और विशेष रूप से प्रत्येक इलेक्ट्रॉनिक टिकट पर मौजूद जानकारी को दिखा सकते हैं। उदाहरण के लिए, आप एक पत्र में जाए बिना गंतव्यों की रिपोर्ट कर सकते हैं, इसके अलावा पत्रों की सूची में इलेक्ट्रॉनिक टिकट का चयन करें, या, उदाहरण के लिए, आगमन के शहर में मौसम दिखाएं।

सरल पाठ से युक्त टिकटों के लिए, हमने उसी टॉमिट पार्सर का उपयोग किया, हालांकि, बुकिंग सिस्टम और एयरलाइंस के अधिकांश पत्रों में html मार्कअप और लगभग कोई प्राकृतिक भाषा नहीं होती है। ऐसी परिस्थितियों में तोमिता अच्छी तरह से काम नहीं करती है, इसलिए हमने एक तकनीक के रूप में लिया, जो कि Yandex.Market में उत्कृष्ट साबित हुई। हम दस्तावेज़ के HTML मार्कअप का उपयोग एक एक्सएमएल टैग ट्री के रूप में करते हैं और विभिन्न प्रेषकों के लिए टेम्पलेट बनाते हैं। पेड़ को पार्स करने से पहले, हम अतिरिक्त रूप से दस्तावेज़ को संसाधित करते हैं और इसे सही xml दृश्य में लाते हैं।

इन पैटर्न के अनुसार, जिसमें मुख्य रूप से नियमित अभिव्यक्ति और xpath शामिल हैं, हम आवश्यक जानकारी का चयन करते हैं और उत्तर बनाते हैं। एक पेड़ तत्व का चयन करना हमेशा संभव नहीं होता है ताकि इसमें केवल आवश्यक जानकारी हो - लगभग एक तिहाई मामलों में, तत्व में महत्वपूर्ण जानकारी वाला एक वाक्य होता है। इसलिए हमने फिर से टॉमिता को याद किया और ऐसे वाक्यों को सुनाने के लिए व्याकरणों का एक समूह बनाया।

पत्र से टिकट के बारे में बुनियादी जानकारी निकालने के बाद, हम इसे यैंडेक्स में स्पष्ट करते हैं। अनुसूचियां, जिनमें हमेशा उड़ानों के बारे में सबसे अधिक प्रासंगिक जानकारी होती है। इस जानकारी के आधार पर, हम अन्य सेवाओं के डेटा के साथ टिकट को पूरक करते हैं: मौसम, विनिमय दर, हवाई अड्डे के लिंक और इलेक्ट्रॉनिक चेक-इन।

गोपनीयता के बारे में क्या?

Habr दर्शकों को कोई अन्य की तरह पता है कि किसी भी मेल में हर पत्र दर्जनों विभिन्न लिपियों द्वारा पार्स किया जाता है। स्पैम डिफेंस इतनी व्यवस्थित है - इसका काम अक्षरों के स्वत: विश्लेषण और संदेशों को स्पैम में स्थानांतरित करने या न करने के बारे में निर्णय लेने से कम हो जाता है।

तो यह टॉमिता के साथ है। हमने कई स्तर की सुरक्षा प्रदान की है ताकि आप शांत हो सकें: पाठ का विश्लेषण केवल मशीन द्वारा किया जाता है - बिना किसी मानवीय हस्तक्षेप के। अनुरोध के बारे में केवल सांख्यिकीय जानकारी सिस्टम लॉग में संग्रहीत है: रनटाइम, प्रकार और तथ्यों की संख्या, साथ ही निर्धारित फ़ील्ड की संख्या। पत्र का पाठ स्वयं को गुमनाम रूप में तथ्यों को निकालने के लिए प्रेषित किया जाता है - तकनीकी हेडर के बिना, प्रेषक और प्राप्तकर्ता को निर्दिष्ट किए बिना।

प्रणाली के प्रारंभिक प्रशिक्षण और व्याकरण के संकलन के साथ, मानव भागीदारी अपरिहार्य है - यह एक श्रमसाध्य प्रक्रिया है जिसे भाषाविद करते हैं। उसके लिए, हम खुले स्रोतों से ग्रंथों का उपयोग करते हैं, उदाहरण के लिए, LiveJournal या सामाजिक नेटवर्क पर टिप्पणियां। यदि पर्याप्त उदाहरण नहीं हैं, तो हम अपने कर्मचारियों को प्रशिक्षण और व्याकरण लेखन के लिए उपयुक्त पत्रों के उदाहरण भेजने के लिए कहते हैं। यह हमने एयरलाइन टिकट के साथ किया। इसके अलावा, हमने शीर्ष 30 एयरमेल डिस्पैचर्स को संकलित किया और पोस्ट ऑफिस को उनके साथ काम करने के लिए प्रशिक्षित किया। आप देख सकते हैं कि मेल में नवाचार कैसे दिखते हैं ।