उद्यम परियोजनाओं में लोचदार खोज

इस लेख के ढांचे में, मैं आंतरिक 2GIS उत्पादों में इलास्टिक खोज का उपयोग करने का अनुभव साझा करूंगा, विशेष रूप से, कॉल सेंटर के आयोजन के लिए अपने स्वयं के सिस्टम में। और मैं आपको यह भी बताऊंगा कि इस खोज इंजन का उपयोग करके हम किन समस्याओं को हल करने में सक्षम थे।



2 जीआईएस के आंत्रों में एक इन्फोरसिया परियोजना है, जिसके साथ ऑपरेटर संगठनों के कार्ड को कॉल और सत्यापित करते हैं। डेटाबेस में रूसी संगठनों के डेटा के साथ 4 मिलियन कार्ड हैं, जिसका कुल आकार 150 जीबी से अधिक है। डेटा को एक रिलेशनल डेटाबेस में संग्रहीत किया जाता है, आंशिक रूप से टेबल में, आंशिक रूप से xml- फ़ील्ड में।

समस्याओं और कार्यों की सूची जिन्हें हल करने की आवश्यकता है:
1. मापदंड की एक बड़ी संख्या के आधार पर खोजें।
2. पूर्ण रीइन्डेक्सिंग के बिना इंडेक्स में जानकारी जोड़ें।
3. तालिकाओं को लॉक किए बिना डेटा अपलोड करें।
4. आधार पर लोड कम करें, बड़ी ज्वाइन टेबल निकालें।
5. विकास में प्रमुख निवेश के बिना बहुभाषी खोज का समर्थन करें।

उपलब्ध समाधानों का विश्लेषण करने के बाद, हमने इलास्टिक को चुना, क्योंकि यह अधिकांश आवश्यकताओं को पूरा करता है।

एनालिटिक्स के आधार पर, आवश्यकताएँ निम्नानुसार थीं।

कार्यात्मक आवश्यकताएँ:

1. मापदंड द्वारा खोजें (एक मान या मूल्यों की सूची पर सटीक मिलान)।
2. रेंज (संख्या, दिनांक) द्वारा खोजें।
3. पूर्ण-पाठ खोज (आकारिकी, टेम्पलेट (वाइल्डकार्ड))।
4. बूलियन खोज (AND / OR द्वारा खोज मापदंड का संयोजन)।

गैर-कार्यात्मक आवश्यकताएं:

1. विश्वसनीयता (वितरित सूचकांक के लिए समर्थन)।
2. स्केलेबिलिटी (कई सर्वरों को वितरित करने और बॉक्स से बाहर सभी आवश्यक बुनियादी ढांचे का समर्थन करने की क्षमता)।
3. "वास्तविक" समय मोड में इंडेक्सिंग (नए डेटा को "उचित" समय में सूचकांक के पूर्ण पुनर्निर्माण के लिए स्पष्ट आवश्यकता के बिना अनुक्रमित किया जाना चाहिए)।
4. विन्यास (विशेष रूप से, अतिरिक्त विशेषताओं को अनुक्रमित करने के लिए इसके पूर्ण पुनर्निर्माण की आवश्यकता के बिना सूचकांक में नए क्षेत्रों को जोड़ना आवश्यक है)।
5. उपयोग में आसानी (वांछित मंच / भाषा के लिए "ग्राहकों की उपस्थिति", सार्वजनिक प्रोटोकॉल का उपयोग, उदाहरण के लिए, HTTP)।
6. प्रदर्शन (क्या प्रतिक्रिया समय 300 ऑपरेटरों के ऑनलाइन लोड के साथ प्रदान किया जाना चाहिए, डेटा की राशि - रूस के सभी)।
7. स्वामित्व / समर्थन की लागत।

खोज इंजन की भूमिका के लिए मुख्य उम्मीदवार ElasticSearch, Solr और Sphinx हैं।
सोलर फिट नहीं हुआ क्योंकि ऑनलाइन इंडेक्सिंग के साथ, खोज की गति काफी कम हो जाती है (अधिक विवरण के लिए, लेख देखें )। नीचे दी गई तस्वीर इस तथ्य को दर्शाती है। आप एक लेख भी पढ़ सकते हैं जो सोलर बनाम इलास्टिकसर्च को विस्तार से बताता है।



हमारे द्वारा समीक्षा की गई अगला उम्मीदवार स्फिंक्स है। ElasticSearch तेज, प्रतिकृति, जटिल प्रश्नों की रचना और खोज से मूल डेटा निकालने की क्षमता के कारण जीता।

खोज

बहुत पहले प्रोटोटाइप, जो ईएस के आधार पर खोज के लिए बनाया गया था, इतना अच्छा निकला कि यह तुरंत एक मुकाबला एप्लिकेशन में चला गया और अभी भी वहां रहता है।

जब परियोजना शुरू हो रही थी, तो ES के पास अभी तक रिवर मैकेनिज्म नहीं था, इसलिए हमने डेटाबेस को फिर से तैयार करने के लिए अपना काम लिखा।



सेवा बदली गई संस्थाओं के बारे में डेटा लेती है और उन्हें ईएस इंडेक्स में जोड़ देती है जब तक कि यह पूरी कतार को संसाधित न कर दे। तेजी से लोड करने के लिए, आप निम्नलिखित अनुकूलन लागू कर सकते हैं:

1. बल्क ऑपरेशन का उपयोग करें।
2. रिफ्रेश_ इन्टरवल पैरामीटर को -1 पर सेट करें।

यह पैरामीटर ES में आंतरिक रिइंडेक्सिंग के समय के लिए जिम्मेदार है। सभी डेटा खोज में लोड होने के बाद, आपको डिफ़ॉल्ट मान वापस करना होगा। इस पद्धति का उपयोग करते हुए, हम जो कुछ भी डाउनलोड करते हैं उसका विश्लेषण नहीं किया जाएगा और, तदनुसार, जब तक आंतरिक रीइन्डेक्सिंग नहीं होता तब तक खोज योग्य नहीं होगा।

हमारी परियोजना में खोज ऑनलाइन अनुक्रमित होती है, एक बार में हम 100 कार्डों को अनुक्रमित करते हैं।

इंडेक्स में डेटा होने के बाद हम उसकी खोज कर सकते हैं।
हम उन समस्याओं को हल करते हैं जिनके लिए लोचदार खोज का उपयोग करके विभिन्न मापदंडों द्वारा त्वरित खोज की आवश्यकता होती है।

उदाहरण के लिए, डेटाबेस में 4 मिलियन कार्ड होने पर, आपको सभी कार्ड फोन को देखने और उसी फोन को खोजने की आवश्यकता है (हमारी डेटा योजना में, फोन xml क्षेत्र के अंदर संग्रहीत किए जाते हैं)। MS SQL डेटाबेस के लिए ऐसी क्वेरी 10-15 मिनट तक होती है। इलास्टिक खोज इस कार्य को मिलीसेकेंड के मामले में संभालती है।

इसलिए, मुख्य मामले जिन्हें हमने लोचदार खोज का उपयोग करके तय किया:

उन कार्डों की खोज करें जिनका पता समान है (कार्ड संपादन विंडो में)

जब एक इमारत में एक नया कार्ड स्थापित किया जाता है, तो ऑपरेटर देखता है कि इस इमारत में अन्य संगठन क्या हैं और पास के संगठनों की जानकारी को सत्यापित कर सकते हैं।

उन कार्डों की खोज करें जिनके पास एक ही फोन है

ऐसा भी होता है कि कई संगठनों को एक टेलीफोन नंबर द्वारा सत्यापित किया जा सकता है, इसलिए हम दिखाते हैं कि किन अन्य कार्डों में समान संपर्क है।

खोज प्रपत्र में खोज कार्ड

अन्य बातों के अलावा, एप्लिकेशन में एक खोज फ़ॉर्म है जो आपको बड़ी संख्या में मानदंडों द्वारा खोज करने की अनुमति देता है। इस फॉर्म का उपयोग संगठनों के सामंजस्य, गुणवत्ता नियंत्रण आदि की योजना बनाने के लिए किया जाता है।

प्रत्येक टैब में, खोज इंजन के लिए क्वेरी के लिए एक और 4-5 पैरामीटर।



इस तरह के कई क्षेत्रों पर एक संबंधपरक डेटाबेस में अनुक्रमणिका बनाने के लिए बल्कि बेकार है, इसलिए इलास्टिक ने हमें इस समस्या को हल करने में मदद की।

डेटा अपलोड

एक्सेल में डेटा अपलोड करने के लिए एप्लिकेशन के व्यावसायिक मामलों में से एक समर्थन है। विभिन्न विशेषज्ञों द्वारा अनलोडिंग का उपयोग एकत्रित आंकड़ों की गुणवत्ता का विश्लेषण करने और सूचना संग्रह विशेषज्ञों के काम की योजना बनाने के लिए किया जाता है।

Excel में खोज से डेटा निर्यात करने के लिए, हम ES का भी उपयोग करते हैं। यह बहुत सुविधाजनक है, क्योंकि लोचदार डेटा लाने के लिए एक विशेष मोड का समर्थन करता है - स्क्रॉल।
स्क्रॉल मोड आपको खोज क्वेरी के परिणामों को "ठीक" करने और छोटे भागों में इन परिणामों को प्राप्त करने की अनुमति देता है।

इस मोड में कई सीमाएँ हैं। उदाहरण के लिए, आप डेटा को सॉर्ट नहीं कर सकते हैं (वास्तव में, आप कर सकते हैं, लेकिन प्रदर्शन और मेमोरी खपत में गिरावट के साथ)।

हमारे परीक्षणों से पता चला है कि हम एक दिन में पूरे 2GIS डेटाबेस को एक्सेल फाइल में अपलोड कर सकते हैं।

इतनी बड़ी मात्रा के अनलोडिंग का आयोजन करते समय, रिपॉजिटरी में सभी आवश्यक डेटा की उपलब्धता का बहुत महत्व है। इस प्रकार, हम Elastic को NoSQL भंडारण के रूप में उपयोग करते हैं, जिसमें केवल अपलोड करने के लिए आवश्यक डेटा गैर-अनुक्रमणीय क्षेत्रों में संग्रहीत किया जाता है।



स्क्रीनशॉट से पता चलता है कि सूचकांक में असामान्य डेटा है, हम कार्ड के साथ शहर की आईडी और उसके नाम को संग्रहीत करते हैं।

इसके अलावा, आप नेस्टेड एंटिटी बना सकते हैं, उदाहरण के लिए, काम के घंटे और हेडिंग जिसमें संगठन स्थित है।

यूरोपीय भाषा समर्थन

इस आइटम को अलग से चिह्नित करना चाहिए। इतना समय पहले नहीं, 2GIS ने कई अंतर्राष्ट्रीय प्रोजेक्ट लॉन्च किए। प्राग , लिमासोल , पडुआ का समर्थन करने के लिए , हमें खोज प्रश्नों को परिष्कृत करने की आवश्यकता नहीं थी। हमने केवल कार्ड को इंडेक्स में लोड किया और खोज ने खुद काम किया।

हाल ही में, हमारे पास डायक्टिक्स पर आधारित खोज का समर्थन करने के लिए थोड़ा परिष्कृत प्रश्न हैं, लेकिन, वास्तव में, यह अंतर्निहित इलास्टिक फ़ंक्शन है।

विश्वसनीयता और लचीलापन

इलास्टिक दोनों को तेज करने और एक क्लस्टर में कई नोड्स की स्थापना का समर्थन करता है। अब हमने दो नोड्स के एक समूह को इकट्ठा किया है जो 300 लोगों को ऑनलाइन सेवा प्रदान करता है।

2 साल के ऑपरेशन के लिए, सर्च इंजन के साथ समस्या केवल वर्चुअल मशीन के गिरने या बुनियादी ढांचे के साथ अन्य समस्याओं के कारण हुई। किसी भी खोज इंजन की तरह, इलास्टिक को अच्छी ड्राइव और रैम पसंद है, इसलिए यह अनुशंसा की जाती है कि आप तनाव परीक्षण के दौरान इन मापदंडों पर विशेष ध्यान दें।

निष्कर्ष

लोचदार खोज पूरी तरह से खोज इंजन के लिए हमारी आवश्यकताओं को पूरा करता है और हमें जल्द से जल्द एक महत्वपूर्ण व्यवसाय सुविधा को लागू करने की अनुमति देता है। विश्वसनीयता, गति और उपयोग में आसानी - ये ऐसे शब्द हैं, जिनके संयोजन ने हमें उसकी दिशा में चुनाव करने की अनुमति दी। बेशक, बाजार पर अन्य समाधान हैं जो इस लेख के दायरे से परे हैं। लेख का उद्देश्य यह दिखाना था कि मुक्त इलास्टिक खोज का उपयोग करके व्यावसायिक अनुप्रयोगों में कौन से कार्य बंद किए जा सकते हैं।

इलास्टिक के साथ हमारे सकारात्मक अनुभव को ध्यान में रखते हुए, अन्य आंतरिक टीमों ने अपनी परियोजनाओं में इस खोज इंजन का उपयोग करना शुरू कर दिया।