Django + स्फिंक्स = django-sphinx (?)

जब हमने Django-बैटरियों के बारे में हैबर के लिए अपना आखिरी लेख तैयार किया, तो यह पता चला कि हमारे पास अभी भी django-sphinx के बारे में बताने के लिए कुछ है और हमारी कहानी एक अलग पोस्ट की ओर आकर्षित करती है। वास्तव में, यहाँ वह वादा किया गया है।

आज, Django में खोजों के आयोजन के लिए कई अच्छे समाधान हैं। कुछ दो हैं: हेडस्टैक और डीजेंगो-स्फिंक्स । हेस्टैक सॉल, होश और हैपियन बैकएंड के साथ काम करता है, और, अफसोस, कुछ सार लाइसेंसिंग कारणों से स्फिंक्स के साथ काम नहीं करता है। django-sphinx, जैसा कि आप अनुमान लगा सकते हैं, केवल Sphinx के साथ काम करता है। हेडस्टैक एक उच्च गुणवत्ता वाला, अच्छी तरह से प्रलेखित और सक्रिय रूप से विकसित उत्पाद है, और हमें इसमें कोई संदेह नहीं है कि यह किसी भी तरह से स्फिंक्स का समर्थन करता है। लेकिन यह, अफसोस, अभी तक नहीं हुआ है। और स्फिंक्स हमारी सब कुछ है, इसकी गति, लचीलेपन के लिए धन्यवाद और, जो हमारे भौगोलिक अक्षांशों में बहुत महत्वपूर्ण है, रूसी आकृति विज्ञान की ख़ासियत को ध्यान में रखने की क्षमता, जिसे इसके निकटतम प्रतियोगियों के बारे में नहीं कहा जा सकता है। "बड़ा, लेकिन 5 ... या छोटा, लेकिन 3?"



चूंकि खोज परिणामों की गुणवत्ता अभी भी महत्वपूर्ण है, इसलिए खोज इंजन चुनने का सवाल कोई बड़ी बात नहीं थी। और django-sphinx के अलावा अब प्रकृति में "jangosphinx" कुछ भी नहीं है, बैटरी की पसंद पहले से पूर्व निर्धारित थी। तो:

अच्छा:

• स्फिंक्स एपीआई के लिए पूर्ण समर्थन <= 0.9.9
• मॉडल प्रबंधक (SphinxSearch) के माध्यम से खोज क्वेरी, आप सीधे मॉडल विवरण में फ़ील्ड या इंडेक्स नाम जैसे वजन निर्दिष्ट कर सकते हैं
• निर्दिष्ट मापदंडों के आधार पर स्वतः स्फिंक्स-कॉन्फिगरेशन उत्पन्न कर सकता है
• आउटपुट में pseudo`queryset (SphinxQueryset), जो आउटपुट के साथ आगे के काम के लिए सुविधाजनक है

खराब:

• चेनिंग विधियाँ नई खोज क्वेरी उदाहरण (नीचे उदाहरण) उत्पन्न नहीं करती हैं
• मूल django-sphinx पैकेज में कुछ कष्टप्रद खुले बग (उदाहरण के लिए, अपवर्जित विधि का उपयोग करते समय अपवाद), हालांकि वे हमारे कांटे में तय किए गए हैं
• कोई भी परीक्षण नहीं, तिरछा प्रलेखन
• पैकेज समर्थित नहीं है और अब इसके लेखक द्वारा विकसित नहीं किया जा रहा है

आप निश्चित रूप से, स्फिंक्स की डिलीवरी में शामिल पायथन एपीआई का उपयोग कर सकते हैं, जिसने हमें सिर्फ मैजिक 4 एक्स की पेशकश की थी । हालांकि, एक तीसरा विकल्प है - अपनी खुद की बैटरी लिखने के लिए, लाठी परीक्षण और प्रलेखन के साथ।

दूसरी ओर, सब कुछ इतना बुरा नहीं है। Django-sphinx को विभिन्न प्रकार की परियोजनाओं में सफलतापूर्वक उपयोग किया जाता है और, बड़े और काम के साथ मुकाबला करता है। आइए वास्तविक दुनिया से एक उदाहरण देखें।

एक निश्चित मॉडल है जिसके लिए हम खोज को व्यवस्थित करना चाहते हैं:

class Post(models.Model): ... title = models.CharField(_(u''), max_length=1000) teaser_text = models.TextField(_(u''), blank=True) text = models.TextField(_(u'')) ... #  django-sphinx search = SphinxSearch(weights={'title': 100, 'teaser_text': 80, 'text': 90}) ... 

मुख्य कारणों में से एक है कि हम django-sphinx का उपयोग करते हैं, न कि Sphinx API, वास्तविक लड़कों की तरह, django-sphinx की क्षमता है कि वह हमारे लिए उस डेटा के आधार पर स्वचालित रूप से एक स्फिंक्स कॉन्फिगरेशन उत्पन्न कर सकता है जो हम मॉडल में निर्दिष्ट करते हैं। इसके लिए, एक विशेष प्रबंधन कमांड generate_sphinx_config है । इसका उपयोग करना सरल है:

 $ ./manage.py generate_sphinx_config --all > absolute_path_to_config_file.conf 

वैसे, आप अपने स्वयं के सेट बना सकते हैं, जिसके द्वारा कॉन्फ़िगरेशन उत्पन्न किया जाएगा। इन टेम्प्लेटों में, आप खोज मोड , रूसी को निर्दिष्ट कर सकते हैं, इत्यादि, फिर कॉन्फ़िगर को हाथ से ठीक करने की आवश्यकता नहीं है। सुविधाजनक।

अब हमें खुद ही सर्च इंजन डेमॉन शुरू करने की जरूरत है। Django-sphinx का कॉन्फ़िगरेशन के इस भाग से कोई लेना-देना नहीं है, Sphinx बॉक्स से प्रोग्राम का उपयोग किया जाता है।

 $ sudo searchd --config absolute_path_to_our_config_file.conf 

पहली शुरुआत में, खोज ने शपथ ली कि कोई सूचकांक नहीं है और इसका कोई लेना-देना नहीं है। इंडेक्स टेबल बनाने के लिए, हमें इंडेक्स प्रोग्राम प्रदान किया जाता है, जो सबसे सरल स्थिति में इस तरह से शुरू होता है:

 $ sudo indexer --config absolute_path_to_our_config_file.conf --all --rotate 

वह सब है। बेशक, आप इन सरल कार्यों के लिए भी लिख सकते हैं सरल प्रबंधन टीम जो प्रत्येक डेवलपर को अपने स्वयं के कॉन्फ़िगरेशन और सिस्टम में अपने स्वयं के स्फिंक्स उदाहरण के लिए बनाएगी। निजी तौर पर, हमने किया।

तो आप अपनी खोजों को कैसे डिज़ाइन करते हैं? विन्यास निर्माण के अलावा django-sphinx क्या कर सकता है?

उदाहरण के लिए, कुछ दृश्य में आपको खोज क्वेरी ऑब्जेक्ट प्राप्त करने की आवश्यकता होती है। यह करना बहुत आसान है:

 ... user_query = self.request.GET['query'] #   result = Post.search.query(user_query) ... 

हमें खोज परिणाम और कुछ उपयोगी विधियों और विशेषताओं के साथ एक छद्म 'क्वेरी-ऑब्जेक्ट परिणाम मिलता है। उदाहरण के लिए, स्फिंक्स स्वतंत्र रूप से खोज इंजन परिणाम स्निपेट बना सकता है जिसे थोड़ा भी अनुकूलित किया जा सकता है।

 passages_opts = {'before_match': '<span style="background-color: yellow">', 'match': '</span>', 'chunk_separator': '...', 'around': 10, 'single_passage': True, 'exact_phrase': True, } result = result.set_options(passages=True, passages_opts=passages_opts) 

यह कोड क्या करता है इसका अनुमान लगाना आसान है और इसमें कुछ भी असामान्य नहीं है। हालांकि, यदि आपको चयन के आगे छानने की आवश्यकता है (जो लगभग निश्चित रूप से मामला है), तो यहां ड्रेगन हो सकते हैं। सब कुछ पूरी तरह से अप्रत्याशित तरीके से काम करना शुरू कर देता है।

बागोफाक नंबर १
अपवर्जित और फ़िल्टर विधियों का उपयोग करने के लिए, पहले से फ़िल्टर्ड ऑब्जेक्ट्स की id की anhiki को इकट्ठा करना और उन्हें विशेषताओं के अनपैक्ड डिक्शनरी के रूप में पास करना आवश्यक है (उदाहरण के साथ दिखाना आसान):

 excluded_obj_id_list = [post.id for post in result if post.is_published] filtered_result = result.exclude(**{'@id__in': excluded_obj_id_list}) 

और इसके बारे में सबसे अप्रत्याशित बात यह है कि आखिरी ऑपरेशन से उम्मीद के मुताबिक काम नहीं होगा। ईमानदारी से, यह बिल्कुल भी काम नहीं करेगा, कोई बहिष्कृत नहीं होगा।

बागोफिका नंबर २
सब कुछ काम करता है जैसा कि आप केवल उसी तरीकों की श्रृंखला के भीतर उम्मीद करते हैं।

 filtered_result = Post.search.query(user_query).exclude(**{'@id__in': excluded_obj_id_list}) 

और यह, ज़ाहिर है, सबसे कुशल और पारदर्शी कोड उत्पन्न नहीं करता है।

बागफिचा नंबर 3
स्फिंक्स में विभिन्न खोज मोड हैं। उदाहरण के लिए, हम मोड को 'SPH_MATCH_ANY' में सेट करना चाहते हैं (किसी भी क्वेरी शब्दों से मेल खाता है)। यदि आप मॉडल में ही ऐसा करते हैं, तो सब कुछ अच्छा काम करता है।

 search = SphinxSearch(weights={'title': 100, 'teaser_text': 80, 'text': 90}, mode='SPH_MATCH_ANY') 

यदि हम तर्क में ऐसा करते हैं, जहां हम स्निपेट्स की पीढ़ी और उनकी सेटिंग्स को चालू करते हैं, तो सब कुछ भी अच्छा होता है ...

 result = Post.search\ .query(user_query)\ .exclude(**{'@id__in': excluded_obj_id_list})\ .set_options(passages=True, passages_opts=passages_opts, mode='SPH_MATCH_ANY) 

... लेकिन आपको स्निपेट नहीं दिखेंगे। इसलिए, केवल मॉडल में खोज मोड निर्दिष्ट करें।

टेम्पलेट्स में, सब कुछ काफी तुच्छ है। इसलिए, उदाहरण के लिए, स्निपेट प्रदर्शित किए जाते हैं:

 {% for post in search_results %} <div class="g-content"> <a href="{{ post.get_absolute_url }}" class="b-teaser__descr__snippet-link"> {{ post.sphinx.passages.text|safe }} </a> </div> {% endfor %} 

उल्लिखित "सुविधाओं" ने बहुत खून पी लिया और मुझे उम्मीद है कि यह पोस्ट आपके कुछ समय और तंत्रिकाओं को बचाएगा।

और अंत में। दिसंबर 2011 में, स्फिंक्स की पहली नई रिलीज पिछले कुछ वर्षों में जारी की गई थी - संस्करण 2.0.3। django-sphinx भी केवल 0.9.7, 0.9.8 और 0.9.9 संस्करणों के साथ "काम करता है"।

---

1) स्फिंक्स - sphinxsearch.com
2) मूल django-sphinx - github.com/dcramer/django-sphinx
3) कुछ निश्चित कीड़ों के साथ हमारा कांटा - github.com/futurecolors/django-sphinx