स्फिंक्सचर्च में खोज प्रासंगिकता में सुधार

Sphinxsearch तेजी से फुलटक्सटच के लिए एक खोज इंजन है, यह mysql, oracle और mssql से डेटा प्राप्त कर सकता है, यह एक रिपॉजिटरी (realtime indexes) के रूप में कार्य कर सकता है। इसके अलावा, स्फिंक्स में एपि के माध्यम से और स्फिंक्सक् के माध्यम से ऑपरेशन का एक तरीका है - एसक्यूएल प्रोटोकॉल का एक एनालॉग (कुछ प्रतिबंधों के साथ), जो आपको न्यूनतम कोड परिवर्तन के साथ साइट पर स्फिंक्स के माध्यम से खोज को जोड़ने की अनुमति देता है। यह रूस में विकसित कुछ महान, बड़ी और खुली परियोजनाओं में से एक है। मैंने अपने जीवन में देखा कि कैसे स्फिंक्स mysql से 2 मिलियन रिकॉर्ड के लिए 100-200 खोज क्वेरी के बारे में प्रक्रिया करता है और उसी समय सर्वर ने स्वतंत्र रूप से सांस ली और बीमार महसूस नहीं किया, mysql एक समान कॉन्फ़िगरेशन पर पहले से ही 10 प्रश्नों पर प्रति सेकंड मरने लगता है।

स्फिंक्स प्रलेखन की मुख्य समस्या है, मेरी राय में, सबसे दिलचस्प सेटिंग्स के लिए उदाहरणों की एक छोटी संख्या, आज मैं उदाहरणों में उनके बारे में बात करने की कोशिश करूंगा। वे विकल्प जो मैं मुख्य रूप से एल्गोरिदम और खोज विविधता को कवर करूंगा। हर कोई जो स्फिंक्स के साथ मिलकर काम करता है, वह कुछ भी नया नहीं सीखेगा, और मुझे उम्मीद है कि शुरुआती लोग अपनी साइटों पर खोज की गुणवत्ता में सुधार करने में सक्षम होंगे।

स्फिंक्स में दो स्वतंत्र कार्यक्रम, इंडेक्सर और सर्चड शामिल हैं। पहला डेटाबेस से लिए गए डेटा पर इंडेक्स बनाता है, दूसरा निर्मित इंडेक्स को खोजता है। अब हम स्फिंक्स में खोज सेटिंग्स पर चलते हैं।

आकृति विज्ञान

आपको शब्दों के आकारिकी को निर्दिष्ट करने की अनुमति देता है, मैं केवल स्टेमिंग का उपयोग करता हूं। भाषा के लिए नियमों के सेट का उपयोग करते हुए, स्टेमिंग एल्गोरिथ्म अंत और प्रत्ययों को काटता है। स्टेमिंग तैयार किए गए शब्द आधारों का उपयोग नहीं करता है, लेकिन भाषा के लिए खतना के कुछ नियमों पर आधारित है, जो इसे छोटा और तेज बनाता है, लेकिन यह अपने नुकसान में भी जोड़ता है क्योंकि यह गलतियां कर सकता है।

रूसी में उपजी शब्द के सामान्यीकरण का एक उदाहरण।
शब्द "सेब", "सेब", "सेब" को "सेब" में काट दिया जाएगा और "सेब" शब्द की भिन्नता वाले किसी भी खोज क्वेरी को भी सामान्यीकृत किया जाएगा और ऊपर वर्णित शब्दों के साथ प्रविष्टियां पाएंगे।

अंग्रेजी के लिए, "कुत्ते" और "कुत्ते" शब्द "कुत्ते" के लिए सामान्यीकृत होंगे।
उदाहरण के लिए, स्फिंक्स में इसे शब्द को घुंघराले सूचकांक में रखना चाहिए, घुंघराले शब्द को सूचकांक में मिलेगा और घुंघराले, घुंघराले आदि रूपांतर होंगे।
आप रूसी, अंग्रेजी या दोनों भाषाओं के लिए स्टेमिंग सक्षम कर सकते हैं

आकृति विज्ञान = स्टेम_एएन
आकारिकी = तना_रू
आकारिकी = तना_नु

आप साउंडेक्स और मेटाफोन के विकल्पों का भी उपयोग कर सकते हैं जो वे आपको अंग्रेजी भाषा के लिए उपयोग करने की अनुमति देते हैं, शब्दों की ध्वनि को ध्यान में रखते हुए। मैं अपने काम में इन रूपात्मक एल्गोरिदम का उपयोग नहीं करता हूं, इसलिए यदि कोई उनके बारे में बहुत कुछ जानता है तो मुझे पढ़ने में खुशी होगी। रूसी भाषा के लिए, ऐसे एल्गोरिदम से "सूर्य" और "सूर्य" शब्द "सूर्य" का सामान्यीकृत रूप प्राप्त करना संभव होगा, जो इन शब्दों की ध्वनि और उच्चारण के आधार पर प्राप्त होता है।

आकृति विज्ञान = स्टेम_रेनु, साउंडेक्स, मेटाफोन

आप आकृति विज्ञान के लिए बाहरी इंजन कनेक्ट कर सकते हैं या अपना खुद का लिख ​​सकते हैं।

Wordforms

यह आपको अपने वर्डफ़ॉर्म शब्दकोशों को जोड़ने की अनुमति देता है, विशेष विषयगत साइटों पर अच्छी तरह से उपयोग किया जाता है, प्रलेखन में एक अच्छा उदाहरण है।

कोर 2 जोड़ी> सी 2 डी
e6600> c2d
कोर 2duo> c2d

आपको मॉडल से नाम विविधता के लिए किसी भी खोज क्वेरी के लिए कोर 2 जोड़ी के बारे में एक लेख मिलता है।

भांग> खरपतवार
डोप> खरपतवार
मेरा आकर्षण> खरपतवार
स्वतंत्रता घास> घास
क्या धूम्रपान> खरपतवार
वहाँ> घास है

और यह शब्दकोश आपके उपयोगकर्ता को साइट पर खरपतवार के बारे में आसानी से जानकारी प्राप्त करने की अनुमति देगा।

शब्द रूपों के लिए, ispell या MySpell फ़ाइलों का उपयोग किया जाता है (जो ओपन ऑफिस में किया जा सकता है)

wordforms = /usr/local/sphinx/data/wordforms.txt

enable_star

आपको प्रश्नों में तारांकन का उपयोग करने की अनुमति देता है, उदाहरण के लिए, अनुरोध पर * जनसंपर्क * प्रोस्पेक्टस, हैलो, सन्निकटन, आदि मिलेंगे।

enable_star = 1

expand_keywords

स्वचालित रूप से आपकी खोज क्वेरी को तीन क्वेरी में विस्तारित करता है

चल रहा है -> (चल रहा है। * * चल रहा है। = = चल रहा है)

आकृति विज्ञान के साथ एक शब्द, तारांकन के साथ एक शब्द और शब्द का पूरा मेल। पहले, यह विकल्प नहीं था और तारांकन के साथ खोजने के लिए मुझे मैन्युअल रूप से एक अतिरिक्त अनुरोध करना पड़ा, अब सब कुछ एक विकल्प के साथ चालू हो गया है। साथ ही, खोज और परिणाम की तुलना में स्वचालित मिलान खोज परिणामों में अधिक होगा।

Expand_keywords = 1

index_exact_words

अनुक्रमणिका में मूल शब्द को संग्रहीत करने के लिए रूपात्मक रूप से सामान्यीकृत रूप के साथ अनुमति देता है। यह सूचकांक के आकार को बहुत बढ़ाता है, लेकिन पिछले विकल्प को ध्यान में रखते हुए आपको परिणामों को अधिक प्रासंगिक प्रदर्शित करने की अनुमति देता है।

उदाहरण के लिए, तीन शब्द "कैंटालूप", "कैंटालूप", "कैंटलॉउप" हैं, इस विकल्प के बिना, सभी तीन शब्दों को इंडेक्स में कैंटलोप्स के रूप में संग्रहीत किया जाएगा और अनुरोध पर "कैंटालूप" को इंडेक्स में जोड़ने के क्रम में जारी किया जाएगा, अर्थात, "कैंटलोप", , "तरबूज।"
यदि आप Expand_keywords और index_exact_words विकल्प सक्षम करते हैं, तो क्वेरी "तरबूज" "तरबूज", "तरबूज", "तरबूज" के लिए अधिक प्रासंगिक परिणाम प्रदर्शित करेगा।

index_exact_words = 1

min_infix_len

इनफ़िक्स शब्द के भागों को अनुक्रमणित करने देता है, और *, * जैसे कि खोज *, * खोज और * खोज * का उपयोग करके उन्हें खोजता है।
उदाहरण के लिए, min_infix_len = 2 के साथ और इंडेक्स में "टेस्ट" शब्दों को दर्ज करते हुए, "te", "ec", "ct", "tes", "खाती है", "test" इंडेक्स और इंडेक्स में सहेजा जाएगा, अनुरोध पर, "ec" मिल जाएगा वह शब्द।

मैं आमतौर पर उपयोग करता हूं

min_infix_len = 3

एक कम मूल्य बहुत अधिक कचरा उत्पन्न करता है और याद रखें कि इस विकल्प का उपयोग करने से सूचकांक में काफी वृद्धि होती है।

min_prefix_len

यह min_infix_len का बच्चा है और लगभग यही काम करता है; यह केवल शब्दों या उपसर्गों की शुरुआत को बचाता है।
उदाहरण के लिए, min_infix_len = 2 के साथ और इंडेक्स में "टेस्ट" शब्द दर्ज करने पर, "उन", "tes", "टेस्ट" को इंडेक्स में सहेजा जाएगा, और "ec" के अनुरोध पर यह शब्द मिल जाएगा।
min_prefix_len = 3

min_word_len

अनुक्रमण के लिए न्यूनतम शब्द आकार, 1 के लिए डिफ़ॉल्ट और सभी शब्दों को अनुक्रमित करता है।
आमतौर पर उपयोग करते हैं
min_word_len = 3
छोटे शब्द आमतौर पर शब्दार्थ भार नहीं ले जाते हैं।

html_strip

सभी HTML टैग्स और HTML टिप्पणियों को काटता है। यह विकल्प प्रासंगिक है यदि आप sphinxsearch के आधार पर अपने google / yandex का निर्माण कर रहे हैं। उन्होंने मकड़ी शुरू की, साइट को बख्शा, इसे डेटाबेस में भेजा, इंडेक्स सेट किया और यह विकल्प आपको HTML टैग के रूप में कचरा से छुटकारा पाने और साइट सामग्री से ही खोज करने की अनुमति देगा।

मैंने स्वयं इसका दुर्भाग्य से उपयोग नहीं किया, लेकिन प्रलेखन का कहना है कि यह सभी प्रकार के xml और गैर-मानक HTML (उदाहरण के लिए, जहाँ भी खुलने और बंद होने वाले टैग इत्यादि) से गड़बड़ कर सकता है)।

html_strip = 1

मुझे किसी भी प्रश्न और स्पष्टीकरण पर खुशी होगी।
ऑफसाइट sphinxsearch.com
यदि लेख आपके लिए दिलचस्प था, तो इसे प्लस करने के लिए बहुत आलसी मत बनो।