स्फिंक्स उदाहरण एक वास्तविक परियोजना पर खोज - Tecdoc ऑटो पार्ट्स की दुकान

संक्षेप में: लेख उन प्रोग्रामरों के लिए उपयोगी होगा जो पहले से ही प्रासंगिक खोज में रुचि रखते हैं और खोज के स्फिंक्स की शुरुआती स्थापना पर लेख पढ़ते हैं, परीक्षण के उदाहरण और उसी सिंथेटिक समस्याओं पर चलते हैं। अक्सर ये उदाहरण प्रश्न का उत्तर नहीं देते हैं, लेकिन आप अन्य सरल खोज विकल्पों की तुलना में स्फिंक्स खोज मॉड्यूल के वास्तविक लाभों को कैसे महसूस करते हैं। लेख के कोड के उदाहरण php + smarty, Sphinx 2.0.1-beta पर हैं, डेटाबेस mysql है, डेटाबेस के स्रोत और डंप संरचना को तहखाने में एक अलग संग्रह में रखा गया है। लेख में स्फिंक्स की ऐसी विशेषताओं का उपयोग करने का एक उदाहरण बताया गया है:

• विंडोज़ विकास और लिनक्स उत्पादन के लिए एक एकल फ़ाइल कॉन्फ़िगर बनाना
• SetMatchMode (SPH_MATCH_EXTENDED2) और SPH_MATCH_ANY और अन्य वास्तविक खोज के लिए उपयुक्त क्यों नहीं हैं
• SetSortMode (SPH_SORT_RELEVANCE), सेटफिल्ड वाइट्स - प्रासंगिकता के आधार पर छांटना और सूचकांक क्षेत्रों के लिए वजन सेट करना
• सेटलिमिट्स (0.20) - आउटपुट की सीमा
• AddQuery, RunQueries - बहु-प्रश्नों का निर्माण
• SetFilter, ResetFilters - प्राप्त डेटा को सीमित करने के लिए बहु-क्वेरी में फ़िल्टरिंग जोड़ें
• Wordforms - पर्यायवाची शब्द का उपयोग करना और गैर-मानक शब्द रूपों के लिए प्रतिबंधों का उपयोग करना, जैसे "C #"

मैं इस परियोजना के विकास और स्पष्ट रूप से अपर्याप्त रूसी प्रलेखन में योगदान करना चाहूंगा, इस तथ्य के बावजूद कि परियोजना रूसी-भाषी प्रोग्रामर द्वारा बनाई और समर्थित थी। इसलिए, यह तय किया गया था: कार्यों का चल रहा अवरोधक जंगल से गुजरता है, इसके बजाय सामान्य रूप से स्फिंक्स के डेवलपर्स के लिए धन्यवाद और उपयोगकर्ता आंद्रेई अक्षोनोव ​​उर्फ शोडान के लिए मैं यह लेख लिख रहा हूं।

1. परिचय

यदि स्फिंक्स अभी तक स्थापित नहीं हुआ है और शुरू करना चाहता है, तो शुरुआत के लिए लेख का एक लिंक: स्फिंक्स + php के लिए एक परिचयात्मक खोज इंजन बनाना । आप यह देख सकते हैं कि यह खोज ऑटोकैड.बिज / ? action=search पर कैसे काम करती है।

मुझे तुरंत यह कहना चाहिए कि हमारा खोज मॉड्यूल बीटा परीक्षण में है: कई और खुरदरेपन, संभावित छिद्र और अन्य कम स्पष्ट कीड़े हैं, और इसलिए आपके उत्पादन पर वर्तमान उदाहरण को रखने के लिए इसे लागू करने की अनुशंसा नहीं की जाती है, क्योंकि आपको अभी भी वास्तविक भारों के लिए परीक्षण चरण की आवश्यकता है। और हमारी साइटों के कई उपयोगकर्ताओं से वास्तविक अनुरोध।

ऑटो पार्ट्स, या भागों के लिए ऑनलाइन स्टोर की बिक्री, हमारी कंपनी लंबे समय से लगी हुई है, फलदायक और काफी सफलतापूर्वक। लेकिन कई कारणों से, एक प्रासंगिक खोज की अब केवल आवश्यकता थी। मुख्य कारण सबसे अधिक संभावना है कि पूर्ण-पाठ खोज अधिकांश भागों के लिए उपयुक्त नहीं है। लेकिन 5-10% सामान हैं जिनके लिए यह आवश्यक रूप से आवश्यक है, और इसके बिना किसी भी तरह से। और अंतर्निहित प्रत्यक्ष क्रॉस-लिंक के साथ हमारी मानक खोज और tecdoc से एक स्पष्ट मॉडल और कार के ब्रांड को निर्दिष्ट करना उत्पादों के इस समूह के लिए काम नहीं करता है। ऐसे "गलत" सामानों का एक उदाहरण: तेल, टायर, बैटरी और अन्य जैसे।

एक छोटी सी साधारण कंपनी के स्पेयर पार्ट्स के लिए औसत मूल्य सूची 2-10 मिलियन है, क्रमशः इस आधार का 10% और हमारे द्वारा आवश्यक डेटा पर कब्जा कर लेगा। यही है, नीचे दिए गए उदाहरणों में सूचकांक लगभग 300 हजार दस्तावेजों के आधार पर बनाया गया है।

2. विंडोज़ विकास और लिनक्स उत्पादन ओएस के लिए एक एकल कॉन्फ़िगरेशन फ़ाइल बनाना

हल की जाने वाली समस्या - डेवलपर की मशीन और सर्वर के उत्पादों की कॉन्फ़िगरेशन फ़ाइलें अलग-अलग हैं, और विकास के दौरान, आपको अस्थिर संरचना को जल्दी से अपडेट करने और इन स्फिंक्स कॉन्फ़िगरेशन को लगातार बदलने की आवश्यकता है। हमारे मामले में, यह इस तथ्य से बढ़ गया था कि सर्वर पर इन कॉन्फिगरेशन को किसी अन्य विकास टीम की एक अलग परियोजना के साथ साझा किया जाना चाहिए, और स्फिंक्स में "अनुभाग * .conf" के रूप में इस तरह का एक खंड अभी तक प्रदान नहीं किया गया है।

स्थानीय विंडो मशीन पर, "D / \ Sphinx \ sphinx.conf" में, "/etc/sphinx/sphinx.conf" सर्वर पर, और लिनक्स मशीन में खोज-> CreateConfigFile () स्क्रिप्ट द्वारा अपडेट की गई फ़ाइल के लिए एक प्रतीकात्मक लिंक पर विन्यास है। /var/www/autoklad.com.ua/imgbank/sphinx/sphinx.conf। स्थानीय फ़ाइल को सीधे फ़ोल्डर में अपडेट किया जाता है, क्योंकि यह पड़ोसियों के साथ हस्तक्षेप नहीं करता है।

विधियों का स्रोत कोड:

public function CreateConfigFile() { $sConfigFilePath=Db::GetConstant('sphinx:config_file_path',SERVER_PATH.'/imgbank/sphinx/'); $sConfigFileName='sphinx.conf'; $sConfigTemplate=Db::GetConstant('sphinx:config_template','production'); if (!file_exists($sConfigFilePath)) mkdir($sConfigFilePath); $sTopSection.=$this->GetPriceGroupConfig(); Base::$tpl->assign('sTopSection',$sTopSection); $sFileContent=Base::$tpl->fetch($this->sPrefix.'/config_sphinx_'.$sConfigTemplate.'.tpl'); file_put_contents($sConfigFilePath.$sConfigFileName,$sFileContent); } private function GetPriceGroupConfig() { Base::$tpl->assign('sDataFilePath',Base::GetConstant('sphinx:data_file_path','/var/data/')); return Base::$tpl->fetch($this->sPrefix.'/config_price_group.tpl'); } 

Config_price_group.tpl टेम्प्लेट, बाकी संग्रह में हैं ताकि लेख को खींच न सकें

 source price_group {ldelim} type = mysql sql_host = {$aDbConf.Host} sql_user = {$aDbConf.User} sql_pass = {$aDbConf.Password} sql_db = {$aDbConf.Database} sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query = \ select p.id \ , p.code as code \ , c.title as brand \ , if(ifnull(cp.name_rus,'')<>'', cp.name_rus, ifnull(p.part_rus,'')) as part_name \ , pgr.name as price_group_name \ , p.id_price_group as id_price_group \ from price as p \ left join cat_part as cp on cp.item_code=p.item_code \ inner join cat as c on p.pref=c.pref \ inner join provider_virtual as pv on p.id_provider=pv.id_provider \ inner join user_provider as up on pv.id_provider_virtual=up.id_user \ inner join provider_group as pg on up.id_provider_group=pg.id \ inner join user as u on up.id_user=u.id and u.visible=1 \ inner join currency as cu on up.id_currency=cu.id \ inner join price_group as pgr on pgr.id=p.id_price_group \ where 1=1 sql_attr_uint = id_price_group sql_query_info = SELECT * FROM price WHERE id=$id {rdelim} index price_group {ldelim} source = price_group path = {$sDataFilePath}price_group/index morphology = stem_ru min_word_len = 3 charset_type = utf-8 min_infix_len = 3 #min_prefix_len = 3 enable_star = 1 {rdelim} 

क्वेरी को एक दृश्य द्वारा सरल बनाया जा सकता है, लेकिन जहां तक ​​मैं समझता हूं कि ऐसा करने की अनुशंसा नहीं की जाती है, और इंडेक्स के साथ डेटा के लिए एक सीधा क्वेरी इंडेक्सिंग के दौरान लोड के कारणों के लिए अधिक प्रभावी है।

स्थिरांक का मूल्य जो स्थानीय साइट के लिए डेटाबेस से लिया जाता है

 sphinx:data_file_path D:/Sphinx/data/ sphinx:config_template local sphinx:config_file_path D:/Sphinx/ 

स्थिरांक का मूल्य जो साइट उत्पादों के लिए डेटाबेस से लिया जाता है

 sphinx:data_file_path /var/data/ sphinx:config_template production sphinx:config_file_path /var/www/autoklad.com.ua/imgbank/sphinx/ 

स्थानीय स्फिंक्स के लिए काम के परिणामस्वरूप, हमारे पास इस तरह की कॉन्फ़िगरेशन फ़ाइल है:
http://www.mstarproject.com/temp/3/sphinx/sphinx.conf

3. SetMatchMode (SPH_MATCH_EXTENDED2) और SPH_MATCH_ANY और अन्य वास्तविक खोज के लिए उपयुक्त क्यों नहीं हैं

आकृति विज्ञान के लिए काम करने के लिए और "कैस्ट्रोल 5W40 तेलों" क्वेरी में "तेल" और "15W40" के साथ दस्तावेज़ हैं - आपको एक साथ "*" प्रतीक का उपयोग करना होगा और शब्द "तेल" में खोज करना होगा, और इसके लिए आपको एक क्वेरी बिल्डर की आवश्यकता है जो काम करता है यह "SPH_MATCH_EXTENDED2" मोड में है। SPH_MATCH_EXTENDED भी है, लेकिन जैसा कि मैं समझता हूं कि यह एक पुराना संस्करण है और मोड के नए संस्करण का उपयोग करने की सलाह देता है।

SPH_MATCH_ANY मोड में, यह सुनिश्चित करना असंभव है कि जब क्वेरी में शब्द बढ़ते हैं, तो परिणामों की संख्या कम हो जाती है। SPH_MATCH_ALL मोड में, आंशिक घटना और शब्द रूप द्वारा मोड के एक साथ संचालन को प्राप्त करना असंभव है। जब तक मैं काम नहीं आता, तब तक मैंने अन्य मोड्स के माध्यम से देखा, इसलिए मैं उनके बारे में कुछ नहीं कह सकता।

"कैस्ट्रोल 5 डब्ल्यू 40 तेल" वाक्यांश के तहत स्फिंक्स का अनुरोध इस तरह होगा:

 ( | **) & (Castrol | *Castrol*) & (5W40 | *5W40*) 

महत्वपूर्ण: उपयोग किए गए सूचकांक के विन्यास में 2 लाइनें होनी चाहिए:

 min_infix_len = 3 enable_star = 1 

पहला आपको दायीं और बायीं ओर एक शब्द की आंशिक घटना से खोजने की अनुमति देता है, अर्थात् अंत से और शब्द की शुरुआत से। दूसरी पंक्ति आपको अनुरोध में "*" का उपयोग करने की अनुमति देती है। आप min_prefix_len का उपयोग कर सकते हैं यदि, उदाहरण के लिए, आपको किसी शब्द के बाईं (शुरुआत से) केवल आवृत्तियों की आवश्यकता है।

एक फ़ंक्शन जो इनपुट स्ट्रिंग को संसाधित करता है और सही अनुरोध उत्पन्न करता है:

 private function GetSphinxKeyword($sQuery) { $aRequestString=preg_split('/[\s,-]+/', $sQuery, 5); if ($aRequestString) { foreach ($aRequestString as $sValue) { if (strlen($sValue)>3) { $aKeyword[] .= "(".$sValue." | *".$sValue."*)"; } } $sSphinxKeyword = implode(" & ", $aKeyword); } return $sSphinxKeyword; } 

क्वेरी के परिणाम का परीक्षण इस पर किया जा सकता है: http://autoklad.biz/?action=search&search इसक्वेरी%= % D0 % BC % D0 % B0 % D1 % 81 % D1 % B0 % BB % D0 % BE % EcCastrol % 205W40&search ? id_price_group] = 35
खोज परिणामों के नीचे, परिणामी सरणी वापस आ गई है, जो प्रसंस्करण के लिए स्फिंक्स लौटाता है - [शब्दों] अनुभाग पर ध्यान दें, जो इंगित करता है कि कौन से शब्द कितने दस्तावेज़ पाए गए थे। अन्य खंड कोई कम महत्वपूर्ण नहीं हैं, लेकिन हम उनके बारे में अभी बात नहीं कर रहे हैं।

साथ ही मंच और डेवलपर्स वेबसाइट पर एक बहुत ही लगातार सवाल है "एक वाक्यांश की सटीक घटना को कैसे बढ़ाएं?", यही है, ताकि दस्तावेज़ "वॉन्टेड_वर्ड" का वजन "वांटेडवर्ड" और पाठ का एक बहुत अधिक है। उत्तर - आपको SPH_RANK_SPH04 का उपयोग करने की आवश्यकता है, विशेष रूप से इस विशिष्ट कार्य के लिए, जैसा कि मैं इसे समझता हूं।

4. सेटसोर्टमोड (SPH_SORT_RELEVANCE), सेटफिल्ड वाइट्स - प्रासंगिकता के आधार पर छांटना और सूचकांक क्षेत्रों के लिए वजन सेट करना।

यह विधि निर्धारित करती है कि स्फिंक्स द्वारा लौटाए गए डेटा के सॉर्ट किए गए सरणी में कौन से परिणाम अधिक होंगे। SPH_SORT_RELEVANCE के मामले में, परिणाम तथाकथित द्वारा हल किया जाएगा। "प्रासंगिकता"। प्रासंगिकता, जितना हम इसे पसंद नहीं करेंगे, यह पूरी तरह से अंकगणितीय नियमों के अनुसार काम करता है, और Google या येरेक्स खोज की तरह नहीं। अर्थात्, कोई जादू नहीं: सूचकांक के वजन का गुणन और जोड़, क्षेत्र का वजन, दस्तावेज़ में खोजे गए शब्दों की घटनाओं की संख्या और अन्य दस्तावेजों में इस शब्द की आवृत्ति।

सरलतम मामले में, हम सूचकांक क्षेत्रों के लिए इनपुट भार निर्धारित करते हैं:

 $oSphinxClient->SetFieldWeights(array ( 'code' => 50, 'brand' => 40, 'part_name' => 10, 'price_group_name' => 5, )); 

और आउटपुट में हमें "प्रासंगिकता" = "कुल वजन" द्वारा क्रमबद्ध एक सरणी मिलती है, जहां वजन एक पूर्णांक मूल्य है। इन नंबरों को अपने लिए प्रासंगिकता को समायोजित करके नियंत्रित किया जा सकता है, अर्थात्, एक अधिक महत्वपूर्ण क्षेत्र को अधिक वजन सौंपा जाना चाहिए। हमारे उदाहरण में, सबसे महत्वपूर्ण क्षेत्र कोड कोड है।

5. सेटलिमिट्स (0.20) - परिणामों के आउटपुट पर प्रतिबंध

यह विधि सबसे सरल है, यह मेस्कलेवस्की सीमा 0.20 के समान काम करती है और उसी के अनुसार इसकी आवश्यकता होती है: स्टेपर्स के निर्माण के लिए आंशिक डेटा प्राप्त करने के लिए। हमारी परियोजना में, हमें पहले 20 (निरंतर) परिणामों की आवश्यकता है, क्योंकि उनमें से 3 या अधिक होने पर आगे कोई कदम नहीं है।

6. AddQuery, RunQueries - बहु-प्रश्नों का निर्माण

जब आप स्फिंक्स के लिए एक अनुरोध नहीं भेजने की आवश्यकता होती है, तो मल्टीसेरी बैच अनुरोधों के लिए एक बहुत ही सुविधाजनक समाधान है, लेकिन कई। हमारे उदाहरण में, यह सभी भागों के समूहों को एक सूची और प्रत्येक समूह में रिकॉर्ड की संख्या प्राप्त करने के लिए समान अनुरोध भेज रहा है। यही है, लगभग 100 अनुरोध भेजे जाते हैं, और स्फिंक्स के एक कनेक्शन में एक परिणाम वापस आ जाता है। इसके अलावा, एक अनुरोध पैकेज में एक साथ 32 अधिकतम अनुमत "सीमा" "हल" थी।

कोड उदाहरण:

 $aPriceGroup=Db::GetAll(Base::GetSql("Price/Group",array( 'visible'=>1, "where"=>" and pg.code_name is not null", ))); if ($aPriceGroup) { $aResultAll=array(); $i=0; foreach ($aPriceGroup as $aValue) { $oSphinxClient->SetFilter('id_price_group', array($aValue['id'])); $iQuery = $oSphinxClient->AddQuery($sSphinxKeyword, 'price_group'); $oSphinxClient->ResetFilters(); $bAddedUnrunQuery=true; $aPriceGroupAssoc[$iQuery+(32*$i)]=$aValue; if ($iQuery && !($iQuery % 31) ) { $aResultQuery=$oSphinxClient->RunQueries(); $aResultAll=array_merge($aResultAll,$aResultQuery); $sLastError=$oSphinxClient->GetLastError(); $i++; $bAddedUnrunQuery=false; } } if ($bAddedUnrunQuery) { $aResultQuery=$oSphinxClient->RunQueries(); $aResultAll=array_merge($aResultAll,$aResultQuery); } } 

इस तथ्य के कारण कि प्रगति में कार्य की समय सीमा थी - प्रारंभ में अनुरोधों की सभी जटिलताओं को हल करने के लिए, कार्य निर्धारित नहीं किया गया था। इसलिए, मैंने संभवतः एक ऐसी बाइक लिखी जो "ग्रुपेड" क्वेरी की समस्या को हल करती है, जो कि mysql के ग्रुप के समान है। दूसरी ओर, यदि मैंने स्फिंक्स में समूह बनाने का अनुमान लगाया है - कोई उदाहरण नहीं होगा जहां आप बहु-प्रश्नों का उपयोग कर सकते हैं।

तो टिप्पणियों में, एक और सही अनुरोध का उदाहरण समान पाने के लिए स्वागत किया जाता है, लेकिन स्फिंक्स ग्रुपिंग के माध्यम से।

7. सेटफिल्टर, रिसेटफिल्टर - प्राप्त डेटा को सीमित करने के लिए एक बहु-अनुरोध में फ़िल्टरिंग जोड़ें

फ़िल्टर का उपयोग करने के लिए, आपको पहले अनुक्रमणिका अनुक्रमणिका फ़ील्ड में पंजीकरण करना होगा जिसके द्वारा फ़िल्टरिंग का उपयोग किया जाएगा। हमारे उदाहरण में, यह id_price_group फ़ील्ड है:

 sql_attr_uint = id_price_group 

तदनुसार, इस तरह कोड का उपयोग किया जाता है:

 foreach ($aPriceGroup as $aValue) { $oSphinxClient->SetFilter('id_price_group', array($aValue['id'])); $iQuery = $oSphinxClient->AddQuery($sSphinxKeyword, 'price_group'); $oSphinxClient->ResetFilters(); //... } 

यही है, मल्टी-रिक्वेस्ट में प्रत्येक रिक्वेस्ट के लिए, फॉरेस्ट लूप में, एक फ़िल्टर पहले सेट किया जाता है, और जोड़ने के बाद, इसे रीसेट किया जाता है ताकि यह अन्य अनुरोधों के लिए काम न करे। मेरी राय में, सब कुछ तर्कसंगत है, स्पष्ट है और कठिनाइयों को उत्पन्न नहीं होना चाहिए।

8. Wordforms - समानार्थी शब्द के उपयोग के लिए पर्यायवाची शब्द और आगामी प्रतिबंधों का उपयोग करना, जैसे "C #"

पर्यायवाची और गैर-मानक (आपके) शब्द प्रपत्र काम करने के लिए, आपको सूचकांक में निम्नलिखित शब्द रूपों के साथ एक फ़ाइल शामिल करने की आवश्यकता है:

 wordforms = D:\Sphinx\data\wordforms.txt 

फ़ाइल में स्वयं हो सकता है, उदाहरण के लिए, UTF-8 एन्कोडिंग में सेट किया गया ऐसा डेटा:

 bosh > bosch  > bosch CASTROL > CASTROLL  > CASTROLL  > CASTROLL 

यही है, बाईं ओर सभी संभव समानार्थी शब्द हैं - इन शब्दों के सही अर्थ पर। इसके अलावा, उदाहरण के लिए, "बॉश" बाईं तरफ नहीं होना चाहिए अगर यह पहले से ही दाईं ओर है। कम से कम यदि यह किया जाता है, तो खोज व्यवहार नहीं करती है जैसा कि मैंने उम्मीद की थी।

हमारे उदाहरण में, आप "Castrol 5W40 तेल" क्वेरी का उपयोग कर सकते हैं और यह "Castrol 5W40 तेल" के समान होगा। "सी #" के साथ उदाहरण में, आपको ऐसे गैर-मानक शब्द रूपों को शामिल करने की आवश्यकता है ताकि वे मानक सूचकांक योजना के अनुसार संसाधित न हों और जिस तरह से आप उन्हें कॉन्फ़िगर करते हैं उसी तरह मैन्युअल रूप से काम करें। केवल आप ही जानते हैं कि आपकी परियोजना में वाक्यांश का अर्थ क्या है, उदाहरण के लिए, "C #" = "संगीत से तेज"

कॉन्फ़िगरेशन फ़ाइल और सर्वर पर उदाहरण में ऐसी कोई कार्यक्षमता नहीं है, केवल एक उदाहरण दिया गया है, लेकिन यह परियोजना के समानार्थी शब्द की मौजूदा संरचना में अभी तक लागू नहीं है।

स्रोत कोड, अभिलेखागार, उपयोगी साइटों के लिंक

* गैर-अंग्रेज़ी भाषाओं सहित अनधिकृत विकि दस्तावेज़ http://sphinxsearch.com/wiki/doku.php

* ऑटो भागों के एक उदाहरण के लिए छोटा कोड का संग्रह http://www.mstarproject.com/temp/3/sphinx/sphinxsearch_soruce.zip

* छंटनी डेटाबेस उदाहरण की संरचना के पुरालेख http://www.mstarproject.com/temp/3/sphinx/sphinxsearch_db_structure.zip

डेटा के साथ कटे हुए उदाहरण डेटाबेस (43 एमबी) का पुरालेख http://www.mstarproject.com/temp/3/sphinx/sphinxsearch_db_data.zip

* प्रायोजक लिंक द्वारा प्रायोजित: tecdoc + sphinxsearch ऑनलाइन स्टोर विकास

मुझे रचनात्मक आलोचना करने में खुशी होगी और सवालों के जवाब देने की कोशिश करूंगा। सबसे अधिक संभावना है कि मैं सेंट पीटर्सबर्ग में एक सम्मेलन में नहीं जाऊंगा: एक बहुत असहज उड़ान, और यहां तक ​​कि सर्दियों भी। मैंने फैसला किया कि लेख से अधिक लाभ होगा, और आप यूक्रेन में स्फिंक्स के लेखक से मिल सकते हैं, आपको बस इंतजार करना होगा।