कोहना पर एक रूपात्मक खोज को लागू करना (phpMorphy पुस्तकालय)

शुभ दिन, हेब्रोसोसिटी!
हाल ही में मैंने कोहना फ्रेमवर्क पर लिखी अपनी साइट पर एक खोज करने के लिए सेट किया। मैंने एक रूपात्मक खोज का उपयोग करने का निर्णय लिया, क्योंकि मुझे लगता है कि यह अधिक सही है (LIKE का उपयोग करके पूर्ण-पाठ खोज के बारे में)। आवश्यक कार्यक्षमता के साथ कोहना के लिए तैयार मॉड्यूल की खोज असफल रही, लेकिन मुझे एक उत्कृष्ट पुस्तकालय मिला: phpMorphy , जो मेरी समस्याओं को हल करने के लिए बहुत अच्छा था।

खोज के तर्क में 2 ब्लॉक शामिल हैं:

• इंडेक्सिंग (और रिइंडेक्सिंग) मौजूदा सामग्री
• इंडेक्स सर्च करें

सामग्री अनुक्रमण

साइट पर हमारे पास निम्नलिखित संरचना है:

जैसा कि आप संलग्न आरेख से देख सकते हैं, साइट में 2 प्रकार की सामग्री है:

• पोस्ट (टिप्पणियाँ हो सकती हैं - एक से कई रिश्ते)
• व्यंजनों (सामग्री हो सकती है (एक से कई), खाना पकाने के चरण (एक से कई), टिप्पणियाँ (समान)

हम इस सभी सामग्री को अनुक्रमित करने जा रहे हैं, और इस तथ्य के कारण कि सामग्री के पूरे अस्तित्व में टिप्पणियां दिखाई दे सकती हैं - आपको निरंतर आधार पर सामग्री को फिर से लिखना होगा। तर्क की दृष्टि से, अनुक्रमण सामग्री निम्नानुसार है: बदले में, हमें सभी सामग्री मिलती है, हम सामग्री से संबंधित अतिरिक्त सामग्री (टिप्पणियाँ, सामग्री, खाना पकाने के चरण) की खोज करते हैं। अगला, हम इस तरह के ऑपरेशन करते हैं:

• हम HTML टैग से सामग्री को साफ़ करते हैं;
• हम अलग-अलग शब्दों में टूटते हैं;
• एक ही रजिस्टर में कमी (मैंने ऊपरी मामले का इस्तेमाल किया);
• पत्र को ई के साथ बदलें (ताकि जब प्रत्येक शब्द को भारित करते हुए अनुक्रमित और असाइन किया जाए, तो इसे अलग नहीं माना जाता है, जैसे कि शब्द, उदाहरण के लिए, "हरा" और "हरा") ;
• संरचना में शब्द की स्थिति और पोस्ट में इस शब्द के संदर्भों की संख्या के आधार पर, हम वजन डालते हैं (उदाहरण के लिए: शीर्षक से शब्द का वजन 3 है, पोस्ट के पाठ क्षेत्र से 2 का वजन है, और टिप्पणी से शब्द का वजन 1 है, यदि शब्द कई बार होता है, वज़न ऊपर अभिव्यक्त किया गया है);
• हम डेटाबेस में प्राप्त सूचकांक (पोस्ट आईडी, शब्द, वजन) को बचाते हैं।

इंडेक्स सर्च करें

सभी सामग्री को अनुक्रमित करने के बाद, सबसे सरल चीज बनी हुई है - निर्मित खोज सूचकांक पर एक खोज। ऐसा करने के लिए, हम एक समान तरीके से कार्य करते हैं:

• हम उपयोगकर्ता के अनुरोध को प्राप्त करते हैं और फ़िल्टर करते हैं (हम HTML टैग और अन्य xss प्रयासों को ट्रिम करते हैं);
• हम क्वेरी को शब्दों में तोड़ देते हैं;
• हम प्रत्येक शब्द को ऊपरी मामले में लाते हैं;
• E के साथ E बदलें;
• हम खोज इंडेक्स में शब्दों की खोज करते हैं;
• आईडी के बाद समूह के परिणाम, वजन का सारांश;
• हम अंतिम वजन के आधार पर परिणामों को क्रमबद्ध करते हैं (इसे पहले से ही प्रासंगिकता कहा जा सकता है);
• वैकल्पिक रूप से, प्राप्त आईडी पर डेटाबेस की जानकारी से चयन करें, आउटपुट को फॉर्म और प्रदर्शित करें।

प्रश्न के तार्किक घटक स्पष्ट हो जाने के बाद - आप कोड के विश्लेषण के साथ आगे बढ़ सकते हैं।

एक कोड लिखना

शुरुआत

सबसे पहले, सोर्सफोर्ज के प्रोजेक्ट पेज पर जाएं और लाइब्रेरी के वर्तमान संस्करण को डाउनलोड करें, साथ ही शब्दकोशों का डेटाबेस (क्योंकि कोहना utf-8 के साथ काम करता है - इस एन्कोडिंग के लिए शब्दकोशों को डाउनलोड करें)।
डेवलपर्स लाइब्रेरी फ़ाइलों को रखने की सलाह देते हैं ताकि वे वेब से सीधे सुलभ न हों। मैंने किन कारणों से निर्दिष्ट नहीं किया, इसलिए मैं सुझाव देता हूं कि सिफारिश का दुरुपयोग न करें और / www निर्देशिका के ऊपर या तो फाइलें अपलोड करें, या (यदि आप किसी भी निर्देशिका में / www के अंदर अपलोड करते हैं) वेब से फ़ोल्डर तक सीधी पहुंच को प्रतिबंधित करें। यह .htaccess फ़ाइल को फ़ोल्डर में रखकर किया जा सकता है:

Options -Indexes <Files ~ "\.(php|php3|php4|php5|pl|cgi|sh|bash)$"> Deny from all </Files> 

लाइब्रेरी इनिशियलाइज़ेशन

पुस्तकालय की कार्यक्षमता का उपयोग करने के लिए, आपको आवश्यक फ़ाइलों को जोड़ने और उस वर्ग का एक उदाहरण बनाने की आवश्यकता है जिसके साथ आगे की कार्रवाई की जाएगी:

 require_once('{    }/src/common.php'); $dir = '{  ,     }/dicts'; $lang = 'ru_RU'; $opts = array( 'storage' => PHPMORPHY_STORAGE_FILE, ); try { $morphy = new phpMorphy($dir, $lang, $opts); } catch(phpMorphy_Exception $e) { die('Error occured while creating phpMorphy instance: ' . $e->getMessage()); } 

कोहना में पुस्तकालय का एकीकरण

मेरे प्रस्तावित समाधान में, 2 नियंत्रकों का उपयोग किया जाता है:

• व्यवस्थापक भाग - इसकी ओर से सामग्री का एक अनुक्रमण / reindexing है;
• खोज नियंत्रक - सूचकांक द्वारा खोज करने और उपयोगकर्ताओं को सामग्री प्रदर्शित करने के लिए जिम्मेदार है।

इसके अलावा, सुविधा के लिए (मैं व्यक्तिगत रूप से ORM का उपयोग करता हूं) आपको एक मॉडल बनाने की आवश्यकता है:

 class Model_Searchindex extends ORM { protected $_table_name = 'searchindex'; } 

ठीक है, तदनुसार, तालिका 'खोज', खेतों से मिलकर:

• शब्द - varchar (32) COLLATE utf8_bin पूरा नहीं - प्राथमिक कुंजी
• post_id - int (100) पूर्ण नहीं - प्राथमिक कुंजी
• वजन - int (100) पूर्ण नहीं है

तालिका MyISAM प्रकार की होनी चाहिए
प्रत्येक नियंत्रक के बारे में अधिक बात करते हैं।

अनुक्रमण नियंत्रक

मेरे मामले में, इस नियंत्रक का उपयोग हैंडलर के रूप में किया जाता है, जिसे मैं साइट कंट्रोल पैनल से अतुल्यकालिक अनुरोधों के लिए संदर्भित करता हूं (निश्चित रूप से, नियंत्रक केवल व्यवस्थापक अधिकारों वाले उपयोगकर्ता के लिए उपलब्ध है)।
हम मार्गों में एक अतिरिक्त पैरामीटर प्राप्त करने की संभावना को कॉन्फ़िगर करते हैं (क्योंकि ऑपरेशन मुश्किल है और मैं इसे भागों में तोड़ना चाहूंगा):

 Route::set('index', 'updateindex(/<offset>)') ->defaults(array( 'directory' => 'admin', 'controller' => 'updateindex', 'action' => 'index', )); 

खैर, मार्गों के साथ, मुझे लगता है कि हर कोई समझ गया कि क्या मतलब था। इसके बाद, नियंत्रक में ही, action_index () में हम ऑफसेट पैरामीटर को स्वीकार करते हैं, phpMorphy वर्ग का एक उदाहरण बनाते हैं, और तर्क आरेख में वर्णित सभी ऑपरेशन करते हैं:

  $offset = $this->request->param('offset'); //       if ($offset == 1) { $index = DB::query(Database::DELETE, 'DELETE FROM `searchindex`'); $index->execute(); } $data = array(); //     $posts = ORM::factory('post')->where('delete', '=', 0)->offset(100*$offset)->limit(100)->find_all(); foreach ($posts as $post) { $words = array(); //   html,          $title = mb_strtoupper(str_ireplace("", "", strip_tags($post->title)), "UTF-8"); $comments = ORM::factory('comment')->where('post_id', '=', $post->id)->order_by('id', 'ASC')->find_all(); //  ,    $text = $post->text; if ($post->type == 1) { //    ,      . ,     ... } foreach ($comments as $comment) { //    ,         $text = $text.' '.$comment->text; } $text = mb_strtoupper (str_ireplace("", "", strip_tags($text)), "UTF-8"); preg_match_all ('/([a-z-]+)/ui', $title, $word_title); //     preg_match_all ('/([a-z-]+)/ui', $text, $word_text); //    ,   =>  $start_form_title = $morphy->lemmatize($word_title[1]); $start_form_text = $morphy->lemmatize($word_text[1]); foreach ($start_form_title as $k=>$w) { if (!$w) { //       ,    $w[0] = $k; } if (mb_strlen($w[0], "UTF-8") > 2) //   ,     { if (! isset ( $words[$w[0]]))$words[$w[0]] = 0; $words[$w[0]]+= 3; //     } } foreach ($start_form_text as $k=>$w) { //     } //          foreach ($words as $word=>$weight) { $data['post_id'] = $post->id; $data['word'] = $word; $data['weight'] = $weight; $addindex = ORM::factory('searchindex'); $addindex->values($data); try { $addindex->save(); } catch (ORM_Validation_Exception $e) { $errors = $e->errors('validation'); } } } /*      json,       ,      */ $pcount = ORM::factory('post')->where('delete', '=', 0)->count_all(); if (($pcount - (100*$offset)) > 0) { $complateu = ($offset) * 100; $percent = ($complateu / $pcount) * 100; $percent = round($percent, 0); $json = array('status'=>'next', 'nextid'=>1+$offset, 'percent'=>$percent); $this->response->body(json_encode($json)); } else { $json = array('status'=>'finish', 'percent'=>100); $this->response->body(json_encode($json)); } 

मुझे लगता है कि कंट्रोल पैनल कार्यान्वयन कोड देना उचित नहीं है (यह देखते हुए कि लेख अभी छोटा नहीं है)। सब कुछ काफी सामान्य है - एक बटन, और एक jquery हैंडलर जो ऊपर वर्णित नियंत्रक तक पहुंचता है और तदनुसार प्राप्त प्रतिक्रिया को संसाधित करता है।

नियंत्रक साइट को खोजने के लिए जिम्मेदार है

इस नियंत्रक के संचालन के लिए, उसी तरह, एक मार्ग बनाएं। नियंत्रक उपयोगकर्ता द्वारा दर्ज किए गए खोज वाक्यांश को स्वीकार करता है। वाक्यांश GET विधि का उपयोग कर प्रसारित किया जाता है। यह नियंत्रक जैसा दिखता है:

  public function action_search() { $data = null; $request = null; $errors = null; if (!empty($_GET['text'])) //    { //   html-   $search = $this->_clear_var($_GET['text']); $request = $search; } /*   phpMorphy */ if (!empty($search)) { //        if (mb_strlen($search, "UTF-8") > 2) { preg_match_all('/([a-z-]+)/ui', mb_strtoupper($search, "UTF-8"), $search_words); $words = $morphy->lemmatize($search_words[1]); $s_words = array(); $pre_result = array(); foreach ($words as $k => $w) { if (!$w)$w[0] = $k; if (mb_strlen($w[0], "UTF-8") > 2) { $s_words[] = $w[0]; } } if (!count($s_words)) { //   (     2 ) } else { foreach($s_words as $s_word) { $search_index = ORM::factory('searchindex')->where('word', '=', $s_word)->find_all(); foreach ($search_index as $si) { if (!empty($pre_result[$si->post_id])) { $pre_result[$si->post_id] = (int) $si->weight + $pre_result[$si->post_id]; } else { $pre_result[$si->post_id] = (int) $si->weight; } } } arsort($pre_result); //      foreach ($pre_result as $id => $weight) { // , ,         $data[] = $result; } } } else { //   -     } } else { //   -    } $this->template->content = View::factory('content/v_search') ->bind('data', $data) ->bind('errors', $errors) ->bind('request', $request) } 

खैर, जानकारी का निष्कर्ष, मुझे लगता है, वर्णन करने के लिए बहुत अधिक समझ में नहीं आता है - यहां सब कुछ हमेशा की तरह है। मैंने कोड लिस्टिंग को जितना संभव हो उतना कम करने की कोशिश की ताकि लेख को बहुत सरल और केले वाली चीजों के साथ अव्यवस्थित न करें (जैसे डेटाबेस से जानकारी प्राप्त करना या प्रसंस्करण त्रुटियों, हर कोई पहले से ही जानता है कि यह कैसे करना है ...)।
मुझे उम्मीद है कि मेरा लेख Habrasociety के लिए उपयोगी होगा। आप इस खोज कार्यान्वयन के संचालन का एक उदाहरण यहां देख सकते हैं।