इलास्टिकसर्च फास्ट फुल टेक्स्ट सर्च

अत्यधिक भरी हुई साइटों या कॉर्पोरेट सिस्टम को विकसित करते समय, एक समस्या अक्सर एक तेज और सुविधाजनक खोज इंजन के विकास के साथ उत्पन्न होती है। इस तरह के इंजन के लिए मेरी राय में, निम्नलिखित सबसे महत्वपूर्ण हैं:

• गति
• स्थापित करने और कॉन्फ़िगर करने में आसान
• मूल्य (अधिमानतः मुक्त और खुला स्रोत)
• JSON प्रारूप में जानकारी का आदान-प्रदान (HTTP के माध्यम से)
• स्केलेबिलिटी (कई सर्वरों को वितरित करने की क्षमता)
• वास्तविक समय अनुक्रमण
• बहु-किरायेदारी (किसी व्यक्ति के लिए सेटिंग्स में लचीलापन)
• क्लाउड में सिस्टम को स्थानांतरित करने की क्षमता

मैं आपको नए खोज इंजन एलिटिक्स खोज के बारे में बताना चाहता हूं, जो इन सभी आवश्यकताओं को पूरा करता है। लेख में एक संक्षिप्त विवरण, एक आधिकारिक प्रस्तुति का लिंक, साथ ही स्थापना का विवरण और इसके साथ काम होगा।

आज, ऐसी प्रणालियों के कई अलग-अलग कार्यान्वयन हैं, उनमें से प्रत्येक के पास इसके पेशेवरों और विपक्ष हैं। चूंकि मैं इस क्षेत्र का विशेषज्ञ नहीं हूं, इसलिए मैं पूछता हूं कि आप नीचे दी गई सभी सूचनाओं को केवल मेरे व्यक्तिपरक मत के रूप में समझें।

इसलिए, हाल ही में मैं आंद्रेई ज़मीवस्की (आंद्रेई ज़मिव्स्की) की प्रस्तुति में आया, जहाँ उन्होंने इलास्टिक्स की संभावनाओं का वर्णन किया। प्रस्तुति यहां (अंग्रेजी में) देखी जा सकती है।

प्रोजेक्ट वेबसाइट http://www.elasticsearch.org/

दुर्भाग्य से, मुझे रूसी में कोई जानकारी नहीं मिली।

यह क्या है?

वास्तव में, यह व्यापक रूप से ज्ञात ल्यूसीन सूचकांक का एक नया फ्रंट-एंड है। प्रतियोगियों से मुख्य अंतर लचीलापन और उपयोग में आसानी है। इंडेक्स में जानकारी जोड़ना और इंडेक्स द्वारा खोज करना सरल HTTP अनुरोधों का उपयोग करके किया जाता है।

इंजन के साथ काम करने की स्थापना और उदाहरण

मुझे इस विषय में दिलचस्पी थी और मैंने व्यक्तिगत रूप से इस चमत्कार इंजन का परीक्षण करने का फैसला किया।
तो चलिए शुरू करते हैं

स्थापना

	 1. संग्रह डाउनलोड करें (http://www.elasticsearch.org/download/) और इसे अनपैक करें
	 2. हम सर्वर शुरू करते हैं 
		 यूनिक्स: बिन / इलास्टिक्सखोज -फ
		 विंडोज: बिन / elasticsearch.bat
	 3. सर्वर की जाँच करें 
		 कर्ल -X प्राप्त करें http: // localhost: 9200 /
	 यदि सब कुछ काम करता है, तो सर्वर आपको कुछ जानकारी के साथ JSON सरणी लौटाएगा।

डेटा अनुक्रमण

एक उदाहरण के लिए हम एक हब्र का उपयोगकर्ता सूचकांक बनाएंगे

पहले उपयोगकर्ता के बारे में डेटा जोड़ें

 $ कर्ल -XPUT 'http: // localhost: 9200 / habrahabr / उपयोगकर्ता / 1' -d '
 { 
  "फर्स्टनाम": "पिओट्र",
  "उपनाम": "पेट्रोव",
  "जन्मतिथि": "1981-01-01",
   "स्थान": "मास्को, रूसी संघ",
  "कौशल": ["PHP", "HTML", "C ++", ".NET", "जावास्क्रिप्ट"]
 } '

दूसरे उपयोगकर्ता के बारे में डेटा जोड़ें

 $ कर्ल -XPUT 'http: // localhost: 9200 / habrahabr / उपयोगकर्ता / 2' -d '
 { 
  "Firstname": "इवान",
  "उपनाम": "सिदोरोव",
  "जन्मतिथि": "1978-12-13",
   "स्थान": "ब्रांस्क, रूसी संघ",
  "कौशल": ["HTML", "रूबी", "पायथन"]
 } '

एक तीसरा उपयोगकर्ता जोड़ें

 $ कर्ल -XPUT 'http: // localhost: 9200 / habrahabr / उपयोगकर्ता / 3' -d '
 { 
  "फर्स्टनेम": "स्टेपन",
  "उपनाम": "फोमेंको",
  "जन्मतिथि": "1985-06-01",
   "स्थान": "यूक्रेन",
  "कौशल": ["HTML", "XML", "जावा", "जावास्क्रिप्ट"]
 } '

खोज: व्यापार में प्रयास करें

आपके संदर्भ के लिए, मैं आपको कुछ सरल खोज उदाहरण दूंगा। वास्तव में, यह इंजन अपने नाम "इलास्टिक" के साथ पूरी तरह से सुसंगत है और आप कई प्रकार के प्रश्न बना सकते हैं। आप परियोजना की वेबसाइट www.elasticsearch.org/guide/reference/api पर अनुरोधों के बारे में अधिक पढ़ सकते हैं

पैरामीटर सुंदर = सत्य उत्तर को अधिक पठनीय तरीके से प्रदर्शित करता है

उदाहरण 1: इवान नाम के साथ सभी उपयोगकर्ताओं की तलाश

 $ कर्ल -XGET 'http: // localhost: 9200 / habrahabr / उपयोगकर्ता / _sport? q = firstname: इवान और सुंदर = सच'

उदाहरण 2: PHP के ज्ञान के साथ यूक्रेन के सभी उपयोगकर्ताओं की तलाश

 $ कर्ल -XGET 'http: // localhost: 9200 / habrahabr / users / _sogn? pretty = true' -d '
 { 
     "क्वेरी": { 
         "पद": {"स्थान": "यूक्रेन", "कौशल": "पीएचपी"} 
     } 
 } '

उदाहरण 3: रूस के उपयोगकर्ताओं की तलाश

 $ कर्ल -XGET 'http: // localhost: 9200 / habrauser / _search? q = स्थान: रूसी% 20Federation और pretty = true'

उदाहरण 4: रूस से उपयोगकर्ताओं की संख्या की गिनती

 $ कर्ल -XGET 'http: // localhost: 9200 / habrauser / _count? q = स्थान: रूसी% 20Federation और pretty = true'

PS UTF8 ठीक का समर्थन करता है

उच्च डेटा परीक्षण

दुर्भाग्य से, मेरे पास अन्य खोज इंजनों के साथ काम करने का अधिक अनुभव नहीं है, इसलिए उनके लिए इलास्टिक्स खोज के साथ तुलना करने का कोई तरीका नहीं है। जिज्ञासा के लिए, मैंने 5,000,000 उपयोगकर्ताओं का एक सूचकांक बनाने का फैसला किया।

इंडेक्स को पॉप्युलेट करने के लिए एक साधारण स्क्रिप्ट (डेटा जेनरेट होता है, लेकिन जानकारी कमोबेश वास्तविक के समान है)

<?php ini_set('max_execution_time', 36000); class userGenerator { //       private $countries = array( 'Russian Federation', 'Ukraine', 'Germany', 'France', 'Lithuania', 'Latvia', 'Poland', 'Finland', 'Sweden' ); public function run($cnt) { for ($i = 0; $i < $cnt; $i++) { $query = $this->generateQuery($i); echo "generating user " . $i . " ... "; exec($query); echo "done" . PHP_EOL; } } private function generateQuery($id) { //       1960-  $date = new DateTime('1960-01-01'); return 'curl -XPUT \'http://localhost:9200/habrahabr/users/' . $id . '\' -d \' { "id" : "' . $id . '", "firstname" : "' . ucfirst($this->generateWord(10)) . '", "surname" : "' . ucfirst($this->generateWord(10)) . '", "birthDate" : "' . $date->modify('+' . rand(0, 14600) . ' days')->format('Ym-d') . '", "location" : "' . $this->generateWord(10) . ', ' . $this->countries[array_rand($this->countries)] . '", "skills" : ["' . strtoupper($this->generateWord(3)) . '", "' . strtoupper($this->generateWord(4)) . '", "' . strtoupper($this->generateWord(3)) . '"] }\' '; } private function generateWord($length) { $letters = array( "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z"); $word = ''; for ($i = 0; $i < $length; $i++) { $word .= $letters[rand(0, 25)]; } return $word; } } $generator = new userGenerator(); $generator->run(5000000); echo "complete"; ?> 

मेरे घर पर एक इंडेक्स (बहुत शक्तिशाली नहीं) बनाने में लगभग 5 घंटे लगे। इस तथ्य को देखते हुए कि मैंने कुछ भी कॉन्फ़िगर या अनुकूलित नहीं किया है, मुझे लगता है कि परिणाम बहुत अच्छा है। इसके अलावा, सूचकांक पीढ़ी समय मेरे लिए विशेष रूप से महत्वपूर्ण नहीं है। मुझे लगता है कि यदि आप सेटिंग्स में तल्लीन हो जाते हैं, और यहां तक ​​कि मेरी स्क्रिप्ट को अनुकूलित करते हैं ताकि यह एकल नहीं बल्कि समूह अनुरोध ( यहां अधिक विवरण) भेजता है, तो समय कई बार कम हो जाएगा। ठीक है, यदि आप इस प्रक्रिया को भी समानांतर करते हैं - तो समय को एक घंटे तक कम किया जा सकता है।

सूचकांक में प्रविष्टियों की संख्या की जाँच करें

  curl -XGET 'http: // localhost: 9200 / habrahabr / users / _count? q = / &'
 {
   "गिनती": 5128888,
   "_श्राद्ध": {
     "कुल": 5,
     "सफल": 5,
     "विफल": 0
   }

एक नया रिकॉर्ड जोड़ने की गति की जाँच करें

  समय कर्ल -XPUT 'http: // localhost: 9200 / habrahabr / उपयोगकर्ता / 5128889' -d '
 { 
  "फर्स्टनेम": "बेसिल",
  "उपनाम": "फेडोरोव",
  "जन्मतिथि": "1975-07-11",
   "स्थान": "रीगा, लातविया",
  "कौशल": ["पेरल", "पायथन", "एक्शनस्क्रिप्ट"]
 } '
 {"ओके": सच, "_ इंडेक्स": "हब्बरब्र", "_ टाइप": "उपयोगकर्ता", "_ आईडी": "5128891", "_ वर्जन": 2}

 वास्तविक 0m0.007s
 उपयोगकर्ता 0m0.004s
 sys 0m0.000s

सूचना खोज की गति की जाँच करें

 समय कर्ल -XGET 'http: // localhost: 9200 / habrahabr / उपयोगकर्ता / _sport? q = स्थान: रीगा और सुंदर'
 {
   "लिया": 5,
   "टाइमडाउट": गलत,
   "_शर्द": {
     "कुल": 5,
     "सफल": 5,
     "विफल": 0
   }
   "हिट": {
     "कुल": 1,
     "max_score": 8.854725,
     "हिट": [{
       "_index": "हैब्राहाब",
       "_type": "उपयोगकर्ता",
       "_id": "5128891",
       "_score": 8.854725, "_source": 
 { 
  "फर्स्टनेम": "बेसिल",
  "उपनाम": "फेडोरोव",
  "जन्मतिथि": "1975-07-11",
   "स्थान": "रीगा, लातविया",
  "कौशल": ["पेरल", "पायथन", "एक्शनस्क्रिप्ट"]
 }
     }]
   }
 }
 असली 0m0.011s
 उपयोगकर्ता 0m0.004s
 sys 0m0.000s

 $ समय कर्ल -XGET 'http: // localhost: 9200 / habrahabr / उपयोगकर्ता / _count? q = स्थान: जर्मनी और सुंदर'
 {
   "गिनती": 570295,
   "_श्राद्ध": {
     "कुल": 5,
     "सफल": 5,
     "विफल": 0
   }
 }
 वास्तविक 0m0.079s
 उपयोगकर्ता 0m0.004s
 sys 0m0.000s

निष्कर्ष

मेरी राय में, इंजन तेज, उच्च गुणवत्ता वाला, उपयोग करने में आसान है। यह उसी Zend_Search_Lucene की तुलना में बहुत तेज़ लगता है।

इस लेख में मैंने इसकी कार्यक्षमता का केवल एक छोटा सा हिस्सा बताया - सबसे सरल और सबसे आदिम कार्य। इस लेख के बाहर, लेन-देन, प्रतिकृति, फिल्टर और बहुत सारे अन्य उपयोगी कार्य बने हुए हैं। यह भी उल्लेखनीय है कि इस इंजन के लिए जावा और पीएचपी (संभवत: अन्य भाषाओं में) में पहले ही पुस्तकालय लिखे जा चुके हैं।

पुनश्च मैं पाठ और शर्तों के कुछ लड़खड़ाहट के लिए माफी माँगता हूँ।