स्फिंक्स: डेल्टा इंडेक्स और कई खोज सर्वर

अधिक या कम बड़ी परियोजना जल्द या बाद में पूर्ण-पाठ सामग्री खोज की आवश्यकता के लिए आती है।
इस उद्देश्य के लिए, स्फिंक्स खोज इंजन का आविष्कार किया गया था।

जब आधार बड़ा या बहुत अधिक अनुक्रमित हो जाता है, तो reindexing में काफी लंबा समय लगने लगता है, जिसके कारण परियोजना के लिए अलग-अलग नकारात्मक परिणाम हो सकते हैं। इस बिंदु पर, आपको डेल्टा इंडेक्स का उपयोग करने पर विचार करना चाहिए।
लेखक को इस आवश्यकता का सामना उस समय करना पड़ा जब बारहसिंगा को एक घंटे से अधिक समय लगना शुरू हुआ।

लेकिन यह सब प्रलेखन में विस्तार से वर्णित है और काफी सरलता से किया गया है:

source src_mysql { type = mysql sql_host = localhost sql_user = sphinx sql_pass = secret sql_range_step = 1000 } source src_news : src_mysql { sql_db = project sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query_pre = REPLACE INTO sph_counter SELECT 'src_news', MAX(id) FROM news sql_query_range = SELECT MIN(id), MAX(id) FROM news sql_query = SELECT id as news_id, title, content FROM news WHERE id>=$start AND id<=$end } source src_news_delta : src_news { sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query_range = sql_query = SELECT id as news_id title, content FROM news \ WHERE id > ( SELECT max_value FROM sph_counter WHERE source = 'src_news') sql_query_post = REPLACE INTO sph_counter SELECT 'src_news', MAX(id) FROM news } 

अब मामले पर विचार करें जब कई इंडेक्सिंग सर्वर हैं। इसके कई कारण हो सकते हैं, लेकिन एक समस्या दिखाई देती है: एक सर्वर, इंडेक्सिंग के बाद, डेटाबेस में अंतिम आईडी के मूल्य को ओवरराइट कर देता है। जब अगले सर्वर पर अनुक्रमण शुरू किया जाता है, तो पिछले सर्वर द्वारा अनुक्रमित रिकॉर्ड चयन में नहीं आएगा। अनुक्रमणिका में "अंतराल" हैं और खोज परिणाम लगातार भिन्न होंगे, और यादृच्छिक परिणाम याद किए जाएंगे।

क्या करें?

इसके अलावा आपको sph_counter तालिका में इंडेक्सिंग सर्वर आईडी को अतिरिक्त रूप से संग्रहीत करना होगा।

होस्टनाम कॉलम जोड़ें।

नतीजतन, तालिका इस तरह दिखाई देगी:

 CREATE TABLE IF NOT EXISTS `sph_counter` ( `source` varchar(100) NOT NULL DEFAULT '', `max_value` bigint(20) NOT NULL, `hostname` varchar(50) NOT NULL DEFAULT '', PRIMARY KEY (`source`,`hostname`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

* सूचकांक पर ध्यान दें, यह REPLACE INTO के सही संचालन के लिए आवश्यक है

अगला, विकल्प 2 के आपके विन्यास पर निर्भर करता है:

1. स्फिंक्स प्रक्रिया डेटाबेस के रूप में एक ही सर्वर पर चलती है, मास्टर-मास्टर प्रतिकृति कॉन्फ़िगर किया गया है

इस स्थिति में, समस्या काफी सरल रूप से हल हो गई है: हम वैश्विक MySQL चर का उपयोग करते हैं - 'hostname'
हमारा विन्यास निम्नलिखित रूप लेता है:

 source src_news : src_mysql { sql_db = project sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query_pre = REPLACE INTO sph_counter SELECT 'src_news', MAX(id), @@hostname FROM news sql_query_range = SELECT MIN(id), MAX(id) FROM news sql_query = SELECT id as news_id, title, content FROM news WHERE id>=$start AND id<=$end } source src_news_delta : src_news { sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query_range = sql_query = SELECT id as news_id, title, content FROM news \ WHERE id > ( SELECT max_value FROM sph_counter WHERE source = 'src_news' AND hostname = @@hostname) sql_query_post = REPLACE INTO sph_counter SELECT 'src_news', MAX(id), @@hostname FROM news } 

2. MySQL और Sphinx सर्वर अलग-अलग हैं, अनुरोध मास्टर में जाते हैं

इस स्थिति में, होस्टनाम वैश्विक चर का उपयोग नहीं किया जा सकता है - हम हमेशा उस सर्वर का नाम प्राप्त करेंगे जिस पर डेटाबेस चल रहा है।

बाहर निकलें: हम कनेक्शन जानकारी और उपयोगकर्ता चर का उपयोग करेंगे।

 source src_news : src_mysql { sql_db = project sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query_pre = SELECT @sphinx_instance:=IF(STRCMP(@sphinx_host:=SUBSTRING_INDEX(host,':',1),'localhost'),@sphinx_host,@@hostname) AS sphinx_instance \ FROM information_schema.processlist WHERE ID=connection_id(); sql_query_pre = REPLACE INTO sph_counter SELECT 'src_news', MAX(id), @sphinx_instance FROM news sql_query_range = SELECT MIN(id), MAX(id) FROM news sql_query = SELECT id as news_id, title, content FROM news WHERE id>=$start AND id<=$end } source src_news_delta : src_news { sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query_pre = SELECT @sphinx_instance:=IF(STRCMP(@sphinx_host:=SUBSTRING_INDEX(host,':',1),'localhost'),@sphinx_host,@@hostname) AS sphinx_instance \ FROM information_schema.processlist WHERE ID=connection_id(); sql_query_pre = REPLACE INTO sph_counter SELECT 'src_news', MAX(id), @sphinx_instance FROM news sql_query_range = sql_query = SELECT id as news_id, title, content FROM news \ WHERE id > ( SELECT max_value FROM sph_counter WHERE source = 'src_news' AND hostname = @sphinx_instance) sql_query_post = REPLACE INTO sph_counter SELECT 'src_news', MAX(id), @sphinx_instance FROM news } 

यह कॉन्फ़िगरेशन दोनों मामलों में काम करेगा।