रूसी शब्दों का एकीकरण fts3 SQLite में एल्गोरिथ्म स्टेमिंग

इस लेख में मैं स्टेमाइट एक्सटेंशन को SQLite कोड में एकीकृत करने के अनुभव को साझा करना चाहता हूं। सभी क्रियाएं OS Ubuntu 11.10 में की गईं।

समस्या

Fts3 SQLite में एक साधारण स्टेमर है जो पोर्टर के स्टेमिंग एल्गोरिदम को लागू करता है, लेकिन रूसी शब्दों के लिए कोई कार्यान्वयन नहीं है। यानी 'होटल' शब्द के लिए MATCH को 'होटल' शब्द से संबंधित रिकॉर्ड नहीं मिलेंगे, आदि।

संकलन की तैयारी

क्या जरूरत है?

• भंडार से sqlite3 स्रोत;
• हमारी सी-भाषा स्टेमर (नीचे देखें);
• वैकल्पिक रीडलाइन लाइब्रेरी (लिब्रेडलाइन), यदि आपको कंसोल क्लाइंट के लिए इनपुट कमांड के इतिहास की आवश्यकता है।

यह आगे माना जाता है कि sqlite3 स्रोत $ HOME / SQLite में हैं।

स्टीमर कोड

रूसी वर्णों को UTF-8 एन्कोडिंग।
स्टीमर लैटिन शब्दों के लिए बिल्ट-इन पोर्टर स्टीमर का उपयोग करता है, और रूसी शब्दों के लिए एक समान एल्गोरिथ्म को लागू करता है।
कोड मूल रूप से C ++ के लिए लिखा गया था और SQLite के लिए एक एक्सटेंशन के रूप में लोड किया गया था। मैंने इसे संशोधित किया ताकि इसे सी भाषा संकलक पर संकलित किया जा सके, इसलिए यह सुंदर और सख्त से बहुत दूर है। यहाँ क्या हुआ:
fts3_porter_ext.c
हमने अपने स्टेमर को $ HOME / SQLite / ext / fts3 / fts3_porter_ext.c में डाला

फ़ाइल संपादन

Makefile.in

फाइल को $ HOME / SQLite / Makefile.in संपादित करें।

• चर LIBOBJS0 में fts3_porter_ext.lo स्टेमर जोड़ें
• SRC वैरिएबल में $ (TOP) /ext/fts3/fts3_porter_ext.c जोड़ें
• हम विधानसभा के लिए नियम लिखते हैं fts3_porter_ext.lo:
  fts3_porter_ext.lo: $(TOP)/ext/fts3/fts3_porter_ext.c $(HDR) $(EXTHDR)
$(LTCOMPILE) -DSQLITE_CORE -c $(TOP)/ext/fts3/fts3_porter_ext.c

fts3.c

$ HOME / SQLite / ext / fts3 / fts3.c संपादित करें
लाइन के बाद जोड़ें
void sqlite3Fts3PorterTokenizerModule(sqlite3_tokenizer_module const**ppModule);

पंक्ति
void sqlite3Fts3PorterTokenizerModule1(sqlite3_tokenizer_module const**ppModule);

लाइन के बाद
sqlite3Fts3PorterTokenizerModule(&pPorter);

हमारे मॉड्यूल का इनिशियलाइज़ेशन जोड़ें
const sqlite3_tokenizer_module *pPorter1 = 0;
sqlite3Fts3PorterTokenizerModule1(&pPorter1);

आखिरकार
|| sqlite3Fts3HashInsert(pHash, "porter", 7, (void *)pPorter)

हमारे मॉड्यूल को अंतर्निहित टोकन के हैश में जोड़ें
|| sqlite3Fts3HashInsert(pHash, "russian", 8, (void *)pPorter1)


mkfts3amal.tcl

$ HOME / SQLite / ext / fts3 / mkfts3amal.tcl संपादित करें
लाइन के बाद
fts3_tokenizer1.c

जोड़ा जा रहा है
fts3_porter_ext.c


mksqlite3c.tcl

$ HOME / SQLite / टूल / mksqlite3c.tcl संपादित करें
लाइन के बाद
fts3_tokenizer1.c

जोड़ा जा रहा है
fts3_porter_ext.c


संकलन

चलिए निम्नलिखित करते हैं (--prefix = $ HOME को कुछ और सेंस से बदलने के लिए बेहतर है। यह इंस्टालेशन पथ होगा)
cd $HOME/SQLite && mkdir build && cd build && ../configure --prefix=$HOME CFLAGS='-DSQLITE_SOUNDEX -DSQLITE_ENABLE_FTS3 -DSQLITE_ENABLE_FTS3_PARENTHESIS' && make

अब जांचें कि हमारा स्टेममीटर sqlite3.c में है
grep fts3_porter_ext.c sqlite3.c

आपको कुछ इस तरह से मिलना चाहिए:
/************** Begin file fts3_porter_ext.c *********************************/
/************** End of fts3_porter_ext.c *************************************/

अब कंप्यूटर पर sqlite3 स्थापित करें:
sudo make install


के उपयोग

Fts3 टेबल बनाते समय, आपको हमारे स्टेमर को निर्दिष्ट करने की आवश्यकता है, उदाहरण के लिए इस तरह:
CREATE VIRTUAL TABLE tag_fti USING fts3(name, tokenize=russian);

अब, tag_fti टेबल पर MATCH प्रश्नों के साथ, हमारे स्टेमर का उपयोग किया जाएगा।

परिणाम

हमें 2 sqlite3.c और sqlite3.h फाइलें मिलीं जिन्हें हमारी परियोजनाओं से जोड़ा जा सकता है।
एक्सटेंशन मॉड्यूल डाउनलोड करने की आवश्यकता नहीं है।
हमें एक कंसोल क्लाइंट मिला है जो हमारे एप्लिकेशन बनाएंगे fts3 तालिकाओं के लिए सही तरीके से अनुरोध करता है। ऐलान यह भी सच है कि कंसोल क्लाइंट द्वारा बनाई गई तालिकाओं को हमारे अनुप्रयोगों द्वारा संसाधित किया जाएगा।
मुझे खुशी होगी अगर लेख किसी के लिए उपयोगी होगा।

अद्यतन: सही लिंक