Sphinx और PHP का उपयोग करके PDF, DOC, DOCX फ़ाइलों को खोजें

दिन का अच्छा समय।

मैं अपने अनुभव को PDF, DOC और DOCX फ़ाइलों की खोज के लिए PHP में स्क्रिप्ट लिखने के अपने अनुभव को Sphinx का उपयोग करके साझा करना चाहता हूं। निम्नलिखित में से सभी उन लोगों के लिए लिखे गए हैं जिनके पास पहले से ही स्फिंक्स और पीएचपी का एक गुच्छा था। यदि नहीं, तो एक समय में आईबीएम की वेबसाइट पर प्रकाशित मार्टिन स्ट्रीचर के लेख " क्रिएट योर ओन सर्च इंजन यूज़िंग पीएचपी" के लेख से मुझे बहुत मदद मिली।

हाल ही में, एक परियोजना पर, जो उपयोगकर्ता आधार के लिए वेब इंटरफ़ेस है, मुझे दस्तावेजों के लिए एक खोज के आयोजन का काम दिया गया था। परियोजना मेरे पहले लिखी गई थी और पहले से ही स्फिंक्स का उपयोग किया गया था।

कार्य तुच्छ प्रतीत होता है, लेकिन थोड़ी सी गुगली करते हुए, मुझे पीडीएफ, डीओसी और डॉक्स प्रारूपों में फ़ाइलों की खोज के विशिष्ट उदाहरण के साथ एक स्पष्ट निर्देश नहीं मिला, जो इस लेख को लिखने का कारण था।

स्फिंक्स केवल XML प्रारूप में पाठ फ़ाइलों को संसाधित कर सकता है। इस प्रारूप में डेटा को संसाधित करने के लिए, xmlpipe या xmlpipe2 ड्राइवर का उपयोग किया जाता है। यही है, पीडीएफ, डीओसी और डीओसीएक्स फाइलों में अनुक्रमण जानकारी के लिए, आपको इसे एक्सएमएल प्रारूप में स्फिंक्स को देने की आवश्यकता है।

ऐसा करने के लिए, आपको एक स्क्रिप्ट लिखने की ज़रूरत है जो फ़ाइलों पर जाएगी, डेटा पढ़ेगी और इसे सही प्रारूप में देगी।
नीचे एक उदाहरण कॉन्फ़िगरेशन और कोड है जो हमें अनुक्रमण के साथ मदद करेगा।

Sphinx.conf कॉन्फ़िगरेशन फ़ाइल में, निम्नलिखित निर्दिष्ट करें:

#    source SourceParseXml { #  xmlpipe2,    type = xmlpipe2 # ,    ,   XML.  xml-parser.php  XML xmlpipe_command = /path/to/php /path/to/xml-parser.php } #   index IndexParseXml { # ,    source = SourceParseXml #      path = /path/where/to/store/index-data #      min_word_len = 1 #   charset_type = utf-8 } #   indexer { #       mem_limit = 32M } 

Xml-parser.php फ़ाइल की सामग्री जो Sphinx-a के लिए XML उत्पन्न करती है:

 $allowedMimes = array( 'application/pdf', 'application/zip', // docx 'application/vnd.ms-office', // doc    OpenOffice 'application/msword' ); $allowedExtentions = array('pdf', 'docx', 'doc'); $pdfInfoPath = '/usr/bin/pdfinfo'; //    pdfinfo $pdfToTextPath = '/usr/bin/pdftotext'; //    pdftotext $catDocPath = '/usr/bin/catdoc'; //    catdoc //   Znd-     docx define('FILE_PATH', realpath(dirname(__FILE__)) . DIRECTORY_SEPARATOR); if (strpos(get_include_path(), 'Zend.phar.gz') === false) { ini_set('include_path', ini_get('include_path') . ':phar\://' . FILE_PATH . 'Zend.phar.gz'); } $phar = new Phar(FILE_PATH . 'Zend.phar.gz', 0, 'Zend.phar.gz'); if (isset($phar['Zend/Search/Lucene/Document/Docx.php'])) { require_once($phar['Zend/Search/Lucene/Document/Docx.php']); } else { echo 'ERROR: can\'t load "Zend/Search/Lucene/Document/Docx.php" !' . PHP_EOL; die; } //   XML $xmlWriter = new xmlWriter(); $xmlWriter->openMemory(); $xmlWriter->setIndent(true); $xmlWriter->startDocument('1.0', 'UTF-8'); $xmlWriter->startElement('sphinx:docset'); $xmlWriter->startElement('sphinx:schema'); $xmlWriter->startElement('sphinx:field'); $xmlWriter->writeAttribute('name', 'content'); $xmlWriter->endElement(); // field $xmlWriter->endElement(); // schema /*       files,       ,   id . : files/01/file.pdf */ //     files foreach (new DirectoryIterator(dirname(__FILE__) . '/files') as $folder) { // ,      if (!$folder->isDir() || $folder->isDot()) { continue; } //           foreach (new DirectoryIterator($folder->getPathname()) as $file) { //         if ($file->isDir() || !in_array(strtolower(pathinfo($file, PATHINFO_EXTENSION)), $allowedExtentions) || !in_array(mime_content_type($file->getPathname()), $allowedMimes)) { continue; } $text = ''; $filePath = $file->getPathname(); $filePathEscape = escapeshellarg($filePath); try { switch (mime_content_type($filePath)) { case 'application/pdf': { $pdfInfo = array(); $key = ''; $val = ''; //     PDF  foreach (explode("\n", shell_exec(escapeshellcmd($pdfInfoPath . ' ' . $filePathEscape))) as $str) { list($key, $val) = count(explode(':', $str)) == 2 ? explode(':', $str) : array('', ''); if (trim($key) && trim($val)) { $pdfInfo[trim($key)] = trim($val); } } //    if (empty($pdfInfo) || (isset($pdfInfo['Error']) && $pdfInfo['Error'])) { continue; } //   pdftotext    $text = shell_exec(escapeshellcmd($pdfToTextPath . ' -nopgbrk ' . $filePathEscape . ' -')); break; } case 'application/zip' : { $file = Zend_Search_Lucene_Document_Docx::loadDocxFile($filePath); //   Zend_Search_Lucene_Document_Docx    $text = $file->getFieldValue('body'); break; } case ('application/vnd.ms-office' || 'application/msword'): { //   catdoc    $text = shell_exec(escapeshellcmd($catDocPath . ' ' . $filePathEscape)); break; } } if (empty($text)) { continue; } $text = strip_tags($text); $givenEncode = mb_detect_encoding($text); //      UTF-8 $text = $givenEncode ? iconv($givenEncode, 'UTF-8', $text) : mb_convert_encoding($text, 'UTF-8'); } catch (Exception $e) { echo $e->getMessage() . PHP_EOL; continue; } $xmlWriter->startElement('sphinx:document'); // $folder->getBasename() -        . //      $xmlWriter->writeAttribute('id', $folder->getBasename()); $xmlWriter->startElement('content'); $xmlWriter->writeCData($text); $xmlWriter->endElement(); // content $xmlWriter->endElement(); // field } } $xmlWriter->endElement(); $xml = $xmlWriter->outputMemory(); $tidy = tidy_repair_string($xml, array( 'output-xml' => true, 'input-xml' => true ), 'utf8'); echo $tidy; 

उपरोक्त कोड आधिकारिक स्फिंक्स-एक वेबसाइट से स्क्रिप्ट का एक संशोधित संस्करण है।
Pdftotext उपयोगिता का उपयोग पीडीएफ फाइल से पाठ पढ़ने के लिए किया जाता है। DOC फ़ाइलों के लिए - कैटडॉक । DOCX फ़ाइलों से पाठ पढ़ने के लिए Zend का उपयोग किया जाता है। आप यहाँ Phar के बारे में पढ़ सकते हैं। आधिकारिक स्फिंक्स प्रलेखन , साथ ही इंडेक्सर के लिए सही एक्सएमएल का एक उदाहरण ।

ऊपर एक स्क्रिप्ट है जो फ़ाइलों से डेटा पढ़ता है और उन्हें अनुक्रमण के लिए XML प्रारूप में देता है।
अब, खोज करते समय, स्फिंक्स उस फ़ोल्डर की आईडी वापस कर देगा जिसमें एक मैच मिला है। आप अभी भी फ़ाइल नाम संग्रहीत कर सकते हैं। अपने लेख में rednaxi "स्फिंक्स + php में एक परिचयात्मक खोज इंजन बनाना" अधिक विवरण में स्फिंक्स और पीएचपी के साथ काम करने की प्रक्रिया का वर्णन किया गया है।