PHP का उपयोग कर एक दूरस्थ सर्वर से स्फिंक्स इंडेक्सिंग

अच्छे दिन, प्रिय पाठकों!

मैं आपको एक दिलचस्प समस्या के बारे में बताना चाहता हूं जो परियोजना के ढांचे में और स्वाभाविक रूप से, इसके समाधान के बारे में मेरे सामने बन गई है।

स्रोत डेटा:
मानक दीपक किट (इसके बाद सीसी),
Yii फ्रेमवर्क (संस्करण यहां महत्वपूर्ण नहीं है),
एक दूरस्थ सर्वर (बाद में अमेरिका के रूप में संदर्भित) जिस पर स्फिंक्स डेमॉन स्थापित है, सर्चड।
उपयोगकर्ता इंटरफ़ेस पर रूट अधिकारों वाला उपयोगकर्ता बनाया गया है (लेकिन स्वयं रूट नहीं)।
PHP के लिए ssh2_mod मॉड्यूल SS पर स्थापित है।

तुरंत एक आरक्षण करें, इस लेख में मैं Sphinx की विशेषताओं का वर्णन नहीं करूंगा, जो रुचि रखते हैं, आधिकारिक मैनुअल sphinxsearch.com/docs/current.html पढ़ सकते हैं।
मैं खुद को केवल सामान्य जानकारी तक सीमित रखूंगा।

तो, स्फिंक्स एक खोज डेमॉन है, मेरे मामले में यह MySQL के साथ काम करता है। मुख्य विशेषता यह है कि यह कुछ प्रश्नों के लिए डेटाबेस को अनुक्रमित करता है (स्फिंक्स कॉन्फिगर में वर्णित), और इसके फाइलों के चयन का परिणाम बचाता है। जानकारी को अद्यतित रखने के लिए (MySQL में, रिकॉर्ड जोड़ना और संपादित करना भी संभव है), आपको स्फिंक्स इंडेक्सिंग चलाने की आवश्यकता है। फिर, वह खुद को बचाएगी और बचाएगी।

उद्देश्य:
CSS पर sphinx इंडेक्सिंग चलाएं।
रिमोट स्टार्ट का कारण यह है कि कोड में परिभाषित विशिष्ट मापदंडों के साथ मुकुट पर कमांडों को चलाना आवश्यक है। एसएस से क्रोन लॉन्च किए जाते हैं।
यानी सर्वर क्राउन चलाता है, जिसका तरीका सीएसएस पर अनुक्रमण करता है।

एकमात्र उपाय जो मुझे मिला वह था apache2 के लिए ssh2_mod का उपयोग करना (जो परवाह करता है, CentOS इंस्टॉलेशन मैनुअल यहां पाया जा सकता है www.stableit.ru/2010/12/ssh2-php-centos-55-pecl.html )।

मैंने ssh2 मैनुअल (http://www.php.net/manual/en/book.ssh2.php) को देखा, अद्भुत ssh2_exec फ़ंक्शन पाया, जो वर्तमान सत्र और कमांड को इनपुट के रूप में स्वीकार करता है, लेकिन जैसा कि यह निकला, इसकी कई सीमाएँ हैं।
उदाहरण के लिए, जब मैंने डेल्टा इंडेक्स के लिए अनुक्रमणिका --all - तोरण कमांड को निष्पादित करने का प्रयास किया, तो मुझे एक त्रुटि मिली:

WARNING: failed to open pid_file '/var/run/sphinx/searchd.pid'. WARNING: indices NOT rotated. 

इस त्रुटि का अर्थ है कि मेरे उपयोगकर्ता के पास घूमने के लिए पर्याप्त अनुमति नहीं है (और मेरे पास रूट विशेषाधिकार, sudo -s के साथ एक उपयोगकर्ता है), हालांकि मैंने बिना किसी त्रुटि के सीधे कंसोल से सीधे इस कमांड को निष्पादित किया है।
इसके बाद, मैंने और देखने का निर्णय लिया, और पाया कि आप टर्मिनल (ssh2_shell फ़ंक्शन) के माध्यम से कमांड इनपुट का अनुकरण कर सकते हैं। मानक स्ट्रीम और फाइटाइट फ़ंक्शन का उपयोग करके, आप "टर्मिनल" को कमांड लिख सकते हैं और समान मानक आउटपुट स्ट्रीम प्राप्त कर सकते हैं, अर्थात। टर्मिनल द्वारा जारी किया गया परिणाम। फ़ॉज का उपयोग करके आउटपुट स्ट्रीम से लाइन-बाय-लाइन पढ़ने के द्वारा होता है।

सब कुछ ठीक है, डेल्टा इंडेक्स चेक सफल रहा, मुझे खुशी हुई, लेकिन ...
"BUT" तब हुआ जब मैंने मुख्य इंडेक्स (लगभग 400k रिकॉर्ड) को अनुक्रमित करने की कोशिश की, इसमें कई मिनट लगते हैं)। यह पता चला कि आउटपुट स्ट्रीम टर्मिनल में एक कमांड के निष्पादन में थोड़ी देरी पर टूट जाती है। सरल भाषा में, जब आप एक कमांड दर्ज करते हैं, और टर्मिनल "सोचता है"। नतीजतन, मेरे पास अभी भी "अनएन्डेक्स्ड" फाइलें थीं।

मैंने तय किया कि लोग समस्याओं का समाधान कैसे करेंगे, मैं एक कोड ऑफ पीस आया, सही ssh2 मन में php.net पर। समाधान के लेखक ने कमांड के आरंभ और अंत मार्करों (echo '[start]'; $ कमांड; echo '[end]') को सेट करने और स्क्रिप्ट के लिए max_execution_time सेट करने का सुझाव दिया।
कोड नीचे है।

 $ip = 'ip_address'; $user = 'username'; $pass = 'password'; $connection = ssh2_connect($ip); ssh2_auth_password($connection,$user,$pass); $shell = ssh2_shell($connection,"bash"); //Trick is in the start and end echos which can be executed in both *nix and windows systems. //Do add 'cmd /C' to the start of $cmd if on a windows system. $cmd = "echo '[start]';your commands here;echo '[end]'"; $output = user_exec($shell,$cmd); fclose($shell); function user_exec($shell,$cmd) { fwrite($shell,$cmd . "\n"); $output = ""; $start = false; $start_time = time(); $max_time = 2; //time in seconds while(((time()-$start_time) < $max_time)) { $line = fgets($shell); if(!strstr($line,$cmd)) { if(preg_match('/\[start\]/',$line)) { $start = true; }elseif(preg_match('/\[end\]/',$line)) { return $output; }elseif($start){ $output[] = $line; } } } } 

यह मुझे एक अच्छा समाधान लग रहा था, लेकिन ...
यहाँ BUT पूर्वगामी हालत में था। जब आउटपुट जानकारी, सब कुछ $ आउटपुट को लिखा जाता है जो टर्मिनल आउटपुट को देता है। "विचारशील टर्मिनल" के साथ ऊपर वर्णित समस्या फिर से प्रासंगिक हो गई, जैसा कि जब रोक दिया गया, तो टर्मिनल ने पूरा होने वाले मार्कर की गूंज '[अंत]' (स्वयं कमांड, और निष्पादन का परिणाम नहीं) को आउटपुट करने के लिए आदेश जारी किया। सब कुछ preg_match के लिए एक शुरुआत और अंत पंक्ति प्रतिबंध जोड़कर हल किया गया था:
preg_match('/^\[start\]\s*$/',$line)

और $ लाइन के लिए is_string की जाँच कर रहा है।

यह केवल एक फ़ाइल दर्ज करने के लिए बना रहा, और, वायली, एक घटक Yii परियोजना में बनाया गया था, जो ssh2 कार्यों के लिए एक तरह की परत है।

 <?php class SshException extends CException {} /** * Class Ssh * It is a base class for the simplify a ssh connection management * and related commands execution * * @author Ivanenko Vladyslav */ class Ssh { const EXEC_TYPE_EXEC = 'exec'; // type for ssh2_exec() const EXEC_TYPE_SHELL = 'shell'; // type for ssh2_shell() const START_MARK = '__start__'; const FINISH_MARK = '__finish__'; const MAX_EXECUTION_TIME = 1800; // max script execution time in sec private $user; private $password; private $host; private $port; private $shellType = 'bash'; // shell type private $shell = null; //shell identificator private $ssh = null; //connection private $execType; /** * Construct * * @param null $user * @param null $password * @param null $host */ public function __construct($user = null, $password = null, $host = null, $port = null) { $config = Yii::app()->params['ssh']; $params = array('user', 'password', 'host', 'port'); foreach($params as $param) { if(isset(${$param}) && !is_null(${$param})) { $this->{$param} = ${$param}; } else { $this->{$param} = @$config[$param]; } } return true; } /** * Connect to Ssh * * @return resource * @throws SshException */ public function connect() { $this->ssh = @ssh2_connect($this->host, $this->port); if(empty($this->ssh)) { throw new SshException('Cant connect to ssh'); } if(empty($this->execType)) { $this->execType = self::EXEC_TYPE_SHELL; } return $this->ssh; } /** * Login to ssh * * @throws SshException * @return bool */ public function login() { if(!@ssh2_auth_password($this->ssh, $this->user, $this->password)) { throw new SshException('Cant login by ssh'); } return true; } /** * Exec command by ssh * * @param $cmd * @param $type * * @return string * @throws SshException */ public function exec($cmd, $type = self::EXEC_TYPE_SHELL) { if(is_null($this->ssh)) { $this->connect(); $this->login(); } $this->execType = $type; switch($this->execType) { case self::EXEC_TYPE_EXEC: $result = $this->execCommand($cmd); break; case self::EXEC_TYPE_SHELL: $result = $this->execByShell($cmd); break; default: throw new SshException('Incorrect exec type'); break; } return $result; } /** * Executes command by the direct ssh2_exec * * @param $command * * @return string * @throws SshException */ private function execCommand($command) { if (!($stream = ssh2_exec($this->ssh, $command))) { throw new SshException('Ssh command failed'); } stream_set_blocking($stream, true); $data = ""; while ($buf = fread($stream, 4096)) { $data .= $buf; } fclose($stream); return $data; } /** * Executes command within the shell opening * * @param $command * * @return string */ private function execByShell($command) { $this->openShell(); return $this->writeShell($command); } /** * opens shell * * @throws SshException */ private function openShell() { if(is_null($this->shell)) { // here is hardcoded width and height, you can change them. $this->shell = @ssh2_shell($this->ssh, $this->shellType, null, 80, 40, SSH2_TERM_UNIT_CHARS); } if( !$this->shell ) { throw new SshException('SSH shell command failed'); } } /** * * Write the command to the open shell * * @param $cmd * @param int $maxExecTime in sec * * @return string */ private function writeShell($cmd, $maxExecTime = self::MAX_EXECUTION_TIME) { // write start marker fwrite($this->shell, $this->getMarker(self::START_MARK)); // write command fwrite($this->shell, $cmd . PHP_EOL); // write end marker fwrite($this->shell, $this->getMarker(self::FINISH_MARK)); stream_set_blocking($this->shell, true); sleep(1); $output = ""; $start = false; // define the time until the script can be executed $timeUntil = time() + $maxExecTime; while(true) { if(time() > $timeUntil) { break; } $line = fgets($this->shell, 4096); // if any delay is happened while command is processing if(!is_string($line)) { sleep(1); continue; } // define the start executed command if(preg_match('/^' . self::START_MARK . '\s*$/', $line)) { $start = true; } elseif(preg_match('/^' . self::FINISH_MARK . '\s*$/', $line)) { // define the last executed command break; } elseif($start) { // add console output to the script output data $output .= $line; } } return $output; } /** * Disconnect from ssh */ public function disconnect() { $this->exec('exit'); $this->ssh = null; if(!is_null($this->shell)) { fclose($this->shell); } } /** * Disconnect in destruct */ public function __destruct() { $this->disconnect(); } /** * Returns marker command * * @param string $type * * @return string */ private function getMarker($type = self::START_MARK) { return 'echo "' . $type . '"' . PHP_EOL; } } 

पुनश्च इस वर्ग का विस्तार किया जा सकता है, क्योंकि ssh2 कमांड निष्पादित करने के लिए केवल दो कार्यों तक ही सीमित नहीं है, फाइलों के साथ काम करने के लिए भी कार्य हैं, और अन्य प्रकार के प्राधिकरण, आदि। आदि

आपका ध्यान देने के लिए धन्यवाद, मुझे उम्मीद है कि लेख उपयोगी होगा।
मुझे कोई प्रतिक्रिया और रचनात्मक आलोचना सुनने में खुशी होगी!

व्लादिस्लाव इवान्को द्वारा पोस्ट किया गया, PHP डेवलपर Zfort Group