Gearman Queue Server：ハンズオンエクスペリエンスとGearman Monitor && Control Webアプリケーション

Gearman Queue Serverは素晴らしいツールです。 ただし、操作中、キューサーバーはシステムユニットをやや連想させます。それは何かを行いますが、プロセスを正確に把握して管理するには、キーボードを備えたモニターとシステムユニットで何が起こっているかを把握する必要があります。
多くの場合、Gearmanはハンドルのない風変わりなツー​​ルのようです。それは面白くて美しいですが、なぜそれが必要なのか明確ではなく、使用するのが苦痛です。
この状況から抜け出す必要がある、ギアマンは本当に良いです。
見てみましょう：

• 「指で」ギアマン
• Gearmanを使用した実世界の例
• Gearmanキューサーバーでのリアルタイム監視とプロセス制御のためのWebアプリケーションとクラス

面白い？ 猫をお願いします。

Gearmanが「指で」機能する仕組みを説明できますか？

できます。

労働者とは何ですか？
これは単なるコンソールスクリプトであり、プログラミング言語は関係ありません。 スクリプトは常に実行されており、デーモンです。
起動されると、ワーカーデーモンはサーバーに文字列を送信します—実行可能な関数の名前、サーバーへのソケットを開き、待機します。

ワーカーはどのデータを受け取りますか？
vorkerには2行があります。1行目は実行するファイルの名前、2行目は引数です。 私たちは強調します：いくつかの引数をワーカー、配列、オブジェクトに渡すことは不可能です-文字列のみ、他のすべてのタイプのデータを文字列にキャストする必要があります-シリアル化またはJSON。
実際、驚くべきことは、HTTPなどのプロトコルを介したデータの送信全体です。これは文字列のみの送信でもあります。

行はどこから来たのか-ワーカーのタスク
サーバーにタスクを送信するGearmanクライアントは、実行する関数の名前と引数を文字列として2行だけを渡します。 この場合、キュー内のタスクは進行中としてマークされます。

それでは、次は何ですか？
タスクがバックグラウンドの場合、ワーカーは機能を実行し、実行信号fのみをサーバーに送信します。 タスクがバックグラウンドでない場合、ワーカーはGearmanに行を送信します-fの実行結果と実行信号。
進行信号を受信すると、Gearmanはタスクを完了済みとしてマークし、キューから削除します。

そして、機能を実行する過程でワーカーが異常にクラッシュしたり、緊急事態が発生したりした場合-つまり、満たされないのですか？
この場合のギアマンは正常終了信号を受信せず、タスクはキューに残ります

顧客とは何ですか？
Gearmanの「クライアント」という別のコンセプトを選び出すことは困難です。 PLからGearmanに連絡して、データを送受信できます。バックグラウンドで送受信できます。 しかし、まだ簡単です。

「受信」、「送信」、「来る」-サーバーとのデータ交換はどのように行われますか？ PLに低レベルのアドオンが必要ですか？
Gearmanとの通信はソケットを介して行われます。 通常、Gearmanを使用するためにPLに追加することはできませんが、ソケットとTelnetで対応できます。 たとえば、PHPでは、 PECLアドオンを言語にインストールすることでGearmanを操作したり、複数のクラスのファイルを単純に接続してPearライブラリを使用したりできます。

クライアントがサーバーにタスクを送信したが、この関数のワーカーがない場合、それは無料ですか、それともまったくありませんか？
タスクは、ワーカーを見越して「ハング」します。 同じ機能に対してさらにタスクが来ると、キューが形成されます-Gearmanキューサーバーはすべて同じです。

同じ機能のキューサーバー上の2つのタスクを区別することは可能ですか？
いや 議論ではありません。

タスクが送信されたキューを見つけることは可能ですか？
同じf番目のタスクは見分けがつかないので、いいえ。

キューにあるタスクの数を確認できますか？
はい また、このタスクを処理できるワーカーの数と、これらのワーカー（IP）がどこから来たかを調べることもできます。

1つのタスクが到着し、複数のワーカーがそれを実行できると想像してください。 誰がタスクを取得しますか？
タスクは区別できませんが、労働者も区別できません。 どのGearmanが作業者にタスクを与えるかは、答えないほど単純です。 ワーカーのキューはありません。

キューサーバーにはどのような種類のタスクがありますか？
タスクは、1）優先度で、2）バックグラウンドタスクであるかどうかで分けられます。
1）3つの優先度-通常、低-通常より低い優先度、および高-通常より高い優先度。 優先度はキューで考慮され、デフォルトでは通常の優先度です。
2）バックグラウンドタスクはキューサーバーに何も提供せず、クライアントはデータを受信しません。 通常のタスクは文字列を返す必要があり、Gearmanはタスクの結果としてこの文字列をクライアントに返します。

同時にいくつのワーカーを実行できますか？
ここで明確にする必要があります-起動する量ではなく、タスクを処理するためにGearmanに同時に接続できるワーカーの数。
理論的には-好きなだけ。 実際には、ワーカーの最大数は、外部リソースへの同時スレッドの最大数、データベースへの同時接続の数、およびGearmanに依存しない他の条件によって制限されます。 これらの行の作成者は1台のサーバーで約1000を実行することができ、その後MySQLが誓い始めました。

WindowsでGearmanを使用してPHPで作業できますか？
質問は2つに分かれています。1）WindowsでGearmanキューサーバー自体を起動できるかどうか、2）既に外部ホストにあるキューサーバーで作業できるかどうか。
1） cygwinを使用してWindowsにGearmanをインストールするオプションがあります

2）快適な作業のため、フォームの使い慣れた構造のコードで使用するため

$worker = new GearmanWorker(); $worker->addServer() 

同様の言語の追加が必要です。 これはすぐに制限を課します：Windowsでこれを行うことができるだけでなく、パッケージをインストールすることを許可するサーバーへのアクセス権がない場合、ホスティングでこれを行うことはできません。
DenwerとOpenServerには、Gearmanを操作するためのアドオンが含まれていません。
だから、出口がない、Gearman-* nixシステムのみ？
いいえ、もちろんです。 解決策-Pear Net_Gearmanライブラリをプロジェクトに接続する
他のクラス名とわずかに異なるロジックがありますが、それを生き延び、Gearmanで作業することで完全にできます。

Gearmanを使用した実際のタスク

1）広告代理店は、AdWordsとYandex.Directに付属しており、中規模および大規模のオンラインストア向けの広告キャンペーンを行っています。 製品に関する情報は絶えず変化しています。価格は変化しています（ドル為替レートなど）、新しい製品が登場し、一部の製品は在庫があり、一部は販売を終了しています。 各店舗には数千から数万の製品があります。
目的：AdWordsとYandex.Directの広告の情報が適切であることを確認する：価格の変更、新製品の広告/グループ/キャンペーンの追加、在庫切れになったアイテムの広告の停止、販売されなくなったアイテムの広告の削除が必要です。
タスクはGearmanを使用して簡単に解決できます。データベースからタスクを作成します-価格の変更、追加、停止、削除。 次に、タスクがキューサーバーにスローされ、そこで静かにいくつかのスレッドに処理されます。ワーカーはAdWords APIまたはYandex.Direct APIにアクセスし、必要な操作を実行します。
次のようになりました。

ここでGearmanは、プロセスの並列実行（1回）と外部リソースへのアクセスの規制という2つの問題を解決します。
AdWords APIもYandex.Direct APIも、フローなどの100の操作を実行することはできません-1秒あたりのリクエスト数には制限があります。 私の場合、AdWords APIには最大4つのスレッドを、Yandex.Direct APIには最大8つのスレッドを割り当てました。
ランタイムについて。 10,000個の製品の初期ロードには最大数時間かかり、数十万件の発表、数百件のキャンペーンなどが作成されます。

2）タスクの継続1.ほとんどすべてのストアは、データをXMLファイルとして送信します。 ただし、.xlsファイルを送信する人もいます。 .xlsファイルからデータを取得するのに問題はありません; PHPExcelがあります。 ただし、PHPExcelにはニュアンスがあります。大きなファイルを処理する場合、処理速度は大幅に低下しますが、最も重要なことは、php.iniの1024 MB以上の制限を超えるメモリを消費することです。
PHPExcelを使用してXLSファイルを処理するプロセスは、並列化することができます（アイデアはこの出版物から収集されました 、 MParshinに感謝します ）。 ワーカーはファイルを1行ずつ読み取り、各ワーカーはその行を読み取るため、プロセスは並列化されます。
ここでGearmanは2つの問題を解決します。1）並列処理と2）1つのPHPスクリプトのメモリ制限の制限のバイパス。
もちろん、この場合も、たとえば1,000人のワーカーを実行することはできません。サーバーのメモリも無限ではありません。 私の場合、20スレッドでXLSファイルを処理することが判明しました。

3）大手ベンダー-機器メーカー-は、その機器が実際に取引されている価格を知りたいと考えています。 カタログからデータを取得できますが、サイトからのみ取得できます。 プロセスは標準です。パーサー、複数のストリームのワーカーがカタログサイトからデータを受信します。
開発されたGearman Monitor && ControlシステムにAPIが存在するため、クライアント（ベンダー）がリアルタイムでデータを受信することを実証できます。
ここで、Gearmanは2つの問題を解決します。データの並列取得と処理、およびプロセスのリアルタイム表示です。
システムのクライアントインターフェイスは次のとおりです。


4）ホテルのサービスプロバイダーがデータを提供します。 タスク：地図にホテルを表示します。 データは座標とともに提供されるため、タスクは非常に単純なようです。 ただし、残念ながら、提供される座標の多くは間違っており、顧客に表示することはできません。住所は1か所で、ホテルマーカーは別の場所にあります。 ホテルの住所を使用してGoogleのジオコーダーを使用してデータを個別に受信することが決定されました。 ただし、javascriptでジオコーダーを単純に呼び出すと、多くのマーカーが表示されません。javascriptはすべてのホテルの住所を同時に取得しようとします。ジオコーダーは、1秒あたりのヒット数の制限を超えてほとんどのリクエストをブロックします。
解決策：javascriptからのすべてのジオコーダーリクエストはプロキシに送信され、プロキシはタスクをキューサーバーに転送します。
ここで、Gearmanは、外部リソース（GoogleジオコーダーAPI）へのアクセスを規制および制限する問題を解決します。


5）最後の例は、キューサーバーの統合使用です。 このサイトでは、数千のオブジェクトに関する特定の情報を提供しています。 タスク：この情報を取得して翻訳します。 解決策：情報用のワーカーと翻訳用のワーカーを立ち上げます。 複数のストリームの最初のワーカーは情報を受け取ります。ワーカーは必要なテキストを受信するとすぐに、タスクを再びキューサーバーに設定します。これは翻訳ワーカーのタスクです。 作業者の翻訳者がそれを翻訳し、完成した資料をデータベースに入れます。
ここではGearmanが標準として使用されます。複数のストリームで情報を受信および処理しますが、唯一の微妙な違いは、ワーカー自身が他のワーカーのタスクを設定することです。

実際のタスクに基づいて、Gearman制御システムの要件が登場しました

キューサーバーを使用していると想像してください。 1人のワーカーを実行する方法は？ コンソールにphp worker.php
並列処理のために20人のワーカーを実行する必要があります。 20台のコンソールを開きますか？ オプションではありません。 または、いくつかの異なるワーカーを実行する必要があります-同じ問題です。 そのため、Webインターフェイスでのクラスメソッドと実装が必要です。
-労働者の立ち上げ、その選択と数を示す
OK、私たちはさらに開発を進めており、ワーカーを立ち上げました。 彼を止める方法は？ 絶対に必要
-労働者を止める
状況：開発プロセス中にいくつかの異なるワーカーを起動しました。-ああ、やめて、すべてが戻ってきました。パラメーターは同じではありません！ 私たちは手伝います：
-1つのアクションですべてのワーカーを停止する
しかし、労働者は小さな子供のようなものです。彼は何かをし、不明瞭なことは監督が必要です。 これには以下が必要です。
-ワーカーの作業のログ
ここでもう少し。 労働者が何をしているのかを見て、創造を楽しむのは非常に素晴らしいことです。 しかし、ここに状況があります：強打-と労働者が飛び出しました。 またはさらに良い-それはまったく開始されません。 そして、どんな間違い？ コードに誤りがあるのか​​、例外が処理されていないのか、外部サービスからエラーが発生したのか？ したがって：
-致命的エラーを含むワーカーエラーのログ記録
ログは大きくなる可能性があり、それを表示するのは面倒であり、多くの場合ボリュームのために不可能です。 必要な
-任意のテキストをログで検索
私たちは労働者に対処しました、彼らは私たちの対象です。 そしてターン？
再び、労働者-小さな子供のように、束を並べ替えますが、その束には何がありますか？ したがって：
-キューサーバーに登録されているすべての機能の出力
-各機能のタスクキューの出力
しかし、クライアントはサーバーにタスクキューをスローし、1,000個が一度に1つずつ蓄積しましたが、ワーカーはそれを処理できなかったか、ワーカーがまったく存在せず、予期されていません。 または実生活に近い：ワーカーがアクセスする外部サービスが利用できないため、キューをリセットする必要があります。 になる方法 必須です
-各機能のキューをリセット/クリア
しかし、ここでは十分なGearmanをプレイしました。切断する必要があります。 または、何か間違ったことをしてキューサーバーに送信し、すべてを停止する必要があります。 助けます
-フルリセット：すべてのキューをクリアし、すべてのワーカーを停止します。

発生するすべてのものを、ページを更新せずにリアルタイムで表示する必要があることを追加します 。

上記のタスクはすべて、Gearman_Monitorクラスと、このクラスのメソッドを実装するGearman Monitor && Control Webアプリケーションによって解決されます。
GithubのGearman Monitor && Controlプロジェクト



これがWebアプリケーションのビデオです


開発で使用するには、Gearman_MonitorおよびGmonitor_Settingsクラスが必要です（phpファイル名はクラス名と同じです）。
クラスのプロパティとメソッドは、ファイル自体に詳細に文書化されています。 これだけを説明しましょう。

 public static $func_name_synonyms = array( 'summ' => 'Sum', 'muliply' => '    ', 'subtract' => 'Substract Function', 'divide' => '功能', ); 

ここに
配列キー-キューサーバーのワーカーによって登録された関数名
値-テーブルに表示されるもの（任意の形式）。 これは、オペレーターの利便性のためです-一度、および別のアプリケーション。 単一のキューサーバーで複数のプロジェクトがスピンしていると想像してください。 もちろん、ヒープ上のすべてではなく、自分のプロジェクトだけを見たいです。 これを行うには、同義語を指定し（指定しない場合は関数名が使用されます）、値を設定します

 public static $synonyms_only_view = true; 

この場合、同義語が存在するもののみが関数テーブルに表示されます。

別のポイント。 Webアプリケーションには、ロガーとPHPエラーハンドラが含まれています。 gearman_includes.phpファイルをワーカーに接続すると、ワーカーから表示されるログに書き込むことができ、ワーカーのエラーも記録されてログに表示されます。

/ workersディレクトリには2つのワーカーがあります。 fake_worker.phpはアプリケーションが動作するために必要です。2番目のワーカーは動作中のプロジェクトからのものであり、例として考えることができます。

Webアプリケーションを使用するには、次のものが必要です。
-データベースにログテーブルを作成する（log_create.sqlファイルを参照）
-Gearman_Db.phpファイルでデータベース接続パラメーターを指定します
-ビュー/ Smarty / smarty_dirs内のすべてのディレクトリに書き込み権限を設定します（主にディレクトリビュー/ Smarty / smarty_dirs / templates_cに関係します）
-Gearman_Monitor.phpファイルでGearmanサーバーホストを指定します

皆さんに幸運を！

PS Webアプリケーションは動作中のプロジェクトから引き裂かれています。小さな矛盾があるかもしれません。事前に謝罪します。
別の瞬間。 Webアプリケーションの書き直しを繰り返し試みました-コード、インターフェースを改良するために、Gearmanを使用してタスクが絶えず現れ、最初のバージョンはすぐに完成しました。 その結果、繰り返しテストされ、信頼性が高く、安定していて便利なものとして公開されました。