Node.JSでのWeb開発：パート2

前回の記事では、 Node.JSでパイロットWEBプロジェクト「 何をすべきか」を開発した経験について話し始めました。 最初の部分はレビューで、技術の長所と短所を明らかにし、開発中に直面しなければならない問題について警告することを試みました。 この記事では、技術的な詳細について説明します。

「habraeffect」に関するいくつかの言葉

正直なところ、メインハブにリンクするサイトの崩壊を定期的に観察した後、もっと深刻な数字を目にすることを期待していました。 以前の記事は両方ともメインページにアクセスしました。 最初の記事は閉じたブログ「I PR」にあり、購読者のみに表示されていましたが、プロファイルブログ「Node.JS」の2番目の記事はコメントでかなり長い議論を引き起こしました。両方の記事からサイトにアクセスした人の数はほぼ同じでした。 同様に小さい。




これらの数値は、深刻な負荷について語るには小さすぎます。 訪問のピーク時に、htopはおよそ次の写真を示しました。


負荷平均は1に達することもありましたが、再び0.3〜0.5になりました。 ページはすぐに与えられました。 平均ページ生成時間。形成のデータはmemcached-15-20msです。 memcachedにデータがない場合、生成時間は40〜100ミリ秒に増加しますが、これは非常にまれです。 一部の訪問者は、SiegeおよびabユーティリティとLoadImpactサービスを使用してサイトをテストしました。 当時、私はすべてのページがNginxによって適切にキャッシュされ、これらのリクエストはNode.JSに届かないと確信していました。 これはそうではないことが判明しました。 後に、ページキャッシングを妨げるモジュールの1つの不正な動作を発見しました（これについては後で詳しく説明します）。 実質的にすべてのリクエストはNode.JSによって処理され、サイトは安定して動作しました。

残念ながら、記事の主題とリンクが設定されているサイトの主題によって「ハブラー効果」がどの程度異なるかはわかりません。 しかし、サイトが同じ（まあ、または2倍）の人々から落ちている場合、問題はテクノロジーの選択とはほど遠いものです。

テストと出席データに基づいて、私はプロジェクトが非常に安定しており、訪問者の急激な流入がある場合に落ちることはないと結論付けました。

建築

鉄とソフトウェア

このサイトは、VPSにわずかな機能を備えています：

• 1200Mhzの周波数が保証された1つのCPU。
• 1024Mb RAM;
• 25Gb HDD（このプロジェクトでは、このインジケーターは特別な役割を果たしません）。

サーバーはUbuntu Serverを実行しています。 私は慣れています。彼女と一緒に仕事をするのが便利なので、彼女を選びました。

追加のソフトウェアは最低限インストールされます。 この場合、次のとおりです。

• Node.JS-サーバー上のJavaScriptアプリケーションランタイム。
• MongoDB-NoSQL DBMS;
• Memcached-キャッシュデーモン。
• Nginx-フロントエンドサーバー。

ソフトウェアのバージョンを最新に保つようにしています。

構成

デフォルトでは、Node.JSはシングルスレッドで実行されますが、特にマルチコアプロセッサの場合、あまり便利ではなく、最適でもありません。 ほとんどすぐに、モジュールはいくつかのプロセス（Web Workerのさまざまな実装）を便利に起動するように見えました。 標準のNode.JS APIでこれを行うことは難しくありませんでした。 バージョン0.6.0のリリースで、Node.JSは新しいモジュールClusterを導入しました。 複数のNode.JSプロセスを開始するタスクを大幅に簡素化します。 このモジュールのAPIを使用すると、net / httpサーバーが共通のTCPポートを使用するノードプロセスを分岐できます。 親プロセスは子プロセスを管理できます：停止、新しいプロセスの開始、予期しない終了への応答。 子プロセスは、親とメッセージを交換できます。

クラスターを使用すると必要な数のプロセスを開始するのに便利であるにもかかわらず、異なるTCPポートでノードの2つのインスタンスを実行します。 更新中のダウンタイムを回避するためにこれを行います。そうしないと、再起動中（ちなみに数秒しかかかりません）、ユーザーはサイトにアクセスできなくなります。 ノードのインスタンス間で、負荷はHttpUpstreamModule Nginxを使用して分散されます。 再起動中にインスタンスの1つが使用できなくなると、2番目のインスタンスがすべてのリクエストを引き継ぎます。

Nginxは、許可されていないユーザーに対して、サイトのすべてのページが短時間（1分間）キャッシュされるように構成されています。 これにより、Node.JSの負荷を大幅に軽減すると同時に、関連するコンテンツを非常に迅速に表示できます。 許可ユーザーの場合、キャッシュ時間は3秒に設定されます。 これは一般のユーザーには完全に見えませんが、許可Cookieを含む多数のリクエストでサイトをロードしようとする侵入者を防ぐことができます。

モジュール

Node.JSでアプリケーションを開発する場合、特定のタスクを実行するモジュールを選択するという問題がしばしば発生します。 一部のタスクには、すでに実績のある人気のあるモジュールがありますが、他のタスクには、選択するのがより困難です。 モジュールを選択するには、オブザーバーの数、フォークの数、および最後のコミットの日付に注目する必要があります（今はGitHubについて説明しています）。 これらのインジケータにより、プロジェクトが生きているかどうかを判断できます。 最近登場したNode Toolboxサービスは、このタスクを非常に容易にします。

ここで、プロジェクトの開発用に選択したモジュールについて説明します。

つなぐ

github.com/senchalabs/connect
このモジュールはNode.JS httpサーバーのアドオンであり、その機能を大幅に拡張します。 彼はルーティング、Cookieサポート、セッションサポート、リクエスト本文の解析などの機能を追加します。これなしでは、Node.JSでのWebアプリケーションの開発は悪夢になりそうです。 ほとんどの接続機能はプラグインとして実装されます。 また、標準パッケージには含まれていない接続用の同様に便利なプラグインも多数あります。 独自のプラグインを開発して不足している機能を追加することも非常に簡単です。

このモジュールの人気と急速な開発にもかかわらず、NginxがNode.JSからの回答をキャッシュすることを妨げる問題がそこにありました。 デフォルトでは、Nginxのproxy_cacheディレクティブは、次のヘッダーの少なくとも1つが含まれている場合、バックエンドの応答をキャッシュしません。

• クッキーを設定する
• 値が「no-cache」、「no-store」、「private」、または「max-age」で、数値またはゼロ以外の値を含むCache-Control。
• 過去の日付で失効します。
• X-Accel-Expires：0。

接続セッションでは、すべての応答でSet-Cookieヘッダーが送信されるように実装されました。 これは、ブラウザセッションの寿命よりも長い寿命を持つセッションをサポートするために行われました。 PHPでは、セッション時間を特定の値に設定すると、ユーザーがサイトでアクティブになっている場合でも、この時間後に終了します。 Connectは異なるポリシーを使用します-Cookieはすべてのリクエストで更新され、その有効期間は現在のリクエストからカウントされ始めます。 ユーザーがアクティブな間、セッションは終了しません。 PHPのアプローチは、私にはもっと本当のようです。 セッションは、まだ長期のデータストレージを目的としていません。 コードに適切な変更を加え、プルリクエストを送信しました。 さらに、 短い議論の後（私の英語に反してはいけません）、妥協案が見つかりました-期限切れセッションがインストールされていないため、Cookieは1回だけ送信されるようになりました。 有効期間が厳密に指定されたセッションの場合、この問題はまだ解決されていません。

connect-memcached

github.com/balor/connect-memcached
このモジュールは、接続用のプラグインです。 セッションをmemcachedに保存する機能を追加します。 追加のプラグインがない場合、connectは1つのプロセスのメモリにのみセッションを保存できます。 これは明らかに戦闘条件での使用には十分ではないため、対応するプラグインはすべての一般的なストレージ用にすでに開発されています。

非同期

github.com/caolan/async
このモジュールがなければ、Node.JSの非同期コードを書くのははるかに困難になります。 このライブラリには、非同期呼び出しを「ジャグリング」して、互いに埋め込まれた多くの関数でコードを膨らませることができないメソッドが含まれています。 たとえば、複数の非同期呼び出しを起動し、それらを完了するためのアクションを実行するのがはるかに簡単になります。 自転車のさらなる発明を避けるために、このライブラリのすべての機能に精通することを強くお勧めします。

node-oauth

github.com/ciaranj/node-oauth
このモジュールはOAuthおよびOAuth2プロトコルを実装します。これにより、これらのプロトコルをサポートするソーシャルネットワークを介してサイトでのユーザー認証を非常に簡単に提供できます。

node-cron

github.com/ncb000gt/node-cron
このモジュールの名前はそれ自身を表しています。 スケジュールに従ってタスクを実行できます。 スケジュールの構文は、Linuxで誰もが慣れているcronと非常に似ていますが、node-cronとは異なり、second-secondの起動間隔をサポートしています。 つまり、10秒ごと、さらには1秒ごとに実行するようにメソッドを構成できます。 人気の質問をメインページに持ち込んでTwitterに投稿するなどのタスクは、このモジュールを使用して開始されます。

ノードさえずり

github.com/jdub/node-twitter
このモジュールは、アプリケーションとTwitter APIの相互作用を実装します。 動作するには、上記のnode-oauthモジュールを使用します。

node-mongodb-native

github.com/christkv/node-mongodb-native
このモジュールは、NoSQL DBMS MongoDBへのインターフェースです。 彼の競合他社の中で、彼は最高の洗練と迅速な開発で際立っています。 データベース（プール）への複数の接続を開くことは、すぐにサポートされているため、独自の松葉杖を書く必要はありません。 このモジュールに基づいて、かなり便利なORM Mongooseが開発されました。

node-memcached

github.com/3rd-Eden/node-memcached
私の意見では、これがNode.JSのmemcachedアクセスインターフェイスです。 複数のmemcachedサーバーとそれらの間のキー配布、および接続プールをサポートします。

http-get

github.com/SaltwaterC/http-get
このモジュールは、HTTP / HTTPS経由でリモートリソースにアクセスするように設計されています。 これにより、ソーシャルネットワーク経由でサイトにログインしているユーザーの写真がダウンロードされます。

sprintf

github.com/maritz/node-sprintf
その名前が示すように、JavaScriptでsprintf関数とvsprintf関数を実装する、小さくても非常に便利なモジュール。

daemon.node

github.com/indexzero/daemon.node
このモジュールにより、Node.JSアプリケーションからデーモンを簡単に作成できます。 これにより、アプリケーションをコンソールから切り離し、出力をログファイルにリダイレクトするのが便利です。

私の貢献

次のモジュールは、プロジェクトの作業中に私が開発したもので、 執筆の時点で、私はそれらの代わりに既製のソリューションを見つけることができませんでした。 これらのモジュールは、GitHubおよびnpm modulesディレクトリで公開されています。

ああ

github.com/baryshev/aop
このモジュールはまだAOPパターンを完全に実装すると主張していません。 現在は、必要に応じて動作を変更できるアスペクトで関数をラップできる単一のメソッドが含まれています。 この手法は、関数の結果をキャッシュするために非常に便利です。

たとえば、ある種の非同期関数があります。

var someAsyncFunction = function(num, callback) { var result = num * 2; callback(undefined, result); }; 

この関数は頻繁に呼び出され、結果をキャッシュする必要があります。 通常、次のようになります。

 var someAsyncFunction = function(num, callback) { var key = 'someModule' + '_' + 'someAsyncFunction' + '_' + num; cache.get(key, function(error, cachedResult) { if (error || !cachedResult) { var result = num * 2; callback(undefined, result); cache.set(key, result); } else { callback(undefined, cachedResult); } }); }; 

プロジェクトには、このような機能が多数存在する場合があります。 コードは大きく膨らみ、読みにくくなり、大量のコピー＆ペーストが表示されます。 そして、ここでaop.wrapでも同じことができます。

 var someAsyncFunction = function(num, callback) { var result = num * 2; callback(undefined, result); }; /** *   -    this   *   - ,      *   - ,        *   -  ,    (    ) */ someAsyncFunction = aop.wrap(someAsyncFunction, someAsyncFunction, aspects.cache, 'someModule', 'someAsyncFunction'); 

それとは別に、アスペクトライブラリを作成し、そこにキャッシュ関数を定義します。この関数は、すべてをキャッシュする役割を果たします。

 module.exports.cache = function(method, params, moduleName, functionName) { var that = this; //         var key = moduleName + '_' + functionName + '_' + params[0]; cache.get(key, function(error, cachedResult) { //    callback- (   ) var callback = params[params.length - 1]; if (error || !cachedResult) { //     ,    ,  callback- params[params.length - 1] = function(error, result) { callback(error, result); if (!error) cache.set(key, result); }; method.apply(that, params); } else { callback(undefined, cachedResult); } }); }; 

必要に応じて、機能面を増やすことができます。 大規模プロジェクトでは、このアプローチによりコードの量が大幅に節約され、すべてのエンドツーエンド機能が1か所にローカライズされます。

将来的には、AOPパターンの残りの機能を実装して、このライブラリを拡張する予定です。

形

github.com/baryshev/form
このモジュールのタスクは、入力データをチェックしてフィルタリングすることです。 ほとんどの場合、これらはフォームですが、外部APIなどからのリクエストに応じて受信したデータでもあります。 このモジュールにはノード検証ライブラリが含まれており、その機能を完全に使用できます。

このモジュールの動作原理は次のとおりです。各フォームは、フィルターが掛けられている一連のフィールド（フィールドの値に影響を与える関数）およびバリデーター（フィールドの値が条件に適合しているかどうかをチェックする関数）によって記述されます。 データを受信すると、それらはプロセスフォームメソッドに渡されます。 コールバックでは、エラーの説明（データがフォームの基準を満たしていない場合）またはフィルター処理されたフィールドセットを含むオブジェクトを取得し、さらに使用する準備ができています。 小さな使用例：

 var fields = { text: [ form.filter(form.Filter.trim), form.validator(form.Validator.notEmpty, 'Empty text'), form.validator(form.Validator.len, 'Bad text length', 30, 1000) ], name: [ form.filter(form.Filter.trim), form.validator(form.Validator.notEmpty, 'Empty name') ] }; var textForm = form.create(fields); textForm.process({'text' : 'some short text', 'name': 'tester'}, function(error, data) { console.log(error); console.log(data); }); 

この場合、テキストフィールドのエラー「Bad text length」が表示されます。 送信されるテキストの長さは30文字未満です。

フィルターとバリデーターは順番に実行されるため、行末に多くのスペースを追加しても、エラーが発生します。 チェックする前に、トリムフィルターでスペースが削除されます。

node-validatorページで独自のフィルターとバリデーターの作成方法を読んだり、ソースコードを参照したりすることができます。将来の計画では、このモジュールの移植をブラウザーで使用できるようにし、その機能を十分に文書化します。

configjs

github.com/baryshev/configjs
このモジュールは、アプリケーションの便利な構成を目的としています。 構成は通常のJSファイルに保存されます。これにより、構成中にJavaScriptを使用できるようになり、ファイルの追加の解析が不要になります。 さまざまな環境（開発、実稼働、テストなど）用にいくつかの追加構成を作成して、メイン構成を拡張および/または変更できます。

localejs

github.com/baryshev/localejs
このモジュールはconfigjsに非常に似ていますが、異なる言語の文字列を保存して多言語をサポートするように設計されています。 このモジュールは、テキストが多いアプリケーションにはほとんど適していません。 この場合、 GetTextに似たソリューションを使用する方が便利です。 必要なロケールをロードする手段に加えて、モジュールにはロシア語と英語をサポートする数字を出力する機能が含まれています。

ハブ

github.com/baryshev/hub/blob/master/lib/index.js
おそらく、このモジュールはNode.JSの最小モジュールであると主張できます。 それは1行のみで構成されています：module.exports = {}; ただし、それがないと、開発ははるかに複雑になります。 このモジュールは、アプリケーションの実行中にオブジェクトを格納するためのコンテナです。 Node.JS機能を使用します-接続されると、モジュールは一度だけ初期化されます。 require（ 'moduleName'）へのすべての呼び出しは、アプリケーションにいくつあっても、最初の言及で初期化されたモジュールの同じインスタンスへの参照を返します。 実際、アプリケーションの各部分間でリソースを共有するためのグローバルスペースの使用に取って代わります。 このようなニーズは非常に頻繁に発生します。 例：DBMS接続プール、キャッシュ接続プール、ロードされた構成へのリンク、およびロケール。 これらのリソースはアプリケーションの多くの部分で必要であり、それらへのアクセスは簡単でなければなりません。 リソースが初期化されると、ハブオブジェクトのプロパティに割り当てられ、将来的には、ハブを事前に接続することで他のモジュールからアクセスできるようになります。

接続応答

この接続用プラグインは、Cookieを簡単に操作する機能を追加し、ユーザーへの応答を生成するテンプレートエンジンも含みます。 独自のテンプレートエンジンを開発しました。 かなりうまくいきました。 基礎はEJSテンプレートエンジンから取られましたが、最終的には、同様の構文ではありますが、独自の機能を備えた完全に異なる製品であることが判明しました。 しかし、これは別の記事にとって大きなトピックです。

残念ながら、このモジュールはまだ公開されていません。 適切に実行されず、すべてのエラーがまだ修正されているわけではありません。 少しの空き時間ができ次第、近々完成させて公開する予定です。

アプリケーション構造

アプリケーションはフレームワークを使用しないため、Node.JSでアプリケーションを記述する一般的なスタイルと常識を除き、その構造はルールに関連付けられていません。 アプリケーションはMVCモデルを使用します。

server.js起動ファイルには、httpサーバーの起動、接続の構成、構成と言語のロード、MongoDBおよびMemcachedとの接続の確立、コントローラーの接続、ハブ内のモジュール間で共有する必要のあるリソースへのリンクの設定など、アプリケーションの主要なリソースの初期化が含まれています。 ここでは、必要な数のプロセスが分岐されます。 マスタープロセスでは、node-cronが起動され、スケジュールされたタスクが実行されます。子プロセスでは、http-serversが起動されます。

各コントローラーで、connectはURLをハンドラーメソッドに接続します。 各リクエストは、接続の初期化中に作成される一連のメソッドを通過します。 例：

 var server = connect(); server.listen(port, hub.config.app.host); if (hub.config.app.profiler) server.use(connect.profiler()); server.use(connect.cookieParser()); server.use(connect.bodyParser()); server.use(connect.session({ store: new connectMemcached(hub.config.app.session.memcached), secret: hub.config.app.session.secret, key: hub.config.app.session.cookie_name, cookie: hub.config.app.session.cookie })); server.use(connect.query()); server.use(connect.router(function(router) { hub.router = router; })); 

これは、要求を処理して応答を生成するアルゴリズムに新しい動作を非常に簡単に追加できる便利なメカニズムです。

コントローラーは、必要に応じて、MongoDbまたはMemcachedからデータを受け取るモデルのメソッドを呼び出します。 応答のすべてのデータの準備ができると、コントローラーはテンプレートエンジンにコマンドを与えてページを形成し、生成されたhtmlをユーザーに送信します。

おわりに

Node.JSでのWEBアプリケーション開発のトピックは非常に大きく、興味深いものです。 2つの記事で完全に述べることは不可能です。 はい、これはおそらく必要ありません。 開発の基本原則を説明し、起こりうる問題を指摘しようとしました。 これでトピックを「入力」するのに十分なはずです。そうすれば、 GoogleとGitHubが助けになります。 この記事で引用したGitHubのモジュールページへのすべてのリンクには、モジュールのインストールに関する詳細な説明とその使用例が含まれています。

それを読んだすべての人に感謝します。 コメントでフィードバックや質問を聞くことに非常に興味があります。