こんにちは、Habrauser％。 タランチュラチームは 、高負荷のプロジェクトでデータを効果的に使用するための洞察と専門知識を共有し続けています。 今日は、Tarantoolが「ツーインワン」である理由を解明しようとします。データベースだけでなく、アプリケーションサーバーもそうです。 たぶん、TarantulaをLuaでのレプリケーションとストレージをサポートする超高速で永続的なメモリ内ストレージと聞いた人もいるでしょう。 Redisの断片を取り出し、凍結したNode.jsを追加し、Goで補充してから、 煮沸してから5分間ゆっくりと調理します。 アプリケーションサーバーはそれと何の関係があるのでしょうか？



多くの人が驚くでしょうが、nginx、Go、Node.js、Redis、MongoDB、Tarantoolなどの優れた製品には、アーキテクチャ面で多くの共通点があります。 何らかの方法で高性能ネットワークサーバーを作成するには、非ブロッキング入出力、非同期イベント処理、メモリの操作、エラー処理、ログ、悪魔などを提供する一連のライブラリが必要です。このランタイムエンジンは通常、かなり複雑なことであり、さまざまなシステムの基礎と低レベルのプログラミングスキルを深く理解する必要があります。

Tarantoolチームの私たちは、非同期イベント処理、ノンブロッキングI / O、ユーザー空間（ファイバー）のグリーンスレッド、協調マルチタスク、特殊なメモリアロケーターのファミリーなどを備えた独自のランタイムを作成し、非常に長い道のりを歩みました。 Goと最もアーキテクチャ的に似ています（愚か者も同じ考えを持っています）が、純粋なCのライブラリの形でのみです。この基盤のおかげで、ボンネットの下に「DBMS」を作成することができました。記憶 市場のフットプリント。 ある時点で、アプリケーション開発者に無制限の自由を与え、ストアドプロシージャでデータベースクエリを実行できるだけでなく、ツールキット全体を完全に使用できるようにすることにしました。 データベースから直接クラウドサービスからHTTP経由でJSONを取得および解析するのは簡単です。 DBMSでRESTサービスを直接実行します-お願いします。 多数のサーバーでデータを取得し、クエリを並列処理します-問題ありません！ すべての機能とツールは開発者の手にあります！ 開発者、開発者、開発者！

タランツールでX、Y、Zを作る方法は？

Tarantoolの何百ものRedisコマンドから、キュー、有効期限データ、pub / sub、multiget、または他の何かがあるかどうかをよく尋ねられます。 いいえ、タランツールにはこれはありません。そうではありませんでした（ごみ、コタン）。 このパスを放棄し、少し異なるアプローチを提供します。 ご存知のように、男に魚をあげると、いつかは満腹になり、釣り方を教えれば、いつも満腹になります。 Tarantoolにはツール（「釣り竿」）が用意されており、これを使用して、パターンやパターンのカテゴリに由来するものなど、さまざまな問題を解決できます。 古いデータの自動削除-Luaのバックグラウンドファイバー。 特定の条件下での複数のテーブルからのマルチゲット-Luaの2行。 JSON形式でデータを返す-Webサーバーモジュールをデータベースに直接ロードします。 箱から出して考えてください ！

Tarantoolが提供するツールの種類を見てみましょう。

• ファイバー -協調マルチタスクとチャネル（Goの場合）。
• socket 、 fio-非同期の非ブロッキングソケットとファイルI / O。
• json / msgpack / yaml-データアンパッカー;
• mysql / pg /何でも-MySQLのクライアント、タランチュラ自体からのPostgreSQL;
• net.box-タランチュラ自体からタランチュラへのクライアント。
• http-プリミティブHTTPサーバーおよびクライアント。
• tap-アプリケーションとモジュールのテスト。
• コンソール -サーバーステータスの検査、コードのホットロード、設定の変更をその場で;
• log-イベントロギング、logrotate;
• initスクリプト、RPM / DEBパッケージ、展開ツールなど

このボックスは、アプリケーションの同じアドレス空間で直接動作するトランザクションサポートとマルチマスターレプリケーションを備えた超高速マルチエンジンデータベースです。

興味深いことに、3層アーキテクチャがありますか？

「別のアプリケーションサーバー（Node.js、PHP、Pythonなど）とDBMS（Redis、MongoDBなど）ではなく、すべてのビジネスロジックをデータベースに転送することを再度提案しますか？」 いいえ、私たちは宇宙の基礎を侵しているわけではありません。 もう少し実用的に見てみましょう。 ブラウザーでスペースアプリケーションを直接直接書き込むことができる場合、サーバー側はデータの保存と処理のためにほとんどの部分を維持しますが、ブラウザーはAJAXを介して必要なすべての情報を動的に要求および更新できます。 このシナリオでは、アプリケーションサーバー（PHP / Node / Go / Python）は何をしますか？ データベースからの応答を待機していて、すぐにすべてをnginxのJSON形式で提供するのはアイドルですか？ ただし、トランザクションを開いてから、ネットワーク経由でデータベースからデータをダウンロードし、それらの一部のフィールドをアプリケーションサーバーに変更し、更新をデータベースに送り返し、トランザクションを閉じて結果をnginxに返す必要があります。 これに追加のネットワークラウンドトリップおよびユーザー空間<->カーネル<->ユーザー空間の切り替えを何回費やしますか？ それでも、データベースは、たとえばロックやその他の重いメカニズムを使用するコストで、開いている各トランザクションのデータの完全な読み取りビューをサポートする必要があります。 1つのプレートから5つのレコードを選択し、別のプレートの2つのレコードを更新し、結果をRESTサービスに返すために、これらすべてが必要ですか？

この種のマイクロサービスのために、TarantulaはDBMS内でデータ自体のすぐ隣にストレージを書き込むための釣り竿を提供しています。 tarantool-httpモジュールとnginx_tarantool_upstreamは 、TarantulaからRESTサービスを簡単に整理し、サービスアーキテクチャを簡素化し、専用のアプリケーションサーバーの形で不要なリンクを削除します。 同時に、プロジェクトの最も負荷の高い部分のみをマイクロサービスとして選択できるため、この方法でアプリケーション全体を書き直すことを申し出る人はいません。従来のソリューションの生産性マージンは十分ではありません。 残りについては、さまざまなプログラミング言語のコネクタを介して、汎用DBMSと同じTarantoolを使用できます。

結構ですが、ルアはいます！？

「Luaでの書き方がわかりません。 そして、そのようなプログラマーはどこで入手できますか？」 パニックにならないでください ！ Lua（ポルトガルの月）は3つのコペックと同じくらい簡単な言語であり、10巻の著者の収集された作品を研究する作業を必要としません。 地下鉄で広告を見る代わりに例を見てみました-そして、あなたはすでにコードを奪い始めることができます。 Mail.Ru Groupでは、Luaプロシージャは、C / C ++プログラマーだけでなく、Python、Perl、Ruby、およびJS開発者によって同様に成功裏に記述されています。 しかし、なぜLuaなのか？ Tarantoolは、開発者に問題を解決できるチューリング完全な高レベルプログラミング言語を提供します。 私たちのハードアイロンはPL / SQL 、 XML 、 YAMLおよびiniファイル （私は神を許して）でプログラミングされていないとしましょう。 さらに、Luaは非常にシンプルで非常に高速です。 プロジェクトで言語機能の10％を使用する必要があるかどうかについて、Luaには議論がありません。

ところで、Tarantoolには、前例のないパフォーマンスと、理論的には他の言語を使用する機能を実現できるAPIもあります 。 これについては次のシリーズで詳しく説明します。切断しないでください。

やってみよう！

tarantool.org/download.htmlからTarantoolをインストールします。 サイトのリポジトリには、主要なLinuxディストリビューションのバイナリパッケージと、FreeBSDのポートおよびOS Xのbrewがあります。インストール後、 tarantoolでtarantoolコマンドを入力します。

 roman@book:~$ tarantool tarantool: version 1.6.8-123-gbe2ce21 type 'help' for interactive help tarantool> 

インタープリターでは、任意のLuaコードを入力でき、結果はコンソールに読み取り可能な形式（YAML）で表示されます。

 tarantool> 2 + 2 --- - 4 ... tarantool> { name = "Roman", gender = "male" } --- - name: Roman gender: male ... tarantool> print('Hello') Hello --- ... 

すべて同じものをスクリプトとして別のファイルに書くことができます。

 #!/usr/bin/env tarantool print('Hello world!') 

Bash、Python、またはRubyと同様にスクリプトを実行します。

 roman@desktop:~$ edit ololo.lua roman@desktop:~$ chmod a+x ololo.lua roman@desktop:~$ ./ololo.lua Hello world! 

Tarantoolは、スクリプトレベルでLua 5.1およびLuaJITと完全に互換性があり、ドロップイン置換として使用できます。 LuaのすべてのモジュールはTarantoolで動作します。

box.cfg{}関数は、組み込みデータベース（ボックス）を構成および実行します。その後、テーブル（スペース）を作成し、クエリを実行できます。

 tarantool> box.cfg {} [cut] tarantool> space = box.schema.space.create('test') [cut] tarantool> box.space.test:create_index('primary', { type = 'tree', parts = { 1, 'num' }}) [cut] tarantool> box.space.test:insert({48, 'some data', { key = 'value', key2 = 'value2' }}) --- - [48, 'some data', {'key': 'value', 'key2': 'value2'}] ... tarantool> box.space.test:select() --- - - [48, 'some data', {'key': 'value', 'key2': 'value2'}] ... 

ここで（CTRL + Dまたはos.exit(0) ）インタラクティブコンソールを停止すると、ディレクトリに新しい* .snap、* .xlogファイルが表示されます。 これらのファイルは、RAM内のデータベースの永続性を確保するために使用されます。 tarantool 、すべてのデータtarantool復元されます。

 tarantool> box.cfg{} --- ... tarantool> box.space.test:select() --- - - [48, 'some data', {'key': 'value', 'key2': 'value2'}] ... 

次に、もっと複雑なものを試してみましょう（メインページの例）：

 #!/usr/bin/env tarantool box.cfg{} --      box.once('schema', function() box.schema.create_space('hosts') box.space.hosts:create_index('primary', { type = 'hash', parts = {1, 'str'} }) end) --  GET-  / local function handler(self) --  IP-  local ipaddr = self.peer.host --         box.space.hosts:upsert({ ipaddr, 1 }, {{'+', 2, 1}}) --      JSON  return self:render{ json = box.space.hosts:select() } end local httpd = require('http.server') local server = httpd.new('127.0.0.1', 8080) server:route({ path = '/' }, handler) server:start() 

開始するには、 tarantool-httpモジュールが必要です。これは、パッケージまたはGitHubから配信できます。 スクリプトは最初の起動時にhostsテーブルを作成し、その後HTTPサーバーが起動します。これにより、各IPアドレスのカウンターが「/」でインクリメントされ、すべてのアドレスがJSON形式でクライアントに返されます。 nginxサービスの前に置くのも簡単です。 ところで、 try.tarantool.orgは Tarantool自体で記述されています。 私たち自身がサボテンを食べ 、開発者の生活をより良くしようとしています。

本番への展開

本番サーバーで単純なアプリケーションをホストする最良の方法は何ですか？ 結局のところ、コンソールでプレイすることと、これらすべてを戦闘に投入することはまったく別のことです。 すべてがシンプルです。 スクリプトを/etc/tarantool/instances.enabled/myapp.lua転送し、init用の既製のユーティリティ（ tarantoolctl start myappまたはservice tarantool restart ）で実行します。 うまくいく！ ただ？

任意の数のアプリケーションを作成できます。initシステム自体が必要な数のTarantoolデーモンを起動し、それらを監視します。 物理コアよりもわずかに少ないタランチュラを起動することをお勧めします。 このアプローチは、単一のサーバーで最高のパフォーマンスを提供し、 数百万ドルを節約します。 プロセスリストで、アプリケーションの名前を持つデーモンを簡単に見つけることができます。 ログファイルはデフォルトで/var/log/tarantool/myapp.log書き込まれ、データは/var/lib/tarantool/myapp/に保存され、pidファイルは/run/tarantool書き込まれます。 つまり、すべてがお気に入りのディストリビューションで意図したとおりになります。 テンプレートを使用して、RPMおよびDEBパッケージをビルドできます。

便利な機能の中で、コンソールが動作中のデーモンに接続して状態をイントロtarantoolctl enter myappし、その場でコードを変更できるようにするtarantoolctl enter myappコマンドを別に注意する価値があります。 また、 box.cfg({listen = 3313 })を介して、他のプログラミング言語やフレームワークのコネクタと接続するためのネットワークポートを開くことができます（全世界の秩序を壊さないと約束しました！）

次は？

次のシリーズでは、アプリケーションのモジュールアーキテクチャを確保し、テストと継続的なコード統合を整理する方法を詳細に説明します。 1つの物理コアで毎秒最大6Mのリクエストを処理するためにTarantulaを準備するための秘密のノウハウも明らかになります。

質問やコメントをお待ちしています。

Z. S. 1月28日に、 地下鉄駅AirportにあるMail.Ru Groupの最先端のオフィスで2回目のTarantool Meetupを開催します。 会議では、私たちのチームとタランチュラの外部ユーザーの両方から新しい洞察が得られます。 登録後、入場料はすべて無料です。 あなたは気分が良く、プロジェクトでTarantoolを試してみたいと思っています。