サーバー監視システムの概要。 muninを...に置き換える

長い間記事を書きたかったのですが、時間が足りませんでした。 この記事で説明されているように、muninのような単純な代替手段を見つけた場所はありません（Habréを含む）。



私はバックエンド開発者であり、プロジェクトに専任の管理者がいないことが非常に多いため（特に製品の初期段階）、私は長い間基本的なサーバー管理を行ってきました（初期セットアップ、構成、バックアップ、レプリケーション、監視など）。 私はこれが本当に好きで、いつもこの方向で何か新しいことを学びます。

ほとんどの場合、プロジェクトには1台のサーバーで十分であり、上級開発者（および単なる責任者）として、いつその制限に直面するかを理解するためにリソースを制御する必要がありました。 これらの目的には、Muninで十分でした。

ムニン

インストールは簡単で、要件はわずかです。 それはperlで書かれており、リングデータベース（ RRDtool ）を使用します。


サーバーリソースを監視するには常に十分であり、 uptimerobot.comなどの無料サービスを使用してサーバーの可用性を監視しました。

この組み合わせを使用して、仮想サーバー上のホームプロジェクトを監視します。

プロジェクトが1つのサーバーから成長する場合、2番目のサーバーにmunin-nodeをインストールするだけで十分です。1番目に-構成に1行追加して、2番目のサーバーからメトリックを収集します。 両方のサーバーのグラフは別々になりますが、これは一般的な画像を表示するのに便利ではありません-どのサーバーが空きディスク容量を使い果たし、どのRAMが不足します。 この状況を修正するには、構成に数十行を追加して、両方のサーバーからのメトリックで1つのグラフを集約します。 したがって、これは最も基本的なメトリックに対してのみ行うことをお勧めします。 構成を間違えた場合は、ログに記録された内容を正確に読み取る必要があります。情報を見つけられずに、「pokeメソッド」を使用して状況を修正してください。

言うまでもなく、より多くのサーバーにとって、これは本当の地獄に変わります。 たぶんこれは、muninが2003年に開発されたものであり、元々このために設計されたものではないという事実によるものです。

複数のサーバーを監視するためのmuninの代替

新しい監視システムに必要な品質を自分で決定しました。

• メトリックの数はmuninの数より少なくありません（キットには約30の基本グラフと約200のプラグインがあります）
• bashでカスタムプラグインを作成する機能（これらのプラグインのうち2つがありました）
• サーバー要件が小さい
• 構成を編集せずに同じチャート上に異なるサーバーからのメトリックを表示する機能
• メール、スラックおよび電報での通知
• RRDtoolよりも強力な時系列データベース
• 簡単インストール
• これ以上
• 無料でオープンソース

検討したすべてをリストします。

サボテン

phpでのみmuninとほぼ同じです。 データベースとして、 muninやmysqlのようなrrdtoolを使用できます。 最初のリリース： 2001

ガングリア

データベースとしてphp 、 rrdtoolで書かれた以前のものとほぼ同じです。 最初のリリース： 1998

収集した

以前のものよりもさらにシンプルなシステム。 データベースとしてc 、 rrdtoolで書かれています。 最初のリリース： 2005

黒鉛

pythonで記述された3つのコンポーネントで構成されます 。
カーボンはメトリックを収集し、dbに書き込みます
ウィスパー -独自のrrdtoolのようなデータベース
グラファイトウェブ -インターフェース
最初のリリース： 2008

ザビックス

ほとんどの管理者が使用するプロフェッショナルな監視システム。 電子メール通知を含むほぼすべてのものがあります（スラックと電報の場合、単純なbashスクリプトを作成できます）。 ユーザーとサーバーに重い。 ジラからカマキリに戻ったかのように、私はそれを使用していました。
カーネルはcで記述され、Webインターフェイスはphpで記述されています。 データベースで使用できるのは、MySQL、PostgreSQL、SQLite、Oracle、またはIBM DB2です。 最初のリリース： 2001

ナギオス

Zabbixの価値ある代替品。 pで書かれています。 最初のリリース： 1999

イシンガ

フォーク・ナギオス。 データベースとして使用できるのは、MySQL、Oracle、およびPostgreSQLです。 最初のリリース： 2009

小さな余談

上記のシステムはすべて尊敬に値します。 ほとんどのLinuxディストリビューションのパッケージから簡単にインストールでき、多くのサーバーで実稼働で長い間使用されており、サポートされていますが、開発は非常に不十分で、インターフェースが古くなっています。
製品の半分はsqlデータベースを使用していますが、これは履歴データ（メトリック）の保存には最適ではありません。 一方では、これらのデータベースは汎用的であり、他方では、ディスクに大きな負荷をかけ、ストレージ中にデータがより多くのスペースを占有します。
このようなタスクには、 ClickHouseなどの最新の時系列データベースがより適しています。
新世代の監視システムは時系列データベースを使用します。それらの一部には分離不可能な部分として含まれ、他は個別のコンポーネントとして使用され、3番目はデータベースなしで機能します。

ネットデータ

データベースはまったく必要ありませんが、 Graphite、OpenTSDB、Prometheus、InfluxDBにメトリックをアップロードできます。 cおよびpythonで記述されています。 最初のリリース： 2016

プロメテウス

goで記述された3つのコンポーネントで構成されます 。
prometheusはカーネルであり、独自の組み込みデータベースとWebインターフェイスです。
node_exporter-別のサーバーにインストールして、メトリックをカーネルに転送できるエージェントは、prometheusでのみ機能します。
alertmanager-通知システム。
最初のリリース： 2014

InfluxData （TICKスタック）

サードパーティ製品と連携できるgoで記述された4つのコンポーネントで構成されています。
telegraf-別のサーバーにインストールでき、メトリック、ログをinfluxdb 、 elasticsearch 、 prometheus 、 グラファイト データベース 、および複数のキューサーバーに送信できるエージェント。
influxdbは、 telegraf 、 netdata、またはcollectdからデータを受信できるデータベースです。
chronograf-データベースのメトリックを視覚化するためのWebインターフェイス。
kapacitor-通知システム。
最初のリリース： 2013

grafanaなどの製品についても言及したいと思います 。これはgoで書かれており、influxdb、elasticsearch、clickhouse、prometheus、graphiteからのデータを視覚化できるほか、電子メール、スラック、電報で通知を送信できます。
最初のリリース： 2014

最高のものを選ぶ

インターネットやHabréには、さまざまな製品のさまざまなコンポーネントを使用して必要なものを取得する例がたくさんあります。

炭素（エージェント）->ささやき（db）-> grafana（インターフェース）
netdata（エージェントとして）-> null / influxdb / elasticsearch / prometheus / graph（as db）-> grafana（インターフェイス）
node_exporter（エージェント）-> prometheus（データベースとして）-> grafana（インターフェース）
collectd（エージェント）-> influxdb（db）-> grafana（インターフェース）
zabbix（エージェント+サーバー）-> mysql-> grafana（インターフェース）
telegraf（エージェント）-> elasticsearch（db）-> kibana（インターフェース）
...など
私もそのような束の言及を見ました：
...（エージェント）->クリックハウス（db）-> grafana（インターフェース）

ほとんどの場合、既に独自のインターフェース（プロメテウス、グラファイトウェブ）が含まれている製品と組み合わせて使用​​されていても、grafanaがインターフェースとして使用されていました。
そのため（およびその汎用性、シンプルさ、利便性のため）インターフェースとして、私はgrafanaに落ち着き、データベースの選択に進みました。1つのデータベース、グラファイト-データベースだけですべての機能をインターフェースと一緒に引きたくないため、プロメテウスは脱落しました前世紀のrrdtool-bdによって作り直された過去10年間の、まあ、実際にinfluxdbに落ち着きました。

また、私自身のために、telegrafを選択することにしました。それは、私のニーズ（多数のメトリックとbashで独自のプラグインを作成する能力）を満たし、また、将来役に立つかもしれない異なるデータベースで動作するからです。

私が得た最後の束はこれです：
telegraf（エージェント）-> influxdb（db）-> grafana（インターフェース+通知）

すべてのコンポーネントには余分なものは含まれておらず、 goで記述されています 。 私が恐れていた唯一のことは、この束をインストールして構成するのが難しいということでしたが、以下でわかるように、それは無駄でした。

TIGの短いインストールガイド：

influxdb

 wget https://dl.influxdata.com/influxdb/releases/influxdb-1.2.2.x86_64.rpm && yum localinstall influxdb-1.2.2.x86_64.rpm #centos wget https://dl.influxdata.com/influxdb/releases/influxdb_1.2.4_amd64.deb && dpkg -i influxdb_1.2.4_amd64.deb #ubuntu systemctl start influxdb systemctl enable influxdb 

これで、データベースにクエリを作成できます（ただし、まだデータはありません）。
http://localhost:8086/query?q=select+*+from+telegraf..cpu

テレグラフ

 wget https://dl.influxdata.com/telegraf/releases/telegraf-1.2.1.x86_64.rpm && yum -y localinstall telegraf-1.2.1.x86_64.rpm #centos wget https://dl.influxdata.com/telegraf/releases/telegraf_1.3.2-1_amd64.deb && dpkg -i telegraf_1.3.2-1_amd64.deb #ubuntu #          influxdb    /etc/telegraf/telegraf.conf   [[outputs.influxdb]]   urls = ["http://localhost:8086"]: sed -i 's| urls = ["http://localhost:8086"]| urls = ["http://myserver.ru:8086"]|g' /etc/telegraf/telegraf.conf systemctl start telegraf systemctl enable telegraf 

Telegrafは、名前「telegraf」、ユーザー名「telegraf」、パスワード「metricsmetricsmetricsmetrics」でinfluxdbにベースを自動的に作成します。

グラファナ

 yum install https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.3.2-1.x86_64.rpm #centos wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana_4.3.2_amd64.deb && dpkg -i grafana_4.3.2_amd64.deb #ubuntu systemctl start grafana-server systemctl enable grafana-server 

インターフェイスはhttp://myserver.ru:3000で入手できます。 ログイン：admin、パスワード：admin。
グラファンはデータについて何も知らないため、最初はインターフェイスに何もありません。
1）ソースに移動して、influxdb（db：telegraf）を指定する必要があります
2）必要なメトリックを使用して独自のダッシュボードを作成する（多くの時間がかかります）か、既存のダッシュボードをインポートする必要があります。次に例を示します。
928-選択したホストのすべてのメトリックを表示できます
914は同じです
61-単一のチャートで選択したホストのメトリックを許可します
Grafanaには、サードパーティのダッシュボードをインポートするための優れたツールがあり（その数を指定するだけです）、独自のダッシュボードを作成してコミュニティと共有することもできます。
以下は、telegrafコレクターを使用して収集されたinfluxdbのデータを操作するすべてのダッシュボードのリストです 。

セキュリティを重視

サーバー上のすべてのポートは、信頼するIPからのみ開く必要があります。使用する製品で認証を有効にし、デフォルトのパスワードを変更する必要があります（両方を実行します）。

influxdb

influxdbでは、認証はデフォルトで無効になっており、誰でも何でもできます。 したがって、サーバーにファイアウォールがない場合は、許可を有効にすることを強くお勧めします。

 #   : influx -execute 'CREATE DATABASE telegraf' influx -execute 'CREATE USER admin WITH PASSWORD "password_for_admin" WITH ALL PRIVILEGES' influx -execute 'CREATE USER telegraf WITH PASSWORD "password_for_telegraf"' influx -execute 'CREATE USER grafana WITH PASSWORD "password_for_grafana"' influx -execute 'GRANT WRITE ON "telegraf" TO "telegraf"' # telegraf      influx -execute 'GRANT READ ON "telegraf" TO "grafana"' # grafana      #  /etc/influxdb/influxdb.conf   [http]   auth-enabled   : sed -i 's| # auth-enabled = false| auth-enabled = true|g' /etc/influxdb/influxdb.conf systemctl restart influxdb 

テレグラフ

 #  /etc/telegraf/telegraf.conf   [[outputs.influxdb]]       : sed -i 's| # password = "metricsmetricsmetricsmetrics"| password = "password_for_telegraf"|g' /etc/telegraf/telegraf.conf systemctl restart telegraf 

グラファナ

ソース設定で、influxdbの新しいログインを指定する必要があります：上記の項目から「grafana」とパスワード「password_for_grafana」。
また、インターフェースで、adminユーザーのデフォルトのパスワードを変更する必要があります。

 Admin -> profile -> change password 

更新：彼の基準「無料でオープンソース」にアイテムを追加し、最初から指定するのを忘れていました。今では、有料/シェアウェア/トライアル/クローズドソフトウェアの束についてアドバイスを受けています。 無料で取引があります。

Update2：現在、愛好家のグループがgoogle docsでテーブルを作成し、主要なパラメーター（言語、バイト/ポイント、クラスタリング）によってさまざまな監視システムを比較しています。 カットの下の現在のスライス、フルスイングで動作します。

Update3： GoogleドキュメントのオープンソースTSDBの別の比較 。 少し複雑ですが、 AnyKey80lvlシステムよりも少ない

PS：セットアップインストールの説明でいくつかの点を省略した場合は、コメントを記入して記事を更新します。 タイプミス-PM。
PPS：もちろん、誰もこれを聞くことはありません（以前の記事執筆の経験に基づいています）が、私はまだ試してみる必要があります：PMでHabr、VK、fbなどについて質問するのではなく、ここにコメントを書いてください。
PPPS：記事のサイズとそれに費やされる時間は最初の「予算」から大きく外れているため、この作業の結果が誰かに役立つことを願っています。