ログサーバーElasticsearch + Logstash + Kibana4 + Beats（windows / linux）。 インストールとセットアップ

サーバーインフラストラクチャデータの取得。
プロセッサ、メモリ使用量に関する情報を送信します。 各プロセスについて、親、pid、ステータスなどに関する情報が表示されます。 Topbeatでは、ファイルシステムに関する情報（ディスクステータス、空き容量など）も表示できます。

インストール（クライアント上）：

 cd ~/ELK/releases/beats/topbeat/ sudo curl -L -O https://download.elastic.co/beats/topbeat/topbeat_1.1.0_amd64.deb sudo dpkg -i topbeat_1.1.0_amd64.deb 

Elasticsearchが入力情報を正しく分析できるように、サーバーにTopbeatインデックステンプレートを追加する必要があります。

 sudo curl -XPUT 'http://localhost:9200/_template/topbeat' -d@/etc/topbeat/topbeat.template.json 

ダウンロードが成功すると、次のように表示されます。

{"acknowledged":true}

topbeat.template.jsonファイルは、Topbeatのインストール時に作成され、デフォルトの場所は/etc/topbeat/topbeat.template.jsonです。 したがって、何らかの理由でELKサーバーにBeatsクライアントをインストールしない場合、このテンプレートをクライアントからサーバーにコピーするか、このファイルをサーバーに作成してその内容を（クライアントから）コピーする必要があります。 そして、それをダウンロードしますcurl -XPUT 'server_server_elk_address：9200 / _template / topbeat' -d@/PATH/topbeat.template.json
ただし、ビットはサーバーにインストールされ、次の場所/etc/topbeat/topbeat.template.jsonがあると想定しています。

構成を編集します（クライアント上）：

 sudo vi /etc/topbeat/topbeat.yml 

出力ブロックでは、logstashを使用するため、elasticsearchの呼び出しについてコメントする必要があります。

 ### Elasticsearch as output #elasticsearch: #hosts: ["localhost:9200"] 

Logstashでブロックのコメントを解除し、IPアドレスとポートを指定します。

  logstash: hosts: ["ip_elk-server.ss.lu:5044"] 

重要：設定内でカーソルを移動するためにタブを使用しないでください！ スペースのみ。 そうでない場合、エラーが発生します。

 Loading config file error: YAML config parsing failed on /etc/topbeat /topbeat.yml: yaml: line 14: found character that cannot start any token. Exiting. 

Logstashサーバーが外部ネットワークにある場合、リモートサーバーのファイアウォール（この場合は5044（tcp / udp））で転送サーバーポートを構成する必要があります。
追加のログオプションは、構成で詳しく説明されています。

サービスを開始します。

 sudo /etc/ini.d/topbeat start 

Kibanaインターフェースを開き、着信情報を確認します。

以下に示すように、動的ファイルからサーバーに情報を送信します。

インストール：

 cd ~/ELK/releases/beats/filebeat/ sudo curl -L -O https://download.elastic.co/beats/filebeat/filebeat_1.1.0_amd64.deb sudo dpkg -i filebeat_1.1.0_amd64.deb 

サーバーにインデックスを追加します（Topbeatの構成と同様です。つまり、サーバーにテンプレートがない場合は作成します）。

 sudo curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json 

設定を開きます：

 sudo vi /etc/filebeat/filebeat.yml 

どのファイルから情報を収集するかを指定します（デフォルトでは、/ var / logの拡張子が.logのすべてのファイルがインストールされます）。

 prospectors: paths: - /var/log/*.log 

このクライアントで必要なものを示します。例えば：

 paths: # - /var/log/*.log - /var/log/elasticsearch/*.log - /var/log/syslog - /var/log/nginx/*.log # - c:\programdata\elasticsearch\logs\* 

コードにタブがないことを忘れないでください！

また、logstashを使用してインデックスを処理します。

 ### Elasticsearch as output #elasticsearch: # Array of hosts to connect to. # Scheme and port can be left out and will be set to the default (http and 9200) # In case you specify and additional path, the scheme is required: http://localhost:9200/path # IPv6 addresses should always be defined as: https://[2001:db8::1]:9200 #hosts: ["localhost:9200"] ... ### Logstash as output logstash: # The Logstash hosts hosts: ["ip_elk-server.ss.lu:5044"] 

実行：

 sudo /etc/init.d/filebeat start 

Filebeatの情報を確認します。

非常に便利なツール。 サーバー間のトラフィックを分析します。 エラーを即座に識別します。 DNS、HTTP、MySQL、PostgreSQL、GLC、Memcacheなどのプロトコルを分析します。

Topbeat / Filebeatと同じアナロジーで構成されます：

 sudo apt-get install libpcap0.8 sudo curl -L -O https://download.elastic.co/beats/packetbeat/packetbeat_1.1.0_amd64.deb sudo dpkg -i packetbeat_1.1.0_amd64.deb 

kofigを編集します（Elasticsearchについてコメントし、Logstashを構成します）
出力：

  #elasticsearch: #hosts: ["localhost:9200"] logstash: hosts: ["ip_elk-server.ss.lu:5044""] 

サーバーにアクセスして、Packetbeatのインデックスを追加します。

 sudo curl -XPUT 'http://localhost:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json 

以下を開始します。

 sudo /etc/ini.d/packetbeat start 

www.elastic.co/downloads/beats/winlogbeatをダウンロードします 。 C：\に展開し、Winlogbeatに名前を変更します。 管理者からPowerShellを実行し、サービスをインストールします。

 PS C:\Users\Administrator> cd 'C:\Winlogbeat' PS C:\Winlogbeat> .\install-service-winlogbeat.ps1 

システムでスクリプトがデフォルトで無効になっていることを示すメッセージが表示された場合（および無効になります）、Winlogbeatのポリシーを作成します。

 PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-winlogbeat.ps1 

 Security warning Run only scripts that you trust. While scripts from the internet can be useful, this script can potentially harm your computer. If you trust this script, use the Unblock-File cmdlet to allow the script to run without this warning message. Do you want to run C:\Program Files\Winlogbeat\install-service-winlogbeat.ps1? [D] Do not run [R] Run once [S] Suspend [?] Help (default is "D"): R Status Name DisplayName ------ ---- ----------- Stopped winlogbeat winlogbeat 

サービスを開始する前に、設定を編集します-C：\ Winlogbeat \ winlogbeat.yml。

 output: #elasticsearch: # hosts: localhost:9200 logstash: hosts: ["ip_elk-server.ss.lu:5044"] 

event_logsブロックには、Logstashに転送する必要があるメインシステムログがリストされます。

 winlogbeat: registry_file: C:/ProgramData/winlogbeat/.winlogbeat.yml event_logs: - name: Application - name: Security - name: System logging: to_files: true files: path: C:/winlogbeat/winlogbeat/Logs level: info 

他のログはevent_logsに追加できます。そのリストは次のように表示できます。

 PS C:\Users\Administrator> Get-EventLog * 

システムがVistaよりも高い場合、チャネルを指定できます。

 PS C:\Users\Administrator> Get-WinEvent -ListLog * | Format-List -Property LogName 

次に、toplog、filebeat、packetbeatの場合と同様に、winlogbeatのインデックスをサーバーにアップロードする必要があります。 これはリモートで実行できます。

 PS C:\Winlogbeat> Invoke-WebRequest -Method Put -InFile winlogbeat.template.json -Uri http://IP_address_elk-server:9200/_template/winlogbeat?pretty 

この方法には問題があるため、次のことができます。

サーバーにwinlogbeat.template.jsonインデックスファイルを作成します。
sudo vi〜/ ELK / releases / beats / winlogbeat / winlogbeat.template.json。 Windowsクライアントで、ファイルC：\ winlogbeat \ winlogbeat.template.jsonを開き 、その内容を〜/ ELK / releases / beats / winlogbeat / winlogbeat.template.jsonファイルにコピーします。

 { "mappings": { "_default_": { "_all": { "enabled": true, "norms": { "enabled": false } }, "dynamic_templates": [ { "template1": { "mapping": { "doc_values": true, "ignore_above": 1024, "index": "not_analyzed", "type": "{dynamic_type}" }, "match": "*" } } ], "properties": { "@timestamp": { "type": "date" }, "message": { "index": "analyzed", "type": "string" } } } }, "settings": { "index.refresh_interval": "5s" }, "template": "winlogbeat-*" } 

次に（サーバー上で）このインデックスをelasticsearchにロードして、情報を正しく分析し、通常の形式で提供できるようにします。
winlogbeat.template.jsonファイルを作成したディレクトリに移動します。

 cd ~/ELK/releases/beats/winlogbeat ll  12 drwxr-xr-x 2 root root 4096 . 8 23:10 ./ drwxr-xr-x 7 root root 4096 . 8 16:00 ../ -rw-r--r-- 1 root root 729 . 8 23:10 winlogbeat.template.json #   sudo curl -XPUT 'http://localhost:9200/_template/winlogbeat' -d@winlogbeat.template.json 

出力は次のようになります。

{"acknowledged":true}

クライアントにアクセスして、winlogbeatサービスを開始します。 その後、Kibanaを介してデータの監視を開始し、読み込まれたインデックスによって表示を決定します。



ダッシュボードを見ます：