Kibana3 + elasticsearch + fluentd を試した

こんにちは。@jedipunkz です。

{% img /pix/kibana3.png %}

前回の記事で Kibana + elasticsearch + fluentd を試しましたが、ツイッターで @nora96o さんに “Kibana3 使うと、幸せになれますよ！” と教えてもらいました。早速試してみましたので、メモしておきます。

前回の記事。

http://jedipunkz.github.io/blog/2013/09/07/kibana-plus-elasticsearch-plus-fluentd/

前半の手順は前回と同様ですが、念のため書いておきます。

前提の環境

OS : Ubuntu 12.04 Precise (同じ方法で 13.04 Raring でも出来ました)

必要なパッケージのインストール

下記のパッケージを事前にインストールします。

% sudo apt-get install git-core build-essential ruby1.9.3 openjdk-7-jdk

手順を省くために Ruby はパッケージで入れました。また Java は他の物を利用しても構いません。Ruby は fluentd が、Java は elasticsearch が必要とします。

elasticsearch のインストール

下記のサイトより elasticsearch をダウンロードします。

http://www.elasticsearch.org/download/

現時点 (2013/09/08) で最新のバージョンは 0.90.3 でした。

% wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.3.deb
% sudo dpkg -i elasticsearch-0.90.3.deb
% sudo service elasticsearch start

fluentd のインストール

fluentd を下記の通りインストールします。

% sudo -i
% curl -L http://toolbelt.treasure-data.com/sh/install-ubuntu-precise.sh | sh

/etc/td-agent/td-agent.conf を下記の通りに修正します。サンプルで Apache のログを elasticsearch に飛ばす設定にします。

<source>
  type tail
  format apache
  path /var/log/apache2/access.log
  tag kibana01.apache.access
</source>

<match *.apache.*>
  index_name adminpack
  type_name apache
  type elasticsearch
  include_tag_key true
  tag_key @log_name
  host 10.0.1.8
  port 9200
  logstash_format true
  flush_interval 3s
</match>

host パラメータは環境に合わせて設定します。

fluentd を起動します。

% sudo service td-agent start

Apache のインストール

システムに必要なわけではありませんが、サンプルで Apache のログを fluentd 経由で飛ばして Kibana で確認したいのでインストールします。

% sudo apt-get install apache2
% sudo chown -R td-agent /var/log/apache2

ファイルのオーナを td-agent にする必要がありました。

Kibana3 のインストール

下記のサイトから Kibana3 をダウンロードします。

http://three.kibana.org/intro.html

% wget https://github.com/elasticsearch/kibana/archive/master.tar.gz % tar zxvf master.tar.gz % sudo mv kibana-master /var/www/kibana3

config.js を修正します。elasticsearch の起動している URL を入力します。ここで注意が必要なのが、ブラウザからアクセス出来る elasticsearch のアドレスにする必要があるという点です。従来の Kibana の場合は Ruby 製だったため Kibana から elasticsearch に到達できれば良かったのですが、Kibana3 は JavaScript 製ですのでブラウザから elasticsearch の 9200 版ポートに到達出来る必要があります。

% sudo ${EDITOR} /var/www/kibana3/config.js
...snip...
elasticsearch:    "http://<ElasticSearch IP addr>:9200",
...snip...

これで完了です。

ブラウザでアクセス

あとはブラウザでアクセスするだけです。

http://<kibana IP addr>/kibana3/

まとめ

ElasticSearch を外部に公開する必要があるのだけど、その辺りどう制限掛けるかは別途調べないといけないなぁと。あと ElasticSearch, fluentd を Cookbook でデプロイするのも出来そう。もちろん Apache も。次回以降の記事に載せます。またブラウザでアクセスした後に様々な形式のグラフ等を追加していけました。もちろん Kibana3 を使わないでも elasticseach だけで API によるログの検索が出来たりして、僕らエンジニアにとってはめっちゃくちゃメリットあります。あぁなんでもっと早く使ってなかったんだろう。elasticsearch…。

前提の環境#

必要なパッケージのインストール#

elasticsearch のインストール#

fluentd のインストール#

Apache のインストール#

Kibana3 のインストール#

ブラウザでアクセス#

まとめ#