Kibana + ElasticSearch + fluentd を試してみた

こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って… と思ってたのですが最近よく聞くようになった fluentd をそろそろ真面目に使いたい!ということで、今回は Kibana + ElasticSearch + fluentd の組み合わせでログ解析システムを組む方法をメモしておきます。 参考にさせて頂いた URL http://memocra.blogspot.jp/2013/04/kibanakibanaelasticsearchfluentd.html 前提の環境 OS : Ubuntu 12.04 Precise (同じ方法で 13.04 Raring でも出来ました) 必要なパッケージインストール 下記のパッケージを事前にインストールします。 % sudo apt-get install git-core build-essential ruby1.9.3 openjdk-7-jdk 手順を省くために Ruby はパッケージで入れました。また Java は他の物を利用しても 構いません。Ruby は Kibana, fluentd が、Java は ElasticSearch が必要とします。 ElasticSearch のインストール 下記のサイトより ElasticSearch をダウンロードします。 http://www.elasticsearch.org/download/ 現時点 (2013/09/07) で最新のバージョンは 0.90.3 でした。 ...

Hurricane Electric + Vyatta で宅内 IPv6 化

こんにちは。@jedipunkz です。 自宅の IPv6 化、したいなぁとぼんやり考えていたのですが、Hurricane Electric Internet Services を見つけました。IPv4 の固定グローバル IP を持っていれば誰で も IPv6 のトンネルサービスを無料で受けられるサービスです。 1つのユーザで5アカウントまで取得でき (5 エンドポイント)、1アカウントで /64 の アドレスがもらえます。また申請さえすれば (クリックするだけ) /48 も1アカウント 毎にもらえます。つまり /48 x 5 + /64 x 5 … でか! 私の宅内は Vyatta で PPPOE してるのですが、各種 OS (Debian, NetBSD…) や機器 (Cisco, JunOS..)のコンフィギュレーションを自動生成してくれるので、接続するだけ であればそれをターミナルに貼り付けるだけ!です。 サービス URL Hurricane Electric は下記の URL です。アカウントもここで作成出来ます。 http://tunnelbroker.net IPv6 接続性を確保する方法 Vyatta が IPv6 のアドレスを持ち接続性を確保するだけであれば、上に記したように コピペで出来ます。上記の URL でアカウントを作成しログインします。左メニューの “Create Regular Tunnel” を押して、自分の情報 (IPv4 のエンドポイントアドレス等) を入力します。その後、取得した IPv6 のレンジのリンクをクリックし上記メニュー “Example Configuration” を選択します。プルダウンメニューが現れるので、自宅の OS や機器に合った名前を選択します。 ...

Vyatta で L2TP over IPsec による VPN 構築

こんにちは。@jedipunkz です。 以前、こんな記事をブログに記しました。2012/06 の記事です。 http://jedipunkz.github.io/blog/2012/06/13/vyatta-vpn/ その後、PPTP で保護されたネットワークの VPN パスワードを奪取出来るツールが公開 されました。2012/07 のことです。よって今では VPN に PPTP を用いることが推奨さ れていません。 ということで L2TP over IPsec による VPN 構築を Vyatta で行う方法を記します。 fig.1 : home lan と vyatta のアドレス +--------+ +-----+ home lan ---| vyatta | --- the internet --- | CPE | +--------+ +-----+ X.X.X.X/X(NAT) pppoe0 Y.Y.Y.Y この様に X.X.X.X/X と Y.Y.Y.Y/Y が関係しているとします。CPE は VPN により X.X.X.X/X に接続することが出来ます。 手順 : IPsec 下記の操作で IPsec を待ち受けるインターフェースの設定します。 % configure # edit vpn ipsec # set ipsec-interface interface pppoe0 インターフェース名は環境に合わせて設定してください。私の環境では pppoe0 です。 ...

OpenStack nova-network IPv6 対応

こんにちは。@jedipunkz です 今更なのかもしれませんが、OpenStack の nova-network を IPv6 対応する方法を調べ てみました。何故 nova-network なのか? 自宅の構成が nova-network だからです..。 以前は Quantum (現 Neutron) 構成で使っていましたが、ノードをコントローラとコン ピュートに別けた時に NIC が足らなくなり…。 さて本題です。下記のサイトを参考にしました。ほぼそのままの手順ですが、自分のた めにもメモです。 参考 URL http://docs.openstack.org/grizzly/openstack-compute/admin/content/configuring-compute-to-use-ipv6-addresses.html 前提 OpenStack の構成は予め構築されている nova-network を用いている 構成はオールインワンでも複数台構成でも可能 手順 nova がインストールされているすべてのノードで python-netaddr をインストールし ます。私の場合は rcbops の chef cookbooks で構築したのですが、既にインストール されていました。 % sudo apt-get install python-netaddr nova-network が稼働しているノードで radvd をインストールします。これは IPv6 を Advertise しているルータ等が予め備わっている環境であっても、インストー ルする必要があります。また /etc/radvd.conf が初め無いので radvd 単体では稼働し ませんが、問題ありません。OpenStack の場合 /var/lib/nova 配下のコンフィギュレー ションファイルを読み込んでくれます。 % sudo apt-get install radvd /etc/sysctl.conf に下記の記述を追記します。RA の受信とフォワーディングを許可し ています。 ...

rcbops Cookbooks で Neutron 構成 OpenStack

こんにちは。@jedipunkz です。 rcbops Cookbooks で Neutron 構成の OpenStack をデプロイする方法を書きたいと思 います。先日紹介した openstack-chef-repo にも Neutron のレシピが含まれているの ですが、まだまだ未完成で手作業をおりまぜながらのデプロイになっていまうので、今 現在のところ Neutron 構成を組みたいのであればこの rcbops の Cookbooks を用いる しかないと思います。 今回は VLAN モードの構築を紹介します。GRE モードも少し手順を修正すれば構成可能 です。最後のまとめに GRE モードの構築について少し触れています。 構成 public network +----------------+----------------+----------------+----------------+---------------- | | | +--------------+ +--------------+ +--------------+ +--------------+ +--------------+ | controller01 | | network01 | | network02 | | compute01 | | compute02 | +--------------+ +-------+------+ +-------+------+ +-------+------+ +-------+------+ | | | | | | | | | management network +----------------+-------o--------+-------o--------+-------o--------+-------o-------- | | | | vm network +----------------+----------------+----------------+-------- 特徴は… ...

Emacs + Mew で Gmail を読み書きする

こんにちは。@jedipunkz です。 今日も軽めの話題を。 Gmail を Emacs + Mew で読み書きする方法を何故かいつも忘れてしまうので自分のた めにもメモしておきます。Gmail はブラウザで読み書き出来るのに!と思われるかもし れませんが、Emacs で文章が書けるのは重要なことです。:D 対象 OS 比較的新しい… Debian Gnu/Linux Ubuntu を使います。 手順 Emacs, Mew, stunnel4 をインストールします。Emacs は好きな物を入れてください。 % sudo apt-get install emacs24-nox stunnel4 mew mew-bin ca-certificates openssl コマンドで mail.pem を生成します。生成したものを /etc/stunnel 配下に設 置します。 % openssl req -new -out mail.pem -keyout mail.pem -nodes -x509 -days 365 % sudo cp mail.pem /etc/stunnel/ stunnel はインストール直後、起動してくれないので ENABLE=1 に修正します。 % sudo ${EDITOR} /etc/default/stunnel4 ENABLE=1 # 0 -> 1 へ変更 stunenl.conf のサンプルを /etc/stunnel 配下に設置します。 ...

Debian Unstable で stumpwm

こんにちは。@jedipunkz です。 Linux のウィンドウマネージャは使い続けて長いのですが、既に1周半しました。twm -> gnome -> enlightenment -> OpenBox -> .. 忘れた .. -> twm -> vtwm -> awesome -> kde -> gnome -> enligtenment … 巷では Linux のデスクトップ環境は死んだとか言われているらしいですが、stumpwm というウィンドウマネージャは結構いいなと思いました。タイル型のウィンドウマネー ジャで Emacs 好きの人が開発したらしいです。設定は lisp で書けます。 見た目は派手では無いのですが、 グルーピング機能 すべての操作がキーボードで出来る タイル型であるので煩わしいマウスでのウィンドウ操作が不要 という点に惹かれました。 Linux を使う時、私の場合 Debian Gnu/Linux Unstalble をいつも使うのですが、 Unstable だと apt-get install stumpwm したバイナリがコケる…ということでビル ドしてあげました。普段慣れないビルド方法だったので、その時の手順を自分のために もメモしておきます。 前提環境 Debian Gnu/Linux unstable 利用 X の環境は揃っている ビルド手順 clisp をインストール clisp をインストールします。 % sudo apt-get install clisp-dev lisp.run というファイルを stumpwm が見つけられないので symlink 張ってあげます。 ちょっと泥臭い。 ...

openstack-chef-repo で OpenStack 複数台構成をデプロイ

こんにちは。@jedipunkz です。 前回、github.com/rcbops の Cookbooks を利用した OpenStack デプロイ方法を紹介し ました。これは RackSpace 社の Private Cloud Service で使われている Cookbooks で Apache ライセンスの元、誰でも利用できるようになっているものです。HA 構成を 組めたり Swift の操作 (Rings 情報管理など) も Chef で出来る優れた Cookbooks な わけですが、運用するにあたり幾つか考えなくてはならないこともありそうです。 chef-client の実行順番と実行回数が密接に関わっていること HA 構成の手動切替等、運用上必要な操作について考慮する必要性 ※ 後者については OpenStack ユーザ会の方々に意見もらいました。 特に前項は Chef を利用する一番の意義である “冪等性” をある程度 (全くという意味 ではありませんが) 犠牲にしていると言えます。また chef-client の実行回数、タイ ミング等 Cookbooks を完全に理解していないと運用は難しいでしょう。自ら管理して いる Cookbooks なら問題ないですが、rcbops が管理しているので常に更新状況を追っ ていく必要もありそうです。 一方、Opscode, RackSpace, AT&T 等のエンジニアが管理している Cookbooks がありま す。これは以前、日本の OpenStack 勉強会で私が話した ‘openstack-chef-repo’ を利 用したモノです。github.com/stackforge の元に管理されています。 openstack-chef-repo は Berksfile, Roles, Environments のみの構成で各 Cookbooks は Berksfile を元に取得する形になります。取得先は同じく github.com/stackforge 上で管理されています。 ...