Swift HA 構成を Chef でデプロイ

こんにちは。@jedipunkz です。

最近 Chef で OpenStack をデプロイすることばかりに興味持っちゃって、他のこともやらんとなぁと思っているのですが、せっかくなので Swift HA 構成を Chef でデプロイする方法を書きます。

Swift って分散ストレージなのに HA ってなんよ！と思われるかもしれませんが、ご存知の様に Swift はストレージノード (accout, object, container) とプロキシノードに別れます。今回紹介する方法だとプロキシノードを Keepalived と Haproxy で HA、また MySQL も KeepAlived で HA の構成に出来ました。いつものように RackSpace 管理の Cookbooks を使っています。

参考資料

http://www.rackspace.com/knowledge_center/article/openstack-object-storage-configuration

構成

構成は簡単に記すと下記のようになります。特徴としては…

swift-proxy01, swift-proxy02 で HA。VRRP + LB な構成。
swift-proxy01 で git サーバ稼働。Rings 情報を管理。
swift-storageNN がストレージノード
OS は Ubuntu server 12.04

です。

|--------- VRRP + Load Balancer ------|

+-----------------+ +-----------------+ +-----------------+ +-----------------+ +-----------------+
|  swift-proxy01  | |  swift-proxy02  | | swift-storage01 | | swift-storage02 | | swift-storage03 |
+-----------------+ +-----------------+ +-----------------+ +-----------------+ +-----------------+
|                   |                   |                   |                   |
+-------------------+-------------------+-------------------+-------------------+------------------
|                   |
+-----------------+ +-----------------+
| chef workstation| |   chef server   |
+-----------------+ +-----------------+

絵は書く意味なかったか…。

手順

chef server 構築

例によって Omnibus パッケージを使います。

% wget https://opscode-omnibus-packages.s3.amazonaws.com/ubuntu/12.04/x86_64/chef-server_11.0.8-1.ubuntu.12.04_amd64.deb
% sudo dpkg -i chef-server_11.0.8-1.ubuntu.12.04_amd64.deb
% sudo chef-server-ctl reconfigure
% knife configure -i
< 適当に答える >

‘knife configure -i’ で自分用の秘密鍵が生成出来ます。

workstation ノードでの準備

ほぼ全ての操作を workstation ノードで行います。knife.rb や秘密鍵の設置等については方法を割愛します。このへんはモヤモヤと説明しますが、皆さんならご存知かと思いますので..。

github より rackspace 管理の Chef Cookbooks を取得する。

% git clone https://github.com/rcbops/chef-cookbooks.git ~/openstack-chef-repo
% cd ~/openstack-chef-repo

v.4.0.0 とい現在 (2013/07/25) 最新リリース版をチェックアウトする。

% git checkout v4.0.0
% git submodule init
% git submodule sync
% git submodule update

‘chef server’ ノードへ Cookbooks をアップロードする

% knife cookbook upload -o cookbooks -a

‘chef-server’ ノードへ Roles をアップロードする

% knife role from file roles/*rb

今回の構成用の environment ‘swift-ha’ を用意します。ここでは各 Cookbooks の Attributes を上書きし、一つの構成を組みます。Cookbooks 内でこの environment 名をキーに検索し自ノードと同環境のノードを見つけ出し、関連付けがされます。

{
  "name": "swift-ha",
  "description": "",
  "cookbook_versions": {
  },
  "json_class": "Chef::Environment",
  "chef_type": "environment",
  "default_attributes": {
  },
  "override_attributes": {
    "package_component": "grizzly",
    "osops_networks": {
      "management": "10.0.0.0/24",
      "public": "10.0.0.0/24",
      "nova": "10.0.0.0/24",
      "swift": "10.0.0.0/24"
    },
    "keystone": {
      "admin_user": "admin",
      "tenants": [
        "admin",
        "service"
      ],
      "users": {
        "admin": {
          "password": "secrete",
          "roles": {
            "admin": [
              "admin"
            ]
          }
        },
        "demo": {
          "password": "demo",
          "default_tenant" : "service",
          "roles": {
            "admin": [ "admin" ]
          }
        }
      },
      "db": {
        "password": "keystone"
      }
    },
    "mysql": {
      "root_network_acl": "%",
      "allow_remote_root": true,
      "server_root_password": "secrete",
      "server_repl_password": "secrete",
      "server_debian_password": "secrete"
    },
    "monitoring": {
      "procmon_provider": "monit",
      "metric_provider": "collectd"
    },
    "vips": {
      "keystone-admin-api": "10.0.0.11",
      "keystone-service-api": "10.0.0.11",
      "keystone-internal-api": "10.0.0.11",
      "mysql-db": "10.0.0.12",
      "swift-proxy": "10.0.0.11"
    },
    "developer_mode": false,
    "swift": {
      "swift_hash": "127005c8ea84",
      "authmode": "keystone",
      "authkey": "1f281c71-cf89-5b27-a2ad-ad873d3f2760"
    }
  }
}

生成した environment ファイル ’environments/swift-ha.json’ を Chef サーバへアップロードします。

% knife environment from file environments/swift-ha.json

disk デバイスの用意

swift-storageNN でオブジェクト格納用の Disk がある場合はパーティションを作成します。追加の Disk が無くても構わないと思います。後に Chef が使用可能な Disk デバイスを検知してくれます。ここでは例として /dev/sdb として認識されていることを前提に記します。追加の disk が無い場合は /dev/sda6 等、OS インストール時にオブジェクト格納用のパーティションを用意してもらえば大丈夫です。また GPT なパーティションを切る必要があると思いますので (大きいから) fdisk ではなく gdisk を用いましょう。

% swift-storageNN% sudo apt-get update; apt-get -y install gdisk
% swift-storageNN% sudo gdisk /dev/sdb

各ノードをブートストラップ

いよいよデプロイします。

% knife bootstrap <ip_swift-proxy01> -N swift-proxy01 -r 'role[ha-swift-controller1]' -E swift-ha --sudo -x jedipunkz
% knife bootstrap <ip_swift-proxy02> -N swift-proxy02 -r 'role[ha-swift-controller2]' -E swift-ha --sudo -x jedipunkz
% knife bootstrap <ip_swift-storage01> -N swift-storage01 -r \
'role[swift-object-server]','role[swift-container-server]','role[swift-account-server]' -E swift-ha --sudo -x jedipunkz
% knife bootstrap <ip_swift-sotrage02> -N swift-storage02 -r \
'role[swift-object-server]','role[swift-container-server]','role[swift-account-server]' -E swift-ha --sudo -x jedipunkz
% knife bootstrap <ip_swift-storage03> -N swift-storage03 -r \
'role[swift-object-server]','role[swift-container-server]','role[swift-account-server]' -E swift-ha --sudo -x jedipunkz

Chef サーバにノード情報が登録されているので各ストレージノードの zone 情報にシーケンシャル番号を付与します。これにより各ノードは自分の zone 情報を Chef サーバから知ることが出来ます。

% knife exec -E "nodes.find(:name => 'swift-storage01') {|n| n.set['swift']['zone'] = '1'; n.save }"
% knife exec -E "nodes.find(:name => 'swift-storage02') {|n| n.set['swift']['zone'] = '2'; n.save }"
% knife exec -E "nodes.find(:name => 'swift-storage03') {|n| n.set['swift']['zone'] = '3'; n.save }"

Account, Container, Object に対して適切に割り当てられたか確認を行います。

% knife exec -E 'search(:node,"role:swift-account-server") \
  { |n| z=n[:swift][:zone]||"not defined"; puts "#{n.name} has the role \
  role [swift-account-server] and is in swift zone #{z}"; }'
% knife exec -E 'search(:node,"role:swift-container-server") \
  { |n| z=n[:swift][:zone]||"not defined"; puts "#{n.name} has the role \
  [swift-container-server] and is in swift zone #{z}"; }'
% knife exec -E 'search(:node,"role:swift-object-server") \
  { |n| z=n[:swift][:zone]||"not defined"; puts "#{n.name} has the role \
  [swift-object-server] and is in swift zone #{z}"; }'

また、先ほど用意した Swift 用ディスクデバイスを Chef がディスカバ出来るか確認を行います。

% knife exec -E \
  'search(:node,"role:swift-object-server OR \
  role:swift-account-server \
  OR role:swift-container-server") \
  { |n| puts "#{n.name}"; \
  begin; n[:swift][:state][:devs].each do |d| \
  puts "\tdevice #{d[1]["device"]}"; \
  end; rescue; puts \
  "no candidate drives found"; end; }'

またディスカバされたディスクデバイス /dev/sdb1 が既にマウントされているかどうか確認します。

swift-strageNN# df

‘swift-proxy01’ ノードにて再度 chef-client を実行し /etc/swift/ring-workspace/generate-rings.sh を更新する。上記 zone 情報に従って内容が更新される。

swift-proxy01# chef-client

生成された generate-rails.sh を実行。’exit 0’ の行をコメントアウトして実行すること。

swift-proxy01# cd /etc/swift/ring-workspace
swift-proxy01# ./generate-rings.sh

/etc/swift/ring-workstation/rings 配下に Rings ファイルが生成されたはずです。確認してみてください。この Rings ファイルを git サーバにプッシュします。git サーバは既に ‘swift-proxy01’ ノード上に構築されています。

swift-proxy01# cd /etc/swift/ring-workspace/rings
swift-proxy01# git add account.builder container.builder object.builder
swift-proxy01# git add account.ring.gz container.ring.gz object.ring.gz
swift-proxy01# git commit -m "initial commit"
swift-proxy01# git push

git サーバにプッシュされた Rings ファイルを各ノードに配布します。配布の方法は各ノードで chef-client を実行することです。これは knife ssh 等を用いても構いません。

swift-proxy01# chef-client
swift-proxy02# chef-client
swift-storage01# chef-client
swift-storage02# chef-client
swift-storage03# chef-client

swift-storageNN の計3台が登録されたかどうかを確認します。

swift-proxy# swift-recon --md5

動作確認

動作確認をしましょう。

swift-storage01# source swift-openrc
swift-storage01# swift post container01
swift-storage01# echo "test" > test
swift-storage01# swift upload container01 test
swift-storage01# swift list
swift-storage01# swift list container01

また、これらの操作が swift-proxy01, swift-proxy02 の片系を落とした状態でも可能かどうかも確認しましょう。

まとめ

swift-proxy 片系の障害時にも読み込み系・書き込み系の操作が可能なことを確認出来ました。復旧に関しても MySQL 的な Slave 系 (今回だと swift-proxy02(後からブートストラップしたノード)) に関しては knife bootstrap で出来ます。Master 系の復旧は簡単にはいきません。この事態に備えるには Rings 情報のバックアップ (Git レポジトリバックアップ) と MySQL のダンプの定期的取得が必要になるでしょう。

また、今回 VRRP で HA しているので2台構成になります。Swift プロキシは本来、ノードを増やすことでより多くのリクエストを受けられる (何がボトルネックになるかで状況は変わりますが) 利点があるため、この2台構成がベストかどうかは状況に合わせて考えた方が良いかもしれません。この構成の場合、ロードバランサが必要ない点がメリットだったりします。

参考資料#

構成#

手順#

chef server 構築#

workstation ノードでの準備#

disk デバイスの用意#

各ノードをブートストラップ#

動作確認#

まとめ#