OpenStack Havana を Chef でデプロイ

こんにちは。@jedipunkz です。

毎度お馴染みになった OpenStack の Chef によるデプロイですが、今回は OpenStack Havana 構成を Chef でデプロイする方法についてです。使用するのは今回も rcbops/chef-cookbooks です。ブランチは ‘havana’ を用います。

早速ですが構成について。4.1.2 辺りからだと思うのですが構成の前提が物理ネットワーク4つを前提にし始めました。public, external (VM) を別ける必要が出てきました。通信の特性も異なるので (public は public API を。external は VM 用) 、別けるのが得策かもしれません。

構成

                  +--------------+------------------------------------------------------- external
                  |              |
+--------------+--(-----------+--(-----------+--------------+---------------------------- public
|              |  |           |  |           |              |
+------------+ +------------+ +------------+ +------------+ +------------+ +------------+
| controller | |  network   | |  network   | |  compute   | |  compute   | | workstation|
+------------+ +------------+ +------------+ +------------+ +------------+ +------------+
|              |  |           |  |           |  |           |  |           |
+--------------+--(-----------+--(-----------+--(-----------+--(-----------+------------- management
                  |              |              |              |
                  +--------------+--------------+--------------+------------------------- guest

上記の構成の特徴

4つの物理ネットワークを前提
public ネットワーク : 外部 API 用ネットワーク
external ネットワーク : インスタンス外部接続用ネットワーク
guest ネットワーク : インスタンス内部用ネットワーク
management ネットワーク : 各コンポーネント接続用ネットワーク
public, external のみグローバルネットワーク
controller : 2 nics, network : 4 nics, compute : 3nics の構成
controller はシングル構成
network ノードは台数拡張可能, agent 単位でノード間移動可能
compute ノードも台数拡張可能
workstation は chef-repo の所在地, management ネットワークに所属

各ノードの準備

OS インストール後、各ノードのネットワークインターフェースの設定を下記の通り行ってください。また LVM を使うのであれば cinder ボリュームの設定も必要になってきます。

controller ノード

2 nics を下記の通り設定します。

eth0 を public ネットワークに。gateway をこのインターフェースに設定
eth1 を guest ネットワークに。gateway はなし

/etc/network/interfaces の例

auto eth0
iface eth0 inet static
    address <ip_addr>
    netmask <netmask>
    gateway <gateway>
    dns-nameservers <dns_cache_server>
    dns-search <domain>

auto eth1
iface eth1 inet static
    address <ip_addr>
    netmask <netmask>

/dev/sdb を cinder 用ディスクデバイスとします。

% sudo pvcreate /dev/sdb
% sudo vgcreate cinder-volumes /dev/sdb

network ノード

4 nics を下記の通り設定します。up route で仮想ネットワークへのルーティングを書いてあげると、network ノードから直接仮想ネットワーク上のインスタンスへ通信することが可能です。最初は書かなくても OK です。

auto eth0
iface eth0 inet static
    address <ip_addr>
    netmask <netmask>
    dns-nameservers <dns_cache_server>
    dns-search <domain>

auto eth1
iface eth1 inet static
    address <ip_addr>
    netmask <netmask>

auto eth2
iface eth2 inet static
    address <ip_addr>
    netmask <netmask>
    gateway 10.200.10.1
    dns-nameservers 8.8.8.8 8.8.4.4
    dns-search cpi.ad.jp

auto eth3
iface eth3 inet static
    address <ip_addr>
    netmask <netmask>
    # 仮想ネットワークへのルーティング
    # up route add -net <virtual_net_cidr> gw <neutron_gw>
    # up route add -net <virtual_net_cidr> gw <neutron_gw>

compute ノード

3 nics を下記の通り設定します。

auto eth0
iface eth0 inet static
    address <ip_addr>
    netmask <netmask>
    dns-nameservers <dns_cache_server>
    dns-search <domain>

auto eth1
iface eth1 inet static
    address <ip_addr>
    netmask <netmask>
    
auto eth2
iface eth2 inet static
    address <ip_addr>
    netmask <netmask>
    gateway <gateway>
    dns-nameservers <dns_cache_server>
    dns-search <domain>

Cookbooks, Roles, Environments 等の準備

下記の操作は全て workstation ノードからの操作です。また chef のインストールや chef サーバの構築方法については割愛します。

rcbops/chef-cookbooks を取得します。

% git clone https://github.com/rcbops/chef-cookbooks.git
% cd chef-cookbooks
% git checkout -b havana remotes/origin/havana
% # .chef 配下の準備割愛。各 Chef サーバ環境に合わせる
% git submodule init
% git submodule sync
% git submodule update
% knife cookbook upload -o cookbooks -a
% knife role from file roles/*.rb

今回の構成用の environment を生成します。それぞれの環境に合わせて作成してください。生成のコツは各 Cookbooks の attributes を見ながら設定することです。生成した json ファイルを environments ディレクトリ配下に配置します。

{
  "name": "havana-neutron",
  "description": "",
  "cookbook_versions": {
  },
  "json_class": "Chef::Environment",
  "chef_type": "environment",
  "default_attributes": {
  },
  "override_attributes": {
    "package_component": "havana",
    "osops_networks": {
      "management": "10.200.10.0/24",
      "public": "10.200.9.0/24",
      "nova": "10.200.10.0/24"
    },
    "nova": {
      "config": {
        "use_single_default_gateway": false,
        "ram_allocation_ratio": "1",
        "cpu_allocation_ratio": "16"
      },
      "network": {
        "provider": "neutron",
        "network_type": "vlan"
      },
      "apply_patches": true,
      "libvirt": {
        "vncserver_listen": "0.0.0.0",
        "virt_type": "kvm"
      },
      "db": {
        "password": "nova"
      },
      "services": {
        "novnc-proxy": {
          "network": "public"
        },
        "ec2-admin": {
          "network": "management"
        }
      }
    },
    "cinder": {
      "db": {
        "password": "cinder"
      }
    },
    "keystone": {
      "admin_user": "admin",
      "tenants": [
        "admin",
        "service"
      ],
      "users": {
        "admin": {
          "password": "secrete",
          "roles": {
            "admin": [
              "admin"
            ]
          }
        },
        "demo": {
          "password": "demo",
          "default_tenant" : "service",
          "roles": {
            "service": [ "service" ]
          }
        }
      },
      "db": {
        "password": "keystone"
      }
    },
    "horizon": {
      "theme": "Rackspace",
      "db": {
        "password": "horizon"
      },
      "endpoint_type" : "publicURL",
      "endpoint_scheme" : "http"
    },
    "mysql": {
      "root_network_acl": "%",
      "allow_remote_root": true,
      "server_root_password": "secrete",
      "server_repl_password": "secrete",
      "server_debian_password": "secrete"
    },
    "monitoring": {
      "procmon_provider": "monit",
      "metric_provider": "collectd"
    },
    "glance": {
      "images": [
        "precise", "cirros"
      ],
      "image": {
      },
      "image_upload": false,
      "db": {
        "password": "glance"
      }
    },
    "neutron": {
      "service_pass": "neutron",
      "db": {
        "password": "neutron"
      }
    },
    "developer_mode": false
  }
}

environment ファイルの chef サーバへのアップロード。

% knife environment from file environments/havana-neutron.json

knife bootstrap によるデプロイ

下記の通り knife bootstrap することで各ノードをデプロイします。

controller ノードのデプロイ。

% knife bootstrap <controller_ipaddr> -N <controller_name> \
  -r 'role[single-controller]','role[cinder-volume]' \
  -E havana-neutron -x <username> --sudo

network ノードのデプロイ。台数分デプロイしてください。

% knife bootstrap <network_ipaddr> -N <network_name> \
  -r 'role[single-network-node]','recipe[nova-network::neutron-l3-agent]' \
  -E neutron-havana -x <username> --sudo

compute ノードのデプロイ。台数分デプロイしてください。

% knife bootstrap <compute_ipaddr> -N <compute_name> \
  -r 'role[single-compute]' \
  -E havana-neutron -x <username> --sudo

openvswitch の物理 NIC とブリッジインタフェースマッピング作業

各ノードで下記の通り物理 NIC とブリッジのマッピング作業を行ってください。操作は必ず management ネットワークを介して行うようにしましょう。その他のネットワークから操作すると通信が途絶える可能性があります。

network ノード

% sudo ovs-vsctl add-port br-eth1 eth1
% sudo ovs-vsctl add-port br-ex eth3

compute ノード

% sudo ovs-vsctl add-port br-eth1 eth1

まとめと考察

havana の roles にはコアプロジェクトのコンポーネントが入っています。つまり ceilometer と heat も上記のデプロイで入ってきます。ceilometer に関して公式のドキュメントではデータ格納用 DB として mongodb が記されていますが、ここでは mysqld 上に格納する構成になっていました。これは個人的には非常に助かります。また、compute ノードから controller ノードの public api を叩く必要が出てきて、 compute ノードにも public ネットワーク用の NIC を足しましたが、こうするべきなのかどうかは今後考えてみます。理想は management ネットワークを介することですが attributes の調整でけではうまくいきませんでした。‘havana’ ブランチはまだ開発が進んでいるので改善されるかもしれません。コントリビュートするのも手だと思います。

構成#

上記の構成の特徴#

各ノードの準備#

controller ノード#

network ノード#

compute ノード#

Cookbooks, Roles, Environments 等の準備#

knife bootstrap によるデプロイ#

openvswitch の物理 NIC とブリッジインタフェースマッピング作業#

まとめと考察#

構成

上記の構成の特徴

各ノードの準備

controller ノード

network ノード

compute ノード

Cookbooks, Roles, Environments 等の準備

knife bootstrap によるデプロイ

openvswitch の物理 NIC とブリッジインタフェースマッピング作業

まとめと考察