XenServerを使用したゼロからのクラウド

最近、内部の問題を解決するために小さなクラウドを作成し、この経験をHabr読者と共有したいと考えています。 ここでは、クラウドの展開用に選択された機器と、CitrixのXenServerに依存するクラウドシステムのインフラストラクチャを作成する方法について詳しく説明します。 この製品では、Citrixは標準的なアプローチを放棄することを決定しました。クラウドに中央制御ノードがある場合、複数のコンポーネントに分割し、クラウドに配置することを提案しました。 誰もがそれがどのように機能するかを気にします-カットの下で歓迎！



この記事では、ハードウェアの準備、XenServerのインストール、ライセンスのインストール、仮想ネットワークインフラストラクチャの作成、Ubuntu OS上の仮想マシンで発生する問題の説明、動的負荷分散、クラウドへのアクセスの設定と差別化について説明します。 、そしてもちろん、私たちがやったことを示します。

ハードウェアの準備

最初のタスクは、クラウドの基盤、つまり仮想化を実行するサーバーの選択を選択することです。 IBMのサーバーを選択し、IBMx3850 X5を選択しました。
各IBMはIBM X-Architectureに基づいており、次のものがあります。
•2.27GHzのクロック周波数を持つ4つのIntel®Xeon®CPUE7-8860プロセッサー。最終的にサーバーあたり40コア（80スレッド）を提供します。
•150GB RAM;
•2つの独立した電源。
• ファイバーチャネル拡張カード。
•10ギガビット接続用のネットワークカード。
• RAID1で結合された500 GBのハードドライブ2台。

その後、仮想マシンをどこに保存するのかという疑問が生じます。 それらがサーバー自体に保存されている場合、システムの信頼性が低下します。 サーバーに障害が発生すると、サーバー上にあったすべての仮想マシンが失われます。 また、仮想マシンの移行にはディスクを別のサーバーに移動する必要があるため、このアプローチでは負荷分散のタスクが非常に複雑になります。これはかなり長いプロセスです。 したがって、当社のスタンドは、4つのファイバーチャネル出力を備えた外部DELL md3620fストレージを使用します。 このストレージは、すべての一般的なタイプのRAID（RAID0、RAID1、RAID5、RAID6、RAID01）に結合できる最大24台のハードドライブをサポートします。 この例では、RAID 5で1 TBのハードドライブを10台組み合わせて使用​​しています。

迅速な移行には何が必要ですか？ IBM間の高速移行を確実にするために、10ギガビットサミットx670スイッチがスタンドに追加されました。これにより、理論的には移行が最も長くなります（移行の最も長いプロセスは、サーバー間でネットワークを介してデータを転送します）が、実際には勝っただけです5-6回。 サーバーと仮想マシンがローカルネットワークとインターネットにアクセスできるようにするために、HP ProCurveスイッチがスタンドに追加され、それを介して外部クライアントへのトラフィックが追加されました。

ハードウェアを要約すると、次のものを含むスタンドがあります。
•4つのIBMx3850 X5サーバー
•最大1000 Mb / sの接続用のHP ProCurveスイッチ
•10Gb / s接続をサポートするSummit x670スイッチ
•10TBディスクアレイを備えた外部ストレージDELL md3620f
•その他（無停電電源装置APC Smart-UPS 3000VA、ファイバー用トランシーバー、8本の10メートル光ファイバーケーブル、50メートルツイストペア）

下の図に示すように、これらはすべて5つの無停電電源装置です。中央の電源装置に障害が発生した場合、サーバーで実行されているすべてのものが正しく停止し、サーバー自体の電源が切れます。



接続ロジックは次のとおりです。



要約すると、次のとおりです。
•160コンピューティングコア（320スレッド）。
•600GB RAM;
•14TBのディスクスペース。
•高速ネットワークインフラストラクチャ。

XenServerをインストールする

選択したハードウェアで仮想マシンを実行するために、XenServer Platinumクラウドプラットフォームを展開することが決定されました。
誰も出会っていない場合のXenServerに関する簡単な一般情報：XenServerは、Linuxカーネルに基づいた独立したオペレーティングシステムです。 すべての核となるのがXENハイパーバイザーです。現在の最新バージョン（XenServer 6.1の使用済みバージョン）は、XEN 4.1ハイパーバイザーに基づいています。 システムの通常の動作には、仮想化と1GBのRAMをサポートするプロセッサが必要です。 Citrixの連中は、最小要件を書くことを好まず、最大システム要件を書くことを好むので、 こちらで見つけることができます。 XenServerファミリーには、 価格と追加機能が異なるいくつかの製品バージョンが含まれています 。

すべてのIBMサーバーにXenServerがインストールされている必要があります。 XenServer自体のインストールは完全に簡単なプロセスであり、Ubuntuのインストールと大きな違いはありません。 後で説明する便利な操作のためにシステムを構成することは非常に興味深いことです。これについては、Citrixが提供するXenServerの拡張コンポーネントに焦点を当てます。 すべてのホストにXenServerをインストールしたら、XenCenterにアクセスする必要があります（インストールしたXenServerのWebインターフェイスまたはCitrix Webサイトからダウンロードできます）。 XenCenterでは、プールを作成してサーバーを追加する必要があります。

ライセンスのインストール

XenServerのインストール後、最初に行う必要があるのはサーバーライセンスのインストールです。 これは、ライセンスキーを入力するのではなく、Citrix Webサイトのアカウントで受け取った証明書をインストールすることによって行われます。 証明書は、ライセンスキーが特別な形式で記録されたテキストファイルです。 複数のサーバーで一度に取得できます。 証明書は特別なライセンスセンターにインストールする必要があります。 少なくとも1つの証明書が有効でない場合、すべての証明書が無効になることに注意してください。



Citrixは、ライセンスセンターを別のホストまたはクラウド内の仮想マシンにインストールすることをお勧めします（CPUリソースをほとんど消費せず、256 MBのRAMのみを必要とします）。 ただし、仮想マシンとしてインストールすると、問題が発生する可能性があります。 アップグレードのためにスタンドのサーバーを切断したときに発生した問題に遭遇する可能性があり、それらの場合は、ライセンスセンターがオフになっている仮想マシンをそれぞれ停止します。 電源を入れた後、XenServerは「トライアルライセンスの有効期限が切れました」というエラーを生成しました（結局、ライセンスセンターは開始されませんでした）。 問題はないはずです。通常のライセンスでライセンスセンターの仮想マシンをオンにし、受け入れます。 ただし、ライセンスの有効期限が切れると、どの仮想マシンもオンにできなくなります。 ただし、最初のパニックの後、ライセンス受諾メニューに「無料バージョンをアクティブにする」ボタンが見つかりました。クリックすると「30日間の試用ライセンスがあります」というフレーズが表示されました。 そして、その場合にのみ、ライセンスを使用して仮想マシンを起動できます。

仮想ネットワークインフラストラクチャの作成

仮想マシンのネットワーク設定を柔軟に管理し、XenServerサーバーと同じサブネット上にないようにするには、仮想ネットワークインフラストラクチャを確立する必要があります。 これらの目的のために、Citrixには分散仮想スイッチコントローラー（DVSC）コンポーネントがあります。 また、仮想マシンとして提供されますが、すでにより多くのリソースを消費しています。2VCPUと2 GBのRAMです。 DVSCの設定は複雑ではありません：仮想マシンの空きIPアドレスを指定し、プールをDVSCに追加する必要がありますが、これはすべてWebインターフェースを介して行われます。 これらの手順の後、異なるサーバー（Cross-ServerPrivateNetwork）にある仮想マシン間に仮想ネットワークを作成することが可能になりますが、それ以前は1つのサーバー（Single-ServerPrivateNetwork）内にのみ仮想ネットワークを作成できました。



DVSC Webインターフェースにアクセスすると、ネットワークインフラストラクチャに関する多くの有用な情報が表示されます。作成されたネットワークのリスト、特定のネットワークに接続された仮想マシンのリスト、ネットワークエラーメッセージ、ネットワークアクティビティグラフ（特定の仮想マシンとネットワーク全体に対して）。



DVSCは、単純なファイアウォールとして機能することもできます。そのルールは[AccessControl]タブで作成できます。 すべてのネットワークセキュリティポリシーは、グローバルポリシー（複数のプールを1つのDVSCに接続できる）、プールポリシー、特定のネットワークポリシー、および特定の仮想マシンポリシーの4つのレベルに分かれています。 ルールは、アクションのタイプ（許可または拒否）、プロトコル（受信者ポートと送信者ポートを指定するか、既知のプロトコルを指定できます）、およびこのルールの適用対象を記述します。

ファイアウォールはインストール後すぐに作業に入り、4つの基本的なグローバルルールがすぐに記録されます。
•ネットワーク内のすべてのARPメッセージを許可する
•仮想マシンがdhcpによってIPアドレスを取得できるようにする
•仮想マシンがDNSサーバーにアクセスできるようにする
•すべてのネットワークトラフィックを許可する（このルールは、他のレベルのすべてのルールをチェックした後に適用されます）



一般的に、DVSCはすべての人に適しています。機能面では、VmWareのvShield Edgeをsomewhatとさせますが、EdgeはDHCPサーバーの作成の可能性、仮想マシン用のNatの便利な編成など、さまざまな小さなことにより便利に見えます。 もちろん、このすべて（DHCPサーバーとNatが存在しない）は、Ubuntuに基づいて別の仮想マシンを作成することで解決されますが、すべてが事前に決定されていると便利です。

Ubuntuで仮想マシンを作成する際の問題

一般に、Ubuntuで初めて仮想マシンを作成すると、ショックと誤解が生じます。これは、製品のリリースバージョンにどのように組み込まれたのでしょうか。 これは次のとおりです。



標準テンプレートから仮想マシンを作成した後、起動できず、上記のエラー（エラーコード：INVALID_SOURCE）を書き込みます。 このエラーは、仮想マシンの起動パラメーターに関連しています。 次のように対処できます（説明はここに記載されており、多数の仮想マシンで動作するように少し変更されています）。
1. XenServerコンソールに移動します。これは、XenCenter（サーバーの[コンソール]タブ）またはsshで実行できます。
2.コマンドxe vm-listname-label = [VM_NAME]を使用して、仮想マシンのuuidを見つけます。 この例では、次のようになります。



3.次に、次のコマンドを使用してブートパラメーターを設定する必要があります。xe vm-param-setuuid = [UUID_VM] HVM-boot-policy = BIOS \ orderHVM-boot-params：order = dc。
4.これらの簡単な操作の後、仮想マシンは正常に起動します。

しかし、これはUbuntu関連のエラーの終わりではありません。 スタンドを作成するとき、必要なOSをインストールする時間を無駄にしないように、異なるOSで仮想マシンテンプレートを作成し、すぐに完成したものを取得してそこに必要なソフトウェアを配置することにしました。 Windowsベースのマシンでは問題はありませんが、Ubuntuでは、イメージから仮想マシンを作成するときにブラックスクリーンの問題が発生します。 この問題の解決策は、一方では非常に単純で、他方では少し間違っていることが判明しました。 この問題は、仮想マシンにxen-toolsをインストールするだけで解決します。 このソリューションの欠点は、クリーンなオペレーティングシステムを提供できないことです。これは、解決するタスクの一部として必要になることがあります。

動的な負荷分散

解決されるタスクの一部として、XenServerを使用したサーバー間の動的な負荷分散が必要になることがよくあります。 これらの目的のために、CitrixはCitrix WLB仮想アプライアンス仮想マシンを提供します。これはクラウドにも追加する必要があり、コンソールから簡単な構成を実行します（コンソールに入ると、マシンはすべての必要なアクションのプロンプトを表示します）。 その後、XenCenterに移動して、この特定の仮想マシンがサーバー間の負荷分散を担当することをプールに示す必要があります（このアクションはWLBタブで実行されます）。



この仮想マシンは、サーバーの負荷（使用されるコアの数、使用されるRAMの量、ネットワークアクティビティ）を監視し、サーバー間で負荷を分散します。 これは、仮想マシンがオンになっている場合（最も負荷の低いサーバーで実行される場合）とその操作中（移行のため）の両方で発生します。

クラウドへのアクセスを構成および制限する

通常の操作で解決する必要がある最後のタスクは、クラウドへのアクセスを提供することです。 そして、ここで、私たちの意見では、Citrixが最大の問題を抱えています。 Citrixは、クラウドにアクセスするための2つのオプションを提供します。XenCenterとWebベースのインターフェイスです。

XenCenterを介したアクセス

Active Directory（AD）をプールに接続すると、XenCenterでユーザーを作成できます。 Citrixは、XenCenterの任意アクセスモデルを放棄することを決定し、役割ベースのアプローチを実装しました。 したがって、主な問題：すべてのユーザーがすべての仮想マシンを見てアクセスできるため、アクセスの種類のみが規制されますが、それはすべての仮想マシンに即座に適用されます（つまり、仮想マシンを起動する役割が与えられた場合、一度にすべてが適用される） また、ADは常に利用可能である必要があることにも注意してください。 再起動時に、ADはプールに自動的に追加されず、毎回手動で追加する必要があります。

Webベースのアクセス

Citrixでは、任意アクセスにWebベースのアクセスを使用することをお勧めします。 Webベースのインターフェイスを介したアクセスを構成するには、Citrix XenServer Web Self Service仮想マシンをインストールする必要があります。 コンソールから仮想マシンを簡単に構成した後（IPアドレスを指定するか、DHCP経由で取得するように指定する必要があります）、Webインターフェースから多数の設定を実行する必要があります。 ここで、Citrixはアクセス可能で理解しやすい説明をたたえています。管理者としてログインしている場合は、完了する必要のある手順のリストと、これを行う方法の詳細な説明がすぐに表示されます。



Citrix XenServer Web Self Serviceは、ADと同じユーザーを使用するか、新しいユーザーを作成できます。 XenServer Web Self Serviceの最初の起動時に、管理者は行動方法を指定する必要があり、この決定は後で変更できません（もちろん、仮想マシンをいつでも再配置できますが、これには仮想マシンへのアクセス権の新しい設定が必要になります）。 構成後、すべてのユーザーはブラウザーを介して特定の仮想マシンにアクセスできます。 また、Citrixも非常に満足しています。Microsoft（InternetExplorerのみ）のクラウドやVmWare（Operaでサポートされていない）など、一部の限定されたセットではなく、ブラウザーを使用できます。 ユーザーが仮想マシンにアクセスできるようにするには、管理者がこのユーザーにこの仮想マシンへのアクセスを許可する必要があります。これは、Webインターフェースから簡単に実行できます。



Webインターフェイスを介して作業する場合の大きな欠点は、仮想マシンの物理パラメーター（プロセッサ数、RAMの量、接続されたネットワークとハードドライブのセットアップ）を構成できないことです。 そのため、Webインターフェースは、仮想マシンのグラフィカルインターフェースへのアクセスであり、その物理パラメーターの管理へのアクセスではありません。 必要なすべてのアクションを実行しました：機器の準備、ライセンスのセットアップ、展開...これでクラウドの準備が整いました！

私たちの実験

サーバーの実際の計算能力を評価するために、私たちは実験を実施しました。その目的は、システム上の80の論理コアすべてを可能な限りロードすることでした。 実験の基礎として、オペレーティングシステムなしで単純なシーンのレイトレーシングを実行し、コンピューターのすべてのプロセッサーのすべてのコアを使用するプログラムを採用しました。 このプログラムの仕組みと、このプログラムのソースコードを取得する方法については、 こちらをご覧ください 。

実験のために、プログラムを少し修正しました。図の球の1つにモーションアニメーションを追加し、速度計算を追加し、各フレームを描画するときにバッファリングを追加しました。 受け取ったプログラムの性能を比較するために、IBMサーバーを含むさまざまな構成の複数のコンピューターで実行しました。 この実験では、800 x 600の解像度で5つの球体からシーンがレンダリングされました。 実験は成功し、IBMサーバーは印象的なパフォーマンスを示しました。 すべての実験で、画面の左上隅の緑の数字が1秒あたりのフレーム数（FPS）を示し、赤の数字がフレームあたりの秒数を示すビデオを記録しました。 得られた結果は次のとおりです。

1.通常のコンピューター：Intel i3-2100、3.1 GHz、2コアのみ。 各コアに対して、800x600 / 2 =フレームあたり240000ポイント。 ビデオからわかるように、速度は約0.5 FPSでした（1フレームに2秒以上かかりました）。



2.最新の強力なプロセッサーを搭載したコンピューター：Intel i7-4770、3.4 GHz、合計8コア。 各コアについて、800x600 / 8 =フレームあたり60,000ドット。 結果は、ビデオに見られるように、1秒あたり約2フレームです。



3.ラックからのIBMサーバー：Intel Xeon E7-8860 2.3 GHz、各コンピューターには10個の物理コア（それぞれに2個の論理コア）を備えた4つのプロセッサーがあり、合計80コアです。 各コアについて、800x600 / 80 =フレームあたり6000ドット。 結果は12〜14 FPSで、これは他のシステムよりも大幅に大きくなります。



興味深いことに、1280x1024の解像度でIBMサーバーでレンダリングを実行し、バッファリングせずにプロセッサコアを動作させると、フレームが80ストライプからどのように描画されるかがわかります。



それが私たちが得たものです。 記事を読んだ後、ここで説明した問題を回避するか、問題にうまく対処して、自分で簡単にクラウドを作成できることを願っています。