🙅🏾 👩‍🚀 📫 無料のクラスター（Proxmox + Nexenta） 👩🏼‍🤝‍👨🏿 🐻 ♈️

おそらく、私たちの多くは、小さなITインフラストラクチャを編成する問題を解決するために、ハイパーバイザーを選択するという問題に直面していました。ソフトウェアにはどのような機能が必要で、費用はいくらですか？しかし、ソリューションの一部または別の部分は、すでに存在するものと互換性がありますか？
そして、正しい選択をするためにスタンドでこれらすべてを運転するのはどうでしょうか？
有名な通貨の為替レートを考えると、シンプルで、飾り気のない、そして可能であれば無料のものが欲しいです。特に、予算が限られている中小企業（スタートアップ）に関しては。

何が必要ですか？

ハードウェア互換のハイパーバイザー
Webインターフェースを介した管理アクセスを持つクラスター
クラスタ内の仮想マシンの高可用性
すぐに使えるバックアップおよび復元機能
平均的な管理者（昨日の学生）の理解と作業のためのアクセシビリティ。

オープンソースソリューションの中で、Proxmoxはインストールと設定が最も簡単です。 oVirtファンなどを怒らせないために（これは広告記事ではありません）、私は、インストールと管理の容易さに対する最初の要件は、Proxmoxでさらに表現されることを予約します。また、繰り返しますが、データセンターはありませんが、小さな会社には2〜3ノードのクラスターのみがあります。
ハイパーバイザーとして、それぞれKVMとLXCを使用し、パフォーマンスの損失を最小限に抑えてKVM OS（Linux、* BSD、Windowsなど）を保持し、Linuxを損失なしで保持します。

それでは、行きましょう：

ハイパーバイザーのインストールは簡単です。こちらからダウンロードしてください：
数回のクリックで文字通りインストールされ、管理者パスワードを入力します。
その後、フォームのWebインターフェイスのアドレスを含むコンソールウィンドウが表示されます

172.16.2.150：8006

（以下、テストネットワークに対応）。
次に、2番目と3番目のノードを設定します。同様の結果が得られます。

クラスターを実行します。

1. pve1.localでホストを構成します。

root@pve1:~# nano /etc/hosts 127.0.0.1 localhost.localdomain localhost 172.16.2.170 pve1.local pve1 pvelocalhost 172.16.2.171 pve2.local pve2

2. pve2.localでホストを構成します。

 root@pve2:~# nano /etc/hosts 127.0.0.1 localhost.localdomain localhost 172.16.2.171 pve2.local pve2 pvelocalhost 172.16.2.170 pve1.local pve1

3.同様に、pve3.localでホストを構成します
4. pve1.localサーバーで、次を実行します。

 root@pve1:~# pvecm create cluster

5. pve2.localサーバーで、次を実行します。

 root@pve2:~# pvecm add pve1

6.同様に、3番目のホストpve3.localを構成してクラスターに追加します。

すべてのノードを更新します。

リポジトリを一致させる：

 root@pve1:~# nano /etc/apt/sources.list deb http://ftp.debian.org.ru/debian jessie main contrib # PVE pve-no-subscription repository provided by proxmox.com, NOT recommended for production use deb http://download.proxmox.com/debian jessie pve-no-subscription # security updates deb http://security.debian.org/ jessie/updates main contrib

不要なリポジトリについてコメントします。

 root@pve1:~# nano /etc/apt/sources.list.d/pve-enterprise.list # deb https://enterprise.proxmox.com/debian jessie pve-enterprise

更新された（それぞれのノードで）：

 root@pve1:~# apt-get update && apt-get dist-upgrade

すべて、クラスターの戦いの準備ができました！

ここでは、すぐに使用できるバックアップ機能（バックアップと呼ばれます）がすでにあります。

ストレージ：

次に、共通のリポジトリを選択するという疑問が生じます。
ISCSIを選択します（ほとんどの予算オプションとして）ストレージ：
原則として、構成する際に1つのインターフェイスに制限することができますが、クラスターに1つの単一障害点を設定することはできません。したがって、Proxmoxのマルチパスを使用するか、ストレージ自体のインターフェイスを結合する方が適切です。

ここでは、ある種の商用ストレージ、ディスクシェルフなどを使用できます。
実際、最初のテストは、 Infortrendのソリューションを使用して実行されました。

しかし、もう一度、予算が制限に制限されている（または単に存在しない）場合はどうすればよいでしょうか？！
最も簡単な方法は、ハードウェアをディスクで満たし、目的を達成できるようにストレージを作成することです。
その結果、私たちには機会が必要です（会社が劇的に拡大できることを考えると）：

統合ストレージ：NAS / SAN
iSCSIターゲット機能
CIFS、NFS、HTTP、FTPプロトコル
RAID 0,1,5,6,10サポート
ベアメタルまたは仮想化のインストール
8TB +ジャーナルファイルシステム
ファイルシステムのアクセス制御リスト
ポイントインタイムコピー（スナップショット）のサポート
ダイナミックボリュームマネージャー
強力なWebベースの管理
ブロックレベルのリモートレプリケーション
高可用性クラスタリング
主な機能は、Open-Cource / Communityバージョンに存在する必要があります。

選択の苦痛の後、 OpenFilerとNexentaStorは残った。
もちろん、 StarwindまたはFreeNAS （ NAS4Free ）を使用したいのですが、作業にWindowsとISCSIのシャーマニズムが必要な場合、もう一方には適切なファイルを追加したクラスタリング機能があります。
残念ながらOpenFilerには無駄のないGUIがあり、その最新バージョンは2011年のものです。残っているのはNexentaStorです。
もちろん、将来必要になった場合、Nexentaクラスターには既にアクティブ/アクティブ操作スキームがあります。また、ストレージに2つのノード（コントローラー）がある場合、2番目のノードをサポートすることもお金の問題です！実際、すべてのプラグインはエンタープライズ版でのみ利用可能です。
ただし、コミュニティバージョンで利用可能なものは、基本的なニーズのほとんどをカバーしています。これは、18TBのストレージ容量、スナップショットを備えたZFS、およびすぐに複製できる機能です！

NexentaStor Community Editionをインストールします。

まず、互換性リストを調べる必要があります。
ここから配布キットをダウンロードします（インストール用のキーを取得するには登録が必要です）。
インストール手順は可能な限り簡単です。そのプロセスでは、GUIでの構成用のポートを使用してIPアドレスを構成します。
次に、ウィザードのリクエストを順番にクリックし、GUIでパスワードと配列を設定します（Nexentaではボリュームと呼ばれます）。
次に、 SCSIターゲットセクションに移動して、次のものを順番に作成します。

ターゲットポータルグループ
対象
リモートイニシエーター -各ノード：

さらに、マニュアルに従って：

 root@pve1:~# mkdir /etc/pve/priv/zfs root@pve1:~# ssh-keygen -f /etc/pve/priv/zfs/172.16.2.150_id_rsa root@pve1:~# ssh-copy-id -i /etc/pve/priv/zfs/192.16.2.150_id_rsa.pub root@172.16.2.150

キーを各ノードにコピーします。

 root@pve1:~# ssh -i /etc/pve/priv/zfs/172.16.2.150_id_rsa root@172.16.2.150

ProxmoxでiSCSIストレージを接続するには2つの方法があります。
ストレージ追加のISCSIメニューから（追加のLVMを作成する必要があります）- マニュアルを参照してください。
ZFS over ISCSIメニューから- マニュアルを参照してください。
スナップショットを作成して保存する機会が与えられるため、2番目の方法を使用します。 Nexentaもこれを行うことができます。
GUIのセットアッププロセスは次のようになります。

結果は次のとおりです。

設定するとき、プール名を混同しないでください（nexentaでは、データストアに似ています）：

 root@nexenta:~# zpool status pool: volume1 state: ONLINE scan: none requested config: NAME STATE READ WRITE CKSUM volume1 ONLINE 0 0 0 c0t1d0 ONLINE 0 0 0 errors: No known data errors

これで、バックアップの方法と対象を選択できます。
Proxmoxから直接、リモートストレージへのVMの自動バックアップを作成できます。
つまり [ストレージ]タブに移動して、NFSアレイを追加します。これは、通常のNASストレージでも、NFSを介してアクセスできるフォルダーを備えたxNIXサーバーでもかまいません（より便利です）。次に、内容を指定します（バックアップ）。

または、Nexentaを使用してレプリケーションを実行できます。
これは、 データ管理->自動サービス->自動階層サービス->作成タブでGUIに実装されます。
ここでは、Rsyncサービスが実行されているリモートリポジトリ（またはLinuxマシン）を意味します。したがって、この前にホスト間の接続を作成する必要があります。
タブ設定->ネットワーク-> SSH-bindヘルプで接続を上げます。

HAセットアップ：

GUIを使用して完全に構成されます。

[ データセンター ]を選択し、上から[ HA ]タブをクリックします。
以下のグループをクリックして、VMが移行できるホストのグループを作成します。
次に、[ リソース ]をクリックして、そこに必要なVMを追加します。

コンソールでステータスを確認することもできます。

 root@pve1:~# ha-manager status quorum OK master pve1 (active, Sun Mar 20 14:55:59 2016) lrm pve1 (active, Sun Mar 20 14:56:02 2016) lrm pve2 (active, Sun Mar 20 14:56:06 2016) service vm:100 (pve1, started)

次に、クラスターの正常性を確認しましょう。
Windowsで共有ストレージにディスクを使用してVMをインストールし、手動で移行を試みます。

うまくいく！
さて、今ではフォールトトレランスを確認し、IPMI経由でサーバーの電源を切ります。移動を待っています。マシンは1分半後に自動的に移行します。
問題は何ですか？ここでは、バージョン4.xのフェンシングメカニズムが変更されたことを理解する必要があります。つまり Whatchdogフェンシングは現在機能しており、アクティブなハードウェアサポートはありません。バージョン4.2で修正される予定です。

おわりに

では、最終的に何を得たのでしょうか？
そして、シンプルな管理インターフェイス、複数のデータバックアップ（これはスナップショットとレプリケーションを備えたProxmoxとNexentastor自体です）を備えた、ほとんどのOSをサポートする実稼働対応クラスターを取得しました。
さらに、ProxmoxとNexentaの両方から機能を拡張および追加する機能が常にあります（この場合、ライセンスを購入する必要があります）。
そして、これらはすべて完全に無料です！
私の意見では、これらすべてを設定するために特別な時間を費やしたり、さまざまなマニュアルを詳しく調べたりする必要はありません。
もちろん、熊手はいくつかなしではできません。ここでは、ESXi + VMWare vCenterとの比較が後者を支持します。ただし、サポートフォーラムでいつでも質問できます！
その結果、小規模プロジェクト（会社）の管理者が最も頻繁に使用する機能のほぼ100％がすぐに使用可能になりました。したがって、ライセンスされている場合にのみ、不要な機会にお金を費やす価値があるかどうかを考えることをお勧めします。

PS上記の実験では、機器が使用されました：

4 xサーバーSTSS Flagman RX237.4-016LHの構成：

X9DRi-LN4F +
2 x Xeon E5-2609
8 x 4GB DDR-III ECC
ASR-6805 + FBWC

4つのサーバーのうち3つがノードとして使用され、1つが2TBディスクで詰まってストレージとして使用されました。

最初の実験では、既成のInfortrend EonNAS 3016RストレージシステムがNASとして使用されました。

装置は、パフォーマンスをテストするためではなく、ソリューションの概念全体を評価するために選択されました。
実装により最適なオプションがある可能性があります。ただし、さまざまな構成でのパフォーマンステストは、この記事の範囲ではありませんでした。

ご意見をお寄せいただき、ありがとうございます！

無料のクラスター（Proxmox + Nexenta）