Dell PowerEdge M1000eシャーシのブレードスイッチング

本日は、シャーシ内および隣接するサーバーグループ、ストレージシステムとの高速通信用に設計されたDell PowerEdge M1000eブレードサーバーのモジュラーシャーシに設置するDell Networking MXLおよびPowerEdge MI / O Aggregatorスイッチについて説明します。ネットワークのコアに。 スイッチングシステムの最新技術をサポートしているため、複雑なネットワークアーキテクチャの一部として使用して、データ交換の速度を高め、フォールトトレラントな構成を作成するだけでなく、伝送ネットワークとストレージネットワークを統合することもできます。 それぞれがデュプレックスモードで1.28 Tbit / sのパフォーマンスを提供し、最大6個の40 Gbit / sポートをサポートし、さまざまなネットワークインターフェイスをサポートする拡張モジュールをインストールするための2つのスロットを備えています。 ただし、その名前が示すように、1つはネットワーク機器のDell Networkingラインに属し、もう1つはDell PowerEdgeサーバーに属します。 なぜ-私たちはそれらを研究するときに理解します。 ブレードシャーシから始めましょう。

PowerEdge M1000eケース

知人

サーバーブレード用のPowerEdge M1000eモジュラーシャーシは現在、同社の主力ブレードサーバー市場です。 ブレードテクノロジーに基づくソリューションを使用する主な利点は、構成の柔軟性、コンパクトさ、集中管理、サーバーキャビネットを完全に再装備せずに運用中の容量を増やす能力、および新しいテクノロジーの実装です。 長い間開発されてきたPowerEdge M1000eは、幅広い構成オプションを備えた成熟した完全なソリューションです。 簡単にそのデバイスを検討してください。

前面には、ハーフハイトサーバーと他の互換性のあるデバイスを取り付けるための16のベイがあります。 たとえば、Dellはこのシャーシに直接インストールするためにiSCSIストレージシステムをリリースしています。 最も一般的なサーバー形式は、写真のようにハーフハイトですが、フルハイトとクォータースロットの両方があります。 したがって、1つの10Uシャーシに最大32台のサーバーをインストールできます。 また、フロントパネルには、キーボード、マウス、ディスプレイを接続するためのインタラクティブなミニディスプレイとUSBおよびVGAポートがあります。

背面には、電源用の6つのコンパートメント（下部）とファン用の9つのコンパートメントがあり、すべてホットスワップ可能です。 上部には、ツイストペアケーブルとChassis Management Controller用の2つのコンパートメントによってリモートコンソールに接続する機能を備えたKVMがあり、シャーシとそれに取り付けられた機器の両方を完全に制御するためのインターフェースを提供します。 ファンの間には、ネットワークスイッチを設置するための6つのコンパートメントがあります。

バスケットの主な部分はミッドプレイであり、設置された機器に電力が供給され、データが交換されます。 各サーバーには、LOMによって事前にインストールされたネットワークポートまたはメザニン形式の拡張カードを使用して追加されたネットワークポートがあり、バスケットのスイッチには内部ポートがあり、それらはすべてミッドプレイ経由で切り替えられます。 その上でのデータ交換レートは、デュプレックスモードで8.4 Tbpsに達する可能性があります。 適切なネットワークスイッチをインストールすることにより、スロットごとに最大32個の内部サーバーポートがサポートされます。

選択肢として、デルはさまざまな複雑さと電力のさまざまなデバイスを提供し、さまざまなスイッチング技術をサポートしています。 これらは社内イーサネットスイッチであり、Cisco、Fibre Channel Mellanox BrocadeおよびInfiniBandスイッチです。

外部スイッチング

この図は、シャーシ上の2つのスロットAがイーサネットスイッチ用であり、BとCにはファイバーチャネルとInfiniBandをサポートするモジュールを含めることができることを示しています。 また、障害に対する保護のために、専用の制御ネットワークに接続されたCMCモジュールの2つがあります。 1つのモジュールはすべての機能を提供し、2番目はホットスタンバイです。 それらの間にはKVMがあり、RJ-45ポートはネットワークへの接続用ではなく、リモートコンソール用です。 2つのUSBとVGA-ローカル用。

内部スイッチング

この図は、ハーフハイトサーバーの内部スイッチング図を示しています。 このようなサーバー上に存在する可能性のあるインターフェースを以下に示します。1または10 Gb / s速度をサポートする統合2または4ポートイーサネットアダプターと、最大2つのファイバーチャネルおよびInfiniBandポートまたは最大4つのポートをサポートできるメザニンフォーマット拡張カードイーサネット



次の図は、Dell Networking MXLなど、32個の内部ポートを持つブレードスイッチを使用するサーバーで4ポートイーサネットアダプターを使用する場合のポート割り当てを示しています。

Dell Networking MXLおよびPowerEdge MI / Oアグリゲーター

全般

両方のスイッチは、サーバー間の通信用に最大32個の内部10 GbEポートをサポートします。 どちらにも、2つの40 GbE QSFP +ポートと、互換性のあるモジュール用の2つの拡張スロットが装備されています。 それぞれのフロントパネルには、コンソール用とストレージデバイス用の2つのUSBポートがあります。

光ポートは、光ファイバーケーブルによる後続の切り替えのためのトランシーバーの接続と、10 Gbit / sまたは40 Gbit / sの速度範囲をサポートする特殊なケーブルとの直接接続の両方をサポートしますが、長距離での信号伝送を目的としていません。 オプションとして、40 Gb / sスプリッターケーブルが4〜10 Gb / sで利用可能です。 図は、サポートされている拡張モジュール、トランシーバー、およびそれらのケーブルを示しています。



4つの10GBASE-T RJ-45ポートを備えたモジュールは1つだけインストールでき、2番目のスロットには他の拡張モジュールを挿入できます。 この制限に加えて、他のすべてのモジュールは、異なるおよび同一の利用可能な任意の組み合わせで同時に使用できます。

違い

PowerEdge MI / Oアグリゲーター

M1000eシャーシの迅速な試運転と、さまざまなネットワークテクノロジーをサポートするさまざまなメーカーの機器に基づいて構築されたネットワークへの接続のために設計されています。 試運転を行うには、スイッチを開梱してシャーシスロットに取り付け、IPアドレスと管理者パスワードを割り当て、アップリンクポートをラックスイッチまたはネットワークコアスイッチに接続する必要があります。 ラックスイッチでは、LACPモードでLAGを構成する必要があります。 コンバージェンスを使用すると、新しいDCB設定（ETSおよびPFC）は、DCBXプロトコルを使用して、ラックスイッチから新しいMI / O Aggregatorデバイスによって取得されます。 開始するには、追加のライセンスをインストールしたり、ブレードスイッチを事前設定したりする必要はありません。

デフォルトでは、すべてのスイッチポートがアクティブで、それらのすべてのVLANにタグが付けられています。 このVLANでタグなしのポートを定義する必要がある場合、SMSモジュールが提供するシンプルなグラフィカルインターフェイスを使用してこれを行うことができます。 ただし、これはデバイスのより細かい設定が不可能であることを意味するものではありません-幅広い機能をサポートし、管理用のコマンドラインが利用可能です。

デルネットワーキングMXL

このスイッチは、Dell Networking Operating System 9（OS9）で利用可能な動的ルーティングプロトコルをサポートしています。 これは、業界標準に完全に準拠したオペレーティングシステムであり、コマンドラインを介して管理され、管理者に幅広い微調整オプションを提供します。 Cisco IOSに似ており、PVST +との統合をサポートしています。

MXLはスタック構成をサポートします。これには、最大6台のデバイスを含めることができ、両方とも同じM1000eエンクロージャー内と異なるエンクロージャーに配置されます。

フォールトトレランスに加えて、これにより、異なる建物のサーバー間でのデータ交換が高速になり、単一のネットワークアドレスと一般設定で、単一のネットワークデバイスとしてスタック上のスイッチにアクセスできるようになります。 接続は、「リング」技術に従って実行されます。 アセンブリの最初と最後のメンバーを相互接続する必要があります。

ケースが1つだけの場合、両方のタイプのブレードスイッチが、冗長性と負荷分散のために1つのM1000e内に作成されたスタックをサポートできます。 そのようなスタックは水平と呼ばれます—その中のケーブルはまさにそのように配置されます。 垂直スタックは、単一のラックの一部として3つの異なるシャーシにインストールされた最大6つのMXLスイッチを含むスタックと呼ばれます。 「リング」として編成されています。 このような接続の場合、ラック内の3つのM1000にあるすべての機器は、単一の物理ネットワークの一部になり、その集約器はMXLスタックです。 外部から見ると、スタックに入るスイッチは通常、同じ設定の単一のデバイスに見え、単一のサービスセットを提供し、1つのIPアドレスさえ持っています。 ただし、フォールトトレランスの観点から、異なるシャーシのスイッチを組み合わせて、各ブレードシャーシで2つのスタックを使用することをお勧めします（図を参照）



復元力を強化するスタックの代わりに、ブレードシャーシの2つのMXLスイッチでDell仮想リンクトランキング（VLT）機能を使用します（これについては、こちらで詳しく説明しました ）。 その後、NAC LACP NICを使用してシャーシ内のブレードサーバーを2つのMXLに接続でき、ラックスイッチは1つのLAGのみを使用してシャーシ内の2つのブレードスイッチに接続できます。 通常、MLLでは、LAGに組み込まれた2つの組み込み40 GbEポートを使用して、VLTiリンクを編成します。

MXLスタックの構成例

この例では、工場A1（MXL-A1）およびA2（MXL-A2）の2つのMXLスイッチを使用して、2つの40Gigポート0/33および0/37をスタックしたスタック構成を示します。

スタックの次の機能を考慮する必要があります。 スタック上のDNOSソフトウェアを更新すると、すべてのスタックスイッチが過負荷になります。 この手順は、オフピーク時に実行する必要があります。 これが受け入れられない場合、スタッキングの代わりに仮想リンクトランキング（VLT）テクノロジーを使用することをお勧めします。

スイッチの準備：

• スイッチ上のDNOSバージョンが異なる場合、スタック上のすべてのスイッチが同じDNOSバージョンを持つようにアップグレードする必要があります。 コマンドを使用したバージョンの確認

   バージョンを表示 

  。
• スイッチをロードする必要があります。
• スタッキングケーブルは接続しないでください。

次に、スイッチポートをスタッキングモードにする必要があります。

MXL-A1スイッチでスタッキングポートがまだ構成されていないことを確認します。

  MXL-A1＃shoシステムスタックポート 
トポロジ：スタンドアロン
インターフェイス接続リンク速度管理リンクトランク
                            （Gb / s）ステータスステータスグループ
 -------------------------------------------------- ---------------- 

通常、2つの統合された40 GbEポートがスタッキングに使用されます。 これらはfortyGigポート0/33および0/37です。 スイッチの物理ポートとスタックグループ番号の対応を次の図に示します。

  MXL-A1（conf）＃スタックユニット0スタックグループ0
 MXL-A1（conf）＃スタックユニット0スタックグループ1 

スタックマスターを決定論的に選択するには、スタックに参加する各スイッチに優先順位を付けることをお勧めします。 最高の優先順位を持つマスターがマスターになります。

  MXL-A1（conf）＃スタックユニット0優先度14 

MXL-A2スイッチでスタッキングポートがまだ構成されていないことを確認します。

  MXL-A2＃shoシステムスタックポート 
トポロジ：スタンドアロン
インターフェイス接続リンク速度管理リンクトランク
                            （Gb / s）ステータスステータスグループ
 -------------------------------------------------- ---------------- 

MXL-A2スイッチでスタッキングポートと優先度を設定します。

  MXL-A2（conf）＃スタックユニット0スタックグループ0
 MXL-A2（conf）＃スタックユニット0スタックグループ1
 MXL-A2（conf）＃スタックユニット0プライオリティ1 

その後、構成を保存し、両方のスイッチを再起動する必要があります。

  MXL-A1＃wr
 MXL-A1＃リロード
 MXL-A2＃wr
 MXL-A2＃リロード 

スイッチがリブートするのを待って、40GbE QSFP + Direct Attachケーブルまたは光トランシーバーと光ケーブルでスイッチ間の2つのスタッキングポートを接続します。
MXL-A1スイッチのfortyGig 0/33 <-> MXL-A2スイッチのfortyGig 0/33
MXL-A1スイッチ上のfortyGig 0/37 <-> MXL-A2スイッチ上のfortyGig 0/37

スタックウィザードで、スイッチがスタックされていることを確認します。

  MXL-A1＃shoシステム概要 
スタックMAC：d0：67：e5：cc：8e：f0
リロードタイプ：normal-reload [次のブート：normal-reload]
 -スタック情報-
ユニットユニットタイプステータスReqTyp CurTypバージョンポート
 -------------------------------------------------- ----------------------------------
   0オンライン管理MXL-10 / 40GbE MXL-10 / 40GbE 8.3.16.4 56     
   1スタンバイオンラインMXL-10 / 40GbE MXL-10 / 40GbE 8.3.16.4 56     
   2メンバーが存在しない                    
   3メンバーが存在しない                    
   4メンバーが存在しない                    
   5メンバーが存在しません                    

 MXL-A1＃shoシステムスタックポート 
トポロジ：リング
インターフェイス接続リンク速度管理リンクトランク
                            （Gb / s）ステータスステータスグループ
 -------------------------------------------------- ----------------
   0/33 1/37 40アップ
   0/37 1/33 40アップ
   1/33 0/37 40アップ
   1/37 0/33 40アップ 

MXLスイッチのスタックの詳細については、 このドキュメントを参照してください。

シンプルさが主なものではない場合、より多くの可能性があります

6個のMI / O Aggregatorのスタックを編成することは不可能であるため、基本設定をそのまま使用して、明確にする必要があります。 コマンドラインを使用して再構成する場合、4つの動作モードを使用できます。

• スタンドアロンモード（SMUX）は、単純な構成のデフォルトモードです。
• VLTモード-先ほど説明したVLTドメインのメンバーモード。
• プログラマブルMUXモード（PMUX）-コマンドラインモードで完全に構成可能で、柔軟な設定が可能です。
• スタックモード-リングテクノロジーを使用したスタックサポートモード、スタック上の最大6つのデバイス。

一般に、MXLとMI / Oは、外部だけでなく類似しています。

編集の実践からの一言

いくつかの用語とマジックナンバーについて説明しましょう。 M1000eの高さは10Uで、タイトな設置に適しています。 HPC（ハイパフォーマンスコンピューティング）の条件下では、サーバールームと各キャビネットの空き領域は、仕事用コンピューターのハードドライブの空き領域と同じくらい貴重であり、スペース不足になります。 したがって、42U-47Uの高さのラックとキャビネットを使用することをお勧めします。 全体としてのスタンスは、たとえそれが単独から遠く離れていても、通常は何らかの形で自己完結型のユニットです。 そのため、最も重い機器が取り付けられます。UPSは通常10Uまでかかります。 次はサーバーエンクロージャーで、M1000eに適合する部品は3つだけです。 オプションで、このようなインストールの場合、20Uの高さで、1Uの拡張可能なコンソールをインストールして、サーバーやその他の機器で直接操作できます。 前述のように、小さなストレージシステムはシャーシに直接取り付けることができ、大きなストレージシステムは上から別の2U-5Uを占有します。

収束

検討中の両方のスイッチは、FCポートを備えたFCoEおよび拡張カードをサポートし、このデータ転送プロトコルをサポートするストレージシステムと直接連携できるため、これらのスイッチを使用する場合、そのようなストレージシステムを共通の統合ネットワークに直接接続する可能性があります。

検討中の両方のスイッチは、FCoEトランジットモードでFCoEコンバージェンスをサポートし、FCポートを備えたモジュールをインストールする場合、NPIVプロキシゲートウェイモードで既存のFCファクトリーに接続する機能、または「Data Center in a Box」などの小規模なインストールでは、FCストレージ接続を直接サポートします（図を参照） 。 コンバージェンスにより、ブレードサーバーのHBAとシャーシのFCブレードスイッチを節約できます。

MXLスイッチの構成例

結論として、Dell PowerEdge M1000eシャーシにインストールされたDell Networking MXLブレードスイッチの動作構成の例を示します。