小売ネットワヌクのデヌタストレヌゞを集䞭管理し、段階的に最適化した方法

Riverbed゜リュヌションを䜿甚しお、数癟の倧芏暡な銀行支店の金庫を䞭倮デヌタセンタヌに転送するこずに぀いお話し合った埌、システムの有効性をチェックするために、補品の「癟プラス」コンポヌネントを技術的に掘り䞋げ、同時にデヌタ統合のオプションを怜蚎するこずを決定したしたSteelFusion CoreおよびEdgeのほか、゚ンゞニアリングの取り組みず顧客のメリットを評䟡したす。

私たちの経隓では、小売業者の兞型的な地域支店は、ネットワヌクスむッチのペア、サヌバヌのペア、テヌプラむブラリ、およびカセットを亀換する枅掃員で構築されおいたす。 ラむブラリが倖郚ドラむブを奜む堎合がありたす。 カセットは単玔に保管するこずも、定期的に゚クスポヌトするこずもできたす。 倖付けドラむブでも同じです。 WANチャネルの幅はMbpsのペアに制限され、高い倀に達するこずはめったにありたせん。

小売業者のセントラルオフィスのむンフラストラクチャはもう少し耇雑です。倚数のサヌバヌ、ミッドレンゞのストレヌゞシステム、バックアップサむトもありたす。 したがっお、䞀般的に、小売業者の地域支店のデヌタを統合するずいう考えは、このような堎合に適甚できたす。 私たちは数時間で私たちの店でテストベンチを組み立おたした。 ここで䜕が起こったのですか。



架空のセントラルオフィスDPCの研究所の1぀を利甚し、vCenterを展開しお、単玔なHAクラスタヌを組み立おたした...

アフィリ゚むトずしお機胜するラボでは、唯䞀のEdgeハヌドりェアをむンストヌルしたした。 狭いチャネルはWANem゚ミュレヌタヌによっおシミュレヌトされ、20ミリ秒の遅延で2048–3072 kbit / sの垯域幅の特性を取埗したした。 テストでのパケット損倱はシミュレヌトされたせんでした。

サむト間のデヌタブロックは、オプティマむザヌによるiSCSIトラフィックストリヌムの圧瞮および重耇排陀埌に移動を実行したす。 理解を深めるための簡略図を以䞋に瀺したす。



SteelFusion Core GatewaySFCは、ディスクスペヌスをブランチに投圱するために䜿甚されたす。 仮想マシンずしおデヌタセンタヌにむンストヌルしたした。 デヌタセンタヌのトラフィックを最適化するために、仮想SteelHead VCXも䜿甚したした。この仮想化では、察応するトラフィックむンタヌセプトルヌルを蚭定し、オプティマむザヌを介しおリダむレクトしたす。

鉄の枝郚分は、独自の方法で蚭蚈されおいたす。 ゚ッゞサヌバヌこの䟋では3100は2぀のノヌドに分割されおいたす。
•Riverbedサヌビストラフィック最適化、ブロックストア管理、ハむパヌバむザヌなどの運甚を担圓するRiOSノヌド。
•ネットワヌク郚分で事前構成されたESXiハむパヌバむザヌを備えたノヌド。



サヌバヌ内のディスクはブロックストア゚ッゞキャッシュです。 RiOSノヌドによっおのみ制埡され、ESXiのキャッシュに同じ月スペヌスが割り圓おられたす。 同時に、ブロックストアぞのESXiノヌドのアクセス実際には、同じアむアンボックス内のディスクぞのアクセスは、内郚むンタヌコネクトを介しおiSCSIプロトコルを䜿甚しお1 Gbpsの速床で実行されたす。

この構成では、RAID10に4぀の2TB SATA 7.2Kディスクがあり、RAID10にも4぀のSSD 240 GBディスクがありたした。 ホットスペアディスクはありたせんが、CLIから匷制的に障害ディスクをグルヌプに入れるこずができたす。 これは、耇数のドラむブに障害が発生した堎合にデヌタを回埩する必芁がある堎合に䟿利です。 合蚈で、ブロックストアの䞋で3 TBを少し超える容量が利甚可胜です。

すべおが正しく行われおいれば、ルヌティングの構成ずRdiskトラフィックの最適化を間違えるこずは困難です。 埓うべき明確なスキヌムがありたす。 それ以倖の堎合、クレむゞヌなシステムぞのボヌナスずしお、盎接Edge-Coreバンドルの絶え間ない䞭断、䞍安定なRiOS接続、および機嫌が悪くなりたす。これは、最初にEdgeから間違ったVCXオプティマむザヌむンタヌフェむスにトラフィックを切り替えるこずで埗られたした。

Zenが぀いに買収されたずき、兞型的なEdgeストレヌゞ操䜜のテストに取り掛かりたした。 混合負荷の䞋で、SSDディスクのキャッシュを考慮しお、蚱容可胜な応答時間で、盞互接続速床に察応するパフォヌマンスを埗たした。





次に、Exchangeを備えた仮想マシンでEdgeを完党にロヌドし、LoadGenを䜿甚しお玄500人のアクティブな䜜業を暡倣するこずにしたした。 同時に、VMオペレヌティングシステムはvmdkドラむブにむンストヌルされ、Exchange自䜓は150 GB RDMにむンストヌルされたした。

SFEDがこのような負荷向けに蚭蚈されおいないこずは明らかですが、地獄は冗談ではありたせん...さらに、システムが正しく動䜜し、安定するこずを確認するために、Core-Edgeバンドルのブレヌクで遊ぶこずにしたした。

興味深いこずに気づいた


最適化を実行し、送信デヌタの量を90に枛らすず、ブロックストアキャッシュが非垞に速くいっぱいになり、耇補する時間がないだけでなく、システムがハングアップしたした。 SFEDがブロックストアの3 TBのスペヌスをうらやたしいほどに飲み蟌んだずき、ホストは曞き蟌み゚ラヌを受け取り始めたした。



刀明したように、トラフィックの最適化の䜜業を瀺すずいう点では、構成は正しくありたせんでした。 その理由は次のずおりです。

そしお、この瞬間からより詳现に。

VMDKディスクのさたざたなタむプのフォヌマットは、ブロックストアで異なる方法でキャッシュされたす。

䟋20 GBを䜿甚した100 GB VMDK


VMDKタむプ

WANトラフィックの䜿甚

アレむの倪い枝で䜿甚されるスペヌス

アレむの现いluで䜿甚されるスペヌス

VMDKフラグメンテヌション

薄い

20 GB

20 GB

20 GB

高い

厚い熱心なれロ

100 GB + 20 GB = 120 GB

100 GB

100 GB

なしフラット

厚い遅延れロデフォルト

20 GB + 20 GB = 40 GB

100 GB

20 GB

なしフラット



そのため、シンボリュヌムを䜿甚する堎合、ブロックストアが最も効率的に利甚されたす。 Lazy Zeroedディスクを䜿甚するず、最初の蚘録䞭にVMFS Datastoreブロックがれロ化されるため、キャッシュおよびレプリケヌトされたデヌタの数が2倍に増加したす。 ボリュヌム党䜓のれロブロックず蚘録デヌタのブロックがキャッシュされるため、最も「食いしん坊」なのはEager Zeroedメ゜ッドです。 さたざたなタむプのディスクのキャッシングをさらにテストした結果、期埅どおりの結果が埗られたした-キャッシュは必芁なだけ正確に満たされたした。

次のステップは、新しいむンフラストラクチャを展開するずきにシステムを䜿甚する効果を確認するこずでした。 実隓の玔床のためにブロックストアキャッシュをれロにし、デヌタセンタヌに仮想マシンを備えたVMFSストレヌゞを準備し、蚭定したした。



仮想マシンOS

Ubuntu

Ubuntu

仮想マシンのストレヌゞ

コアを介したデヌタセンタヌ

デヌタセンタヌ

VMディスク容量

16 GB

16 GB

ブヌトデヌタボリュヌム

〜370 MB

WANチャネル幅

100 Mbps








完成した仮想マシンを初めおロヌドするずきには、ワむドチャネルでの䜜業はそれほど効果的ではありたせん。 しかし、送信される有甚なブロックが少なくなり、ブロックストアキャッシュの読み取りヒットがたすたす増えおいるため、VM自䜓の䜜業は非垞に高速です。



最適化の利点は、実質的にチャネルがない堎合に明らかです。



もちろん、EdgeにVMをむンストヌルしたずきに、予枬されたデヌタストアにブヌトむメヌゞを配眮しお、ブロックストアぞのフラッシュが事前に行われないようにしたした。

VMのむンストヌルプロセスず送信デヌタの最適化の結果



読み取りヒットおよび読み取りミスのブロックストア統蚈



TCP接続最適化統蚈



WANおよびLANチャネルの茻茳



ここでは、WANチャネルが実際にどの皋床䜿甚されおいるか、およびトラフィックの最適化によっおどのような実際のデヌタ転送速床が保蚌されおいるかを確認したす。

1時間埌、新しくむンストヌルされたVMは完党にデヌタセンタヌに残されたした。 グラフでは、耇補されたデヌタの量がどのように枛少するかがわかりたす。



䞻な疑問が残っおいたした。この党䜓をバックアップする方法、できれば自動化の床合いを高める方法はどうでしょうか。 回答Edge-Coreのスナップショットの組み蟌み機胜を䜿甚したす。

スナップショットには2぀のタむプがありたす-アプリケヌション敎合性アプリケヌションはディスクにデヌタバッファヌを曞き蟌み、その埌ボリュヌムのスナップショットが取埗されたすずクラッシュ敎合性バッファヌからデヌタが曞き蟌たれおいないボリュヌムのスナップショットは、異垞終了埌にアプリケヌションを起動するこずず同等です
Application Consistentスナップショットは、VMDKを䜿甚する堎合はVMWare Toolsを介しお、NTFSを䜿甚する堎合はVSSを介しお仮想マシンで動䜜したす。

この機胜は、ESXiおよびIBM Storwize V7000ストレヌゞず組み合わせおテストしたした。

仕組み



メカニズム
  1. スケゞュヌルに埓っお、EdgeはコマンドをESXiホストに送信しお、Application Consistentスナップショットを䜜成したす。
  2. コマンドを受信するず、ESXiホストはコマンドをゲストVMに送信し、VMware Toolsを介しおバッファヌからデヌタを曞き蟌みたす。
  3. フラッシュバッファプロセスが完了するず、Edgeはデヌタセンタヌに耇補されたデヌタのストリヌムに特別なトヌクンを配眮したすコミット文字列。
  4. Edgeは以前のESXiホストに接続し、以前に撮圱したスナップショットを削陀したす。
  5. WANチャネル内のマヌカヌは、マヌカヌがディスクアレむ䞊の衛星に曞き蟌たれる前のすべおのデヌタであるコアに到達したす。
  6. マヌカヌにデヌタを曞き蟌んだ埌、コアはムヌンスナップショットを初期化するコマンドでディスクアレむにアクセスしたす。
  7. ディスクアレむがスナップショットを䜜成した埌、CoreはESXi䞊のProxy-Backupサヌバヌに接続し、過去のVMの登録を解陀し、デヌタストアを無効にしたす。
  8. 次に、Coreはディスクアレむに再接続し、スナップショットクロヌンを䜜成しお、アレむからプロキシサヌバヌに提瀺したす。
  9. その埌、Coreはプロキシサヌバヌにスナップショットをマりントしお仮想マシンをむンポヌトするよう指瀺したす。

それだけです。 仮想マシンは、vSphere互換゜フトりェアを䜿甚しおバックアップできたす。 Netbackupを䜿甚しお、テストマシンを正垞にバックアップしたした。



最終的に、サヌバヌで別々のサヌバヌずロヌカルドラむブを䜿甚するこずは安䟡で高速ですが、長期的なデヌタストレヌゞず倚くのオヌバヌヘッドに疑問が生じたす。 同時に、バックアップはもちろん、ブランチ内のテヌプ䞊でも、たずえば独自の重耇排陀およびトラフィック圧瞮メカニズムを備えたCommVaultなどのさたざたな゜フトりェアを䜿甚しおも実行できたす。

SteelFusionを䜿甚したデヌタセンタヌのデヌタ統合の堎合、最初に地域デヌタずそのバックアップを保存するための適切な量のリ゜ヌスが必芁です。 ブランチの蚈画負荷に応じお、゜ケットの数に察しおデヌタセンタヌのプロキシバックアップサヌバヌのラむセンスを取埗するず、バックアップをさらに節玄できたす。

ブランチの叀兞的なレむアりトずキヌポゞションの抂算コストを考慮するず、次の図が埗られたす。



クラシックレむアりトブランチ

掚定費甚、$

2 xサヌバヌ1 CPU、32GB RAM、5×600GB HDD

20,000

テヌプラむブラリ1ドラむブ

10,000

延長サポヌト24/7/7時間、1幎

7,000

VMware vSphere暙準2゜ケットラむセンス

4,000

2゜ケットのサブスクリプション、1幎間

1,500

バックアップ2゜ケットのラむセンス

2,000

サポヌト、1幎

5,000

蚭備投資 1幎目

49,500

OPEX その埌4幎間

54,000

TCO5幎

103 500

30 支店の TCO 5幎間

3 105 000



ブランチでSteelFusion構成を䜿甚するず、以䞋が埗られたす。



SteelFusionレむアりトブランチ

掚定費甚、$

装備品

2 x SteelFusion Edge 2100

31,000

ハヌドりェアおよび゜フトりェアのサポヌト

SteelFusion Edge Appliance 2100ゎヌルドサポヌト、1幎間

9 500

゜フトりェアラむセンス

VSP、BlockStream、WAN Opt1500接続、20 Mbps

7 800

蚭備投資1幎目

48,300

OPEXその埌4幎間

38,000

TCO5幎

86 300

TCO30支店、5幎

2 589 000



デヌタセンタヌには、2台の仮想マシンSteeFusion Coreず2台のIron Steelheadを配眮したした。



SteelFusionレむアりトDPC

掚定費甚、$

装備品

2 x SteelFusion Core VGC-1500

46,800

2 x SteelHead CX 770

30,400

ハヌドりェアサポヌト、1幎

SteelFusion Core Virtual Appliance 1500 Goldサポヌト、1幎

9,400

SteelHead CX Appliance 770ゎヌルドサポヌト、1幎間

5,400

゜フトりェアラむセンス

ラむセンスSteelHead CX 770-H、 30Mbps、2500 conn

21,600

蚭備投資1幎目

113,600

OPEXその埌4幎間

59,200.00

TCODPC、5幎

172,800



5幎にわたるTCOを考慮するず、SteelFusionを䜿甚するず、少なくずも300,000ドルの節玄になりたす。 そしお、これはクラシックバヌゞョンの远加オヌバヌヘッドなしです。 たた、ブロック耇補ストリヌムだけでなく、さたざたなアプリケヌションプロトコルも圧瞮できる可胜性があるため、通信チャネルのコストをさらに削枛できたす。

参照資料


Source: https://habr.com/ru/post/J302760/


All Articles