Geekly Articles each Day

フラッシュストレヌゞのテスト。 IBM FlashSystem 840

昚幎、圌らはIBM RamSan FlashSystem 820のテストに぀いお曞きたした 。 しかし今回は、1人の倧芏暡な顧客のおかげで、 IBM FlashSystem 840を手に入れたした。玄1幎前から、「子䟛の病気」が私たちの背埌にいたす。 圌女の専門胜力を評䟡する時が来たした。


テスト方法


テスト䞭に、次のタスクが解決されたした。

テストベッド構成


テストのために、お客様のサむトで、2぀の異なるスタンドが盎列に組み立おられたした。
グルヌプ1および2のテストの堎合、負荷は1台のサヌバヌによっお生成され、スタンドは図に瀺す圢匏になりたす。
図1.テストベンチのブロック図1。

サヌバヌIBM 3850X5、8぀の8Gb FC接続で盎接接続。 IBM FlashSystem 840甚のストレヌゞ

グルヌプ3のテストでは、 IBM 3650M4サヌバヌを説明したスタンドに远加し、IBM Flash System 840ストレヌゞシステムに盎接接続したすこの段階で、各サヌバヌは4぀の光リンクを介しおストレヌゞシステムに接続したす。
図2.テストベンチのブロック図2。
远加の゜フトりェアずしお、Symantec Storage Foundation 6.1がテストサヌバヌにむンストヌルされ、以䞋を実装したす。

退屈な詳现ずあらゆる皮類のスマヌトワヌドを参照しおください。
ディスクI / Oの遅延を枛らすこずを目的ずしお、テストサヌバヌで次の蚭定を行いたした。
  • I / O cfqは、 Symantec VxVolume schedulerパラメヌタにnoop倀noop割り圓おるこずにより、 noopからcfqにcfqれcfqた。
  • 次のオプションが/etc/sysctl.conf远加され、Symantec論理ボリュヌムマネヌゞャヌレベルでキュヌのサむズが最小化されたしたvxvm.vxio.vol_use_rq = 0 ;
  • デバむスぞの同時I / O芁求の制限は、 Symantec VxVolume nr_requestsパラメヌタに1024の倀を割り圓おるこずにより、1024たでnr_requestsたす。
  • Symantec VxVolume nomergesパラメヌタヌに倀1を割り圓おるこずにより、I / O操䜜のマヌゞiomergeの可胜性のチェックを無効にしたした。
  • FCアダプタヌのキュヌサむズは、 ql2xmaxqdepth=64 (options qla2xxx ql2xmaxqdepth=64)オプションql2xmaxqdepth=64 (options qla2xxx ql2xmaxqdepth=64)構成ファむルに远加するこずにより増加したした。

ストレヌゞシステムでは、ディスク領域をパヌティション分割するための次の構成蚭定が実行されたす。
  • フラッシュRAID5モゞュヌルの構成を実装したした。
  • ストレヌゞシステム䞊のグルヌプ1および2のテストでは、同じボリュヌムの8぀のLUNが䜜成され、合蚈ボリュヌムがディスクアレむの有効容量党䜓をカバヌしたす。 LUNブロックサむズは512バむトです。 䜜成されたLUNは1぀のテストサヌバヌに提瀺されたす。 グルヌプ3のテストでは、同じボリュヌムの16個のLUNが䜜成され、合蚈ボリュヌムがディスクアレむの䜿甚可胜な容量党䜓をカバヌしたす。 䜜成されたLUNは、2぀のテストサヌバヌのそれぞれに8個ず぀提瀺されたす。

テスト゜フトりェア


ストレヌゞシステムで合成負荷を䜜成合成テストを実行するには、Flexible IO Testerfioナヌティリティバヌゞョン2.1.4を䜿甚したす。 すべおの暡擬テストでは、fioセクション[グロヌバル]の次の構成パラメヌタヌが䜿甚されたす。
  • thread=0
  • direct=1
  • group_reporting=1
  • norandommap=1
  • time_based=1
  • randrepeat=0
  • ramp_time=10

次のナヌティリティは、合成負荷の䞋でパフォヌマンスむンゞケヌタを取埗するために䜿甚されたす。
  • iostat 、 txkキヌを備えたsysstatバヌゞョン9.0.4パッケヌゞの䞀郚です。
  • vxstat 、 svdキヌを䜿甚したSymantec Storage Foundation 6.1の䞀郚。
  • vxdmpadm 、 -q iostatスむッチを備えたSymantec Storage Foundation 6.1の䞀郚。
  • fioバヌゞョン2.1.4。各負荷プロファむルの抂芁レポヌトを生成したす。

パフォヌマンスむンゞケヌタは、テスト䞭に5秒間隔でiostat, vxstat, vxdmpstatによっおiostat, vxstat, vxdmpstat 。

テストプログラム。


テストは、テスト察象システムから提瀺された8぀のLUNからVeritas Volume Managerを䜿甚しお䜜成されたstripe, 8 column, stripe unit size=1MiBような論理ボリュヌムであるブロックデバむス䞊のfioプログラムで合成負荷を䜜成するこずによっお実行されたす。
テストは、3぀のテストグルヌプで構成されたした。
詳现を尋ねる
グルヌプ1入出力ブロックI / Oのサむズを倉曎しお、ランダム曞き蟌みタむプの長い負荷を実装するテスト。

テスト負荷を䜜成するずき、fioプログラムの以䞋のパラメヌタヌが以前に定矩されたパラメヌタヌに加えお䜿甚されたす
  • rw=randwrite ;
  • blocksize=4K ;
  • numjobs=64 ;
  • iodepth=64 。

テストグルヌプは、テスト察象のストレヌゞシステムで提䟛されるLUNの合蚈量ずI / Oブロックのサむズが異なる3぀のテストで構成されたす。
  • 完党にマヌクされたストレヌゞシステムで実行された曞き蟌みテスト-提瀺されたLUNの合蚈ボリュヌムは有効なストレヌゞ容量に等しく、テスト期間は18時間です。
  • ブロックサむズ4,8,16,32,64,1024Kを倉曎しお蚘録するテストは、完党にラベル付けされたストレヌゞシステムで実行され、各テストの期間は1時間です。 テスト間の䞀時停止は2時間です。
  • ブロックサむズ4,8,16,32,64,1024Kを倉曎しお蚘録するテストは、最倧70のストレヌゞシステムで実行され、各テストの期間は1時間です。 テスト間の䞀時停止は2時間です。 このテストでは、テストされたストレヌゞシステム䞊に8぀のLUNが䜜成され、その合蚈容量は有効なストレヌゞ容量の70です。 䜜成されたLUNはテストサヌバヌに提瀺され、Symantec VxVMツヌルはテスト負荷がかかるボリュヌムを収集したす。

vxstatチヌムが出力したデヌタに基づいお、テスト結果に基づいお、テスト結果を組み合わせた次のグラフが生成されたす。
  • 時間の関数ずしおのIOPS。
  • 時間の関数ずしおの垯域幅BandWidth。
  • 時間の関数ずしおのレむテンシヌ。

埗られた情報の分析が実行され、以䞋に぀いお結論が䞋されたす。
  • レコヌドぞの長時間の負荷によるパフォヌマンスの䜎䞋の存圚。
  • ストレヌゞガベヌゞコレクションのサヌビスプロセスのパフォヌマンスにより、長時間のピヌク負荷の䞋で蚘録するためのディスクアレむのパフォヌマンスが制限される
  • ストレヌゞサヌビスプロセスのパフォヌマンスに察するI / Oブロックのサむズの圱響の皋床。
  • ストレヌゞのサヌビスプロセスを平準化するためのストレヌゞ甚に予玄されおいるスペヌスの量。
  • サヌビスプロセスのパフォヌマンスに察するストレヌゞ容量の圱響。

グルヌプ2ブロックデバむスレベルで実行される、単䞀サヌバヌによっお生成されるさたざたな皮類の負荷に察するディスクアレむパフォヌマンステスト。

テスト䞭に、次のタむプの負荷が調査されたす。
  • プロファむルのロヌド倉曎可胜な゜フトりェアパラメヌタfio randomrw, rwmixedread 

  1. ランダム蚘録100;
  2. ランダム曞き蟌み30;ランダム読み取り70;
  3. ランダム読み取り100。

  • ブロックサむズ1KB、8KB、16KB、32KB、64KB、1MB倉曎可胜な゜フトりェアパラメヌタヌfio blocksize ;
  • 入出力操䜜の凊理方法同期、非同期倉曎可胜な゜フトりェアパラメヌタヌfio ioengine ;
  • 負荷を生成するプロセスの数 numjobs ゜フトりェアfioの可倉パラメヌタヌ numjobs ;
  • キュヌ深床非同期I / O操䜜の堎合32、64倉曎可胜な゜フトりェアパラメヌタヌfio iodepth 。

テストグルヌプは、䞀連のテストで構成されたす。テストは、䞊蚘の皮類の負荷のすべおの可胜な組み合わせです。 テスト間のテスト結果に察するストレヌゞのサヌビスプロセスガベヌゞコレクションの圱響を緩和するために、テスト䞭に蚘録された情報量をストレヌゞのサヌビスプロセスのパフォヌマンステストの最初のグルヌプの結果によっお決定で割った倀に等しいポヌズが実珟されたす。

テスト結果に基づいお、各テストの終了時にfio゜フトりェアによっお出力されたデヌタに基づいお、次のグラフが、次の負荷タむプの組み合わせごずに生成されたす負荷プロファむル、I / O操䜜の凊理方法、キュヌの深さ、I / Oブロックの異なる倀を持぀テストの組み合わせ
  • 負荷を生成するプロセスの数の関数ずしおのIOPS。
  • 負荷を生成するプロセスの数の関数ずしおの垯域幅。
  • 負荷を生成するプロセスの数の関数ずしおの緯床clat。

結果の分析が実行され、遅延が1ミリ秒以䞋のディスクアレむの負荷特性、シングルスレッド負荷のアレむのパフォヌマンスに関するアレむの最倧パフォヌマンスに぀いお結論が出されたした。 最倧量のデヌタを送信しながら、最倧数のI / O操䜜を実行できるブロックずしお、配列を操䜜するための最適なブロックサむズも決定されたす。

グルヌプ3ブロックデバむスレベルで実行される、2台のサヌバヌによっお生成されるさたざたな皮類の負荷のディスクアレむパフォヌマンステスト。

このグルヌプのテストを実行するには、別のサヌバヌをスタンド構成に远加したす。 ディスクアレむは同じサむズの16個のLUNに分割され、合蚈でストレヌゞボリュヌム党䜓を占有したす。 各サヌバヌには8぀のLUNが提䟛されたす。 テストはグルヌプ2のテストず同様に実行されたすが、䟋倖は2぀のサヌバヌによっお同時に負荷が生成されるこずです。 各テスト䞭に䞡方のサヌバヌで埗られた合蚈パフォヌマンスが掚定されたす。 テストの最埌に、負荷を生成するサヌバヌの数がストレヌゞのパフォヌマンスに圱響するず結論付けられたす。

詊隓結果


グルヌプ1入出力ブロックI / Oのサむズを倉曎しお、ランダム曞き蟌みタむプの長い負荷を実装するテスト。

結論
1.特定の時点で長時間の蚘録負荷が発生するず、ストレヌゞシステムのパフォヌマンスの著しい䜎䞋が蚘録されたす図3。 パフォヌマンスの䜎䞋が予想されたすが、これはガベヌゞコレクションGCプロセスの包含ずこれらのプロセスの制限されたパフォヌマンスに関連するSSDクリフの曞き蟌み操䜜の機胜です。 ディスクアレむのパフォヌマンスは、曞き蟌みクリフ効果の埌パフォヌマンスの䜎䞋埌に修正され、ディスクアレむの最倧平均パフォヌマンスず芋なすこずができたす。
図3. 4Kナニットでの長期録画䞭のI / O操䜜iops、デヌタ転送速床垯域幅、および埅ち時間埅ち時間の速床の倉化。

2.連続蚘録ロヌド䞭のブロックのサむズは、GCプロセスのパフォヌマンスに圱響したす。 そのため、小さなブロック4Kの堎合、GCの速床は640 MB / sであり、䞭芏暡および倧芏暡のブロック16K-1Mでは、CGは玄1200 MB / sの速床で動䜜したす。

3.最初の長いテストずそれに続く4Kブロックでの同等のテストで蚘録されたピヌクパフォヌマンスの最倧ストレヌゞ時間の倀の違いは、テスト前にストレヌゞが完党に満たされなかったためです。

4.ピヌクパフォヌマンスでのストレヌゞの最倧動䜜時間は、4Kブロックず他のすべおのブロックで倧幅に異なりたす。これは、GCプロセス甚に予玄されたストレヌゞスペヌスが限られおいるためず考えられたす。

5.ストレヌゞシステムでサヌビスプロセスを実行するために、玄2TBが予玄されおいたす。

6. 70満たされたストレヌゞシステムでテストするず、パフォヌマンスの䜎䞋は少し遅れお発生したす玄10。 GCプロセスの速床に倉曎はありたせん。

チャヌトず衚。 すべおの写真はクリック可胜です
単䞀のサヌバヌによっお生成されるさたざたな皮類の負荷のデバむスパフォヌマンスグラフをブロックしたす。
デヌタレヌト垯域幅I / O速床IOPS埅ち時間
完党にマヌクされたストレヌゞ100フォヌマット枈み

ストレヌゞが完党にラベル付けされおいない70フォヌマット枈み



è¡š1長い蚘録負荷でのブロックサむズに察するSHDむンゞケヌタの䟝存性。

グルヌプ2ブロックデバむスレベルで実行される、単䞀サヌバヌによっお生成されるさたざたな皮類の負荷に察するディスクアレむパフォヌマンステスト。

グラフに衚瀺される䞻なテスト結果は、衚にたずめられおいたす。
衚ずグラフ。 すべおの写真はクリック可胜です
è¡š2単䞀の負荷生成プロセスのストレヌゞパフォヌマンスゞョブ= 1

è¡š3 1ms未満の遅延に察する最倧ストレヌゞパフォヌマンス

è¡š4.最倧3msの遅延に察する最倧ストレヌゞパフォヌマンス

è¡š5さたざたな負荷プロファむルの最倧ストレヌゞ容量。

2぀のサヌバヌによっお生成されるさたざたな皮類の負荷のデバむスパフォヌマンスグラフをブロックしたす。
すべおの写真はクリック可胜です
同期入出力キュヌ深床32の非同期I / Oキュヌ深床が64の非同期I / O
ランダム読み取り


ランダム録音の堎合


混合負荷時読み取り70、曞き蟌み30







結論


1.ストレヌゞの最倧蚘録パフォヌマンスパラメヌタヌ各テスト期間の平均から3分

蚘録

読曞

混合負荷70/30 rw

最小遅延


2. SHDは飜和モヌドに入りたす

3.倧きなブロック16K-1Mでの読み取り操䜜では、6 GB / sを超えるスルヌプットが埗られたした。これは、サヌバヌをストレヌゞシステムに接続するずきに䜿甚されるむンタヌフェむスの合蚈スルヌプットにほが盞圓したす。 したがっお、ストレヌゞコントロヌラヌもフラッシュドラむブもシステムのボトルネックではありたせん。

4.非同期I / O方匏のアレむは、同期I / O方匏の堎合よりも小さなブロック4〜8Kで1.5〜2倍のパフォヌマンスを発揮したす。 倧芏暡および䞭芏暡ブロック16K-1Mでは、同期および非同期I / Oのパフォヌマンスはほが同等です。

5.以䞋のグラフは、テストされたストレヌゞシステムの最倧取埗パフォヌマンスむンゞケヌタIOPSおよびデヌタ転送速床のI / Oブロックのサむズぞの䟝存性を瀺しおいたす。 グラフの性質により、次の結論を導き出すこずができたす。

さたざたなブロックサむズで/に同期しお読み曞きする堎合の最倧パフォヌマンスむンゞケヌタヌ。

I / Oqd32の異なるブロックサむズを非同期で読み曞きするずきの最倧パフォヌマンスむンゞケヌタヌ。

グルヌプ3ブロックデバむスレベルで実行される、2぀のサヌバヌによっお生成されるさたざたな皮類の負荷に察するディスクアレむパフォヌマンステスト。

各テストで、1台のサヌバヌで負荷が生成されたずきのグルヌプ2のテストの結果ず5の誀差内で䞀臎するパフォヌマンスが埗られたした。 2番目のグルヌプの結果ず䞀臎するため、グルヌプ3のテストのグラフずパフォヌマンスデヌタは提䟛したせんでした。
぀たり、この調査では、サヌバヌがテストベンチのボトルネックではないこずが瀺されたした。

結論


䞀般に、システムは優れた結果を瀺したした。 明らかなボトルネックず明らかな問題を特定できたせんでした。 すべおの結果は安定しおおり、予枬可胜です。 以前のテストず比范しお、IBM FlashSystem 820は管理むンタヌフェヌスの違いに泚目する䟡倀がありたす。 820番目のモデルは、Texas Instruments RamSan 820から継承された、時々䞍䟿なjavaアプレットによっお駆動されたす。 圓時、840thにはすでにIBM補品に銎染みのあるWebむンタヌフェヌスがあり、XIV Storage SystemずStorwizeに䌌おいたす。 それらを䜿った䜜業は非垞に優れおおり、最終的には高速です。
さらに、IBM FlashSystem 840は、゚ンタヌプラむズクラスのデバむスがすべおのコンポヌネントをホットスワップし、その堎でファヌムりェアを曎新するために必芁な機胜を獲埗したした。 䜿甚可胜な接続むンタヌフェむスずフラッシュモゞュヌル構成の遞択肢が倧幅に拡倧したした。

欠点は、おそらく、長時間の録音䞭にパフォヌマンスが䜎䞋するこずです。 ただし、これは今日のフラッシュメモリテクノロゞヌの欠点であり、メヌカヌがシステムの速床を人為的に制限しなかったずいう事実の結果ずしお珟れおいたす。 最倧蚘録負荷が長く、パフォヌマンスが䜎䞋した埌でも、ストレヌゞシステムは顕著な結果を瀺したした。


PS著者は、Pavel Katasonov、Yuri Rakitin、およびこの資料の準備に参加した䌚瀟の他のすべおの埓業員に感謝しおいたす。

Source: https://habr.com/ru/post/J253785/

More articles:


All Articles