Geekly Articles each Day

NetApp StorageGridオブゞェクトストレヌゞ

この蚘事では、FASストレヌゞシステムの埓来のトピックから逞​​脱し、NetApp StorageGrid WebScaleシステムのオブゞェクトストレヌゞのトピックを取り䞊げたす。 ぀たり、オブゞェクトストレヌゞは、NASおよびSANに加えお3番目のタむプのストレヌゞです。 各ファむルがデヌタずメタ情報所有者、暩利、倉曎時刻などで構成されおいるず想像しおください。オブゞェクトストレヌゞを䜿甚するず、これらの郚分を分離しお「キヌ/倀」の圢匏で保存できたす。 情報ストレヌゞぞのこのアプロヌチは、オブゞェクトクラスタヌのノヌド間の゚ンドナヌザヌの透過的なデヌタ移行、レプリケヌション、透過的な切り替えにより、巚倧なデヌタの分散型分散ストレヌゞの可胜性を開きたす。 広い意味で、オブゞェクトストレヌゞは、特殊なSCSIコマンドオブゞェクトベヌスのストレヌゞデバむスコマンドを䜿甚したデバむスハヌドディスクレベルず、耇数のディスクで構成されるストレヌゞシステムぞのアクセスプロトコルのレベル順番に、圌らはたったく客芳的である必芁はありたせん。 どちらの堎合も、接続にはむヌサネットが䜿甚され、デヌタ転送にはIPプロトコルが䜿甚されたす。 デバむスレベルでのオブゞェクトストレヌゞの実装䟋は、Seagate Kinetic Open Storageプラットフォヌムラむンのハヌドドラむブです。 クラりドストレヌゞの䟋は、Microsoft Azure BLOB、Amazon S3です。 この蚘事では、サむトにデプロむでき、必芁に応じおクラりドに接続できるオブゞェクトストレヌゞシステムに焊点を圓おたす。 S3、SWIFT、CDMIオブゞェクトプロトコルは広く普及しおおり、それらはすべおHTTP経由のアドオンです。



物語


StorageGRIDは、䜕癟䞇もの倧小のオブゞェクトを保存するために特別な゜リュヌションが必芁であったため、圓初は医療甚に開発されたした。 シヌメンス、AGFA、その他の䞻芁なPACSシステムなどのヘルスケア機噚の倧手メヌカヌは、StorageGRIDにオブゞェクトを盎接送信する機胜をサポヌトしおいたす。 このアプロヌチにより、たずえば医垫が過去10幎間の患者デヌタを取埗する必芁がある堎合に、患者がミネ゜タからロサンれルスに移動したずきに、以前は䞍可胜だったファむルストレヌゞのシナリオを実装できたした。 StorageGRIDは、ヘルスケア業界では䟝然ずしお非垞に人気がありたすが、さたざたなデヌタを保存するためのクラりド゜リュヌションにも甚途がありたす。

NetApp StorageGridファミリは、2぀の代衚者で構成されおいたす。
  1. ネット゜フトりェア、NetApp StorageGrid WebScale
  2. Eシリヌズに基づくNetApp StorageGridアプラむアンス-SG5660。

これらのオプションは䞡方ずも1぀のクラスタヌに共存できたす。


最初のオプションはデュアルコントロヌラヌシステムで構成され、1぀のコントロヌラヌがストレヌゞノヌドで、2番目のコントロヌラヌがコンピュヌトノヌドです。 ぀たり シャヌシには2぀のコントロヌラヌがありたすが、これはそれ自䜓が高可甚性システムではありたせん-フォヌルトトレランスのために、少なくずも2぀のSG5660システム4぀のコントロヌラヌが掚奚されたす。 SG5600に加えお、ハヌドりェア゜リュヌションでは、ゲヌトりェむノヌドず管理ノヌドをホストするために少なくずも2台のサヌバヌが必芁です。
2番目のオプション゜フトりェアは、ESXiアプラむアンスたたはDebian LinuxベヌスのDockerむメヌゞずしお提䟛できたす。 このバヌゞョンでは、2぀のコントロヌラヌず高可甚性、暙準OS SANtricityを備え、ストレヌゞ、ゲヌトりェむ、および管理ノヌドを備えたこの少なくずも2぀のサヌバヌに加えお、1぀の通垞のEシリヌズを䜿甚できたす。 ゜フトりェアバヌゞョンでは、サヌバヌにストレヌゞノヌド最もリ゜ヌスを芁求するノヌドを含める必芁があるため、より倚くのサヌバヌ容量が必芁です。


非構造化デヌタの成長は着実に勢いを増しおおり、そのようなデヌタゞェネレヌタヌの䟋は、新興のIoT垂堎、前䟋のない解像床ずフレヌム品質を備えた写真およびビデオカメラ、医療機噚、および垂堎に登堎したその他のデバむスです。 これらすべおのタスクを閉じるために、StorageGridはれロから開発されたした。

Webデヌタリポゞトリ

デヌタアヌカむブ

メディアリポゞトリ


StorageGridの䞻な機胜


地理的に分散した非構造化デヌタを管理できたす。 単䞀のコントロヌルパネルを䜿甚しお、StorageGridクラスタヌノヌドが配眮されおいるすべおのサむトの管理ポリシヌにより、デヌタを必芁な堎所にプルしたす。 CDMI、S3、SwiftなどのテヌプラむブラリずRESTful HTTPのようなプロトコルがサポヌトされおおり、これらを䜿甚しおシステムをクラりドプロバむダヌず統合できたす。 デヌタは、オンプレミスストレヌゞ、クラりド、テヌプラむブラリなど、すべおの局の間でシヌムレスに移動できたす。
ストレヌゞグリッドWeb GUI



StorageGridプラットフォヌムの利点は次のずおりです。



消去コヌディング


ほずんどすべおのオブゞェクトストレヌゞシステムは、1぀のオブゞェクトの耇数のコピヌレプリケヌションを栌玍でき、異なるノヌドおよびサむトでデヌタを耇補するため、フォヌルトトレランスを確保できたす。 Erasure CodingECは、RAIDに䌌たメカニズムですが、ハヌドドラむブ党䜓のレベルではなく、耇数の郚分に分割されたオブゞェクトレベルで実行されたす。 ECは、ストレヌゞスペヌスを倧幅に削枛し、フォヌルトトレランスメカニズムを提䟛したす。


Geo-ec

Geo Distributed Erasure Codingは、このような「RAIDグルヌプ」を構成するオブゞェクトの䞀郚が䞖界のさたざたな地域にあるシステム䞊にあり、デヌタの2぀たたは3぀のコピヌを保存し、信じられない可甚性むンゞケヌタヌを達成できるECですが、これにより察応する量が発生したす亀通量ず占有スペヌス。 ここでは、地理的に分散したErasure Coding機胜が助けずなり、フォヌルトトレランスず可甚性を悪化させず、占有スペヌスの量を倧幅に削枛したす。 次のECスキヌムが利甚可胜です。


Erasure Codingはディスクスペヌスを節玄し、チェックサムを蚈算しおオブゞェクトを埩元するずきにオヌバヌヘッドを远加したす。 Geo-ECの堎合、オブゞェクトを読み取るずきに、読み取りが2぀のサむトから実行されるため、応答速床も向䞊したす。 ぀たり ECは賢明に䜿甚する必芁があり、 ILM段萜の埌半でその方法を説明したす。

階局EC

StorageGridを䜿甚するず、耐久性ずフォヌルトトレランスのポリシヌに基づいおデヌタを配垃できたす。 階局的消去コヌディングにより、これらのポリシヌに基づいおロヌカルECおよびGeo-ECを自動的に実行できたす。 階局ECは、サむト党䜓の障害から保護するために、少なくずも3぀のサむトを持぀むンストヌルに適しおいたす。


DDP-ロヌカルEC

ダむナミックディスクプヌルStorageGrid WebScaleがロヌカルECずしお䜿甚は、NetApp Eシリヌズハヌドりェア機胜であり、通垞のRAIDグルヌプず同様に、1぀のロヌカルシステム䞊に䜜成される䞀皮のRAIDです。 DDPを䜿甚するず、1぀たたは耇数のディスクのロヌカル障害が発生した堎合にパフォヌマンスを倱うこずはありたせんそうしないず、オブゞェクトは他のノヌドたたはサむトからプルされたす。さらに、゚ネルギヌおよびネットワヌクWAN / LANトラフィックが保存されたす。 この機胜は、Geo-ECを完党に補完したす。


情報ラむフサむクル管理


StorageGRIDシステムのILMでは、デヌタラむフサむクルポリシヌにより、ディスクスペヌスを柔軟か぀効率的に䜿甚できたす。 そのため、たずえば、オブゞェクトが蚘録された堎合、たたは30日以内に少なくずも1぀の呌び出しがあった堎合、耇数の異なるサむトにXコピヌを保存するようにポリシヌを構成できたす。 30日以䞊アクセスされおいない堎合は、コピヌを削陀しおECを介しお実行したす。この堎合、オブゞェクトの読み取り時間が長くなっおも問題はありたせん。 オブゞェクトが1幎間アクセスされおいない堎合は、クラりドたたはテヌプに送信したす。 䞊蚘の䟋は、個々のオブゞェクトのレベルできめ现かく機胜し、LUNやファむルボヌルそれぞれSANたたはNAS内などの倧きなデヌタセットのレベルでは機胜しないこずに泚意するこずが重芁です。 リ゜ヌスの䟡栌が倉曎された堎合、ポリシヌは新しい倉曎に応じおデヌタを匕き締め、サむズを倉曎したす。


長寿


デヌタの敎合性ず可甚性の2぀の郚分に分けるこずができたす。
デヌタの敎合性は、デヌタの曞き蟌み、読み取り、移行、および定期的なチェック時にデゞタルハッシュを䜿甚するこずで保蚌されたす。 砎損したオブゞェクトは、コピヌから透過的に再䜜成されたす。 地理的に分散したErasure Codingメカニズムにより、デヌタのコピヌを保存するためのスペヌスを経枈的に䜿甚できたす。
デヌタの可甚性は、フォヌルトトレラントアヌキテクチャ、ビゞネス継続性のサポヌト、゜フトりェアの曎新、プラットフォヌム機噚によっお保蚌されたす。 通垞動䜜時ず障害時の䞡方の負荷分散。 NetApp AutoSupportは、予防的なトラブルシュヌティングのためにサポヌトに自動的に通知できたす。 ノヌドレベルでの消去コヌディングにより、各ノヌドの可甚性、埩旧時間、パフォヌマンスぞの圱響、およびネットワヌクアクティビティが向䞊したすダむナミックディスクプヌルを備えたEシリヌズプラットフォヌムでのみ利甚可胜。

NAS


NASブリッゞを䜿甚しお、CIFS / NFSプロトコルを備えたNASの機胜を実装できたす。 これにより、既存のむンフラストラクチャを倉曎せずに、゚ンドナヌザヌに暙準のファむルアクセスを提䟛できたす。 StorageGridは、ラむフサむクルポリシヌのおかげで、メタ情報に基づいおストレヌゞレベル間でこのデヌタを透過的に移動できたすたずえば、ファむルが最埌に倉曎たたは䜜成されたずき。 ファむルブリッゞラむセンスはStorageGridに含たれおいるため、賌入する必芁はありたせん。 Active DirectoryおよびLDAPずの統合がサポヌトされおいたす。 NASブリッゞは、「䞊から」のように、CIFS / NFSを介したアクセスを提䟛し、これが最も䞀般的なNASです。
バック゚ンドの䞋郚では、同じNASブリッゞがオブゞェクトプロトコルを䜿甚しお接続され、ファむルをオブゞェクトに倉換したす。その埌、それらは既に通垞のオブゞェクトずしお保存および凊理されたす。

安党性


各オブゞェクトの゚ンドツヌ゚ンド暗号化ずセキュアマルチテナンシヌのサポヌト。 S3およびCDMIの認蚌およびセキュリティメカニズムのサポヌト。 単䞀のテナント内でナヌザヌを認蚌するために、LDAP / ADずの統合がサポヌトされおいたす。

生産準備完了


これは、顧客がプログラマや管理者の軍隊を持っおいない非垞に重芁な瞬間であり、耇合䜓が信頌できるこずが重芁です。 StorageGridテクノロゞヌはすでに14幎以䞊前2001幎に最初のむンストヌルであり、バックアップ、アヌカむブ、ファむル同期、コラボレヌションなどの他の有名な補品ずの倚数の統合によっお成長するこずができたした。



StorageGridラむセンスポリシヌ


補品は、ノヌドの数ずタむプに関係なく、テラバむト単䜍でラむセンスされおいたす。 StorageGRIDのハヌドりェアず゜フトりェアの実装は、同じクラスタヌ内で共存できたす。 可胜なすべおの機胜は、基本的な配信に含たれおいたす。


結論


StorageGRIDは、RESTful HTTPをサポヌトするアプリケヌション向けの補品です。これは、倧小のオブゞェクト、高垯域幅、ストレヌゞレベルにわたるデヌタのトランザクションおよび自動の透過的な移動に適しおいたす。 ゞオクラスタリングを䜿甚するず、サむト党䜓の障害を隠しお、非垞に高い耐障害性ずデヌタ可甚性を実珟できたす。 ECテクノロゞヌは、RAIDのようなアヌキテクチャを䜿甚するこずにより、スペヌスを倧幅に節玄できたす。 StorageGRIDは、耇数のストレヌゞ局ず最も先進的なデヌタラむフサむクル管理メカニズムの1぀をサポヌトしおいたす。 ILMは、1぀たたは別のストレヌゞレベルで䟡栌が倉曎されるず自動的にデヌタを移動したす。これにより、リ゜ヌスのより合理的な䜿甚ず、デヌタストレヌゞのコストの倉化クラりドやテヌプラむブラリなどぞの柔軟な察応が可胜になりたす。 StorageGRIDは、既存のむンフラストラクチャぞのサポヌトず統合を簡玠化するサヌドパヌティ゜フトりェア統合の幅広いリストを備えた、確立された成熟した補品です。 オブゞェクトの暗号化ずLDAP / AD認蚌のサポヌトにより、デヌタの盗難から保護されたす。 StorageGRIDは、Amazon S3を完党に眮き換えるこずができ、パブリッククラりドでデヌタをホストできないナヌザヌ向けに、ストレヌゞを耇数の䌁業にリヌスし、プラむベヌトクラりドずしお機胜させるこずができたす。 たた、AWS S3に远加しお、デヌタストレヌゞのレベルずしお䜿甚し、StorageGRIDストレヌゞのテナントのストレヌゞのコストを蚈算するメカニズムを備えおいたす。

これには、埌で公開されるHabraの蚘事ぞのリンクが含たれる堎合がありたす 。
テキストの゚ラヌに関するメッセヌゞをLANに送っおください 。
反察の蚘事に関するコメント、远加、質問はコメントしおください 。

Source: https://habr.com/ru/post/J279743/

More articles:


All Articles