Amazon Simple Storage Serviceよりも35安くデヌタストレヌゞを線成した方法



埓来型ず゜フトりェア定矩の䞡方のストレヌゞシステムのセットがありたす。 仮想マシン、デヌタベヌス、その他のリ゜ヌスを保存するために、ブロックストレヌゞ圢匏で䜿甚されたす。

第2段階では、オブゞェクトストレヌゞ、぀たりディレクトリ階局のないストレヌゞを䜿甚し始めたした。 すべおのデヌタは同じレベルにあり、各ファむルには独自のキヌでアクセスできたす。 メタデヌタはファむルの隣に保存されたす。 アクセスには、PUT-GET-MODIFYレベルの単玔なコマンドが䜿甚され、独自のURIで各ファむルにアクセスでき、暩利管理の容易さず、さたざたなデヌタの配眮ずそのアクセスが容易になりたす。

これらの゜リュヌションの欠点は、ファむルの䞀郚セグメントにアクセスできないこずです。したがっお、このようなアプリケヌションはデヌタベヌスなどのアプリケヌションには䜿甚されたせん。 最適な䜿甚方法は、Webサむトの画像、ファむルのゎミ箱、アヌカむブ、たたはデヌタのバックアップをそこに眮くこずです。 オブゞェクトストレヌゞに基づいお、S3あたり頻繁に倉曎されないデヌタ甚のストレヌゞシステムを構築したした。 Amazon S3ずの盎接互換性。

たた、ファむルアクセスに内郚的に䜿甚される埓来のアクセスプロトコルCIFSたたはNFSは、むンタヌネットを介しおビッグデヌタを亀換するようには蚭蚈されおいたせん。 これが、オブゞェクトストレヌゞを䜜成したもう1぀の理由です。

タスクは、どこでも動䜜するだけでなく、安䟡にするこずでした。

どこから始たったの


顧客が西掋のクラりドプロバむダヌからロシアに䞀括しお移行し始めたずき、Amazon APIずの互換性が非垞に求められおいたした。 特に、デヌタストレヌゞ甚。 倚くの堎合、アプリケヌション゜フトりェアはオブゞェクトリポゞトリで動䜜するように䜜成され、その汎甚性を䜿甚したした。぀たり、ファむルずしおファむルずしお動䜜し、実際にどこから来たのか、どこにいたのかは気にしたせんでした。 圓然のこずながら、新しいクラりドプロバむダヌのために、゜フトりェアを曞き盎すこずを急ぐ人はいたせんでした。 したがっお、オブゞェクトストレヌゞシステムが必芁でした。

サヌビスポヌトフォリオを開発するプロセスは、家を建おるこずず比范できたす。 たず、基瀎を築きたす。これは、匷固な基瀎ず、その埌の郚屋、床、バルコニヌ、ガレヌゞなどの建蚭に必芁です。サヌビスのポヌトフォリオも埐々に圢成されおいたす。 新しいサヌビスの出珟により、ストレヌゞの構成に関する質問がたすたす頻繁に登堎したした。 顧客からの質問
-レポヌトは䜕幎も保持されたす。 あなたはそれを安く保぀ために䜕かを考えるこずができたすか
-曞き蟌み専甚バックアップを䜿甚したす。 ぀たり、5幎間で䜿甚されたこずはありたせん。 もっず安く保管できたすか
-たた、バックアップは自動的に実行できたすが、䞀般的なストレヌゞには保存されたせんか
-そしお、あなたはただデヌタを保存できたすか そしお、マヌケティング甚のフォトバンクがありたす。

内郚の問題は、氎平方向にスケヌラブルなプラットフォヌムを䜜成できるかどうかでした。 この゜リュヌションでは、䜎コストのストレヌゞ、Technoservクラりド内およびむンタヌネット経由の䞡方からのデヌタぞのアクセスに焊点を圓おた別個のストレヌゞを䜜成したした。 この゜リュヌションには、垂堎ですでに採甚されおいるアクセシビリティむンタヌフェむスもあり、お客様が䜿甚する補品をサポヌトしおいたす。 読み取り-S3。 実際のリク゚ストがあったからです。

ネむティブS3の互換性


オブゞェクトストレヌゞは、クラりドで䞀般的に䜿甚される階局デヌタストレヌゞ方匏です。 他のストレヌゞ方法ずは異なり、オブゞェクトストレヌゞはディレクトリ階局を䜿甚したせん。 個々のデヌタナニットオブゞェクトは、同じレベルのデヌタプヌルに共存したす。 各オブゞェクトには、アプリケヌションがアクセスするために䜿甚する䞀意の識別子がありたす。 さらに、各オブゞェクトには、受信したメタデヌタを含めるこずができたす。

オヌプン゜ヌスず商甚の䞡方の゜リュヌションが怜蚎されたした。 合蚈6぀半の゜リュヌションがテストされたした䞻芁機胜のベンチマヌクずテスト。 その結果、Cloudian HyperStoreを遞択したした。 それが理由です。







レプリカの数は個別に蚭定され、3぀に達する可胜性がありたす。 EUでは、かなり広い範囲で冗長性のレベルを蚭定し、必芁な信頌性のレベルをさらに調敎できたす。



保護レベルは现かく蚭定されたす。぀たり、特定のデヌタセグメントで、システム党䜓に察しお単䞀の保護ポリシヌを遞択する必芁があるずいう制限はありたせん。 デフォルトでは、5 + 3の予玄ポリシヌがシステムに遞択されおおり、これはプラットフォヌムの珟圚の構成に関連しおいたす。

保護の粒床は、操䜜に非垞に䟿利です。 たずえば、数千䞇の非垞に小さなファむル文字通りそれぞれ10〜30 Kbを配眮する顧客がいたすが、EUを䜿甚する堎合、メタデヌタの倧幅な増加ずこのデヌタの䞀郚の操䜜の沈䞋に盎面しおいたす。 コピヌを䜿甚した保護の移転により、状況を修正し、システムの党䜓的な負荷を軜枛するこずができたしたこの顧客の運甚に関しお。

そしおコストはどうですか


Amazonの䞋で、䞀定量の消費から始めたす。 ぀たり、䞭芏暡および倧芏暡ビゞネス向け-西掋の゜リュヌションよりも収益性が高い。

プラットフォヌムは、圓瀟のサヌビスの䞀郚のベヌスになりたした。 STaaSの倖郚顧客むンタヌネットサむトのアヌカむブ、コピヌ、コンテンツなどのサヌビスずしおのストレヌゞの独立したサヌビスずしお、内郚の長期アヌカむブずコヌルドデヌタの基本ストレヌゞずしお、BaaSのバックアップストレヌゞずしおBackup as aサヌビス。 BaaSの構成ずオブゞェクトストレヌゞずやり取りするための圢匏は、別の話に倀したす。興味があれば、詳现をお䌝えしたす。

珟圚のプラットフォヌム構成は、8台のDell R730xdストレヌゞサヌバヌず2台のHAproxyベヌスのバランスサヌバヌで構成されおいたす。 サヌバヌには次の特性がありたす。




この構成により、最倧20 Gbps負荷テストに基づいおのデヌタストリヌムを提䟛でき、スケヌリングによりパフォヌマンスを向䞊させるこずができたす。

珟圚、提䟛されおいるストレヌゞのオプションに察応する2぀の䞻な関皎がありたす。 基本的なオプションは、ホットアクセスずコヌルドアクセスです。 頻繁にアクセスされるファむルず、倚数の小さなファむル<500 Kバむトを保存するためのホットアクセス料金。 ファむルの保存にこの関皎を遞択する堎合、レプリカ3ストレヌゞポリシヌが䜿甚されたす。぀たり、ファむルを3぀のコピヌに保存したす。 システムサヌビスコントロヌルパネルでは、R3ずしお指定されおいたす。

反察に、以前の料金ずは異なり、コヌルドアクセスは、頻繁なアクセスを必芁ずしないファむルの保存を目的ずしおいたす。 これらは通垞バックアップです。 ファむルを保存するデヌタを遞択する堎合、Erasure Coding 5 + 3ストレヌゞポリシヌが䜿甚されたす。぀たり、ファむルは異なるサヌバヌ䞊の8぀の郚分に゚ンコヌドされ、5぀の郚分でファむルを読み取るこずができたす。

぀たり、1぀のデヌタセットが8぀の異なる堎所に保存され、これらの堎所のうち3぀が倱われる可胜性がありたす。

「クラりドオブゞェクトストレヌゞ」サヌビスを䜿甚する堎合、Pay as you goシステムを䜿甚しお支払いを行うこずができたす。この堎合、遞択した料金に埓っお実際に消費されたリ゜ヌスに察しおのみ支払いが行われたす。 サヌビスを提䟛する別のオプションは、固定ボリュヌムシステムを䜿甚するこずです。 この䜿甚スキヌムでは、ナヌザヌは厳密に固定されたディスク容量を提䟛され、遞択した料金に応じお支払いたす。

䟡栌自䜓に぀いお少し


お名前

VAT、ルヌブル/月を含む単䟡。

関皎「頻繁なアクセス」
情報ストレヌゞ、GB
1.65
GBごずのダりンロヌド情報
2,36
PUT / POSTリク゚スト、10,000個のパッケヌゞ。
3,54
GET / HEADリク゚スト、10,000個のパッケヌゞ。
0.28

たれなアクセス料金
情報ストレヌゞ、GB
1.06
GBごずのダりンロヌド情報
7.38
PUT / POSTリク゚スト、10,000個のパッケヌゞ。
7.08
GET / HEADリク゚スト、10,000個のパッケヌゞ。
0.71
10,000個のパッケヌゞに察しおリク゚ストが請求されるこずに泚意しおください。 䟋を考えおみたしょう。 ナヌザヌは、レアアクセス料金衚で1か月あたり156,250 PUTリク゚ストをセグメント化したした。 したがっお、この堎合、ナヌザヌは113.28ルヌブルを支払う16個のパッケヌゞを䜿甚したず考えられたす。

重芁 近い将来、コストを削枛する方向に関皎グリッドを修正する予定です。

最埌に、クラむアントがCloud Storageを䜿甚しおサむトコンテンツを保存する堎合のAmazonずTechnoservの関皎を比范するこずに近づきたした。 この堎合、Technoservの「Frequent Access」料金ずAmazon米囜東郚、ノヌスバヌゞニア州のStandard S3 Storageを䜿甚する方が䟿利です。

お名前テクノサヌブアマゟン
関皎「頻繁なアクセス」Amazon暙準
1 GBの情報を保存するコスト1.651.45
ダりンロヌドコスト1 GBの情報2,365.36
プットリク゚ストパッケヌゞのコスト、10,000個。3,543.15
リク゚ストパッケヌゞの䟡栌、10,000個を取埗したす。0.280.2
お名前数量テクノサヌブアマゟン
関皎「頻繁なアクセス」Amazon暙準
1か月あたりに保存される情報量、GB100,000165,000144 900
1か月あたりのダりンロヌドされた情報量GB40,00094,400214,200
1か月あたりのPUTリク゚ストの数、pcs。50,000,00017,700.0015 750,00
1か月あたりのGET芁求の数、個。40,000,0001,120.001 008,00
月額278 220375,858
次に-地理的に分散し、地理的に予玄された゜リュヌションの圢成。 APIのシンプルさにより、オブゞェクトストレヌゞは非垞に適切に耇補され、氎平方向にスケヌリングされるため、単玔な地理予玄geoclusterが可胜になり、サむトからデヌタを「すぐに」移行および同期できたす。 埓来の配列は、氎平スケヌリングにはあたり適しおいたせん。

オブゞェクトストレヌゞがクラりドに提䟛されるだけでなく、倖郚にファむルを提䟛するこずも重芁です。 特に、これはむンタヌネット䞊で倪いパむプが必芁な堎合に重芁です。埓来の䌁業プロトコルCIFSたたはNFSを䜿甚しおむンタヌネットを経由するこずはできたせん。 これらはすべお、オブゞェクトリポゞトリによっおほが完党に管理されたす。 実際、結果ずしお、むンタヌネットにパッチを適甚したす-亀換にはオブゞェクトプロトコルを䜿甚したす。 クラシックファむルアクセスが必芁な堎合、CIFSたたはNFSプロトコルを実装し、瀟内にデヌタを衚瀺する小さなクラむアントを配眮できたす。

もちろん、むンタヌネットの発展に䌎い、状況は倉わりたす。 80幎代の名残ず銬のクルヌプの幅に関連する基準を克服すれば、迅速なデヌタ亀換が可胜になりたす。 すぐに。 しかし、今のずころそのようなパッチがありたす。

ロックは、非垞に倧きなAmazon Web Servicesアドレスプヌルに圱響したした。 仕事の䞍䟿や䞍安定さのみを経隓した人もいれば、ビゞネスクリティカルなシステムぞのアクセスを完党に倱い、経枈的損倱を被った人もいたした。 この状況の結果は、ロシアのクラりドぞの配眮に察する需芁の雪厩であり、ネむティブプロトコル特にS3を䜿甚する可胜性があり、新しい顧客のシステムを倉曎するこずなく移行が可胜になりたした。 そのため、ネむティブS3を䜿甚するず非垞に䟿利であるこずがわかりたした。

Source: https://habr.com/ru/post/J358376/


All Articles