ビッグデータとは何ですか？ この質問に対する答えは、誰が、いつ質問されたかによって異なります。 一般的なユーザーを例にとると、15年前、平均的な家庭用コンピューターのデータ量は数ギガバイトと推定されていました。 現在、数百から数千ものギガバイトがあります。 より深刻な例：ボーイングジェットに取り付けられたセンサーは、わずか30分で各エンジンから約10 TBのデータを生成します。 つまり、モスクワから4時間でノボシビルスクに到着した飛行機は、約160 TBのデータを提供します。 そして、これは1回のフライトからのものです。 デザートについては、過去のソチのオリンピックで人類に残されたデータを計算できます。何百人ものアスリートとその情報、競技からの数千時間のビデオ、防犯カメラからのデータなどです。
ビッグデータは大きな問題であり、大きなチャンスでもあります。 ビッグデータに関連する一般的な問題のいくつかを検討してください。
- ボリューム。 気づいたように、大量のデータがあり、その量は常に増加しています。 これには、情報を保存するための根本的に新しいデバイスとアルゴリズムが必要です。
- スピード。 データ自体は、処理されない場合はほとんど役に立たず、迅速に処理されます。 ところで、速度は非常に相対的な概念であり、一部のデータは非常に高速であり、他のデータは許容できないほど低速です。
- 異質性。 データは、重要性、更新の速度、追加などの点で非常に異なる場合があります。これにはすべて、異なるストレージ形式が必要です。
- 安全性 データを失わないでください。 それらへの不正アクセスも望ましくありません。
リストは続きますが、問題は可能性の裏返しです。 オンラインストアで知られるAmazonは、2013年だけで約40億ドルのクラウドサービスを獲得しました。 2014年には、さまざまな推定によると、この金額は60〜100億になる可能性があります。
ビッグデータを保存する方法。 基本的なアプローチ
デジタルデータを保存するには、次の3つの方法があります。
- 従来： 「自宅のどこか」-ディスク、テープ、ローカルリポジトリなど
- 公共の「クラウド」： Amazon、Microsoft、Googleなどの大手企業または小規模企業から。
- プライベート「クラウド」では 、企業セグメントにより特徴的なオプション。 ストレージは会社のインフラストラクチャに含まれており、従業員のみが利用できます。
これらのアプローチの長所と短所を分析してみましょう。
「自宅」ストレージ
私たちのほとんどが最もよく知っています。 情報は、ディスク、RAIDアレイ、テープなどのローカルストレージに書き込まれます。
長所
- これは当たり前です。 データは常に近くにあり、私たちはとても穏やかです。
- アクセス速度。 原則として、ローカルメディアに簡単かつ迅速に接続できます。
- 価格 マイナスかもしれませんが。
短所
- 不安。 ディスクとサーバーは、物理的な消耗の結果として失敗します。 サーバーの信頼性に関係なく、自然災害や一般的な盗難からデータを保護することはできません。
- データへのアクセス。 遠くから、それは不在、不快、または少なくとも常に安全ではありません。
- スケーリング。 通常、その機能は制限されています。 新しいメディアを購入して、どこかに配置する必要があります。 今日10 TB、明日は5 TB、明後日は50 TBが必要な場合はどうでしょうか。
▍パブリッククラウド
これらは、データの量と関連サービスに応じて、有料でクラウドにデータを保存する機能を提供します。
長所
- これは便利です。 企業は基本的な作業シナリオを可能な限り簡素化します。
- 比較的安全です。 ほとんどのベンダーは、ユーザーパスワードだけでなく、独自の暗号化アルゴリズムでもデータを保護しています。
- かなり安い。 大規模なパブリック「クラウド」の価格は1か月あたり1ギガバイトあたり5〜10セントのレベルで変動し、それらを引き下げる傾向があることは明らかです。Googleドライブの価格ポリシーの最近の変更を思い出してください。
- 比較的信頼できる。 自然災害が発生した場合でも、地理データが複製される可能性があります。
- 将来の新しい視野。 たとえば、高速で安全なデータ交換。
短所
- 心理的要因。 あなたのデータはあなたから遠く離れています。 突然他の誰かがそれらにアクセスできますか？
- 価格 クラウドストレージはローカルストレージよりも高価に思えるかもしれません。 多くの場合、貪欲な人は2回支払う。
- アクセス速度。 それでも、先進国でさえ、インターネットアクセスの速度は平均で1秒あたりのメガバイト数で測定されます（ローカルストレージへのアクセスよりも少なくとも10倍遅いです）。
プライベート「クラウド」は多くの点でパブリッククラウドに似ており、企業環境で使用すると、データセキュリティをより強力に制御できるようになります。
今のところすべてです。 次回は、「クラウド」を使用するさまざまな実用的な方法について説明します。