Redditの作成時に学んだ7つの教訓

UPD。 元の記事はかなり古い-2010年です。 今、状況は異なります。

2010年12月、Redditには8億2,900万のビューと119台のサーバーがありました。
2011年末-2.07Bビューおよび240サーバー。

更新してくれたpotomushtoに感謝します。

UPD 2.色知覚に問題のある人向けのスキームを修正しました。 second_pilotとspiritedflowに感謝します

---

Redditの作成者の1人であるSteve Huffmanは、Redditの構築と開発中に学んだことを1か月あたり最大750万ユーザー、1か月あたり2億7千万ページビュー、20を超えるデータベースサーバーに伝えました。


スティーブは、学んだ教訓のほとんどが明白であるため、プレゼンテーションに根本的に新しいアイデアはないことを明らかにしました。 しかし、スティーブには豊富な経験があり、このレーキを見ることができなかった場合は、おそらくこれらの「明白なこと」に注意を払う必要があります。


7つのレッスンはそれぞれ、対応するセクションで検討されます。

• 頻繁に落ちる
• サービス共有
• オープンデータスキーマ
• 状態を保存しない
• Memcache
• 冗長データを保存する
• バックグラウンドで作業を最大限に活用する

Redditアーキテクチャの最も興味深い点は、「レッスン6-冗長データの保存」です。 基本的な考え方は非常に単純です-すべてを事前に計算してキャッシュすることで速度を達成します。 Redditは最大計算を使用します。 Redditに表示されるすべてのものは、保存するデータのバージョンの数に関係なく、事前に計算されてキャッシュされているという印象を受けます。 たとえば、誰かがリンクを追加するとすぐに、メッセージのリストのメッセージをソートする1​​5の方法（ホット、新しい、ベストオールド、今週など）をすべてキャッシュします。 通常の開発者は、リソースの無駄だと考えて、このような極端なキャッシュを作成することを恐れています。 しかし、Redditチームは、速度を落とすよりも、いくらかのリソースを費やす方が良いと考えています。 ユーザーを待たせておくよりも、ディスク容量とメモリを使う方が良いです。 したがって、事前計算とキャッシングを最大限に使用することに恥ずかしさを感じている場合は、前例があります。

レッスン1：頻繁に落ちる

レッスンの本質は簡単です-ドロップされたサービスまたは失敗したサービスを自動的に再起動します。

専用サーバーを使用する場合の問題は、そのサポートに常に責任があるということです。 サービスがクラッシュした場合、午前2時にも今すぐ修復する必要があります。 これはあなたの人生で一定のバックグラウンドストレスを生み出します。 常にコンピューターを持ち歩く必要があり、いつでも誰かが別の災害を報告するために電話できることを知っています。 かき集めなければなりません。 このアプローチは人生を耐えられないものにします。

この問題を解決する方法の1つは、停止したサービスまたは誤った動作を開始したサービスを再起動することです。 Redditはスーパーバイザーを使用してアプリケーションを再起動します。 特別な監視プログラムは、メモリを大量に消費するプロセス、プロセッサ時間、またはハングするプロセスを強制終了します。 心配する代わりに、システムを再起動するだけです。 もちろん、ログを読んで転倒の理由を理解する必要があります。 しかし、そのようなアプローチにより、冷静さと理性を保つことができます。

レッスン2：サービスの共有

レッスンの本質は、異なるマシンで同様のプロセスとデータをグループ化することです。

1台のマシンで実行するアクションが多すぎると、タスクのコンテキスト切り替えが多く必要になります。 各サーバーが特定の方法で特定のデータ型を処理するようにしてください。 これは、すべてのインデックスがキャッシュに落ち、キャッシュから落ちないことを意味します。 同様のデータをできる限り互いに近づけてください。 Pythonスレッドを使用しないでください。 彼らは遅くなります。 Reddit開発者は、すべてをいくつかのサービスに分割しました。 サービスには、スパムチェック、画像処理、クエリキャッシュが含まれます。 これにより、それらを複数のマシンに簡単に粉砕できます。 したがって、彼らはプロセスの相互作用の問題を解決しました。 そして、この問題が解決されると、アーキテクチャはよりクリーンになり、成長しやすくなります。

レッスン3：データベーススキーマを開く

レッスンの本質-スキームを心配しないでください。

Reddit開発者は、データの構造とその正規化について心配することに多くの時間を費やしました。 スキーマの変更は、成長するにつれてますます高価になりました。 1つの列を1,000万行に追加するには、大量のロックが必要でしたが、非常にうまく機能しませんでした。 Redditは、スケーリングとバックアップにレプリケーションを使用しました。 スキーマの更新とレプリケーションのサポートは大変な作業です。 レプリケーションを再起動しなければならない場合があり、バックアップが終日機能しない場合があります。 ソフトウェアの更新とデータベーススキーマの更新が同時に渡されることを保証する必要があるため、リリースも問題を引き起こしました。


代わりに、エンティティテーブルとデータテーブルを使用します。 Reddit-eでは、ユーザー、リンク、コメント、サブフォーラム、賞など、すべてがエンティティです。 エンティティは、賛成票、反対票、タイプ、作成日など、いくつかの共通属性を共有します。 Dataテーブルには、Thing ID、Key、Valueの3つの列が含まれています。 各属性の行。 タイトル、リンク、作者、スパムの投票などの行があります。 これで、新しい機能を追加するときに、データベースの構造を心配する必要がなくなりました。 新しいエンティティに新しいテーブルを追加したり、更新を心配する必要はありません。 開発と保守が簡単です。 価格-クールなリレーショナル機能を使用できない。 joinを使用することはできず、データの整合性を手動で確認する必要があります。 参加時に外部キーを心配したり、データを分割する方法を心配する必要はありません。 一般的に、それはかなりうまくいきました。 リレーショナルデータベースに関する懸念は過去のものです。

レッスン4：状態の保存を避ける

各サーバーの目標は単純です-任意のタイプのリクエストを処理することです。 Redditが成長する一方で、ますます多くのマシンを使用する必要があり、アプリケーションサーバーキャッシュに依存することはできなくなりました。 最初は、各アプリケーションサーバーの状態を複製しましたが、これはRAMの浪費でした。 メモリに大量の小さなデータを保持しているため、memcachedを使用できませんでしたが、速度は向上しませんでした。 memcacheをサポートするためにサービスを書き直し、アプリケーションサーバーに状態を保存しなくなりました。 アプリケーションサーバーがクラッシュしても、寿命は止まりません。 スケーリングは、新しいサーバーを追加するだけの問題です。

レッスン5：Memcache

一番下の行は、すべてにmemcacheを使用することです。

Redditはmemcacheを次の目的で使用します。

1. データベースデータ
2. セッションデータ
3. 生成されたページ
4. 内部関数のメモ化（以前に計算された結果のキャッシュ）
5. リクエスト数の制限
6. 事前に計算されたリストとページの保存
7. グローバルロック

現在では、PostgresではなくMemcachedbにすべてのデータを保存しています。 これはmemcacheの類似物ですが、データをディスクに保存します。 非常に迅速な修正。 すべてのリクエストは同じコードで生成され、memcacheにキャッシュされます。 パスワードを変更すると、リンクは20分程度キャッシュされます。 キャプチャについても同じことが言えます。 永久に保存したくないリンクに対しても同じアプローチを使用します。

彼らはメモ化をフレームワークに組み込みました。 計算結果もキャッシュされます：正規化されたページ、リスト、その他すべて。

memcacheを使用してリクエストの数を制限し、リクエストの有効期間を制限します。 システムを攻撃から保護する良い方法。 このようなサブシステムがなければ、悪意のあるユーザーがシステムを停止させる可能性があります。 風水をしないでください。 したがって、ユーザーとインデクサーの場合、データはmemcacheに保存されます。 ユーザーが1秒以内に繰り返し電話をかけると、キックオフされます。 通常のユーザーはそれほど速くクリックしないので、何にも気付きません。 Googleインデクサーは許可された頻度で処理するため、すべてが遅くなり始めたら、リクエストの頻度を制限します。 そして、システムは、ユーザーに不便をもたらすことなく、より穏やかに機能し始めます。

Redditのすべてはリストです。 ホームページ、プライベートメッセージ、コメントページ。 それらはすべて事前に計算され、キャッシュに配置されます。 リストを取得すると、キャッシュから取得されます。 各リンクと各コメントは、おそらく100種類のバリエーションで保存されます。 たとえば、30秒前に作成された2票のリンクがレンダリングされ、個別に保存されます。 30秒後、再びレンダリングされます。 などなど。 すべてのHTMLはキャッシュから取得されます。 したがって、CPU時間はページのレンダリングに無駄になりません。 すべてが遅くなり始めたら、キャッシュを追加します。

彼らは非脂っこいデータベースで作業するようになると、グローバルロックとしてmemcacheを使用します。 これは動作しますが、これは最良のオプションではありません。

レッスン6：冗長データを保存する

レッスンの本質：最高速度を達成するために-すべてを事前に計算し、結果をキャッシュします。

遅いWebサイトを作成するための保証された方法は、正規化されたデータベースを用意し、オンデマンドでアクセスしてからHTMLを生成することです。 1回のリクエストでも永遠に時間がかかります。 そのため、いくつかの形式で表示できるデータがある場合、メインページのリンク、受信メッセージ、プロファイルに、これらすべてのビューを個別に保存します。 しかし、誰かが入ってデータにアクセスすると、準備が整います。

各リストには、15の異なるソート順（ホット、新規、ベスト、古い、今週）を設定できます。 誰かが新しいリンクを追加すると、これが関係する可能性のあるすべてのリストを再カウントします。 一見、これは無駄に見えますが、速度を落とすよりもお金を先に使う方が良いです。 ユーザーを待たせておくよりも、ディスク容量とメモリを浪費する方が優れています。

レッスン7：バックグラウンドで作業を最大限に活用する

レッスンの本質：サーバー側で最小限の操作を行い、すべての準備が整ったことをユーザーに伝えます。

何かする必要がある場合は、ユーザーがあなたを待っていないときに行います。 ジョブをキューに入れます。 ユーザーがRedditに投票すると、ユーザーのリスト、カルマ、その他多くのことが更新されます。 したがって、投票時に、データベースは更新されて投票の事実をマークします。 その後、タスクはキューに入れられ、タスクは更新が必要な20のすべてを認識します。 ユーザーが戻ると、必要なすべてのデータがキャッシュされます。


バックグラウンドでRedditが行うこと：

1. キャッシュリスト
2. プロセス写真
3. 詐欺師を発見する
4. スパムを削除する
5. 報酬が計算されます
6. 検索インデックスを更新

ユーザーがあなたを待っている間、これらのことをする必要はありません。 たとえば、Redditが人気を博したとき、評価を上げる試みがより頻繁になりました。 そのため、このような状況を検出するために多くのサーバー時間を費やしています。 バックグラウンドでのこのサービスの動作は、ユーザーがそれ以上投票することを妨げません。


以下はアーキテクチャ図です。


青い矢印は、リクエストを受信したときに何が起こるかを示しています。 誰かがリンクを離れるか、投票するとしましょう。 このデータは、キャッシュ、メインデータベース、およびジョブキューに送られます。 結果はユーザーに返されます。 オフラインで発生するその他のことは、黄色の矢印で表されます。 Spam、Precomputer、Thumnailerなどのサービスは、キューからジョブを受信して​​実行し、データベースを更新します。 技術的ソリューションの主なハイライトはRabbitMQです。

PS。RedditのレッスンをErlangでアプリケーションを設計するプラクティスと比較することは非常に興味深いです。 失敗させて、監督ツリー、ムネシア。 OTPのドキュメンテーションのロシア語訳はここにあります 。

PPS RabbitMQ in Actionのいくつかの章を翻訳するというアイデアがあります。 それはどれほど面白いでしょうか？