* nixシステムでのC / C ++コードのプロファイリング

アレクサンダー・アレクシーエフ（ Postgres Professional ）

プログラムコードのプロファイリング方法に関するHighLoad ++ 2016会議の優れた概要レポート。 測定中に発生する一般的なエラーについて。 そして、もちろん、ツールについて：

-gettimeofday
-strace、ltrace、トラス
-gprof
-gdb / lldb
-パフォーマンス
-pmcstat
-SystemTap
-DTrace
-HeapTrack
-BPF / bcc



最初は、ベンチマークを行わない方法についてあまり技術的な部分は持ちません。

私は、人々がベンチマークを行う際によくある間違いを犯すことが多いことを観察します。 そして、ここにそれらの最初のものがあります...

わからない場合は、HighLoad ++のすべてのスピーカーが、異なるベクターで複数の厳しいコーチングを受けます。 1つのコーチングが必要ですが、残りはオプションです。 オプションのコーチングは、たとえば、舞台恐怖症を克服するようなものです。 これは、この全体を整理するための非常に厳しいアプローチです。 そして、私がHighLoad ++に関するレポートを提出したとき、主催者はこの技術的な部分をすべて削除し、さらにクールなもの、美しいスクリーンショットなどを追加することを提案しました。 そして、それを実行する方法、入力するコマンドに興味がある人は、ドキュメントを参照することができます-それが理由です-すべてがそこにあるので、私のブログへのリンク。

たとえば、Linux上でSystemTapを構築するのが難しい場合に興味がある場合は、ブログへのリンクを開くと、すべてがそこに表示されます。 そして、このレポートにはおそらくそのようなレビューがあり、一般的なツール、それらが提供するもの、いつ使用するかを想像することができます。

最初は、ベンチマークを行わない方法についてあまり技術的な部分は持ちません。

私は、人々がベンチマークを行う際によくある間違いを犯すことが多いことを観察します。

• まず、それは再現性がありません。 ある種のブログを開いたときに、「何かを測定し、美しいグラフィックを取得し、価値のあるソリューションにより500倍高速になった」というクールな記事があります。 同時に、この実験を繰り返すためのデータもスクリプトも何も与えられていません。 さて、これは価値のないベンチマークであり、このページをすぐに閉じる必要があります。 あなたがそれを繰り返すことができないなら、どうやってそれを信じることができますか？
  

少なくともほぼ同じ結果を再現できるはずです。

• あなたは自分の考えを測定していません。 典型的な例：ハードドライブの動作を測定したい。 どこかでddを入力して楽しんでいます。 ディスクに書き込んで測定しますが、彼が実際に書き込む速度はどれくらいですか。 聴衆の誰かが、これがディスク速度の測定ではない理由を言うことができますか？
  
  そうです-実際には、ファイルシステムキャッシュの動作速度を測定したからです。 これを回避する方法も興味深い問題です。
  
• 平均を取る。 それは私たちの会議でいつも私を激怒させ、私は最前列に私を理解しているリスナーを見ます。 ユーザーリクエストにどれだけ迅速に応答するかを理解する必要があります。平均応答時間のグラフを作成しましょう。 問題は、このグラフの平均時間が美しい-15ミリ秒であっても、それぞれ15秒のピークがあることです。 彼らは非常にまれである可能性があり、この平均を取ることはそれらを滑らかにします。 あなたはすべてが素晴らしいと素晴らしいと思う、実際にはそうではありません。 したがって、少なくとも平均と最大を構築します-これはすでにあなたに良い絵を与えます。 これがあまりにも単純な場合は、95番目、99番目のパーセンタイルを作成します。これにより、さらに良いビューが得られます。 それらは構築するのにそれほど安くはありませんが、原則として、解決可能です。
  
• 誰がベンチマークをベンチマークしますか？ これはこのような問題です。 たとえば、アプリケーションが生成する1秒あたりの応答数を測定するクールなテストを作成しました。 彼らは、1秒あたり4000件のリクエストを測定、受信しました。 「どういうわけか十分ではありません。最適化する必要があります。」 問題は、ベンチマークがシングルスレッドであることです。 実際の負荷の下では、アプリケーションは数百、数千のスレッドで実行されます。 実際、この場合、自分のベンチマークがボトルネックであることを考慮していません。 これを理解する必要があります。
  
• 分析の欠如。 「何かが愚かだから、すべてを控え、すべてを書き換える必要がある」と測定したときです。 つまり、なぜそれが愚かであるかを理解する必要があります。
  
• エラーを無視します。 もう一度、ベンチマークを使用して例に戻ります。 これがあなたのベンチマークではなく、これがA / Bであり、あなたがそれをあなたのサービスに設定し、それを測定し、毎秒500万のリクエストを受け取り、「私たちはすべて非常に速い」と喜びます。 しかし、たとえば、これらすべてが404の回答であるとは思われませんでした。 つまり、エラーも計算する必要があります。
  
• 間違った設定。 私の領域では、データベースでは、これは一般的な問題です。デフォルトのPostgres設定では、電子レンジで実行することをお勧めしているためです。 サーバーは強力になったため、すべてのデフォルト設定を大幅に変更する必要があります。 より多くのバッファ、より多くのwork_mem。 そして、これらの設定が何をするかを理解してください。 ベンチマークがテストされたデータやスクリプトでも表示されますが、「デフォルトの設定でテストしました」-デフォルトではMongoDBとPostgres-すべて閉じることができます。 デフォルト設定は、どちらが速いかを理解する非構造的な方法です。
  
• 非定型負荷。 あなたは90％の時間を読み、10％が何かを書いて、あなたが決めたのです。私たちは50代/ 50代のベンチマークを書きます。 なぜこれをテストするのですか？ つまり、あなたは何かを最適化していますが、これは製品であまり役に立ちません。
  
• マーケティングとカスタマイズ。 ここに少しクールコアがあります。 ある雑誌がコンピューターをテストするベンチマークを知っていたそのような鉄の生産者が、20年前に何年もあったことを私は確実に知っています。 これらのベンチマークで見栄えがするように、彼らは鉄を集めました。 その結果、すべてが非常によく売れました。 これが最初の適合方法です。
  
  別のフィッティング方法-MongoDBを使用できます。 彼らは常に小さなデータセットでベンチマークを実行しているため、すべてがメモリに収まり、うまく機能します。 DataSetがメモリに収まらなくなると、すべてが正常に機能しなくなります。
  
  つまり、これが存在することを理解する必要がありますが、これは架空のものではありません。
  
• まあ、および他のプロパティ。 私に近い例：Oracle対Postgres-どちらが速いですか？ Oracleは10倍高速かもしれませんが、それだけの価値はあります。 これも考慮に入れる必要があります。 または多分そうではない-私は一度Oracleのベンチマークを行ったことがなく、正直に言って彼をまったく見たことがない。
  

完全な図を作成するために、コードのベンチマークを行う必要がない方法から始めます。 最も簡単な方法はgettimeofday（）です。 昔ながらの方法は、コードがある場合、それがどれだけ速いか遅いかを知りたいです-最初に時間を測定し、コードを実行し、最後に時間を測定し、デルタをカウントし、コードが非常に時間がかかっていると結論付けました。



実際、これは最もばかげた方法ではありません。たとえば、このコードがバカな場合、つまりごくまれに、たとえば10,000リクエストに1回というような場合に便利です。 加えて、あなたが思うかもしれないように、あなたはシステムコールをしていないと考えるのが習慣であるほど高価ではありません。 Linuxでは、このメカニズムはVDSOと呼ばれます。 実際、すべてのプロセスのアドレス空間にマップするページがカーネルにあり、gettimeofday（）はメモリアクセスになりますが、syscallは発生しません。

スピンロックを使って何かをしている場合は安価であるにもかかわらず、使用しないでください。 スピンロック自体は非常に高速に動作するためです。 つまり、測定対象は少なくともミリ秒である必要があります。そうでない場合、エラーは測定レベルで発生します。



strace、ltrace、trussなどのツールはクールなツールであり、syscallを実行している時間を示す-cフラグがあります。 さて、ltraceはライブラリプロシージャを測定し、straceはsyscallsを測定しますが、原則として、それらはいくつかのタスクのどこかに便利です。 よく使うとは言えません。



Gprof、このようなクールなツールがあります。スライドはテキストレポートの例を示しています。 それも明らかです。ここでは、プログラムに手順があり、何度も呼び出され、パーセント単位で実行されました。 シンプルで直感的なレポート。マイクロベンチマークを作成した場合、それを使用できます。

gprofを使用して、これらの画像を生成できます。



むしろ、それは、それをしない方法の例です。 この写真を覚えておいてください、6つの正方形があります。 それらが占めるスペースに注意してください。ここでは、プロシージャの名前、何かが矢印の上に常に書かれていますが、何も明確ではありません-それは多くのスペースを占有します。 これよりもはるかに視覚的なレポートが表示されます。 しかし、原則として、美しい写真、当局、パントを示すことができます。



デバッガー 実際、これは既に、プロファイリング時に実際に使用しなければならないツールの例です。バッチコマンドを実行するクールなプロパティがあり、このバッチコマンドセット（bt）にバックトラックを書き込むことができるためです。 これは、ロックの競合をデバッグするとき、ロックを争うときに非常に便利です。



http://habr.ru/p/310372/

ここに少しクールコアがあります。 私の意見では、これは私がPostgres用に書いた最初のパッチでした。 第二に、私は覚えていません。 Postgresには、Postgresタスクに合わせてカスタマイズされた独自のハッシュテーブルの実装があります。 また、そのようなフラグを使用して作成し、さまざまなプロセスで使用できます。 クライアントは「ここで私はそのような要求をしているのに、すべてがそのような計画に助けられている」という問題を思い付きました。 興味深いことに、最初はバックトラック手法を使用して、gdbを10回開始したように見えました。5つのケースではバックトラックがロックを取得し続け、半分のケースでは他の何かにかかっています。ロックに掛かっている、何かが間違っています。

ところで、高負荷システムHighLoad ++の開発者の会議の過去5年間の公開ビデオを公開しました。 YouTubeチャンネルを視聴、学習、共有、購読します 。

バックトラックによって、私はこれがロックを取得または解放するコードの種類を見つけることができました。 これは長い話です。リンクをたどってHabréの記事を読むことができます。 技術的な詳細があるハッカーのディスカッションへのリンクもあります。

上記のスライドでは、ロックの取得と解放の間にあるコードの一部が、ダイナッシュのどこかに落下し、スピンロックを取得すると回転していました。 デバッガーの助けを借りて、パッチを見つけ、修正し、提供することができました。 そして、そのダイナハッシュ（これはPostgresのハッシュプレートです）のスピンロックは、8または16のスピンロックに変わりました。 なんとかプレイできましたが、すでに9.6になっています。



perf topは上位の手順を示しているため、Perfは優れたツールです。 この場合、示されたプロセスで、それらが実行されている時間。 上部には30％、20％が表示され、ResourceOwnerが表示されます。次のクールなストーリーも実際のパッチに関するものであるため、プロシージャの名前に間違いはありません。



クライアントが来て言った：「私はそのような要求とそのようなスキームを持っています。 すべてが愚かです。 どうする？」 デバッグを開始しました。 そして、彼はエンタープライズアプリケーションを持ち、テーブルと1000個の子テーブルを持っています（Postgresでは、誰も知らない場合、テーブルの継承があります）。 また、perf topを使用すると、ResourceOwnerのすべてが鈍いことがわかります。 ResourceOwnerは、さまざまなリソース、ファイル、共有メモリなどを格納するオブジェクトです（単語オブジェクトがC言語に適用される限り）。 そして、通常、リソースを配列に割り当てて配列に入れ、それらを逆の順序で解放するという仮定の下で書かれています。 したがって、リソースを削除するとき、彼はリソースを最後から検索し始めます。 ある意味で、彼は配列のサイズを知っています-最後の要素のインデックスを持っています。 この条件は常に満たされているわけではなく、彼はこの配列のすべての方向を見る必要があるため、それは愚かであることが判明しました。 パッチは、一定量のリソース（約16またはこれの数）で、この配列がハッシュテーブルに変わるという事実にあります。 競合を解決するとき、あなたはヘイブが配列の与えられたインデックスに来てから、どちらかの側に行きます。

ところで、誰かが第3千年紀で誰がハッシュテーブルを作成する必要があるのか​​という質問に興味がある場合は、標準の実装が適していないため、2つのパッチでハッシュテーブルを作成します。 これは9.6にも既に存在します。強くパーティション化されたテーブルがある場合、ResourceOwnerはバカになりません。 私は、彼はまだ愚かですが、弱いです。



perfを使用すると、フレームグラフと呼ばれる美しい写真を作成できます。 下から上に読みます。 以下に手順があります-それが費やす時間に比例して、順番に呼び出します-他の手順に分割されます。 それから私たちは上に行き、彼女がどこで過ごす時間を比例的に共有します。 そしてさらに上。 これは非常に明白ですが、初めて見た場合は珍しいことです。 実際、これは非常に視覚的なレポートであり、Gprofが作成しているグラフの例よりもはるかに視覚的です。 場所がどれだけ経済的に使用されているかに注意してください。スライドに表示することはできませんが、すべてクリックできます。 そして彼は興味を示す手がかりを持っています。

これは拡大部分です。これは部品の中央のどこかにあります。



実際、これでおそらくすべてです。 これをよく使用します。 前の作業で、ログを同じ方法で分析しました。 別の話がありました-AKクラスター、分散アプリケーションがあり、ログからそのようなものを構築し、コードがどこで遅くなるかを理解しようとしました。 もちろん、ログはすべてのバックエンドから集計する必要がありました。 一般的に、便利なことは、私は皆にそれをお勧めします。



http://youtu.be/tDacjrSCeq4

これはブランドン・グレッグです。 彼はフレームグラフを発明し、ほとんど自分自身を実行しました。 おそらく、彼は完全に一人ではありませんでしたが、かなりの投資をしました。 彼はYouTubeビデオでも知られています。そこでは、データセンターのハードドライブで叫び、これらのドライブにアクセスするとレイテンシーが増大します。素晴らしいビデオです。 誰かが興味を持っている場合、これは本当のトピックですが、SSDで動作するかどうかはわかりません。

最近、銀行の消防訓練中に、火災を消火するガスを供給したパイプの口loudが大きすぎたため、データセンター全体が切断されたという同様の話がありました。 つまり、空気振動がすべてのディスクをノックアウトしました。

ブランドンに戻ります。プロファイリングに関するすべての知識があり、それに多くを注ぎ込んでいるからです。現在はNetflixでこれを行っています。



http://eax.me/freebsd-pmcstat/

Pmcstatは、FreeBSD専用のツールです。 これらのスライドを作成したとき、誰もFreeBSDを持っていないだろうと思ったので、pmcstatについての詳細は特にありません。 残りはあまり面白くない。 しかし、要約を見ると、perfを使用した場合と同じようにすべてを実行できます。 彼はまた、トップを獲得し、フレームグラフを作成します。彼は悪くはなく、異なるチームです。 気にする人は、ここに特定の記事へのリンクがあります。



より深刻なツールに移ります。 SystemTap この上には、何かが遅くなるCPUプロファイリングがあり、SystemTapを使用するとさらに多くのことができます-カーネル内の文字列を見て、ネットワーク上で持っているパケット数を測定し、ディスクにアクセスし、すべてを測定できますあなたの想像力によってのみ制限されます。 SystemTapでは、このようなスクリプトをここで作成できます。この場合、ip_rcv呼び出しがトレースされます。つまり、何らかの種類のiPパケットを受信します。



長所と短所。 主な短所2.まず、これはLinuxの公式ツールではありません。RedHatの担当者は、コードをデバッグするために、主に自分自身で見たように見落としていました。 インストールするのは非常に不便です。カーネルデバッグシンボルを含むパッケージをダウンロードしてからインストールし、SystemTapを非常に長い時間コンパイルする必要があります。また、コンパイルがそれほど容易ではないため、バージョンが必要です。 しかし、最終的には機能し始めます。 2番目の欠点は、分析する対象であるポッターの基礎を十分に理解する必要があることです。 誰もがLinuxカーネルを心から知っているわけではありません。 しかし、コードをよく知っていれば、それを使用できます。

興味深い特性があります-コードはCに変換され、カーネルモジュールにコンパイルされます。カーネルモジュールはロードされ、すべての統計、すべてのトレースを収集します。 この場合、ゼロで除算するのを恐れることはできません。逆参照ポインターは間違っています。 これをスクリプト言語で記述した場合、カーネルクラッシュは発生せず、足がきれいに折りたたまれてアンロードされますが、カーネルは引き続き動作します。

自動型推論があります。 確かに、2つまたは3つのタイプしかありませんが、それらは自動的に表示されます。

個人的には、安定した楽器とは思えないので、本番環境で使用するのが怖いでしょう。 1つの事実は、10秒のスクリプトをコンパイルしてロードしたことであり、そこで減速するのではなく、減速するものはあまり明確ではありません。 私はそれを危険にさらしませんが、多分あなたは大胆です。



DTraceは、FreeBSDだけでなくLinuxでも使用できるクールなツールであり、すべて問題ありません。 SystemTapに似ています。この例では、postgresと呼ばれるプロセスのポーリングシステムコールをトレースしています。 呼び出される引数と返されるものでトレースします。



長所と短所。 まず、SystemTapとは異なり、そのままシステムに直接組み込まれているため、インストールやコンパイルの必要はありません。 FreeBSD、Mac OSで利用可能です。 Linuxの場合、何らかの方法でOracle Linuxを使用している場合があります。 さらに、GitHubにdtrace4linuxプロジェクトがあり、コンパイル、動作、確認しました。 原則として、使用できます。

SystemTapとは異なり、DTraceは本番環境で使用するのが怖いわけではありません。戦闘環境でMacにアクセスして、好きなものをトレースしてください。 私の主観的な感覚によると、DTraceは管理者にとってより便利です。なぜなら、カーネルには多くのサンプルがあり、コードベースを知る必要はなく、「IPパケットの統計を収集したい-どれだけ行ったのか、どれだけ行ったのか」 。 ところで、既製のユーティリティセットがあります。スクリプトをすべて自分で作成する必要はありません。 DTrace Toolkitが呼び出されました。

また、SystemTapは管理者向けではなく、開発者向けです。「カーネルコードを知っているので、コードを記述せず、パッチを当てずにこの場所でプレイしたい」



これまで、CPU使用率の観点からプロファイリングについて説明してきましたが、もう1つの一般的な問題は、「大量のメモリが消費されている場合はどうなりますか？」です。 個人的に、私はHeapTrackツールが好きです。ValgrindMassifを使用したことがある場合、それは同じですが、高速ですが、制限があります-Linuxでのみ機能します。

ここ（上のスライド）はテキストレポートの例です。メモリのほとんどを食い尽くす場所​​が見つかります。特定の行番号、ソースコード付きのファイル名などがあります。



さらに、彼はMassif Visualizerツールでこのような美しいレポートを作成できます。 その中のすべてを開くことができます、それはすべてダイナミクスです。 そこに記憶が成長し、それからピークに達し、それから落下し始め、自由になり、目立ち、右に痕跡があります。 すべてが非常に明確で美しいです。



長所と短所。 Valgrindとは異なり、高速です。 実行中のプロセスにしがみついて、その下でプロセスを実行できます。 美しいレポート。 彼は記念碑を見つける方法を知っています。 あなたの標準的な言語ライブラリが彼の内部のニーズのいくつかに16 KBを割り当て、それらをリリースしなかった場合、彼はそれらを少し曲がったと見つけます。「まあ、なぜ？」、彼はこれが記念だと言うでしょう しかし、原則として、これらすべてにもかかわらず、非常に便利なツールです。

最も多く割り当てられている8バイトの断片と、少し頻繁に割り当てられている32バイトのメモリを持つヒストグラムを作成することができます。 このような美しいヒストグラムが得られます。

スタックが必要な場合、またはLinux以外の何かが必要な場合は、Valgrindを使用します。 私はLinux'oidなので、Valgrindについては何も知りません。



Linuxには、BPFと呼ばれるこのようなトピックがあります。これは元々バークレーパケットフィルターであり、名前が示すように、バークレーと何らかのパケットフィルタリングに関連していますが、2.6の2.6ブランチのどこかに一度上陸しました。 しかし、結果として、それは最終決定され、実際、すでに言及されたブランドン・グレッグの助けなしではなく、Linux上のDTraceに変わりました。

これにより、まったく同じことがすべて可能になります。 Brandonは最近、ブログポストを作成しました。このブログでは、4.9カーネルは現在まだリリース候補ですが、まもなくBPFの変更がリリースされる予定です。 大きな大きな変更はありません。何かを解決するかもしれませんし、少し修正するかもしれませんが、積極的に追加するために、これはもう起こりません。

Bccは、BPFがカーネル内のさまざまな場所のプロファイルを作成するために使用するユーティリティのセットです。 写真では、これらはすべてユーティリティの名前です。 実際には、カーネル内の任意の場所、カーネル内のプロファイルを破棄できます。

BPFの欠点は、DTraceやSystemTapのように独自のスクリプト言語をまだ持っていないことですが、この方向にはすでに成果があります。 特に、Red Hatの連中が接続し、SystemTapを取得してBPF用に構築しました。 つまり、SystemTap言語が使用されますが、BPFで機能します。 それはまだいくらか制限されており、文字列型をまったくサポートしていませんが、彼らはそれに取り組んでいます。

要するに、BPFは私たちの遠い明るい未来のようなものであり、Facebookからのスクリプトがあったため、Red HatはSystemTapを持っていたので、すべての企業が最終的に出会った最大の共通点です。トレース用にこのようなものを開発する必要がありました。 彼らは仕事を解決し、他に何も必要としません。 しかし、BPFは結果としてすべての人のニーズを解決するものであり、すぐにコアの準備ができており、最終的には誰もがこれに取り組み、数年後には大きな幸福がもたらされるようです。



何百万もの人々の心を刺激する主な質問：「さて、多くのツール、何を、いつ使うべきか？」 私が個人的に使用するもの。 デバッガー ロックの競合が疑われる場合、それを疑うのは簡単です。perftopでは、誰かが多くの時間を食べていることはわかりません。おそらくロックでハングします。 パフォーマンス、CPUに出会ったと思う場合は、通常のhtopで見ることができます-ここにプロセスがあり、CPUを大量に消費します。 Pmcstat、FreeBSD、SystemTapをお持ちの場合、perfがあるという理由で役に立たないツールのようです-より便利です。 つまり、プロファイリングのコンテキストで、つまりperfでプロファイルを作成できますが、SystemTapをトレースするためには、プロファイリングだけではありません。

DTraceは、あなたがMacの下に座っている場合、すべてを知っているので、それがあなたのすべてです。

HeapTrack for memory、Vagrant Massif-Linuxを使用している場合、BPFは明るい未来ですが、今では4. 9を製品に追加することはしませんが、おそらく大胆です。



Brandon Greggが共著した本をお勧めします。

1つ目は、システムパフォーマンス：エンタープライズとクラウドです。すばらしい本であり、誰にとっても必読です。 これは、私が読んだ中でプログラミングに関連する最高の本の1つです。 彼女は私の脳を吹き飛ばした後、破片が同僚の脳に触れ、一般にそれを読んだ。

DTraceについての2番目の本は、ブランドングレッグの本でもあり、私がどれほど注目に値するか分からない男と共著しています。 私はそれを読みませんでした、私はそれを調べました;これはDTraceに関するレシピの非常に大きなコレクションです。 スクリプトの例とコマンドを提供します。 そして千ページに。 これはあまり興味深い読み物ではないように思えますが、DTraceに非常に興味がある場合は、夕方に目を通しても害はありません。

オンラインリソースの束：

• これは私のブログへのリンクです。
  
• http://www.brendangregg.com/blog/index.html-Brandon Greggのブログ-購読してください。彼はそこに素晴らしいものを投稿します。
  
• http://dtrace.org/blogs/-DTraceブログも読んでいます。興味深い記事があります。
  
• さらに。 https://sourceware.org/systemtap/-SystemTapのサイト。
  
• wikiのFreeBSD- https://wiki.freebsd.org/DTrace
  
• そしてハンドブックでは、DTraceについて読むことができます。 Macを使用している場合でも、とにかくハンドブックに目を通すと、良い例があります-https://www.freebsd.org/doc/handbook/dtrace.html
  
• 最後に、Intelのマニュアル-http://www.intel.com/content/www/us/en/processors/architectures-software-developer-manuals.html 実際には、perfが寄生しているもの、PMCが何であるかを直接読むことができます。これらすべてを測定するための命令がプロセッサーにあります。
  

私にはすべてがあります。

このレポートは、高負荷システムHighLoad ++の開発者の会議で行われた最高のスピーチの1つの転写です 。 HighLoad ++ 2017カンファレンスの1か月未満が残ります。

私たちはすでに会議プログラムを準備しており、現在スケジュールが積極的に形成されています。

今年、「 Right Handles 」タグについて報告します。

• すべてを絞りたい /アンドレイ・アクセノフ
• システム設計の段階でのDDoSセキュリティ / Ramil Khantimirov
• 夕方に何をすべきか、++ i + ++ iがいくらになるか知っているなら /アンドレイ・ボロディン
• コンポーネントライブラリを壊さずに開発する方法 /アーサーウダロフ

また、これらの資料の一部は、高負荷システムHighLoadの開発に関するオンライントレーニングコースで使用されますガイドは、特別に選択された文字、記事、資料、ビデオのチェーンです。私たちの教科書にはすでに30以上のユニークな資料があります。接続してください！