「生産性は機能です。」 スタックオーバーフロー、Marco Cecconiのインタビュー

長年にわたり、.NETアプリケーションに関連する主な問題の1つはパフォーマンスの問題でした。 このトピックに関する最初の記事の1つは2001年に遡ります。

このトピックの関連性は10年以上も失われていません。2011年も、プロファイリングに最適なツールを求めて質問が寄せられています。

これが現代の.NET開発にとって何を意味するのか、そして最大のパフォーマンスを確保するために世界最大の開発者コミュニティが使用するツールについては、Stack OverflowパフォーマンスエンジニアのMarco Cecconiに相談することにしました。

Marco Cecconi、ロンドンのスタックオーバーフローエンジニア。 彼はソフトウェア開発、コーディング、アーキテクチャ、チームワークについて多くのことを書いています。

-Stack Overflowで働いていますが、生産性の観点からプロジェクトの主な「痛みのポイント」に名前を付けられますか？

-それらの2つがあります：一方では、オブジェクトのインスタンス化とガベージコレクションでの作業には非常に注意する必要があり、他方では、SQLサーバーの使用方法、SQLクエリの作成、構築に注意を払う必要がありますテーブルなど

現時点では、これらは最大の注意を払い、生産性に最も影響を与える2つの主要な側面です。

-ソリューションは完全にC＃で構築されていますか、またはC ++、Java、Pythonなどの他の言語の一部がありますか？

-99％のC＃があると言えます。 もちろん、C ++またはCには少しありますが、コードの行ではこれは非常に小さいです。 当然、TypeScriptとJavaScriptがあります。 サーバー上のJavaScriptは、バンドルのコンパイルとコードの縮小に使用されます。 また、SQLを使用していますが、これは別の言語です。 以上です。

-ベールを開けることができますか？他の言語や技術ではなく、C＃でプロジェクトを開発することにしたのはなぜですか？

「この質問に答えて、反対側から少し来てもいいですか？」 スタックオーバーフローは8年間続いています。 この間、1日あたり10万ビューから1か月あたり数十億ビューにまで成長しました。 そして、私たちはまだC＃を使用しています。 では、なぜ他の何かに切り替えなかったのですか？ そして、ここでの答えは、Microsoftからの不健康な献身ではなく、すべてのニーズを満たす非常に優れたランタイム環境に関するものです。 そして、時間を無駄にして他の何かに切り替える理由はありません。 現時点では、私たちにとってはすべてうまくいきます。

-つまり、現時点では、訪問者の急激な流入に対処するために追加の準備金がありますか？

-現時点では、最大容量の5％で作業しています。 20倍の重負荷に耐えることができます。 もちろん、それは難しいことです。常に100％で働きたいとは思わないでしょうが、現時点では5〜10％の何かを持っています。

-それではインタビューを続けるべきですか？ :)明らかにパフォーマンスの問題はありません。

-いいえ、パフォーマンスの問題がたくさんあります。 ただし、パフォーマンスの最適化は、すべてがすでに停止していて、プロセッサーの一定の負荷が数日間80％を下回らない場合にのみ行うことではありません。 5％の負荷があるのはまさに最適化であり、最適化は絶えず長時間のプロセスです。

安全マージン

-OK、特に深刻な問題を思い出せますか？ たぶん、あなたの歴史の中で、あなたの決定の仕事で本当に遅れと中断を経験したとき、市場でいくつかの出来事がありますか？

-いいえ、この規模の問題は一度もありませんでした。 その理由は、私たちの大きな安全マージンです。 私たちはDDoSであっても働きます。 もちろん、自信を持ちすぎてはいけませんが、大規模なDDoS攻撃では、インターネットチャネルが最初に詰まり、何もできませんという印象を受けました。 ログに反映されている特定のイベントがあります。 ポケモンゴーがリリースされたとき、私たちは数日間非常に大きな成長を遂げました。 そして、大統領選挙は著しく低下し、選挙後、訪問者の数は大幅に減少しました。 このようなイベントを追跡できますが、これらのジャンプは標準の100％を超えません。

-ツールの選択に移りましょう。 コードのボトルネックを見つけるためのお気に入りのツールは何ですか？

MiniProfilerという独自のツールがあります。 これはオープンソースであり、 GitHubで見つけることができます。 .NETおよびRubyで動作します。 .NETでは、usingステートメントを使用します。 を使用して、測定するコードブロックを決定します。 呼び出しの時間を測定する場合は、これを使用してパックし、クエリ実行プロファイルを作成できます。 たとえば、リクエストの処理を開始すると開始するタイマーがあり、リクエストの処理が終了すると同じタイマーが停止します。 各データベース、データベースへの各クエリ、ElasticSearchエンジンへのタイマーが存在します。

タイマーは各ページの異なるブロックに設定されているため、質問リストのレンダリング速度とメインページのフッターまたはヘッダーのレンダリング速度を比較および評価できます。 このツールは、カウント結果をコメントとして応答ヘッダーに挿入します。 開発者には、ページの右上隅にページがレンダリングされた時間に関するデータを含む小さなフィールドが表示されます。このフィールドをクリックすると、ページ上の各プロセスの詳細情報が表示されます。

このツールは、特定の問題を検出するように設計されています。 ページを表示するときに遅延がある場合、それが発生する正確な理由を確認できます。 また、ログとともに収集および保存するデータのサブセットも使用します。これにより、SQLクエリを作成し、各ページのパフォーマンス統計を表示できます。

Bosunと呼ばれる他のツールは、時系列アラームシステムです。 メモリ、分散リソースなど、当社が示したパラメータを監視し、これらのパラメータに大幅な変更がある場合にアラームを発生させます。



各SQLクエリを監視する別のシステムがあります。つまり、データベースの統計を収集します。 このおかげで、どのクエリに時間がかかるか、何か間違ったことをしなかった場合、そして一般に何が起こるかが確実にわかります。

別のシステムは、メモリやCPUなどのサーバー操作パラメーターを常に監視します。 すべてのプロジェクトで、すべてのサーバーで発生するすべての特別な状況を追跡できます。

-Telegrafのように見えますか？



-私たちのツールはOpserverと呼ばれ、この問題を解決するために私たち自身が作成したもので、オープンソースです。

-パフォーマンスを最適化するためのアプローチは何ですか。 遅いコードで何をしますか？

-通常、割り当ては「見つけにくい」とは限りませんが、「悪臭がする」-これを行う唯一の方法は、IISのメモリダンプを取得し、そこで発生することと、メモリを占有する理由を直接確認することです。 これは、独自のコードと呼び出されたライブラリの両方で発生する可能性があります。 これは、サードパーティのライブラリと.NETライブラリの両方で発生します。 たとえば、StringBuildersはコンストラクターに1つの割り当てを追加し始めましたが、これはシステムの動作に非常に大きな影響を与えました。

LINQを使用すると、割り当てが発生する場合があります。 LINQは割り当てがひどいです。 時には最適化され、機能することもあれば、機能しないこともあり、すべてが問題なく機能するかどうかを判断することは常に非常に困難です。 これが私たちが観察し追跡している主なものです。

-スタックオーバーフローで使用する特別なツールについて言及しました。 ベンチマークの方法を教えてください。

-実際、ベンチマークはそれほど頻繁には行いません。 私たちにとっての主なことは、コードが実稼働に入るときのコードの動作です。 生産は私たちのベンチマークです。 コードをリリースし、機能するかどうかを確認します。 これがなぜ重要なのかを理解するために、SQLクエリについて考えてください。 不十分に最適化されたSQLクエリを作成したとしましょう。 何かをブロックすることができ、残りは適切に機能するため、このリクエストを問題の原因として具体的にすぐに判断することはできません。 コードが本番環境にある場合、コードと結果の間のリンクは必ずしも明らかではありません。 一般に、本番環境以外でコードを安全にテストするために、できるだけ現実に近い環境を作成することは常に困難です。

-多くの場合、最適化されたコードはずっときれいに見えます

-ほとんどの場合、高性能コードは非常にく、さまざまなハックでいっぱいです。 最適化されたコードでの作業に苦労していませんか？

-はい、最適化はハッキングやループの巻き戻しなどの見苦しいこともありますが、ほとんどの場合、最適化はコードを劣化させるものではありません。 実際、ほとんどの場合、高速コードの方がはるかにきれいです。

私の言うことは愚かに聞こえるかもしれませんが、それが真実であることを保証します。 より少ないコードを記述すれば、より速く動作します。 あなたは文字通り少ないコードを書くので、コンパクトであることがわかります。 同じクラスで、残念ながらHTMLからSQLまですべてを見つけることができます。 そしてそれは非常にコンパクトで、すべてが隣り合っています。 これにより、コードが読みやすくなります。すべてが手元にあるため、コードの他の部分を常に参照する必要がないためです。

-実際、よりコンパクトなコードは読みにくくサポートされていませんか？

-よりコンパクトなコードは実際には理解しやすく、保守が容易になりませんが、外部依存関係のないコードの自給自足により、実際に理解しやすく保守しやすくなります。 私たちのコードの主なものは、自分自身にのみ依存しているように思えます。 ケースをテストするためだけの非常に小さなMockプロジェクト、または数百行のコードしか使用しない非常にコンパクトなプロジェクトを書いているとします。 たぶん、Linkpadを手に取ってそこに物を載せて、非常にコンパクトなのかもしれません。

このコードは非常に明確でなければなりません。 100行のコードがあり、それらをすべて読んで、頭の中に入れて、それがどのように機能するか想像してみてください。 これが私たちが目指していることです。各機能は非常にコンパクトで自律的です。 もちろん、これは常にうまくいくとは限らず、コードはより複雑になることがわかりますが、これは避けられません。 仕事をしている場合の90％で、複雑なコードを書いていないように思えます。 最小限の可動部分で非常にシンプルなものを書いていますが、それは本当にシンプルです。 パフォーマンスに関する講演については、 例とその方法を示します 。 コードは可能な限りシンプルでコンパクトであることがわかります。

-独自のコードだけでなく、パフォーマンスの問題も発生します

-自分のコードだけでなく、パフォーマンスの問題が発生することに気付きました。 環境、ハードウェア、サードパーティのライブラリもあります。 「そのまま」使用する必要がありますか、またはこれを最適化する方法はありますか？

「これは非常によくわかっています。」 すべてのハードウェアは当社が開発しています。 当然のことながら、マザーボードは設計していませんが、すべての要件はSREの特別なユニットによって開発されています。つまり、使用するRAM、メーカー、モデル、電源タップの量です。 すべてが指定されているため、クラウドサービスを使用せず、独自のホスティングを持ち、すべてを制御します。 私たちのタスクと要件に合わせて特別に調整された機械の構築は、生産性の鍵の1つです。

サードパーティのライブラリに関しては、はい、私たちはこの問題に精通しています。 主な質問：何をしているのか、どのツールを使用しているのか、たとえば、私たちが自分で書いて公開したライブラリ。 ほとんどの場合、要件は標準とは大きく異なります。 私たちは常に自分自身のためにライブラリを書き換えています。 たとえば、Redisクライアント、独自のprotobufソリューション、JMSシリアライザーなど、独自のライブラリセットがあります。

-ところで、独自のバージョンのC＃をお持ちですか？

-主にカミソリのテンプレートをコンパイルするための、Roslynベースのコンパイラの独自のバージョンがありますが、使用されるのはローカリゼーションのみです。 必要なものだけをやり直し、言語を拡張しません。 私たちは自分でバニラ言語を使用しています。 言語を変更しない主な理由は互換性であり、Visual Studioやその他すべてを即座に破壊しますが、それは望ましくありません。

-かっこいいですね。

最適化に関して説明したすべてのことを考慮して、開発者がコードの最適化を開始すべきとき、またはまったく開始しないときの特定のシグナルはありますか？

-コードを常に最適化します。 パフォーマンスは機能であり、パフォーマンスの低下はバグです。

-哲学的な質問-ITはお金に関するものだと思います。 作業の最適化に費やす時間を尋ねられた場合、たとえば「40時間」など具体的に答えることができますか？ これらの40時間の間に、ユーザーに機能を実装したり、最適化に費やすことができますが、その必要性は重要ではありません。 これは一種の妥協です。

-私はあなたに同意しません。 リリースにバグがある場合、修正できますか？

「もちろん。」

「まさに」 これは同じです。 パフォーマンスの欠如は修正が必要なバグです。 すべてがシンプルです。

-そして、パフォーマンスが「バグ」になったことを判断する方法は？

-パフォーマンスパラメータを常に監視します。 パフォーマンスが低下していることに気付きましたか？ 問題を見つけて解決してください。 当然、プロセスのためだけに最適化を行う人はいません。 このようにして、パラメータを追跡します。 何かが壊れているか、正常に動作していないことがわかります。 問題を修正します。 特定のケースでは、すべてが単純です。 修復プロセスは簡単ではなく、決定プロセスは簡単です。 たとえば、20ミリ秒ではなくページの読み込みに2秒かかるなど、何かが非効率的に機能する場合は、修正する必要があります。 ユーザーに2秒間待機させることはできません。 一部の企業はそれを買う余裕があるかもしれません。 私たちは違います。

-鉄を最適化する方法はありますか？ たとえば、マルチスレッディング、ハイパースレッディング、GPUコンピューティング？

-使用します。 あるケースでは、並列計算を要求するためにCUDAを使用しました。 通常、多くの並列処理を使用しますが、主にビルド​​などのタスクに使用します。 複数のファイルを処理する場合、可能な限り並列計算とマルチスレッドを使用します。 コードの観点から、同期を使用して、データベースの重みなどのすべての外部の重みを回避しようとします。 しかし、これが真のマルチスレッドと呼ばれるものかどうかはわかりません。 考えさせてください...

ほとんどの場合、Webサーバーの最適な戦略は最大速度であり、異なるコアに拡散する必要はありません。 なぜなら、私たちは他のユーザーからの一定数のリクエストと常に競争しているからです。 この場合にCPUを使用するための最良のオプションは、おそらくIASのカーネル全体に要求の分散を残すことです。 バックエンドでライブラリまたはアプリケーションを使用する場合、リクエストが少なくなり、リクエストごとにより多くのカーネルを使用する方がよいため、これはより理にかなっています。 実際、CUDAが作成されたのはこのためです。 スレッド数を増やすとパフォーマンスも向上することに気づいたので、「試してみましょう」と言いました。 別の会話、私はこれのために正確に何を与えます。

-「DO NOT ROBOT」アイコンについて何か聞きました。 これについて何か教えてもらえますか？

-Stack Overflowは開発者向けのユーザーコミュニティです。開発者には、「評判」と呼ばれるポイントを割り当てることで開発者に報酬を与え、バッジも提供します。 このようにして、私たちは人々を励まし、彼らがコミュニティに役立つと考えることをするように励まします。 たとえば、スマートな質問をすると、アイコンが表示されます。 スマートな質問によく答えると、アイコンも表示されます。 「DO NOT ROBOT」バッジを使用すると、会議に出席するだけでなく、スピーカーの一部と来てコミュニケーションをとる人々に報いることができます。

最近、私たちは多くのコメントをし、多くの会議を開催しています。 また、人々は質問をするのは恥ずかしくて会議に出席しないことに気づきました。多分彼らは内向的かもしれないし、彼らは私たちにアクセスできないと思うかもしれません。 そのため、人々をやる気にさせるアイコンを作成しました。 実生活で会うと、アイコンを有効にする特別なコードを取得します。 バッジは非常にまれであり、それを取得する唯一の方法は私たちと会うことです。 ヘルシンキとモスクワで配布したいと考えています。

-すべての.NETおよびC＃開発者に何をお勧めしますか？

-あなたが好きなことをして、刺激を受けます。 開発は単なる仕事ではないことが非常に重要です。 開発は創造的な課題でもあります。たとえば、自動車整備士とは異なり、毎日何か新しいことに直面しています。 これは、常に新しいことを行い、常に新しいことを学ぶことを意味します。 専門的に仕事をするだけでなく、情熱を持って仕事をすることも重要です。 仕事への情熱を育ててください。これは常に「から」への仕事だけではなく、さらなる成果へとあなたを押し進めます。 何があなたを幸せにするか考えて、それをしてください。

---

ちなみに、12月9日に開催される「DotNext」カンファレンスでは、 Marcoを聴いて「DO NOT ROBOT」バッジを取得できます。

次のレポートもパフォーマンスの問題に専念します。

。.NET 開発者向けのWinDbg Superpowers
⬝ そして、サーバーは100,000リクエスト/秒からロールオーバーしませんか？
⬝ エンドツーエンドJIT
runtimeランタイムでの.NETコードの変更