機械学習でDevOpsを最適化する方法

現在人気のあるDevOpsソフトウェア開発方法論は、開発スペシャリストと情報および技術サービスのスペシャリストとの積極的な対話と統合を目的としています。 通常、DevOpsは、ワークフロー、オーケストレーション、監視、トラブルシューティング、またはその他のタスクを簡素化するために使用できる大量のデータを生成します。 問題は、このデータが多すぎることです。 サーバーログだけで、週に数百メガバイトが蓄積される可能性があります。 監視ツールを使用すると、短時間でメガバイトとギガバイトのデータが生成されます。

結果は予測可能です。開発者はデータ自体を直接見るのではなく、しきい値を設定します。つまり、例外を探し、データを分析しません。 しかし、最新の分析ツールを使用しても、何を探すべきかを知っておく必要があります。



DevOpsプロセスで作成されるデータのほとんどは、アプリケーションの展開に関連しています。 アプリケーション監視は、サーバーログを補充し、エラーメッセージを生成し、トランザクションを追跡します。 このデータを分析し、リアルタイムでいくつかの結論に達するための唯一の合理的な方法は、機械学習（ML）を使用することです。

ほとんどの機械学習システムは、データ処理用のマルチレベルアルゴリズムのセットであるニューラルネットワークを使用します。 それらは、既知の結果を持つ以前のデータを入力することにより訓練されます。 アプリケーションは、アルゴリズムによって得られた結果を既知の結果と比較します。 次に、アルゴリズムの係数を調整して、結果のシミュレーションを試みます。

これには時間がかかる場合がありますが、アルゴリズムとネットワークアーキテクチャが正しく構築されている場合、機械学習システムは実際の結果と一致する結果を生成し始めます。 実際、ニューラルネットワークはデータと結果の関係を「研究」またはモデル化しています。 このモデルを使用して、将来のデータを評価できます。

DevOpsを支援するML

機械の分析と学習のアルゴリズムにより、情報オブジェクト（データベース、アプリケーションなど）を監視し、システムの正常な（障害のない）機能のプロファイルを作成できます。 たとえば、応答時間の増加、アプリケーションのフリーズ、トランザクションのスローダウンなどの逸脱（異常）が発生した場合、システムはこの状況を修正し、これに関する通知を送信します。これにより、このような異常を防止する予防ポリシーを構築できます。


DevOpsは、ソフトウェア開発プロセスと運用プロセスの組み合わせです。 そのコンポーネントは、プロセス、人、製品です。

そのようなシステムを訓練するのはどれくらい難しいでしょうか、どれくらい時間がかかりますか、専門家の努力ですか？ 基本的に、トレーニングは必要ありません-プログラミングの助けを借りずにデータセットで独立して学習し、データセットの関係を予測できます。 これにより、「人的要因」を排除し、手動プロセス（データの相関関係、依存関係などを特定するなど）を排除することでシステムを高速化できます。

システム自体がオブジェクトの正常な機能のプロファイルを構築し、追加の調整にはパラメーター化メカニズムで十分です。 ただし、機械学習は非常に強力なツールですが、データの蓄積が必要です。 時間が経つにつれて、誤検知の数は減少します。 「微調整」の助けを借りて、その数をほぼ1桁減らすことができます。

調整メカニズムは、アルゴリズムをより正確にし、特定のニーズに合わせて調整するのに役立ちます。 したがって、時間の経過とともに、統計情報が蓄積されるため、精度はさらに向上します。


DevOpsと機械学習（ML）の相乗効果により、予測分析、IT運用分析（ITOA）、アルゴリズムIT運用（AIOps）などの新しい可能性が開かれます。

アルゴリズム的アプローチは、異常の特定、データのクラスタリングと相関、予測を目的としています。 多くの質問に対する答えを見つけるのに役立ちます。 問題の原因は何ですか？ それを防ぐ方法は？ この動作は正常ですか、異常ですか？ アプリケーションで何を改善できますか？ すぐに何を探すべきですか？ 負荷を分散する方法は？ DevOpsには、機械学習の応用分野が数多くあります。

機械学習アプリケーション	説明
アプリケーション配信追跡	DevOpsツールのアクティビティデータ（たとえば、Jira、Git、Jenkins、SonarQube、Puppet、Ansibleなど）は、配信プロセスの透明性を保証します。 MLを使用すると、このデータの異常を明らかにすることができます-大量のコード、長いビルド時間、コードのリリースと検証の観点からの増加、リソースの非効率的な使用、タスクの頻繁な切り替え、プロセスの減速など、ソフトウェア開発プロセスの多くの「偏差」を特定します
アプリケーション品質保証	テスト結果を分析することにより、MLは新しいエラーを識別し、そのような検出に基づいてテストパターンのライブラリを作成できます。 これにより、各リリースの包括的なテストが提供され、提供されるアプリケーション（QA）の品質が向上します。
行動パターン	ユーザーの行動パターンは、指紋のように一意にすることができます。 開発および運用にMLの動作を適用すると、悪意のあるアクティビティである異常を特定するのに役立ちます。 たとえば、重要なリポジトリの異常なアクセスパターン、または既知の「悪意のある」パターン（バックドアなど）を意図的または誤って使用するユーザー、不正なコードの展開、知的財産の盗用など。
運営管理	運用中のアプリケーションの分析は、大量のデータ、ユーザー数、トランザクションなどを処理する必要があるため、機械学習が本当に実証できる領域です。DevOpsスペシャリストは、MLを使用してユーザーの動作を分析し、リソースを使用し、帯域幅を使用できますトランザクション機能など 「異常な」パターン（たとえば、DDoS、メモリリークなどの攻撃）を後で検出するため。
通知管理	MLのシンプルで実用的な使用法は、オペレーティングシステムで大量の警告（アラーム）を制御することです。 これは、共通のトランザクション識別子、共通のサーバーセット、または共通のサブネットが原因であるか、理由がより複雑であり、「既知の良い」および「既知の悪い」警告を認識するために時間をかけて「トレーニング」システムを必要とします。 これにより、アラートをフィルタリングできます。
トラブルシューティングと分析	これは、最新の機械学習技術が優れたパフォーマンスを示しているもう1つの分野です。 MLは、「既知の問題」や一部の未知のものを自動的に検出してソートできます。 たとえば、MLツールは「通常の」処理で異常を検出し、ログをさらに分析して、この問題を新しい構成または展開に関連付けます。 他の自動化ツールは、MLを使用して操作を防止し、チケット（またはチャットウィンドウ）を開いて、適切なリソースに割り当てます。 やがて、MLはさらに優れたソリューションを提供できるようになります。
操作障害の防止	MLは、中断を防ぐための単純なリソース計画をはるかに超えています。 これは、たとえば、望ましいレベルのパフォーマンスを達成するための最適な構成を予測するために使用できます。 新しい機能を使用する顧客の数。 インフラストラクチャ要件など。MLは、システムおよびアプリケーションの「初期兆候」を識別し、開発者が修正を開始したり、問題を事前に回避したりできるようにします。
ビジネス影響分析	DevOpsで成功するには、ビジネス目標に対するコードリリースの影響を理解することが重要です。 実際の使用状況インジケーターを合成および分析することにより、MLシステムは、アプリケーションで問題が発生したときに「早期警告システム」を実装するための良いモデルと悪いモデルを検出できます（たとえば、ショッピングカートが放棄されたり、顧客の「ルート」が増えたりした場合の頻度の増加を報告する）。

DevOpsとML：複雑なデータセットの分析、依存関係とパターンの識別、予測分析、運用分析、人工知能など

機械学習は、大量のデータの使用を可能にし、情報に基づいた結論を下すのに役立ちます。 統計的に有意な異常の識別により、インフラストラクチャオブジェクトの異常な動作を検出できます。 さらに、機械学習により、プロセスのさまざまな異常だけでなく、違法行為も特定できます。

共通のパターンに基づいてレコードを認識してグループ化すると、重要なデータに集中し、二次情報を「カット」するのに役立ちます。 エラーの前と後のレコードを分析すると、問題の根本原因の検索効率が向上します;問題を特定するためのアプリケーションの継続的な監視は、運用中の迅速な除去に貢献します。

識別、ユーザーデータ、情報セキュリティ、診断、トランザクションデータ、メトリック（アプリケーション、ホスト、仮想マシン、コンテナー、サーバー）-ユーザーレベル、アプリケーション、ミドルウェアレイヤー、仮想化レベル、インフラストラクチャのデータ-これらはすべて、機械学習に最適であり、予測可能なフォーマット。

DevOpsの機能強化

商用アプリケーションを購入するか自分で作成するかに関係なく、機械学習を使用してDevOpsを改善する方法がいくつかあります。

方法	彼はどういう意味ですか
しきい値からデータ分析まで	データが非常に多いため、DevOps開発者はデータセット全体を確認して分析することはほとんどありません。 代わりに、いくつかのアクションの条件であるしきい値を設定します。 実際、彼らは収集されたデータのほとんどを落とし、逸脱に焦点を合わせています。 機械学習アプリケーションはさらに多くのことができます。 これらはすべてのデータでトレーニングでき、動作モードでは、これらのアプリケーションはデータストリーム全体を表示して結論を​​出すことができます。 これは、予測分析に役立ちます。
間違いではなくトレンドを検索	前述のことから、すべてのデータに従って学習する場合、機械学習システムは特定された問題だけでなく表示することもできます。 データの傾向を分析することにより、DevOpsスペシャリストは、時間の経過とともに起こること、つまり予測を行うことができます。
データセットの分析と相関	データの重要な部分は時系列であり、1つの変数を追跡することは難しくありません。 しかし、多くの傾向はいくつかの要因の相互作用の結果です。 たとえば、複数のトランザクションが同時に同じアクションを実行すると、応答時間が短くなる場合があります。 このような傾向を肉眼で、または従来の分析を使用して検出することはほとんど不可能です。 ただし、適切にトレーニングされたアプリケーションでは、これらの相関と傾向が考慮されます。
新しい開発指標	ほとんどの場合、配信速度、検索およびエラー修正の指標に関するデータに加えて、継続的な統合システムから取得したデータを収集します。 データの組み合わせを見つける可能性は膨大です。
履歴データのコンテキスト	DevOpsでの最大の課題の1つは、自分の間違いから学ぶことです。 一定のフィードバック戦略があったとしても、おそらく、遭遇した問題とそれらを調査するために何をしたかを説明するウィキのようなものです。 問題の一般的な解決策は、サーバーを再起動するか、アプリケーションを再起動することです。 機械学習システムは、データを分析し、最後の日、週、月、または年に何が起こったかを明確に示すことができます。 季節的または毎日の傾向を確認できます。 彼らはいつでも私たちのアプリケーションの写真を提供してくれます。
根本原因の検索	この機能は、アプリケーションの品質を向上させるために重要であり、開発者は可用性またはパフォーマンスの問題をトラブルシューティングできます。 多くの場合、障害やその他の問題は、アプリケーションの復元の問題を迅速に解決するため、完全には調査されません。 場合によっては再起動して復元しますが、問題の根本原因は失われます。
監視ツール間の相関	DevOpsは多くの場合、いくつかのツールを使用してデータを表示および処理します。 それらのそれぞれは、さまざまな方法でアプリケーションの操作性と生産性を制御しますが、さまざまなツールのこのデータ間の関係を見つける能力に欠けています。 機械学習システムは、これらの異種データストリームをすべて収集し、それらをソースデータとして使用し、アプリケーションの状態のより正確で信頼性の高い画像を作成できます。
オーケストレーションの効果	オーケストレーションプロセスメトリックを使用すると、機械学習を使用して、このオーケストレーションの実行効率を判断できます。 非効率は、不適切な方法または不十分なオーケストレーションの結果である可能性があるため、これらの特性の研究は、ツールの選択とプロセスの編成の両方に役立ちます。
特定の時点での障害の予測	監視システムが障害中に特定の兆候を示すことがわかっている場合、機械学習アプリケーションは、特定の種類の障害の前提条件としてこれらのパターンを探す場合があります。 この失敗の原因を理解している場合、それを回避するための手段を講じることができます。
特定のメトリック最適化	稼働時間を増やしたいですか？ パフォーマンス基準を維持しますか？ 展開間の時間を短縮しますか？ 適応型機械学習システムが役立ちます。 適応システム-特定の回答や結果のないシステム。 彼らの目標は、入力データを取得し、特定の特性を最適化することです。 たとえば、航空券の発券システムは、航空券の価格を1日に3回まで変更することで、飛行機を埋め、収益を最適化しようとします。 同じ方法でDevOpsプロセスを最適化できます。 ニューラルネットワークは、値を最大化（または最小化）し、既知の結果を達成しないようにトレーニングされます。 これにより、システムは動作中にパラメータを変更して、徐々に最良の結果を得ることができます。

最終的な目標は、DevOpsの方法を概念から展開、廃止に至るまで測定可能な方法で強化することです。


機械学習システムは、さまざまなデータをリアルタイムで処理し、DevOps開発者がプロ​​セスを改善してアプリケーションの動作をよりよく理解するために使用できる回答を提供できます。

プロセス加速

その結果、ソフトウェア開発プロセスと運用プロセスを組み合わせたより高速なDevOpsが実現します。 数週間や数か月ではなく、数日に短縮されます。


DevOpsサイクル（アイデア、作成、製品リリース、測定、データ収集、探索）には加速が必要です。

「ヒューマンファクター」は、運用プロセス（Ops）に大きく影響します。 人は、さまざまなソースからのデータを分析するタスク、それらの相関関係および解釈を任されています。 この場合、さまざまなツールが使用されます。 このようなタスクは、複雑で面倒で時間がかかります。 自動化はプロセスを高速化するだけでなく、データの異なる解釈を排除します。 これが、最新の機械学習アルゴリズムをDevOpsデータに適用することが非常に重要な理由です。


機械学習は、開発者および保守の専門家（開発および運用）に単一のインターフェースを提供します。

ユーザーデータ、トランザクションデータなどの相関は、さまざまなソフトウェアコンポーネントの動作の異常を検出するための最も重要なツールです。 そして、予測は管理の観点から非常に重要であり、アプリケーションのパフォーマンスを監視します。 これにより、予防策を講じたり、今何に注意を払う必要があるのか​​、明日何が起こるのかを理解したり、負荷のバランスを取る方法を見つけたりできます。


製品の配信サイクルは、シンプルで透過的かつ高速でなければなりませんが、開発と運用の「交差点」で競合が発生することがよくあります。

さらに、機械学習メカニズムを備えたシステムは、開発者と運用サービス（開発および運用）の間の障壁を取り除きます。 アプリケーションのパフォーマンス診断を通じて、開発者は貴重な診断データにアクセスできます。


運用部門と開発チームは、互いに補完するために協力します。 リリースサイクルが短縮および加速され、調整とフィードバックが改善され、テスト時間が短縮されます。

Docker、マイクロサービス、クラウドテクノロジー、およびアプリケーションを展開し、高い信頼性を提供するためのAPIを実装するには、新しいアプローチが必要です。 したがって、スマートツールを使用することが重要です。DevOpsツールプロバイダーは、製品にスマート機能を統合して、ソフトウェア開発プロセスをさらに簡素化および高速化します。

もちろん、MLはインテリジェンス、経験、創造性、勤勉の代わりではありません。 しかし今日、私たちはすでにその応用の幅広い可能性と将来のさらに大きな可能性を見ています。