コード内のエラーを見つけるための機械学習：JetBrains Researchでのインターンシップ方法

最近、Googleでインターンシップを取得する方法について話しました。 Googleに加えて、生徒たちはJetBrains、Yandex、Acronis、その他の企業で手を試します。

この記事では、 JetBrains Researchでのインターンシップの経験を共有し、そこで解決するタスクについて説明し、機械学習がプログラムコードのバグを探す方法について詳しく説明します。

私自身について

私の名前はエゴールボゴモロフです。私はサンクトペテルブルクHSEの応用数学とコンピューターサイエンスの学士号の4年生です。 最初の3年間、私はクラスメートと同じようにアカデミック大学で学び、9月から学部全体で経済学部に移りました。

2年目以降、Google Zurichで夏のインターンシップに参加しました。 そこで、3か月間、Androidカレンダーチームで働いていました。ほとんどの時間は、フロントエンドと少しのUX研究を行っていました。 私の仕事の中で最も興味深い部分は、カレンダーインターフェイスが将来どのように見えるかに関する研究でした。 インターンシップの終わりまでに私が行ったほとんどすべての作業が、アプリケーションのメインバージョンで終了したことは楽しいことがわかりました。 しかし、Googleでのインターンシップのトピックは以前の投稿で非常に詳しく説明されているため、この夏に何をしたかについてお話します。

JB Researchとは何ですか？

JetBrains Researchは、プログラミング言語、応用数学、機械学習、ロボット工学など、さまざまな分野で活動する研究所のセットです。 各エリア内には、いくつかの科学グループがあります。 私の指示により、機械学習の分野でのグループの活動に最も精通しています。 それぞれが毎週のセミナーを開催し、グループメンバーまたは招待されたゲストが自分の仕事や分野の興味深い記事について話します。 サンクトペテルブルクのHSEキャンパスの本館から道路を渡って行くため、HSEからの多くの学生がこれらのセミナーに参加します。

私たちの学士課程では、研究活動（R＆D）に義務付けられており、研究結果を年に2回発表しています。 多くの場合、この仕事は徐々に夏のインターンシップに発展します。 これは私の研究活動でも起こりました。今年の夏、研究監督者のティモフェイ・ブリクシンと一緒に研究室「ソフトウェア工学の機械学習法」でインターンシップをしました。 この研究室で取り組んでいるタスクには、自動リファクタリングの提案、プログラマー向けのコードスタイルの分析、コード補完、プログラムコードのエラーの検索などがあります。

私のインターンシップは2か月（7月と8月）続き、秋には研究の枠組みの中で割り当てられたタスクに取り組み続けました。 私はいくつかの分野で働いていましたが、最も興味深いのは、私の意見では、コード内のバグの自動検索でした。それについてお話したいと思います。 出発点はマイケル・プラデルによる記事でした 。

自動バグ検索

バグは今どのように検索されますか？

バグを探す理由は多かれ少なかれ明らかです。 彼らの現在の様子を見てみましょう。 最新のバグ検出器は、主に静的コード分析に基づいています。 エラーのタイプごとに、以前に気づいたパターンを探して、それを判別できます。 次に、誤検知の数を減らすために、個々のケースごとに発明されたヒューリスティックが追加されます。 パターンは、コードによって構築された抽象構文ツリー（AST）と、制御フローまたはデータのグラフの両方で検索できます。

int foo() { if ((x < 0) || x > MAX) { return -1; } int ret = bar(x); if (ret != 0) { return -1; } else { return 1; } } 

コードとその上に構築されたツリー。

これがどのように機能するかを理解するために、例を考えてみましょう。 バグの種類は、C ++で==の代わりに==を使用することです。 次のコードを見てみましょう。

 int value = 0; … if (value = 1) { ... } else { … } 

条件式でエラーが発生しましたが、変数への値の割り当ての最初の=は正しいです。 これがパターンの由来です。ifの条件内で割り当てが使用される場合、これは潜在的なバグです。 ASTでこのようなパターンを探して、エラーを検出して修正できます。

 int value = 0; … if (value == 1) { ... } else { … } 

より一般的な場合、エラーを説明する方法をそれほど簡単に見つけることはできません。 オペランドの正しい順序を決定したいとします。 繰り返しますが、コードの断片を見てください。

 for (int i = 2; i < n; i++) { a[i] = a[1 - i] + a[i - 2]; } 

 int bitReverse(int i) { return 1 - i; } 

前者の場合、1-iの使用は誤りであり、後者では完全に正しいものでした。これは文脈から明らかです。 しかし、パターンの形でそれを記述する方法は？ エラーの種類が複雑になるため、コードのより大きなセクションを検討し、個々のケースをますます分析する必要があります。

最後の動機付けの例：有用な情報は、メソッドと変数の名前にも含まれています。 いくつかの手動で指定された条件で表現することはさらに困難です。

 int getSquare(int xDim, int yDim) { … } int x = 3, y = 4; int s = getSquare(y, x); 

xはyDimよりもxDimに似ていることがわかっているため、関数呼び出しの引数が混同されている可能性が高いことを人は理解しています。 しかし、これを検出器に報告する方法は？ 「変数名は引数名の接頭辞です」という形式のヒューリスティックを追加できますが、xは高さよりも幅よりも頻繁であるため、もはや表現しないと仮定します。

合計：エラーを見つけるための最新のアプローチの問題は、手で多くの作業を行わなければならないことです：パターンを決定し、ヒューリスティックを追加するため、検出器に新しいタイプのエラーのサポートを追加するのは時間がかかります。 さらに、開発者がコードに残した情報の重要な部分である変数とメソッドの名前を使用することは困難です。

機械学習はどのように役立ちますか？

お気づきかもしれませんが、多くの例ではエラーは人に見えますが、正式に記述するのは困難です。 そのような状況では、機械学習のテクニックが役立つことがよくあります。 関数呼び出しで再配置された引数の検索について詳しく調べ、機械学習を使用してそれらを検索するために必要なものを理解しましょう。

1. バグのない多数のコードサンプル
2. 特定のタイプのエラーを含む大量のコード
3. コードフラグメントをベクトル化する方法
4. エラーのあるコードとないコードを区別するために教えるモデル

パブリックドメインに配置されたほとんどのコードで、関数呼び出しの引数が正しい順序であることを期待できます。 したがって、バグのないサンプルコードの場合は、大きなデータセットを使用できます。 元の記事の著者の場合、JS 150K（Javascriptで15万ファイル）、私たちの場合、Pythonの同様のデータセットでした。

バグのあるコードを見つけるのははるかに困難です。 しかし、私たちは他の誰かの間違いを探すことはできませんが、自分でやるのです！ エラーの種類については、適切なコードに従って破損する関数を指定する必要があります。 この場合、関数呼び出しの引数を再配置します。

コードをベクトル化する方法は？

多くの良いコードと悪いコードで武装して、私たちは誰かに何かを教える準備がほとんどできています。 その前に、まだ質問に答える必要があります：コードフラグメントをどのように表現するか？

関数呼び出しは、メソッドの名前、そのメソッドの名前、変数に渡される引数の名前とタイプのタプルとして表すことができます。 個々のトークン（変数とメソッドの名前、コードで見つかったすべての「単語」）をベクトル化する方法を学習すれば、目的のトークンのベクトルの連結を取得して、フラグメントに必要なベクトルを取得できます。

トークンをベクトル化するために、通常のテキストの単語がどのようにベクトル化されるか見てみましょう。 最も成功した人気のある方法の1つは、2013年に提案されたword2vecです。



それは次のように機能します。ネットワークで、テキスト内でその隣に表示される他の単語を単語で予測することを教えます。 同時にネットワークは、辞書のサイズの入力層、取得したいベクトル化のサイズの隠れ層、および辞書のサイズの出力層のように見えます。 トレーニング中に、ネットワークには問題の単語（キツネ）の代わりに1単位の入力単位ベクトルが供給され、出力では、この単語の周囲のウィンドウ内で発生する単語（クイック、ブラウン、ジャンプ、オーバー）を取得します。 この場合、ネットワークは最初にすべての単語を隠れ層のベクトルに変換してから、予測を行います。

結果として得られる個々の単語のベクトルには、優れた特性があります。 たとえば、類似した意味を持つ単語ベクトルは互いに近く、ベクトルの合計と差は、単語の「意味」の加算と差です。

コード内でトークンの同様のベクトル化を行うには、何らかの方法で予測される環境を設定する必要があります。 それらは、ASTからの情報である可能性があります：周囲の頂点のタイプ、遭遇したトークン、ツリー内の位置。

ベクトル化を受信すると、どのトークンが互いに類似しているかを確認できます。 これを行うには、それらの間の余弦距離を計算します。 その結果、Javascriptに対して次の隣接ベクトルが取得されます（数値はコサイン距離です）。



先頭に追加されるIDとLITは、トークンが識別子（変数、メソッドの名前）であるか、リテラル（定数）であるかを示します。 近接性には意味があることがわかります。

分類器トレーニング

個々のトークンのベクトル化を受け取ると、潜在的なエラーのあるコードのビューを取得するのは非常に簡単です。これは、トークンを分類するために重要なベクトルの連結です。 2層のパーセプトロンは、ReLUをアクティベーション関数として使用し、オーバーフィットを減らすためのドロップアウトを使用してコードの一部でトレーニングされます。 学習は迅速に収束し、結果のモデルは小さく、毎秒数百の例の予測を行うことができます。 これにより、後で使用することができます。これについては後で説明します。

結果

得られた分類子の品質評価は、2つの部分に分割されました。多数の人為的に生成された例の評価と、予測確率が最も高い少数（各検出器につき50）の例の手動検証です。 3つの検出器の結果（再配置された引数、2項演算子と2項オペランドの正確性）は次のとおりです。



予測されたエラーの一部は、従来の検索方法では見つけるのが難しいでしょう。 p.doneの呼び出しでresとerrを再配置した例：

 var p = new Promise (); if ( promises === null || promises . length === 0) { p. done (error , result ) } else { promises [0](error, result).then( function(res, err) { p.done(res, err); }); } 

エラーがなかった例もありましたが、コードを理解しようとする人を誤解させないように変数の名前を変更する必要があります。 たとえば、幅とそれぞれを追加するのは良い考えではないようですが、バグではないことが判明しました。

 var cw = cs[i].width + each; 

Pythonの移植

Michael Pradelの作業をjsからpythonに移植し、上記の方法に基づいて検査を実装するPyCharmのプラグインを作成することに関与しました。 Python 150Kデータセットを使用しました（GitHubで利用可能な15万のPythonファイル）。

まず、Pythonにはjavascriptよりも多くの異なるトークンがあることが判明しました。 jsでは、最も人気のある10,000個のトークンが遭遇するすべての90％以上を占めましたが、Pythonでは約40,000個を使用する必要がありました。これにより、ベクター内のトークンのサイズが増加し、プラグインへの移植が困難になりました。

第二に、Pythonで関数呼び出しの誤った引数の検索を実装し、結果を手動で確認すると、jsの結果とは異なるエラー率が90％を超えました。 理由を理解した結果、javascriptでは呼び出しと同じファイルでより多くの関数が宣言されていることが判明しました。 私は、記事の著者の例に従って、最初は他のファイルからの関数の宣言を許可しませんでした。

8月末に、Pythonの実装を完了し、プラグインの基礎を書きました。 プラグインは引き続き開発されており、現在、私たちの研究室の学生Anastasia Tuchinaがこれに取り組んでいます。

リポジトリwikiでプラグインの動作を試す手順を見つけることができます。

githubのリンク：

Pythonを実装したリポジトリ
プラグイン付きのリポジトリ