機械学習を完全にサポートするためにJavaで行う必要があること

こんにちは同僚！

ML / DLの分野における今後のイノベーションに関する最新ニュースから：

Nishant Shakla、「Tensorflowによる機械学習 」-レイアウトの本、1月に店舗で発売予定

Delip Rao、Brian McMahan、「 PyTorchでの自然言語処理 」-契約が調印され、1月に翻訳を開始する予定です。

これに関連して、私たちは再び痛みを伴うトピック、つまりJava言語でのML / DLテーマの貧弱な研究に戻りたかったのです。 これらのJavaソリューションとアルゴリズムは明らかに未熟であるため、私たちはかつてGibsonとPattersonのDL4Jの本を放棄することを決めました。今日公開されたHumphrey Sheilの記事は、おそらく正しいことを示唆しています。 Java言語が機械学習でPythonと最終的に競合する方法に関する著者の考えを知ることができます。

最近、私は企業における機械学習と深層学習（ML / DL）の現在と未来について講演しました。 大企業の場合、適用されるトピックや問題は、研究会議よりも重要です。たとえば、チームと私がMLを使い始める方法や、MLを運用中のシステムに最適に統合する方法などです。 次に、Javaと機械学習に関するパネルディスカッションを開始しました。

Java言語は、機械学習セグメントには実質的に存在しません。 Javaで記述されるMLフレームワークはほとんどありません（ DL4Jがありますが、個人的にはそれを使用する人はいません。MXNetはScalaにAPIがありますが、Javaにはありません。このフレームワーク自体はJavaで書かれていません） 。 Tensorflowには不完全なJava APIがありますが、Javaはエンタープライズ開発において大きなシェアを占めています。過去20年にわたって、金融サービス、電子取引、オンラインストア、通信-リスト-永遠に続くことができます。 機械学習では、「最初の同等」はJavaではなくPythonです。 個人的には、PythonとJavaの両方でのプログラミングが大好きですが、 フランクグレコは興味深い質問を作成して考えさせてくれました。

JavaがMLでPythonと競合する必要があるのはなぜですか？ 真剣なMLサポートを思い起こさせるタスクを引き受けてみませんか？

それは重要ですか？

このトピックを正当化しましょう。 1998年以来、Java言語はプレミアリーグに含まれていました。それがなければ、企業には進化的で革命的なイベントはありませんでした。 Webテクノロジとモバイルテクノロジ、ブラウザとネイティブソリューションの比較、メッセージングシステム、i18nとl10nのグローバリゼーションサポート、リレーショナルデータベースからElasticsearch

このレベルの無条件のサポートは、Javaコマンドで開発された非常に健全な文化を提供します。「できる」、「袖をまくり、コードを書く」です。 Java開発者の優れたチームが補足したり置き換えたりすることのできない魔法のようなコンポーネントやAPIはありません。

しかし、この原則は機械学習では機能しません。 ここで、Javaコマンドには2つのオプションがあります。

1. Pythonでの再トレーニング/再トレーニング。
2. サードパーティAPIを使用して、既存のエンタープライズシステムに機械学習機能を追加します。

これらのオプションはどれも真に無害とは言えません。 1つ目は、事前に多くの時間と投資を必要とし、さらに継続的なサポートコストが必要です。 2番目のオプションでは、サプライヤに依存するリスク、サプライヤのサポートを失うリスク、およびサードパーティのコンポーネントで作業する必要があり（同時にネットワーク移行の価格を支払う）、重大なセキュリティ要件が存在する可能性があるシステムに移行するリスクがあり、情報を共有する必要があります組織外の誰かによって。 状況によっては、これは受け入れられません。

この場合の最も破壊的なものは（私の意見では） 文化的悪化の可能性です。チームが理解できない、または維持できないコードを変更できないため、責任が曖昧になり、主要な作業を他の人に委任する必要があります。 Java開発者のみで構成されるチームは、次の大きな波を逃すリスクを負います。それは、エンタープライズコンピューティング、つまり機械学習の波にあふれます。

そのため、機械学習の第一級のサポートが言語とJavaプラットフォームに現れることが重要であり、望ましいです。 そうしないと、今後5〜10年で、MLがより適切にサポートされる他の言語にJavaが置き換わるリスクがあります。

なぜMLでPythonがそれほど支配的なのですか？

まず、Pythonが機械学習とディープラーニングのリーダーになった理由について説明しましょう。

私はそれが完全に無邪気な機能で始まったのではないかと疑っています-リストスライスのサポート このようなサポートは拡張可能です__getitem__および__setitem__メソッドを実装するPythonクラスは、この構文を使用してカットできます。 次のリストは、このPython機能がいかにシンプルで自然かを示しています。

 a = [1, 2, 3, 4, 5, 6, 7, 8] print(a[1:4]) # [2, 3, 4] –      print(a[1:-1]) #  [2, 3, 4, 5, 6, 7] -  0-    print(a[4:]) # [5, 6, 7, 8] –      print(a[:4]) # [1, 2, 3, 4] –      print(a[:4:2]) # [1, 3] (    ) 

もちろん、これだけではありません。 Pythonコードは、「古い」Javaコードに比べてはるかにコンパクトで簡潔です。 例外はサポートされていますが、チェックされていません。開発者は、消耗品として適切なPythonスクリプトを簡単に記述できます。Javaの世界観「すべてがクラス」にdrれずに「仕組み」を試してください。 Pythonは簡単に参加できます。

しかし、私の意見では、優位性の最も重要な要因（Python 2.7とPython 3の間の接続を維持するためにPythonコミュニティがどんな努力をしているのかを私が妨げることはありません）は、操作のためのはるかに優れた設計と高速のライブラリを作成できたことです数字付き-NumPy。 Numpyは、N次元配列のオブジェクトであるndarrayを中心に構築されます。 私はドキュメンテーションを引用します： NumPyの主要なオブジェクトは同種の多次元配列です。 これは、正の整数のタプルによってインデックスが付けられた、すべて同じタイプの要素（通常は数字）のテーブルです。 NumPyのすべての作業は、データをndarrayに書き込み、その後の操作に基づいています。 NumPyは、さまざまなインデックス作成、ブロードキャスト、速度向上のためのベクトル化オプションをサポートしており、通常、開発者は大きな数値配列を簡単に作成および操作できます。

次のリストは、ndarrayでのインデックス作成とブロードキャストを実際に示しています。これらはML / DLの主要な操作です。

 import numpy as np #    a = np.array([1.0, 2.0, 3.0]) b = 2.0 c = a * b print(c) #  [ 2. 4. 6.] -  b   /        c #2-d (   2)   NumPy –     - .e.  > 2 y = np.arange(35).reshape(5,7) print(y) # array([[ 0, 1, 2, 3, 4, 5, 6], # [ 7, 8, 9, 10, 11, 12, 13], # [14, 15, 16, 17, 18, 19, 20], # [21, 22, 23, 24, 25, 26, 27], # [28, 29, 30, 31, 32, 33, 34]]) print(y[0,0]) #     –    ,  0 print(y[4,]) #    4: array([28, 29, 30, 31, 32, 33, 34]) print(y[:,2]) #    2: array([ 2, 9, 16, 23, 30]) 

大規模な多次元数値配列を使用して、機械学習、特にディープラーニングのプログラミングの中心をマークします。 ディープニューラルネットワークは、数値のレベルでモデル化されたノードとエッジのラティスです。 ネットワークをトレーニングするとき、またはそれに基づいて出力を実行するときのランタイム操作には、高速の行列乗算が必要です。

NumPyのおかげで、 scipy 、 pandas、および他の多くのNumPyベースのライブラリなど、さらに多くのことが行われました。 主要な深層学習ライブラリ（GoogleのTensorflow 、FacebookのPyTorch ）はPythonを真剣に開発しています。 TensorflowにはGo、Java、およびJavaScript用の他のAPIがありますが、それらは不完全であり、不安定であると見なされます。 PyTorchはもともとLuaで作成され、2017年にこの率直なニッチ言語から2017年にメインのML Pythonエコシステムに移行したときに、人気が急上昇しました。

Pythonの欠陥

Pythonは理想的な言語ではなく、最も人気のあるランタイムであるCPythonでもありません。 グローバルインタープリターロック（ GIL ）があるため、スケーリングは容易ではありません。 さらに、PyTorchやTensorflowなどのPythonディープラーニングフレームワークは、キーメソッドを不透明な実装に渡します。 たとえば、NVidiaのcuDNNライブラリは、PyTorch RNN / LSTM実装の範囲に大きな影響を与えました。 RNNとLSTM（リカレントニューラルネットワークと長期短期メモリ）は、特に連続した一連の可変長の分類と予測を専門としているため、ビジネスアプリケーションにとって非常に重要なDLツールキットです。 Web上のナビゲーション（クリックストリーム）の追跡、テキストフラグメントの分析、ユーザーイベントなど。

Pythonへの公平性のために、このような不透明度/制限は、CまたはC ++で書かれたものを除くほとんどすべてのML / DLのフレームワークに適用されることに注意してください。 なんで？ なぜなら、行列乗算などの基本的な負荷の高い操作の生産性を最大限に高めるために、開発者は可能な限り「金属に近く」下降するからです。

Javaはこの分野で何を競う必要がありますか？

Javaプラットフォームには3つの主要な追加が必要だと思います。 それらが実装されると、機械学習のための健全で豊かなエコシステムが広がり始めます。

1. 言語のコアにネイティブインデックス/スライスのサポートを追加して、使いやすさと表現力でPythonと競合できるようにします。 おそらく、そのような機能は、既存の順序付きコレクションであるList <E>インターフェイスを中心にJavaで構築する必要があります 。 このようなサポートのためには、過負荷の必要性を認識する必要もあります-ポイント＃2を満たす必要があります。
2. テンソル実装を作成します-おそらくjava.mathパッケージ内にありますが、Collections APIにもアクセスできます。 このクラスとインターフェイスのセットはndarrayと同等にndarrayし、特にNumPyで利用可能な3種類のインデックス作成（フィールドへのアクセス、単純なスライス、プログラミングに必要な高度なインデックス作成）のインデックス作成の追加サポートを提供します。
3. ブロードキャストを提供する-任意の（ただし互換性のある）次元のスカラーとテンソル。

これら3つのタスクをJava言語とランタイムのコアで実行できれば、NumPyに相当する「NumJava」を作成する方法が開かれていました。 Panamaプロジェクトは、CPU、GPU、TPUで実行される高速なテンソル操作へのベクトル化された低レベルアクセスを提供するのにも役立ち、Java MLがその種の最速になることができます。

これらのアドオンは些細なことだとはまったく言いません-いいえ、そう遠くはありませんが、Javaプラットフォーム全体に対する潜在的な利点は膨大です。

次のリストは、NumPyのブロードキャストおよびインデックス作成の例が、 Tensorクラスを使用してNumJavaでどのように見えるかを示しています。言語ベースのスライス構文と、演算子のオーバーロードに関する現在の制限をサポートしています。

 //      Java    //  var-  Java 10   //  Java    ,      "a * b" //       ? var a = new Tensor([1.0, 2.0, 3.0]); var b = 2.0; var c = a.mult(b); /** *    , ,      Tensor  Java. */ import static java.math.Numeric.arange; //arange   ,  reshape    var y = arange(35).reshape(5,7); System.out.println(y); // tensor([[ 0, 1, 2, 3, 4, 5, 6], // [ 7, 8, 9, 10, 11, 12, 13], // [14, 15, 16, 17, 18, 19, 20], // [21, 22, 23, 24, 25, 26, 27], // [28, 29, 30, 31, 32, 33, 34]]) System.out.println(y[0,0]); //     –    ,  0 System.out.println(y[4,]); //    4-  (5-     0): tensor([28, 29, 30, 31, 32, 33, 34]) System.out.println(y[:,2]); //    2-  (3-     0): tensor([ 2, 9, 16, 23, 30]) 

パースペクティブと行動を促すフレーズ

機械学習がビジネスの世界を変革するのは、リレーショナルデータベース、インターネット、モバイルテクノロジーなど、当時と同じです。 彼の周りには多くの誇大宣伝がありますが、いくつかの非常に説得力のある記事と結論が表示されます。 たとえば、 この記事では、システムが機械学習を使用して、バックグラウンドでデータベースサーバー、Webサーバー、およびアプリケーションサーバーの最適な構成を学習できる将来について説明します。 MLを自分のシステムに展開する必要さえありません。間違いなく、ベンダーの1つがこれを行うことができます。

この記事で紹介した実用的な立場に基づいて、機械学習とディープラーニング（JREで作業）のフレームワークは、Web、長期ストレージ、またはXML解析の既存のフレームワークよりもJavaで書くことができます。 最先端のコンピュータービジョン実装のための畳み込みニューラルネットワーク （CNN）をサポートするJavaフレームワークを想像できます。このような実装には、自動微分などの最も高度なML機能を備えた、シーケンシャルデータセット（ビジネスにとって重要なもの）のリカレントニューラルネットワークLSTMの実装が含まれます。 次に、これらのフレームワークは、IDE、テストフレームワーク、継続的統合など、すべて同じツールを使用して、既存のJavaシステムとシームレスに統合できる次世代のエンタープライズシステムの実装と強化に役立ちます。 最も重要なことは、彼らが私たちの人々によって書かれ、サポートされることです。 あなたがJavaファンなら、あなたはその見込みが好きではありませんか？