📪 🐝 🧑🏿 株式市場テクノロジー：ニューラルネットワークに関する10の誤解 😡 🕋 🤔

ニューラルネットワークは、機械学習のためのアルゴリズムの最も一般的なクラスの1つです。財務分析では、ほとんどの場合、予測、独自の指標の作成、アルゴリズム取引、リスクモデリングに使用されます。これらすべてにもかかわらず、ニューラルネットワークの使用結果は不安定と呼ばれる可能性があるため、ニューラルネットワークの評判は損なわれます。

NMRQLヘッジファンドの定量アナリストであるStuart Reedは、TuringFinanceの記事で、これが何を意味するのかを説明し、そのようなシステムがどのように機能するかについての不十分な理解にすべての問題があることを証明しようとしました。彼の記事の翻案された翻訳をあなたの注意に示します。

1.ニューラルネットワークは人間の脳のモデルではありません

人間の脳は、科学者が何世紀にもわたって苦労してきた最大の謎の1つです。このすべてがどのように機能するかについての一般的な理解はまだありません。主に2つの理論があります。「祖母の細胞」の理論と、分布表象の理論です。最初の主張は、個々のニューロンは高い情報容量を持ち、複雑な概念を形成できると主張しています。たとえば、祖母またはジェニファーアニストンの画像。 2番目は、ニューロンの構造がはるかに単純であり、グループ内でのみ複雑なオブジェクトを表すことを示唆しています。人工ニューラルネットワークは、2番目のモデルのアイデアの発展として広く説明できます。

サイズと構成におけるニューロン自体の明らかな複雑さに加えて、人間の脳とANNの大きな違い。脳内のニューロンとシナプスは計り知れないほど大きく、それらは独立して組織化されており、適応することができます。 ANNはアーキテクチャとして設計されています。通常の意味では、自己組織化の話はできません。

これから何が続きますか？ ANNは、北京のオリンピックスタジアムが鳥の巣のモデルに従って組み立てられたのと同じ意味で、人間の脳の原型に従って作成されます。これは、スタジアムが巣であるという意味ではありません。これは、その構成要素がいくつかあることを意味します。構造とデザインの一致ではなく、類似性について話す方が良いです。

ニューラルネットワークは、統計的手法に関連する可能性が高く、曲線と回帰を一致させます。金融分野における定量的方法の文脈では、人間の脳の原理に従って何かが機能するという主張は誤解を招く可能性があります。そして、準備ができていない心では、ロボットや他のフィクションの侵入の脅威を恐れます。

近似関数とも呼ばれる曲線の例。 ニューラルネットワークは、複雑な数学関数を近似するためによく使用されます。

2.ニューラルネットワーク-単純化された統計ではありません

ニューラルネットワークは、相互接続されたノードのレイヤーで構成されています。個々のノードはパーセプトロンと呼ばれ、多重線形回帰に似ています。違いは、パーセプトロンは、多重線形回帰によって生成された信号を活性化関数にパックすることです。活性化関数は、線形または非線形のいずれかです。多層パーセプトロン（MLP）システムでは、パーセプトロンはレイヤーに編成され、レイヤーが相互に接続されます。レイヤーには、入力レイヤーと出力レイヤー、隠しレイヤーの3種類があります。第1層は入力パターンを受信し、第2層はスキームに従って分類リストまたは出力信号を保持できます。非表示のレイヤーは、エラーのリスクが最小になるまで入力データの重みを調整します。

入力/出力のマッピング

パーセプターは、n個の属性から入力データベクトル-z =（z ₁ 、z ₂ 、...、z _n ）を受け取ります。ベクトルは入力パターンと呼ばれます。このような「入力」の重みは、このパーセプトロンに属するベクトルの重み-v =（v ₁ 、v ₂ 、...、v _n ）によって決まります。多重線形回帰のコンテキストでは、これは回帰係数として表すことができます。ネットワーク上のパーセプトロン信号（ネット）は、通常、入力パターンとその重みで構成されています。

net = ∑ ⁿ _i z _i v _i

信号からオフセットθを引いた値は、特定の活性化関数に変換されます。通常、これは境界（0,1）または（-1,1）を持つ単調増加関数です。最も人気のある機能のいくつかを写真に示します。

最も単純なニューラルネットワークは、入力信号を出力信号にマップするニューロンを1つだけ持つものです。

レイヤーを作成する

図からわかるように、パーセプトロンはレイヤーに編成されています。後で入力の名前を取得する最初のレイヤーは、学習プロセスでパターンp-P _tを取得します。最後の層は、これらのパターンの予想される出力に関連付けられています。パターンはさまざまなテクニカルインジケータの値である可能性があり、潜在的な出力信号は{購入、保留、販売}カテゴリです。

隠れ層は、別の層から入力と出力を受け取り、次の層の出力を形成する層です。あるバージョンによれば、非表示レイヤーは、結果を予測するために重要な重要な要素を入力データから抽出します。統計では、この手法は一次成分分析と呼ばれます。

ディープニューラルネットワークには多数の隠れ層があり、より適切なデータ要素を抽出できます。最近、それらはパターン認識の問題を解決するためにうまく使用されています。

ディープネットワークを使用する場合、取引タスクには1つの問題があります。入力データは既に準備されており、抽出する必要がある要素がいくつかある場合があります。

トレーニングルール

ニューラルネットワークのタスクは、エラーの程度を最小化することですϵ。通常、この指標は二乗誤差の合計として計算されます。ただし、このオプションは外来ノイズの影響を受けやすい場合があります。

この目的のために、最適化アルゴリズムを使用して、重みインジケータをネットワークに適合させることができます。ほとんどの場合、ネットワークのトレーニングには勾配降下アルゴリズムが使用されます。各レイヤーの重みを考慮に入れて、誤差の偏導関数を計算し、その後、勾配に沿って反対方向に移動します。エラーを最小限に抑えることで、サンプルのネットワークパフォーマンスが向上します。

数学的には、この更新ルールは次の式で表現できます。

どこで

ηは学習頻度で、ネットワークの変換速度を決定します。トレーニング頻度の選択は、ニューラルネットワークのパフォーマンスに関して深刻な結果をもたらします。値が小さいと収束が遅くなり、値が大きいと学習障害になります。

したがって、ニューラルネットワークは、レイジーアナリストの統計の単純化された形式ではありません。これは、何百年も使用されてきた深刻な統計的手法の抜粋です。

3.ニューラルネットワークは異なるアーキテクチャで実行できます

ここまで、最も原始的なニューラルネットワークアーキテクチャであるマルチレベルパーセプトロンのシステムについて説明してきました。パフォーマンスが依存する多くのオプションがあります。機械学習の研究における現代の進歩は、最適化アルゴリズムの機能だけでなく、パーセプトロンとの相互作用の方法にも関連しています。著者は、彼の観点から最も興味深いモデルを検討することを提案しています。

リカレントニューラルネットワーク：接続の一部またはすべてが再生されます。本質的に、これはフィードバックループテクノロジーの原則です（スパムクレームの重要な数が募集されたときの配信サービスへのプロバイダーの通知）。このようなネットワークは、シリアルデータでより適切に機能すると考えられています。もしそうなら、このオプションは金融市場に関して非常に適切です。詳細なレビューについては、こちらの記事をお読みください。

この図は、3つの一般的なニューラルネットワークアーキテクチャを示しています。

リカレントニューラルネットワークのアーキテクチャの発明された最後の変形は、チューリングニューラルマシンです。標準ネットワークのアーキテクチャとメモリを組み合わせています。

ボルツマンニューラルネットワークは、最初に完全に接続されたニューラルネットワークの1つです。彼女は、内部のアイデアを学び、組み合わせ論の複雑な問題を解決することができた最初の人の一人でした。彼らは彼女について、これはMonte Carlo Hopfieldリカレントニューラルネットワークのバージョンであると言います。トレーニングはより困難ですが、制限が設定されている場合は、従来のネットワークよりも効果的です。ボルツマンネットワークの最も一般的な制限は、隠れたニューロン間の接続の禁止です。実際には、アーキテクチャの別のバージョン。

ディープニューラルネットワークは、多くの隠れ層を持つネットワークです。このようなネットワークは、音声および画像認識の問題をうまく解決できるため、近年非常に人気があります。このバージョンのアーキテクチャの数は前例のないペースで増加しています。最も人気のあるもの：ディープトラストネットワーク、畳み込みニューラルネットワーク、スタック自動エンコーダーなど。ディープネットワークの主な問題は、特に財務分析の場合、再トレーニングです。

適応型ニューラルネットワークは、同時に学習プロセスのアーキテクチャを適応および最適化します。アーキテクチャを構築（ニューロンを追加）または圧縮して、不要な隠れニューロンを削除できます。著者によると、これらの市場自体は固定されていないため、このネットワークは金融市場での作業に最適です。つまり、ネットワークは市場のダイナミクスに適応できます。昨日は素晴らしかったことがすべて、明日最適に機能するという事実ではありません。

2種類の適応ニューラルネットワーク：カスケードおよび自己組織化マップ

放射基底ネットワークは、化合物とパーセプトロンの配置という点で、単なる別のタイプのアーキテクチャではありません。ここでは、放射基底関数が活性化関数として使用され、その出力は特定のポイントからの距離に依存します。この関数の最も一般的な使用法は、ガウス分布です。また、ベクターサポートマシンのカーネルとしても使用されます。

最も簡単な方法は、実際にいくつかのオプションを試し、特定のタスクに最適なオプションを選択することです。

4.サイズは重要ですが、大きければ大きいほど良いとは限りません

アーキテクチャを選択した後、ニューラルネットワークの大きさまたは小ささの問題が生じます。「入力」はいくつ必要ですか？いくつの隠れニューロンを使用する必要がありますか？非表示のレイヤー（深いネットワークの場合）？ニューロンにはいくつの出力が必要ですか？マークを逃すと、ネットワークがオーバーフィッティングまたはアンダーフィッティングの被害を受ける可能性があります。つまり、適切に要約することはできません。

どのくらいの入力を使用すればよいですか？

入力信号の数は、解決される問題、利用可能な情報の量と質、そしておそらく創造性に依存します。出力信号は、予測能力を割り当てる単純な変数です。問題への入力が明確でない場合は、潜在的な独立変数と従属変数間の相関および相互相関を系統的に検索することにより、変数を含めるために定義できます。このアプローチについては、この記事で詳しく説明します。

相関を使用する場合、主に2つの問題があります。まず、線形相関メトリックを使用する場合、不必要に必要な変数を除外できます。第二に、2つの比較的無相関の変数を潜在的に組み合わせて、1つの相関の高い変数を生成できます。変数を単独で見ると、この機会を逃すかもしれません。ここでは、基本的なコンポーネント分析を使用して、有用なベクトルを入力信号として抽出できます。

変数を選択するときの別の問題は、多重共線性です。これは、モデルにロードされた2つ以上の変数の相関が高い場合です。回帰モデルのコンテキストでは、これにより、モデルまたはデータのわずかな変更に応じて、回帰係数が無秩序に変化する可能性があります。ニューラルネットワークと回帰モデルが似ていることを考えると、同じ問題がニューラルネットワークにも当てはまると想定できます。

もう1つのポイントは、変数の欠落した偏差が選択された変数として採用されるという事実に関連しています。これらはモデルがすでに形成されているときに表示され、いくつかの重要な因果変数が船外に残されます。モデルが他の変数の再評価または過小評価を通じて、欠落している変数の誤った補正を受け取ると、偏差が現れます。

いくつの隠れニューロンが必要ですか？

隠れ要素の最適な数は、経験的に解決される特定の問題です。しかし、一般的なルール：隠れニューロンが多いほど、再トレーニングのリスクが高くなります。この場合、システムはデータの可能性を調査せず、パターン自体とパターンに含まれるノイズを記憶します。このようなネットワークは、サンプルでは正常に機能しますが、サンプルの外部ではほとんど機能しません。再トレーニングはどのように回避できますか？ 2つの一般的な方法があります。早期停止と正則化です。著者は、グローバル検索に関連付けられた独自のものを好みます。

早期停止には、学習プロセスをトレーニング自体の段階に分割し、結果を検証することが含まれます。限られた反復回数でネットワークをトレーニングする代わりに、確認段階でのネットワークパフォーマンスが低下し始めるまでトレーニングします。基本的に、これはネットワークが利用可能なすべてのパラメーターを使用することを防ぎ、パターンを簡単に記憶する能力を制限します。 2つの可能なブレークポイントを以下に示します。

別の図は、これらのポイントaおよびbで停止したときのネットワークのパフォーマンスと再トレーニングの程度を示しています。

正則化により、洗練されたアーキテクチャを使用するためのニューラルネットワークが細かくなります。この場合の複雑さは、ネットワークのサイズと重みによって測定されます。エラー関数に間隔を追加することで設定されます。これは、重みとサイズに関連付けられています。これは、優先順位を追加するのと同じです。これにより、ニューラルネットワークは、関数が同種であると見なします。

nは、ニューラルネットワークの負荷（重み）の数です。パラメーターαおよびβは、ネットワークのトレーニング不足または再トレーニングが発生するレベルを制御します。それらに適した値は、ベイジアン分析と最適化を通じて選択できます。

コンピューティングに関して非常に高価な別の手法は、グローバル検索です。ここでは、ネットワークアーキテクチャを区別し、最適なオプションを見つけるために検索アルゴリズムが使用されます。通常、このために、生成アルゴリズムを使用します。これについては以下で説明します。

出力とは何ですか？

ニューラルネットワークは、回帰または分類に使用できます。最初のモデルでは、出力で単一の値を使用します。つまり、必要な出力ニューロンは1つだけです。 2番目のモデルでは、パターンが属することができるクラスごとに出力ニューロンが個別に必要です。クラスが不明な場合は、自己組織化カードが使用されます。

ストーリーのこの部分を要約します。ネットワークサイズを決定するための最善のアプローチは、Occamの原則に従うことです。つまり、同じパフォーマンスの2つのモデルの場合、パラメーターが少ないモデルほど一般化が成功します。これは、生産性を向上させるために必ずしも単純なモデルを選択する必要があるという意味ではありません。逆もまた真です。多くの隠れたニューロンと層は、優位性を保証しません。今日、大規模なネットワークにはあまりにも多くの注意が払われていますが、それらの開発の原則にはあまり注目されていません。常により良いとは限りません。

5.多くのトレーニングアルゴリズムがニューラルネットワークに適用可能

トレーニングアルゴリズムは、特定の停止条件に遭遇するまでニューラルネットワークの重みを最適化するように設計されています。これは、許容可能な精度レベルでのトレーニングセットのエラーが原因である可能性があります（たとえば、検証段階でネットワークが劣化し始めた場合）。これは、ネットワークの特定のコンピューティング予算が使い果たされた時点である可能性があります。アルゴリズムの最も一般的なバージョンは、勾配確率的降下法を使用した逆伝播法です。逆伝播は2つのステップで構成されます。

直接通過：トレーニングデータがネットワークを通過し、出力信号が記録され、エラーが計算されます。
逆伝播：エラー信号はネットワークを介して引き戻され、ネットワークの重みは勾配降下を使用して最適化されます。

このアプローチにはいくつかの問題があるかもしれません。すべてのスケールを同時に取り付けると、重量スペースでネットが過度に移動する可能性があります。勾配降下アルゴリズムはかなり遅く、ローカルミニマムの影響を受けます。極小値は、特定のニューラルネットワークの特定の問題です。最初の問題は、さまざまな勾配降下オプション（QuickProp）、Nesterovの加速運動量（NAG）、適応勾配アルゴリズム（AdaGrad）、弾性伝播（RProp）、または二乗平均伝播（RMSProp）を使用することで解決されます。

しかし、これらのアルゴリズムはすべてローカルミニマムを克服することはできず、ネットワークアーキテクチャと負荷を同時に最適化しようとするとあまり役に立ちません。グローバルな最適化アルゴリズムが必要です。これには、Particle Swarm Optimizationまたは遺伝的アルゴリズムを使用できます。仕組みは次のとおりです。

ニューラルネットワークのベクトル表現は、負荷ベクトルに従ってニューラルネットワークをエンコードします。各ベクトルは、ネットワーク内の接続の重みを表します。メタヒューリスティック検索アルゴリズムを使用してネットワークをトレーニングできます。大きすぎるネットワークでは、ベクトル自体が大きくなりすぎるため、この方法はうまく機能しません。

この図は、ニューラルネットワークをベクトル表記で表現する方法を示しています。

パーティクルスウォームメソッドは、ポピュレーション/スウォームビルを介してネットワークをトレーニングします。各ニューラルネットワークは、ここでは負荷ベクトルとして提示され、グローバルな最適な粒子の位置とそれ自体の最適な位置に調整されます。

この適応関数は、1つの直接通過の完了後に再構築されたニューラルネットワークの二乗誤差の合計として計算されます。接続の重みを更新する速度を最適化するという利点があります。スケールの調整が速すぎると、二乗誤差の合計が停滞し、トレーニングは行われません。

遺伝的アルゴリズムは、ニューラルネットワークを表すベクトルの母集団を作成します。次に、ネットワークを改善するために、3つの連続した操作が実行されます。

サンプル：各直接通過後、二乗誤差の合計が計算され、ニューラルネットワークの母集団がランク付けされます。人口の上位の割合は生存のために選択され、クロスオーバーのために使用されます。
クロスオーバー：人口の遺伝子の上位x％が互いに競合し、実際に新しいニューラルネットワークを表す新しい子孫を取得します。
突然変異：この演算子は、母集団の遺伝的多様性のサポートを必要とします。その一部は突然変異の通過に選択されます。つまり、一部のネットワークの重みはランダムに調整されます。

6.ニューラルネットワークは常に大量のデータを必要としない

ニューラルネットワークは、3つの基本的な学習戦略を使用できます。教師あり学習、制御されない学習、強化された学習です。最初に、少なくとも2つのトレーニングデータセットが必要です。そのうちの1つは、予想される出力信号を持つ入力で構成され、2つ目は予想される出力のない入力で構成されます。どちらにもラベル付きデータ、つまり元々未知の目的を持つパターンを含める必要があります。

通常、制御されていない戦略は、マークされていないデータの隠れた構造（たとえば、隠れたマルコフ連鎖）を検出するために使用されます。操作の原理は、クラスターアルゴリズムの原理と同じです。強化されたトレーニングは、勝つネットワークを持ち、それらを劣悪な状態に置くという単純な仮定に基づいています。最後の2つのオプションは、ラベル付きデータの使用を意味するものではないため、正しい出力信号はここではわかりません。

教師なし学習

このタイプのネットワークで最も人気のあるアーキテクチャの1つは、自己組織化マップです。実際、メインデータサイクルの確率密度関数の近似を構築するのは、いくつかの次元でのスケーリング手法です。 Z-入力信号ベクトル-ziをマッピングすることにより、データセットのトポロジ構造を保存します。将来のマップVのベクトル-vjの重量を量ります。トポロジ構造の保存は、2つのベクトルがZで互いに近接している場合、それらが関係するニューロンもVに配置されることを意味します。詳細については、こちらを参照してください。

強化されたトレーニング

この戦略は、3つのコンポーネントで構成されます。ニューラルネットワークが技術的および基本的な指標を使用して意思決定を行う方法のインストール、穀物をaff殻から分離する目標を達成する機能、および将来に向けられた価値関数です。

7.ニューラルネットワークはどのデータでもトレーニングできません

ニューラルネットワークが機能しない主な問題の1つは、多くの場合、データがシステムにロードされる前に十分に準備されていないことです。生産能力を向上させるために、ネットワークでの作業を開始する前に、正規化、冗長情報の削除、大幅に逸脱した値を実行する必要があります。

重量で接続されたパーセプトロンの層があることを知っています。各パーセプトロンには活性化関数が含まれており、活性化関数はランクごとに分けられています。ネットワークが入力パターンを区別できるように、このランクに基づいて入力信号をスケーリングする必要があります。これらは、データを正規化するための前提条件です。

シャープな値は、セットのデータセットにある他のほとんどの値よりもはるかに大きいか、はるかに小さいです。このようなことは、統計的手法の適用に問題を引き起こす可能性があります-回帰と曲線近似。システムはこれらの値を調整しようとするため、パフォーマンスが低下します。そのような値を自分で識別することには問題があります。ここでは、大幅に逸脱した値を操作するためのテクニックの手順を見ることができます。

互いに密接に相関する2つ以上の独立変数を導入すると、学習能力が低下する可能性もあります。とりわけ、冗長な変数を削除すると、学習時間が短縮されます。適応ニューラルネットワークを使用して、過剰な化合物とパーセプトロンを削除できます。

8.ニューラルネットワークは、新たに訓練する必要がある場合があります。

ニューラルネットワークを適切に構成し、サンプルおよびそれ以降で正常に取引されたとしても、しばらくして動作が停止しないわけではありません。彼女のことではなく、金融市場の振る舞いのことです。金融市場は包括的な適応システムです。今日機能するものは明日機能しない場合があります。それらのこの特性は、非定常または動的最適化と呼ばれます。ニューラルネットワークはまだこれに対処することができません。

金融市場の動的な環境は、ニューラルネットワークでモデル化することは非常に困難です。この状況から抜け出すには2つの方法があります。時々、ネットワークを再トレーニングするか、動的ニューラルネットワークを使用します。環境の経時的な変化を追跡し、それらをシステムのアーキテクチャと負荷に適応させるように設計されています。動的な問題を解決するには、多国間のメタヒューリスティック最適化アルゴリズムを使用できます。彼らは、時間の経過とともにローカルエクスペリエンスの変化を追跡します。 1つのオプションは、粒子スウォーム法の派生物である複数スウォーム最適化です。多様化とメモリが改善された遺伝的アルゴリズムは、動的な環境でも役立ちます。

9.ニューラルネットワークはブラックボックスではありません

ニューラルネットワーク自体はブラックボックスです。これは、彼女と仕事をする、または彼女と仕事をする予定の人々に特定の問題を引き起こします。たとえば、ファンドマネージャーは、システムが金融取引についてどのように決定するかを理解していません。ネットワークが学習した取引戦略のリスクを計算することは不可能であることがわかります。この場合も、ニューラルネットワークを使用して信用リスクを計算する銀行は、特定のクライアントの信用格付けによってその位置を確認できません。これらの目的のために、ネットワークルールを抽出するアルゴリズムが考案されました。知識は、数式、シンボリックロジック、ファジーロジック、デシジョンツリーの形式でネットワークから引き出すことができます。

: . , « ».

: , . A B «» — «», – «, «», «».

: OR, AND XOR. , . . (P), (SMA), (EMA) , , :

(fuzzy logic) – , . – «», «», «», «», 0 1. . , , , . , (GOOG) 0,7 BUY 0,3 SELL. - .

, . , , .

-, . (, BUY, HOLD SELL , ).
<indicator, inequality,="" value="">. , <sma,>, 25> or <ema, <="," 30="">.

10.

, . , , . , . , .

Caffe
- http://caffe.berkeleyvision.org/
GitHub - https://github.com/BVLC/caffe

Encog
- http://www.heatonresearch.com/encog/
GitHub - https://github.com/encog

H2O
- http://h2o.ai/
GitHub - https://github.com/h2oai

Google TensorFlow
- http://www.tensorflow.org/
GitHub - https://github.com/tensorflow/tensorflow

Microsoft Distributed Machine Learning Tookit
- http://www.dmtk.io/
GitHub - https://github.com/Microsoft/DMTK

Microsoft Azure Machine Learning
- https://azure.microsoft.com/en-us/services/machine-learning
GitHub — github.com/Azure?utf8=%E2%9C%93&query=MachineLearning

MXNet
- http://mxnet.readthedocs.org/en/latest/
GitHub - https://github.com/dmlc/mxnet

Neon
- http://neon.nervanasys.com/docs/latest/index.html
GitHub - https://github.com/nervanasystems/neon

Theano
- http://deeplearning.net/software/theano/
GitHub - https://github.com/Theano/Theano

Torch
- http://torch.ch/
GitHub - https://github.com/torch/torch7

SciKit Learn
- http://scikit-learn.org/stable/
GitHub - https://github.com/scikit-learn/scikit-learn

おわりに

– . . . , , . , . , - .

株式市場テクノロジー：ニューラルネットワークに関する10の誤解