思考の論理。 パート2.要因

前のパートでは、フォーマルニューロンの最も単純なプロパティについて説明しました。 しきい値加算器は単一のスパイクの性質をより正確に再現し、線形加算器を使用すると、一連のパルスで構成されるニューロンの応答をシミュレートできるという事実について説明しました。 線形加算器の出力の値は、実際のニューロンの誘導スパイクの周波数と比較できることが示されました。 次に、そのような形式ニューロンが持つ基本的な特性を見てみましょう。

ヘブフィルター

さらに、多くの場合、ニューラルネットワークモデルを使用します。 原則として、ニューラルネットワークの理論からのほとんどすべての基本概念は、実際の脳の構造に直接関係しています。 特定のタスクに直面した人は、多くの興味深いニューラルネットワーク設計を思いつきました。 進化、考えられるすべての神経メカニズムを整理し、それに役立つことが判明したすべてのものを選択しました。 人間が発明した非常に多くのモデルについて、明確な生物学的プロトタイプを見つけることができることに驚かないでください。 私たちの物語は、ニューラルネットワークの理論の少なくともいくつかの詳細な説明の目標を設定していないので、主なアイデアを説明するために必要な最も一般的なポイントのみに触れます。 より深く理解するために、専門の文献を参照することを強くお勧めします。 私にとって、ニューラルネットワークに関する最高の教科書はSimon Khaikin Neural Networksです。 フルコース」（Khaikin、2006）。

多くのニューラルネットワークモデルは、Hebbのよく知られている学習ルールに基づいています。 それは、1949年に生理学者ドナルドヘブによって提案されました（Hebb、1949）。 少し自由な解釈では、それは非常に単純な意味を持っています：一緒に活性化されるニューロンの結合は強化されなければならず、独立して動作するニューロンの結合は弱められなければなりません。
線形加算器の出力ステータスは次のように記述できます。



重みの初期値を少量で開始し、さまざまな画像を入力に送信する場合、ヘブの規則に従ってこのニューロンを訓練しようとすることを妨げるものは何もありません。



ここで、 nは離散時間ステップ、- 学習速度パラメータ。

この手順では、信号が適用される入力の重みを増やします。 、しかし、我々はそれをより強くするほど、訓練されたニューロン自体の反応がより活発になる 。 反応がない場合、学習は行われません。

確かに、そのような重みは無制限に増加するため、正規化を適用して安定させることができます。 たとえば、「新しい」シナプスの重みから取得したベクトルの長さで除算します。



このようなトレーニングにより、バランスはシナプス間で再配分されます。 再配分の本質を理解することは、重みの変化を2つのステップで追跡する方が簡単です。 まず、ニューロンがアクティブなとき、信号を受信するシナプスは追加を受信します。 信号のないシナプスの重みは変化しません。 次に、一般的な正規化により、すべてのシナプスの重みが軽減されます。 しかし同時に、信号のないシナプスは以前の値と比較して失われ、信号のあるシナプスはこれらの損失を相互に再分配します。

ヘブの法則は、エラーサーフェスに沿った勾配降下法の実装にすぎません。 実際、ニューロンが供給された信号に適応するように強制し、そのたびにその重みを誤差と反対側、つまり反勾配の方向にシフトします。 勾配降下を通過して局所極値に到達するには、降下速度が十分に低くなければなりません。 パラメーターの小ささによってヘブトレーニングで考慮されるもの 。

学習速度パラメータが小さいため、以前の式を一連の形式で書き直すことができます。 ：


2次以上の項を破棄すると、Oiaを学習するルールが得られます（Oja、1982）：


正のサプリメントはヘブのトレーニングを担当し、負のサプリメントは一般的な安定性を担当します。 この形式で記録することで、計算を使用せずにアナログ環境でそのようなトレーニングを実装する方法を感じることができ、正と負の接続でのみ動作します。

したがって、このような非常に単純なトレーニングには驚くべき特性があります。 学習速度を徐々に低下させると、訓練されたニューロンのシナプスの重みは、出力が最初の主要コンポーネントに対応し始めるような値に収束します。これは、対応する主要コンポーネント分析手順を提供されたデータに適用した場合に起こります。 この設計は、Hebbフィルターと呼ばれます。

たとえば、ピクセル画像をニューロンの入力に適用します。つまり、画像の1つのポイントをニューロンの各シナプスに関連付けます。 ニューロンの入力に2つの画像（中心を通る垂直線と水平線の画像）のみを提供します。 1つの学習ステップは、水平または垂直の1つの画像、1行です。 これらの画像を平均すると、クロスが得られます。 しかし、学習結果は平均化とは異なります。 これは行の1つになります。 提出された画像でより一般的なもの。 ニューロンは平均化または交差を選択しませんが、最も頻繁に一緒に見つかるポイントを選択します。 画像がより複雑な場合、結果はそれほど明白ではないかもしれません。 しかし、それは常に主要なコンポーネントになります。

ニューロンをトレーニングすると、特定の画像がそのスケールで割り当てられる（フィルタリングされる）という事実につながります。 新しい信号が供給されると、信号とバランス設定の一致が正確になるほど、ニューロンの応答が高くなります。 訓練されたニューロンは、ニューロン検出器と呼ぶことができます。 この場合、そのスケールで記述される画像は通常、特徴的な刺激と呼ばれます。

主なコンポーネント

主成分法の概念そのものはシンプルで独創的です。 一連のイベントがあるとします。 私たちは世界を知覚するセンサーへの影響を通してそれらのそれぞれを説明します。 私たちが持っているとしましょう 説明するセンサー 兆候 。 私たちのすべてのイベントはベクトルで記述されます 寸法 。 各コンポーネント このようなベクトルは、対応する値を示します サイン。 一緒に、ランダム変数Xを形成します。 これらのイベントを 私たちが観察した兆候が軸である次元の空間。



平均化 E（ X ）で示されるランダム変数Xの数学的な期待値を与えます。 E（ X ）= 0になるようにデータをセンタリングすると、点群は原点の周りに集中します。



この雲はどの方向にも伸びることがあります。 可能なすべての方向を試した後、データの分散が最大になる方向を見つけることができます。



したがって、この方向は最初の主要コンポーネントに対応します。 主成分自体は、原点から出現し、この方向と一致する単位ベクトルによって決定されます。

さらに、最初の成分に垂直な別の方向を見つけることができます。そのため、それに沿った分散もすべての垂直方向の中で最大になります。 それを見つけて、2番目のコンポーネントを取得します。 次に、すでに見つかったコンポーネントに垂直な方向を検索する必要があるという条件が与えられれば、検索を続行できます。 元の座標が線形独立である場合、これを行うことができます 空間の次元が終わるまで何回も。 だから私たちは得る 相互に直交するコンポーネント それらが説明するデータ分散のパーセンテージで並べ替えられます。

当然、取得された主成分は、データの内部法則を反映しています。 しかし、既存のパターンの本質も説明するより単純な特性があります。

合計n個のイベントがあるとします。 各イベントはベクトルで記述されます 。 このベクトルのコンポーネント：


各サインについて 各イベントで彼がどのように現れたかを書くことができます：


説明の基になっている2つの兆候については、それらの共同症状の程度を示す値を計算できます。 この値は共分散と呼ばれます：


これは、兆候の1つの平均値からの逸脱が、別の兆候の同様の逸脱とどのように現れるかを示しています。 符号の平均値がゼロに等しい場合、共分散は次の形式を取ります。


特性に固有の標準偏差の共分散を修正する場合、ピアソンの相関係数とも呼ばれる線形相関係数を取得します。


相関係数には顕著な特性があります。 -1から1までの値を取ります。さらに、1は2つの量の正比例を意味し、-1はそれらの逆線形関係を示します。

特性のすべてのペアワイズ共分散のうち、共分散行列を作成できます 、簡単にわかるように、製品の数学的期待値です ：


さらに、データが正規化されている、つまり単位分散があると仮定します。 この場合、相関行列は共分散行列と一致します。

そのため、主要なコンポーネントについては 公平：


つまり、主成分、または、別名で呼ばれるように、因子は相関行列の固有ベクトルです 。 それらは固有値に対応します 。 さらに、固有値が大きいほど、この要因を説明する分散の割合が大きくなります。

すべての主要コンポーネントを知る イベントごとに Xの実装であるため、その投影を主要コンポーネントに書き込むことができます。


したがって、すべての初期イベントを新しい座標、つまり主要コンポーネントの座標で想像することができます。


一般的に、主要なコンポーネントを検索する手順と、因子の基礎とその後の回転を見つける手順を区別します。これにより、因子の解釈が容易になりますが、これらの手順はイデオロギー的に近く、同様の結果が得られるため、両方の因子分析と呼びます。

かなり単純な因子分析手順には、非常に深い意味があります。 事実は、初期兆候の空間が観察可能な空間である場合、要因は周囲の世界の特性を説明するが、一般的な場合（観測された兆候と一致しない場合）隠された実体である兆候です。 すなわち、因子分析の正式な手順により、観察可能な現象から現象の発見に進むことができます。直接かつ目に見えませんが、それでも周囲の世界に存在します。

私たちの脳は、私たちの周りの世界を認知するための手順の1つとして、因子の配分を積極的に使用していると考えられます。 要因を特定することにより、私たちに何が起こっているのかという新しい記述を構築する機会が与えられます。 これらの新しい記述の基礎は、特定された要因に対応する現象の重大度です。

家計レベルでの要因の本質を少し説明させてください。 あなたが人事マネージャーであるとします。 多くの人があなたのところに来て、それぞれについて特定のフォームに記入し、訪問者に関するさまざまな観測可能なデータを記録します。 後でメモを確認した後、いくつかのグラフに特定の関係があることがわかります。 たとえば、男性の散髪は女性の場合よりも平均して短くなります。 あなたは男性の間でだけハゲの人に会う可能性が高く、女性だけが唇を塗ります。 因子分析が個人データに適用される場合、性別は一度にいくつかのパターンを説明する因子の1つであることが判明します。 ただし、因子分析を使用すると、データセット内の相関依存関係を説明するすべての因子を見つけることができます。 これは、観察可能な性別要因に加えて、暗黙の観察不可能な要因を含む他の要因も際立っていることを意味します。 また、フロアがアンケートに明示的に表示される場合、行間に別の重要な要素が残ります。 人々が自分の考えを伝えたり、キャリアの成功を評価したり、卒業証書などで成績を分析したりする能力を評価すると、人間の知能の一般的な評価があるという結論に達します。これは、アンケートには明示的に書かれていませんが、そのポイントの多くを説明しています。 インテリジェンスの評価-これは隠された要因であり、高い説明効果を持つ主要コンポーネントです。 明らかに、このコンポーネントは観察しませんが、それと相関する兆候を修正します。 人生経験を積むことで、ある兆候があれば、対談者の知性のアイデアを無意識のうちに形成できます。 私たちの脳が使用するその手順は、実際、因子分析です。 特定の現象がどのように一緒に現れるかを見ると、脳は正式な手順を使用して、私たちの周りの世界に特徴的な安定した統計法則の反映として要因を特定します。

一連の要因を強調する

Hebbフィルターが最初の主要コンポーネントを強調する方法を示しました。 ニューラルネットワークを使用すると、最初のコンポーネントだけでなく、他のすべてのコンポーネントも簡単に取得できます。 これは、たとえば次の方法で実行できます。 私たちが持っていると仮定します 入力機能。 取る 線形ニューロン 。



一般化されたHebbアルゴリズム （Khaikin、2006）

最初のニューロンをヘブフィルターとしてトレーニングし、最初の主成分を選択するようにします。 しかし、前のすべてのコンポーネントの影響を除外する信号で、後続の各ニューロンをトレーニングします。
ステップnのニューロンの活動は次のように定義されます。


総観的バランスの修正

どこで 1から 、そして 1から 。

すべてのニューロンにとって、これはヘブフィルターに似たトレーニングのように見えます。 唯一の違いは、後続の各ニューロンが信号全体を見るのではなく、前のニューロンが「見えなかった」ことだけです。 この原則は再評価と呼ばれます。 実際、元の信号を復元し、次のニューロンに残り、元の信号と復元された信号の差のみを表示させるために、限られたコンポーネントセットを使用しています。 このアルゴリズムは、一般化ヘブアルゴリズムと呼ばれます。

一般化されたヘブアルゴリズムでは、本質的に「計算的」すぎることは完全に良くありません。 ニューロンは注文する必要があり、その活動は厳密に連続して計算する必要があります。 これは、大脳皮質の原理とはあまり互換性がありません。大脳皮質では、各ニューロンは他のニューロンと相互作用しながらも自律的に機能し、イベントの一般的なシーケンスを決定する「中央処理装置」はありません。 これらの理由により、非相関アルゴリズムと呼ばれるアルゴリズムはより魅力的に見えます。

ニューロンZ ₁とZ _2の2つの層があるとします。 最初の層のニューロンの活動は特定の図を形成し、軸索に沿って次の層に投影されます。


あるレイヤーを別のレイヤーに投影

ここで、2番目の層の各ニューロンがこのニューロンの特定の近傍の境界内にある場合、1番目の層から来るすべての軸索とシナプス結合していると想像してください（下図を参照）。 この領域に落ちる軸索は、ニューロンの受容野を形成します。 ニューロンの受容野は、観察のために彼が利用できる一般的な活動の断片です。 このニューロンの他のすべては単に存在しません。



ニューロンの受容野に加えて、サイズがやや小さい領域を導入します。これを抑制ゾーンと呼びます。 各ニューロンを、このゾーンに属する隣接ニューロンと接続します。 このような接続はラテラルと呼ばれ、生物学で受け入れられている用語に従ってラテラルと呼ばれます。 横方向の結合を抑制します。つまり、ニューロンの活動を低下させます。 彼らの仕事の論理は、アクティブなニューロンが、その抑制ゾーンに入るすべてのニューロンの活動を抑制することです。

興奮性結合と抑制性結合は、対応する領域の境界内にあるすべての軸索またはニューロンに厳密に分布させることができ、たとえば、特定の中心を密に充填し、そこからの距離に応じて結合密度を指数関数的に減少させるなど、ランダムに指定できます。 連続充填はモデリングが容易であり、実際の皮質の関係の組織化の観点から、ランダム分布はより解剖学的です。

ニューロン活動の機能は次のように記述できます。

どこで- 合計アクティビティ- 選択したニューロンの受容領域に入る多くの軸索、 -選択したニューロンが属する抑制ゾーン内の多くのニューロン、 -負の値をとる、対応する側方抑制の力。

ニューロンの活動は互いに依存しているため、このような活動関数は再帰的です。 これは、実際の計算が繰り返し実行されるという事実につながります。

シナプススケールのトレーニングは、Hebbフィルターと同様に行われます。


横方向の重みは反ヘブ則に従って訓練され、「類似」ニューロン間の抑制が増加します。


この構造の本質は、Hebbトレーニングが、提示されたデータの最初の主要な要因特性に対応する値のニューロンのスケールでの割り当てにつながることです。 しかし、ニューロンは、アクティブな場合にのみ、因子の方向で学習することができます。 ニューロンが因子を分泌し、それに応じて応答し始めると、抑制ゾーンに入るニューロンの活動をブロックし始めます。 複数のニューロンが活性化を望んでいる場合、相互の競合により、最強のニューロンが勝ち、他のすべてのニューロンを抑圧するという事実につながります。 他のニューロンは、近くに活動性の高い隣人がいない瞬間に学習するしかありません。 したがって、非相関が発生します。つまり、サイズが抑制ゾーンのサイズによって決定される領域内の各ニューロンは、他のすべてのユーザーと直交して、その要因を強調し始めます。 このアルゴリズムは、適応主成分抽出（APEX）アルゴリズムと呼ばれます（Kung S.、Diamantaras KI、1990）。

横方向抑制の考え方は、「勝者がすべてを取得する」という原則と精神的に似ています。これは、異なるモデルでよく知られ、勝者が求められる領域の無相関化も可能にします。この原則は、例えば、福島のネオコグニトロン、Kohanenの自己組織化マップで使用され、この原則は、Jeff Hawkinsの広く知られている階層的時間的記憶を教えるのにも使用されます。

勝者は、ニューロンの活動の単純な比較によって決定できます。しかし、コンピューターに簡単に実装できるこのような列挙は、実際の樹皮との類推とは多少矛盾しています。しかし、外部アルゴリズムを使用せずにニューロン相互作用のレベルですべてを実行するという目標を設定した場合、隣人の横方向抑制に加えて、ニューロンがそれを興奮させる正のフィードバックを持っている場合、同じ結果を達成できます。勝者を見つけるためのこのような手法は、たとえばグロスバーグ適応共振ネットワークで使用されます。

ニューラルネットワークのイデオロギーがこれを可能にする場合、相互抑制を考慮して反復的にアクティビティを計算するよりも最大のアクティビティを検索する方がはるかに簡単なので、「勝者がすべてを取る」ルールを使用すると非常に便利です。

この部分を完了する時間です。それは十分に長い間判明しましたが、意味に関連する物語を本当に分けたくありませんでした。KDPVに驚かないでください。この写真は私にとって、人工知能と主な要因の両方に関連していました。

継続

中古文学

パート1.ニューロン

アレクセイ・レドズボフ （2014）