ウィナーカオスまたはコインを反転する別の方法

確率論は、私が最初に遭遇した瞬間から今日に至るまで、私を驚かせることをやめません。 時々、彼らは私をさまざまな程度で追い抜いて、それらを「すごい効果」と呼び、小脳に衝撃を与えます。それは私を第三の目の効果で覆い、世界は永遠に同じでなくなりました。

• 中央極限定理から私が経験した最初の「すごい効果」。 ランダム変数の束を取り、その数を無限に向けて正規分布を取得します。 そして、これらの量がどのように分配されるかは関係ありません。コインを投げるのか、ガラスに雨が降るのか、太陽が光るのか、コーヒーかすが残るのかは関係ありません。結果は常に同じです。 そうでない場合は、それらの独立性と分散の存在を要求する必要があります（後で、無限分散の極度に重いテール分布の定理があることを学びました）。 それからこの逆説は私を長い間眠らせなかった。
• 大学での研究のある時点で、離散数学や機能分析などの主題は、「ほぼ確実」という表現を装って理論に統合され、表面化しました。 標準的な例：0から1までの数字をランダムに選択します。合理的な数字（hello、ディリクレ関数）をどのくらいの確率で突きますか？ ネタバレ：0。ゼロ、カール！ 無限集合は、数えることができる場合、力を持ちません。 無限の数のオプションがありますが、いずれも選択しません。 0、1、1 / 2、1 / 4は選択しません。 3/2は選択しません。
  
  はい、はい、1/2を選択するもの、3/2を選択するもの、確率はゼロです。 しかし、確実に突くことができないのは3/2だけです。これらは条件であり、1/2ではうまく落ちません...「ほぼ確実」。 「ほぼどこでも」/「ほぼ確実に」という概念は数学にとって楽しいものであり、普通の人は寺院で指をひねることを余儀なくされています。 多くの人は、ゼロを分類しようとして頭脳を破壊しますが、結果には価値があります。
• 3番目の、しかし有効ではない「すごい効果」は、すでに高度なレベルへの移行時に追い越されました
  -確率計算の本を読むとき。 その理由は、伊藤の補題でした。 学校の日以来、最初の派生物が私たちの処女の目に示されたとき、私たちはこの式が正しいことをまったく疑いませんでした：

  $$

  $$dX ^ 2 = 2X \ cdot dX。$$
  そして彼女は本当です。 それが唯一の場合 $$$X$ -これはランダムなプロセスではありません。 正規分布の特性と「ほぼ確実」の地獄の混合は、反対の状況ではこの式が一般に正しくないことを証明しています。 常微分方程式の解を用いた数学的解析のトミックが、炉に投入できるようになりました。 主題の人々は静かに笑い、残りは伊藤計算でWikiの記事を熱心にめくる。

しかし最近では、4番目のいわゆる「すごい効果」を経験しました。 これは単一の事実ではなく、理論全体です。これについては、一連のいくつかの記事で説明します。 そして、確率論の以前のフェイントがもうあなたを驚かせないなら、私はあなたの慈悲を切に請う（あなたはすでにここにいることを知っている）。

エルミート多項式

通常の代数から始めましょう-「確率的」（「物理的」とは少し異なります） エルミート多項式を定義します：

$$

$$H_n（x）=（-1）^ ne ^ {x ^ 2/2} \ frac {d ^ n} {dx ^ n}（e ^ {-x ^ 2/2}）、\ quad n \ in \ mathbb {N} _0。$$

最初の多項式の値： $$$H_0（x）= 1、H_1（x）= x、H_2（x）= x ^ 2-1、H_3（x）= x ^ 3-3x、\ドット$


エルミート多項式には次の特性があります。

• $$$H_n '（x）= nH_ {n-1}（x）、$
• $$$H_n（-x）=（-1）^ nH_n（x）、$
• $$$H_ {n}（x）= xH_ {n-1}（x）-（n-1）H_ {n-2}（x）$

最後の関係は、計算に役立ちます $$$n$ 与えられたエルミート多項式 $$$x$ 。 Haskellは、数学者が通常の言語で表現できるため、Haskellでプログラミングされます。Haskellは、数学自体と同じようにクリーンで、厳格で、美しいです。

-- | 'hermite' is an infinite list of Hermite polynomials for given x hermite :: (Enum a, Num a) => a -> [a] hermite x = s where s@(_:ts) = 1 : x : zipWith3 (\hn2 hn1 n1 -> x * hn1 - n1 * hn2) s ts [1..] 

エルミート関数は入力パラメーターを受け入れます $$$x$ 、そして出力は無限のシートを与えます $$$n$ の多項式 $$$n = 0,1、...$ レイジーコンピューティングの概念に精通していない人は、自分に慣れることを強くお勧めします。 この概念を知っているが、それでも関数型プログラミングが完全にはできない場合：ここで何が起きているのでしょうか？ エルミート多項式のすべての値を含む無限のシートがすでにあると想像してください。

 s = [1, x, x^2-1, x^3-3x, x^4-6x^2+3, ... ] 

このシートの末尾（最初の要素なし）：

 ts = [x, x^2-1, x^3-3x, x^4-6x^2+3, ... ] 

自然数のある別の葉を取得した後：

 [1, 2, 3, ... ] 

zipWith3関数は、指定された演算子を使用して最後の3つのシートを結合します。

 x * [ x, x^2-1, x^3-3x, ... ] - [ 1*1, 2*x, 3*(x^2-1), ... ] = [x^2-1, x^3-3x, x^4-6x^2+3, ... ] 

前に1とxを追加し、エルミート多項式の完全なセットを取得します。 つまり、これらの値を持つシート、つまり取得しようとしているシートを使用して、多項式の値を持つシートを得ました。 うわさによると、AFの美しさとパワーを完全に認識することは、耳を覗く能力に似ていると言われています。

チェック：の最初の6つの値 $$$x = 1$ ：

 Prelude> take 6 (hermite 1) [1,1,0,-2,-2,6] 

期待していたもの。

ヒルベルト空間

少し別のステップに移りましょう-ヒルベルト空間の定義を思い出してください。 科学用語では、これはスカラー積が定義された完全な計量線形空間です $$$\ラングリングX、Y \ラングリング$ この空間では、各要素は、ノルムと呼ばれ、

$$

$$\ | X \ | = \ sqrt {\ langle X、X \ rangle}。$$

超自然的なものはありません。 ヒルベルト空間を想像しようとすると、単純なものから始めて、徐々に複雑なものになります。

1. 最も単純な例は、実数の空間です。 $$$H = \ mathbb {R}$ 。 この場合、2つの数値のスカラー積 $$$X$ そして $$$Y$ 私たちは持っています

   $$

   $$\ langle X、Y \ rangle = XY$$
2. 次に、ユークリッド空間に移動します $$$H = \ mathbb {R} ^ n$ 。 いま

   $$

   $$\ langle X、Y \ rangle = \ sum_ {i = 0} ^ nX_iY_i。$$
   この空間は、複素数ベクトルの空間に拡張できます。 $$$H = \ mathbb {C} ^ n$ スカラー積は

   $$

   $$\ langle X、Y \ rangle = \ sum_ {i = 0} ^ nX_i \上線{Y_i}$$
   （一番上の行は複雑なペアリングを示しています）。
3. そして最後に、私は大人のための空間、無限の次元を持つ空間に来ます。 私たちの場合、これはあるセットで定義された二次的に積分可能な関数の空間になります $$$\オメガ$ 与えられた尺度で $$$\ mu$ 。 フォームでそれを示します $$$H = L ^ 2（\オメガ、\ mu）$ 。 その上のスカラー積は次のように定義されます。

   $$

   $$\ langle X、Y \ rangle = \ int_ \ Omega（X \ cdot Y）d \ mu。$$
   通常 $$$\オメガ$ 暗黙の間隔 $$$[a、b]$ 、しかし測定中 $$$\ mu$ 均一な測定（ルベーグ測定）、つまり $$$d \ mu = \ mu（d \ omega）= d \ omega$ 。 そして、スカラー積は通常のルベーグ積分の形で書かれています

   $$

   $$\ int_a ^ bX（\ omega）Y（\ omega）d \ omega。$$
   確率論の観点から考えると、 $$$\オメガ$ 基本的なイベントのスペースです $$$X = X（\オメガ）$ そして $$$Y = Y（\オメガ）$ ランダム変数であり、 $$$\ mu$ -確率的尺度。 このような各メジャーには、独自の分布密度関数があります。 $$$\ rho$ 、定数とは異なる場合があります $$$d \ mu = \ rho（\ omega）d \ omega$ そして、スカラー積は数学的期待値と一致します。

   $$

   $$\ langle X、Y \ rangle = \ int_ \ Omega X（\ omega）Y（\ omega）\ rho（\ omega）d \ omega = \ mathbb {E} [XY]。$$
   
   

ガウス過程

チャンスの要素を考えに導入する時が来ました。 ヒルベルト空間を作ろう $$$H$ 。 その後、私たちは呼び出します $$$\ {W（h）\} _ {h \ in H}$ （非正規）ガウス過程

1. 確率変数のベクトル $$$（W（h_1）、\ドット、W（h_n））$ いずれに対しても期待値ゼロで正規分布 $$$h_1、\ドットh_n \ in H$ 、そして
2. のために $$$h、g \ in H$

   $$

   $$\ mathbb {E} [W（h）\ cdot W（g）] = \ langle h、g \ rangle。$$

その数学的本質において $$$W（h）$ あるヒルベルト空間から別のヒルベルト空間へのマッピングです。 $$$H$ で $$$L ^ 2（\ Omega、\ mathcal {F}、\ mathbb {P}）$ -トリプレットで指定された有限分散を持つ確率変数の確率空間 $$$\オメガ$ （多くの基本的なイベント）、 $$$\ mathcal {F}$ （シグマ代数）および $$$\ mathbb {P}$ （確率的尺度）。 このマップが線形であることを示すのは簡単です：

$$

$$W（ah + bg）= aW（h）+ bW（g）\ quad \ forall a、b \ in \ mathbb {R}、\ forall h、g \ in H.$$

（平等の意味で「ほぼ確実」、こんにちは「すごい効果」＃2）

例。 させる $$$H = L ^ 2（（0、\ infty）、\ lambda）$ どこで $$$\ラムダ$ -統一尺度（ルベーグ）。 スカラー製品

$$

$$\ langle f、g \ rangle = \ int（f \ cdot g）d \ lambda。$$

させる $$$h（s）= 1 _ {[0、t]}（s）$ -区間の単位関数 $$$[0、t]$ 。 それから $$$\ | h \ | ^ 2 = \ int 1 _ {[0、t]}（s）ds = t$ そして

$$

$$B（t）= W（1 _ {[0、t]}）\ sim \ mathcal {N}（0、t）$$

ブラウン運動（またはウィーナープロセス）以外は何もありません。 また、

$$

$$\ int_0 ^ t f（s）dB（s）= W（1 _ {[0、t]} f）$$

伊藤関数の積分と呼ばれる $$$f$ に関して $$$B$ 。

Gaussianプロセスを実装するために、私は高貴な人々がすでに私たちのために書いたパッケージを使用します。

 import Data.Random.Distribution.Normal import Numeric.LinearAlgebra.HMatrix as H -- | 'gaussianProcess' samples from Gaussian process gaussianProcess :: Seed -- random state -> Int -- number of samples m -> Int -- number of dimensions n -> ((Int, Int) -> Double) -- function that maps indices of the matrix into dot products of its elements -> [Vector Double] -- m n-th dimensional samples of Gaussian process gaussianProcess seed mn dotProducts = toRows $ gaussianSample seed m mean cov_matrix where mean = vector (replicate n 0) cov_matrix = H.sym $ (n><n) $ map (\i -> dotProducts (quot in, rem in)) [0..] 

gaussianProcess関数は、 シードパラメーター（ジェネレーターの標準的なもの）、 nSamples-サンプルサイズ、 dim-ベクトル次元を受け取ります $$$（h_1、...、h_n）^ T$ 、 dotProductsは入力関数です $$$（i、j）$ 、共分散行列のインデックスであり、このインデックスに対応するスカラー積を返します $$$\ langle h_i、h_j \ rangle$ 。 GaussianProcessはnSamplesベクトルを出力します $$$（W（h_1）、\ドット、W（h_n））$ 。


今は、私たちが受け取ったすべての知識を一緒にまとめるのにふさわしい時です。 しかし、最初に、エルミート多項式の有用な特性と集合体の正規分布に言及する価値があります。 させる $$$F（t、x）= \ exp（tx-t ^ 2/2）。$ 次に、テイラー展開を使用して、

$$

$$\ begin {aligned} F（t、x）＆= \ exp（x ^ 2 / 2-（xt）^ 2/2）\\＆= \ exp（x ^ 2/2）\ sum_ {n = 0 } ^ \ infty \ frac {t ^ n} {n！t} \ frac {d ^ n} {dt ^ n} \ exp（-（xt）^ 2/2）\ bigg | _ {t = 0} \ \＆= \ sum_ {n = 0} ^ \ infty t ^ n \ frac {（-1）^ n} {n！} \ exp（x ^ 2/2）\ frac {d ^ n} {dz ^ n } \ exp（-z ^ 2/2）\ bigg | _ {z = x} \\＆= \ sum_ {n = 0} ^ \ infty \ frac {t ^ n} {n！} H_n（x）。 \ end {aligned}$$

取る $$$X、Y \ sim \ mathcal {N}（0,1）$ -2つの標準正規分布ランダム変数。 正規分布の生成関数を通じて、次の関係を引き出すことができます。

$$

$$\ mathbb {E} [F（s、X）\ cdot F（t、Y）] = \ exp（st \ mathbb {E} [XY]）。$$

取る $$$（n + m）$ プライベートデリバティブ $$$\ frac {\ partial ^ {n + m}} {\ partial s ^ n \ partial t ^ m}$ 等しい $$$s = t = 0$ 上から方程式の両側で、取得

$$

$$\ mathbb {E} [H_n（X）\ cdot H_m（Y）] = \ begin {cases} n！（\ mathbb {E} [XY]）^ n、＆n = m、\\ 0、＆n \ neq m。 \ end {cases}$$

これは何を教えてくれますか？ 最初に、私たちは規範を得ました $$$\ | H_n（X）\ | ^ 2 = n！$ のために $$$X \ sim \ mathcal {N}（0,1）$ そして、第二に、通常のランダム変数とは異なるエルミート多項式が互いに直交していることがわかりました。 これで、さらに何かを実現する準備ができました。

空間をカオスに分解する

させる $$$\ mathcal {H} _n = \ overline {\ operatorname {span}} \ Big \ {H_n（W（h））\ Big | \ | | h \ | = 1 \ビッグ\}$ -n番目のウィナーカオス 。 それから

$$

$$L ^ 2（\ Omega、\ mathcal {F}、\ mathbb {P}）= \ bigoplus_ {n = 0} ^ \ infty \ mathcal {H} _n、$$

どこで $$$\ mathcal {F}$ -シグマ代数が作成されました $$$W（h）$ 。

すごいすごい！ この分解定理を断片に分解し、数学から人間に翻訳しましょう。 ここではあまり詳しく説明しませんが、ここでの意味を直感的に説明するだけです。 アイコン $$$\ operatorname {span}（X）$ サブセットの線形スパンを示します $$$X$ ヒルベルト空間 $$$H$ -すべての部分空間の交差 $$$H$ 含む $$$X$ 。 簡単に言えば、これはからの要素のすべての線形組み合わせのセットです $$$X$ 。 上記の行 $$$\ operatorname {span}$ セットの閉鎖を示します。 もし $$$\上線{\ operatorname {span}}（X）= H$ それから $$$X$ 完全なセットと呼ばれます （大まかに言って、 $$$X$ きつい $$$H$ "）。したがって、 $$$\上線{\ operatorname {span}} \ {H_n（W（h））| \ | | h \ | = 1 \}$ -単位超球面上のガウス過程からのエルミート多項式の線形シェルの閉包。

表記法を考えました。 ここで、Wienerのカオスについてです。 シンプルから始めます： $$$\ mathcal {H} _0$ 次数が0のエルミート多項式のすべての線形結合、つまり数値のさまざまな組み合わせが含まれています $$$a \ cdot 1$ 、つまり実数の全空間。 だから $$$\ mathcal {H} _0 = \ mathbb {R}$ 。 どうぞ それは簡単にわかります $$$\ mathcal {H} _1 = \ {W（h）| h \ in H \}$ 、つまり、ガウス過程で構成される空間。 すべての中心正規量は $$$\ mathcal {H} _1$ 。 さらに追加する場合 $$$\ mathcal {H} _0$ 、その後、数学的な期待値がゼロでない残りの通常のランダム変数がそれらを結合します。 さらなるセット $$$\ mathcal {H} _n$ すでにn度で動作しています $$$W（h）$ 。

例。 させる $$$H = L ^ 2（（0、\ infty）、\ lambda）$ そして $$$X = B（t）^ 2$ ブラウン運動の二乗です。 それから

$$

$$\ begin {aligned} B（t）^ 2＆= W（1 _ {[0、t]}）^ 2 \\＆= \ | 1 _ {[0、t]} \ | ^ 2 \ cdot W \ bigg（ \ frac {1 _ {[0、t]}} {\ | 1 _ {[0、t]} \ |} \ bigg）^ 2 \\＆= t \ cdot W \ bigg（\ frac {1 _ {[0、 t]}} {\ sqrt {t}} \ bigg）^ 2 \\＆= tH_2 \ bigg（W \ bigg（\ frac {1 _ {[0、t]}} {\ sqrt {t}} \ bigg） \ bigg）+ t \ end {aligned}$$

最初の用語はに属します $$$\ mathcal {H} _2$ 第二- $$$\ mathcal {H} _0$ 。 これは、ウィーナーカオスへの分解と呼ばれます。

以前に示しました $$$\ mathcal {H} _n \ perp \ mathcal {H} _m$ のために $$$n \ neq m$ 。 分解定理は、これらの集合が互いに直交するだけでなく、 $$$L ^ 2（\ Omega、\ mathcal {F}、\ mathbb {P}）$ 。 これは実際にはどういう意味ですか？ これは、任意のランダム変数 $$$X$ 有限分散の場合、正規分布のランダム変数の多項式関数で近似できます。


例。 今すぐ取りましょう $$$H = \ mathbb {R}$ 、機能 $$$f$ ランダム変数を設定します $$$X$ そのような

$$

$$X = f（\ xi）\ in L ^ 2（\ Omega、\ mathcal {F}、\ mathbb {P}）、$$

どこで $$$\ xi = W（1）\ sim \ mathcal {N}（0,1）$ 。 分解定理により、エルミート多項式の重み付き和として表すことができます

$$

$$f（\ xi）= \ sum_ {n = 0} ^ \ infty f_nH_n（\ xi）、$$

ここで、係数は式で与えられます

$$

$$f_n = \ frac {1} {n！} \ mathbb {E} [f（\ xi）\ cdot H_n（\ xi）]。$$

これらの値 $$$f_n$ 次のようになりました：

$$

$$\ begin {aligned} \ mathbb {E} [f（\ xi）\ cdot H_n（\ xi）]＆= \ langle f（\ xi）、H_n（\ xi）\ rangle \\＆= \ langle \ sum_ {k = 0} ^ \ infty f_k H_k（\ xi）、H_n（\ xi）\ rangle \\＆= \ sum_ {k = 0} ^ \ infty f_k \ langle H_k（\ xi）、H_n（\ xi） \ rangle \\＆= f_n \ | H_n（\ xi）\ | ^ 2 = f_n n！。 \ end {aligned}$$

おめでとうございます！ これで、標準正規分布確率変数の関数がある場合、エルミート多項式に基づいて拡張できます。 たとえば、正直なコインを投げる0-1の形で提示できます

$$

$$X = 1 _ {（0、\ infty）}（\ xi）。$$

数学を少し考えて（単純な積分の計算は読者に任せます）、分解を取得します。

$$

$$X = \ frac {1} {2} + \ frac {1} {\ sqrt {2 \ pi}} \ sum_ {n = 0} ^ \ infty \ frac {（-1）^ n} {2 ^ n （2n + 1）n！} H_ {2n + 1}（\ xi）。$$

基底の展開の2番目の要素はすべてゼロに等しいことに注意してください。

 -- | 'second' function takes a list and gives each second element of it second (x:y:xs) = y : second xs second _ = [] -- | 'coinTossExpansion' is a Wiener chaos expansion for coin-toss rv to n-th element coinTossExpansion :: Int -- number of elements in the sum -> Double -- gaussian random variable -> Double -- the sum coinTossExpansion n xi = sum (take n $ 0.5 : zipWith (*) fn (second $ hermite xi)) where fn = 1.0 / (sqrt $ 2 * pi) : zipWith ( \fn1 k -> -fn1 * k / ((k + 1) * (k + 2)) ) fn [1, 3..] 

coinTossExpansion関数は、 特定のコインをランダムなWienerカオスに分解することで得られた量を返します $$$\ xi$ から $$$0$ 前に $$$n$ 。 グラフは、ランダムに選択された段階的な収束を示しています $$$\ xi$ 増加とともに $$$n$ 。


このグラフから判断すると、後のどこかに $$$n \約100$ 量を切り取り、丸め、返品することができます $$$X$ 。

 -- | 'coinTossSequence' is a coin-toss sequence of given size coinTossSequence :: Seed -- random state -> Int -- size of resulting sequence -> [Int] -- coin-toss sequence coinTossSequence seed n = map (round.coinTossExpansion 100) (toList nvec) where nvec = gaussianProcess seed n 1 (\(i,j) -> 1) !! 0 

20回のトスのシーケンスがどのように見えるかを確認します。

 Prelude> coinTossSequence 42 20 [0,0,1,0,0,0,1,1,0,1,0,0,0,1,0,1,1,1,0,1] 

コイントスを生成するように求められたので、何を表示するかを知っています。


まあ、冗談なしで、私たちは何かを計算し、何かをレイアウトしましたが、これのすべてのポイントは何ですか、あなたは尋ねます。 cheされたと感じるために急がないでください。 後続の記事では、この分解により（ある意味で）ランダム変数の導関数を取得し、確率的積分（およびあなたの意識）を拡張し、機械学習でこの実用的なアプリケーションをすべて見つける方法を示します。