👩🏾‍🍳 👌🏼 🎚️ 円錐双対性について少し 🔕 🌂 👨🏾‍🏭

機械学習の理論コース（数学、経済学、最適化、財務など）を勉強するとき、「二重問題」の概念がよく見られます。

デュアルタスクは、最適化問題のターゲット関数の低い（または高い）推定値を取得するためによく使用されます。さらに、最適化問題のほとんどすべての意味のあるステートメントについて、二重問題には意味のある解釈があります。つまり、重要な最適化の問題に直面している場合、その二重の問題もおそらく最も重要です。

この記事では、円錐双対性について説明します。私の意見では、デュアルタスクを構築するこの方法は、当然のことながら注目を奪われています...

次のマット...

通常、デュアルタスクはどのように構築されますか？

いくつかの最適化問題を与えましょう：

m i n_{x i n R^{n}} f （ x ） f_{i} （ x ） l e q 0 、 q u a d 1 l e q i l e q k h_{i} （ x ） = 0 、 1 l e q i l e q m

$\ min_ {x \ in R ^ n} f（x）\\ f_i（x）\ leq 0、\ quad 1 \ leq i \ leq k \\ h_i（x）= 0、1 \ leq i \ leq m$

デュアルタスクは、次のスキームに従って構築されます。

ラグランジアンを構築

L （ x 、 l a m b d a 、 m u ） = f （ x ） + s u m_{i = 1}^{k} l a m b d a_{i} f_{i} （ x ） + s u m_{i = 1}^{m} m u_{i} h_{i} （ x ）

$L（x、\ lambda、\ mu）= f（x）+ \ sum_ {i = 1} ^ k \ lambda_i f_i（x）+ \ sum_ {i = 1} ^ m \ mu_i h_i（x）$

二重機能を構築する

g （ l a m b d a 、 m u ） = i n f_{x} L （ x 、 l a m b d a 、 m u ）

$g（\ lambda、\ mu）= \ inf_x L（x、\ lambda、\ mu）$

デュアルタスクを取得する

m a x_{l a m b d a 、 m u} g （ l a m b d a 、 m u ） l a m b d a g e q 0

$\ max _ {\ lambda、\ mu} g（\ lambda、\ mu）\\ \ lambda \ geq 0$

このスキームの主な難点は、検索ステップで配線されています

i n f_{x} L （ x 、 l a m b d a 、 m u ）

$\ inf_x L（x、\ lambda、\ mu）$ 。

問題が凸でない場合、これはcoです-一般に、多項式時間で解決することはできません（

P n e q N P

$P \ neq NP$ ）およびこの記事のこのような問題については、今後触れません。

問題が凸であると仮定します、それでは何ですか？

問題が滑らかな場合、1次の最適条件を使用できます

n a b l a_{x} L （ x 、 l a m b d a 、 m u ） = 0

$\ nabla_x L（x、\ lambda、\ mu）= 0$ 。この条件から、すべてが正常であれば、推測または

x （ l a m b d a 、 m u ） = a r g m i n_{x} L （ x 、 l a m b d a 、 m u ）

$x（\ lambda、\ mu）= \ arg \ min_x L（x、\ lambda、\ mu）$ そして

g （ l a m b d a 、 m u ） = L （ x （ l a m b d a 、 m u ） 、 l a m b d a 、 m u ）

$g（\ lambda、\ mu）= L（x（\ lambda、\ mu）、\ lambda、\ mu）$ または直接機能する

g （ \ラ ム ダ 、 m u ）

$g（\ラムダ、\ mu）$ 。

問題がスムーズでない場合は、1次条件のアナログを使用できます

0 i n p a r t i a l_{x} L （ x 、 l a m b d a 、 m u ）

$0 \ in \ partial_x L（x、\ lambda、\ mu）$ （こちら

p a r t i a l_{x} L （ x 、 l a m b d a 、 m u ）

$\ partial_x L（x、\ lambda、\ mu）$ 関数の微微分を示します

L （ x 、 l a m b d a 、 m u ）

$L（x、\ lambda、\ mu）$ ）ただし、この手順は通常はるかに複雑です。

場合によっては、同等の「滑らかな」最適化問題があり、それに対して二重の問題を構築できます。ただし、構造を改善するために（非滑らかから滑らかに）、原則として、常に次元の増加を支払う必要があります。

円錐双対性

次の表現を可能にする最適化タスク（以下の例）がかなりあります。

\ min_ {R ^ nのx \} c ^ Tx \\ Ax + b \ in K

$\ min_ {R ^ nのx \} c ^ Tx \\ Ax + b \ in K$

どこで

A

$A$ -マトリックス

b

$b$ -ベクトル

K

$K$ -非縮退凸コーン。

この場合、デュアルタスクは次のスキームに従って構築できます。

デュアルタスクは、次のスキームに従って構築されます。

ラグランジアンを構築

L （ x 、 l a m b d a ） = c^{T} x + l a m b d a^{T} （ A x + b ）

$L（x、\ lambda）= c ^ Tx + \ lambda ^ T（Ax + b）$

二重機能を構築する

g （ l a m b d a ） = i n f_{x} L （ x 、 l a m b d a ） = b e g i n c a s e s l a m b d a^{T} b 、 q u a d c + A^{T} l a m b d a = 0 - i n f t y 、 q u a d c + A^{T} l a m b d a n e q 0 e n d c a s e s

$g（\ lambda）= \ inf_x L（x、\ lambda）= \ begin {cases} \ lambda ^ T b、\ quad c + A ^ T \ lambda = 0 \\-\ infty、\ quad c + A ^ T \ lambda \ neq 0 \ end {cases}$

デュアルタスクを取得する

m a x_{l a m b d a} b^{T} l a m b d a c + A^{T} l a m b d a = 0 - l a m b d a i n K^{*}

$\ max _ {\ lambda} b ^ T \ lambda \\ c + A ^ T \ lambda = 0 \\-\ lambda \ in K ^ *$

共役円錐はどこですか

K^{*}

$K ^ *$ コーン用

K

$K$ として定義される

K ^ * = \左\ {y \ in R ^ k | z ^ T y \ geq 0、\ quad \ forall z \ in K \ right \}

$K ^ * = \左\ {y \ in R ^ k | z ^ T y \ geq 0、\ quad \ forall z \ in K \ right \}$ 。

ご覧のように、二重問題の構築の複雑さ全体が二重円錐の構築に移されました。しかし、喜びは、デュアルコーンを構築するための優れた計算法があり、非常に頻繁にデュアルコーンをすぐに書き出すことができることです。

例

問題の二重最適化問題を構築する必要があると仮定します。

m i n_{x i n R^{n}} | x |_{2} + | x |_{1} A x g e q b

$\ min_ {x \ in R ^ n} \ | x \ | _2 + \ | x \ | _1 \\ Ax \ geq b$

ここに

| x |_{1} = s u m_{i = 1}^{n} | x_{i} |

$\ | x \ | _1 = \ sum_ {i = 1} ^ n | x_i |$ 、

| x |_{2} = s q r t s u m_{i = 1}^{n} x_{i}^{2}

$\ | x \ | _2 = \ sqrt {\ sum_ {i = 1} ^ n x_i ^ 2}$

最初に気づくことができます：目的関数は常に線形にすることができます！

むしろ、線形目的関数には常に同等の問題があります。

\ min_ {Rのn \ ^ n、Rのy \、Rのz \} y + z \\ \ | x \ | _2 \ leq y \\ \ | x \ | _1 \ leq z \\ Ax \ geq b

$\ min_ {Rのn \ ^ n、Rのy \、Rのz \} y + z \\ \ | x \ | _2 \ leq y \\ \ | x \ | _1 \ leq z \\ Ax \ geq b$

今、あなたは少し秘密の知識を使用する必要があります：多くの

K_1 = \ {（x、t）\ in R ^ n \ times R | \ quad \ | x \ | _1 \ leq t \}

$K_1 = \ {（x、t）\ in R ^ n \ times R | \ quad \ | x \ | _1 \ leq t \}$

そして

K_2 = \ {（x、t）\ in R ^ n \ times R | \ quad \ | x \ | _2 \ leq t \}

$K_2 = \ {（x、t）\ in R ^ n \ times R | \ quad \ | x \ | _2 \ leq t \}$

凸コーンです。

したがって、問題の同等の表記法に到達します。

\ min_ {R ^ nのx \、Rのy \、Rのz \} y + z \\ I_ {n + 1} \ begin {pmatrix} x \\ y \ end {pmatrix} + 0_ {n +1} \ K_2 \\ I_ {n + 1} \ begin {pmatrix} x \\ z \ end {pmatrix} + 0_ {n + 1} \ K_1 \\ Ax-b \ in R _ + ^ k

$\ min_ {R ^ nのx \、Rのy \、Rのz \} y + z \\ I_ {n + 1} \ begin {pmatrix} x \\ y \ end {pmatrix} + 0_ {n +1} \ K_2 \\ I_ {n + 1} \ begin {pmatrix} x \\ z \ end {pmatrix} + 0_ {n + 1} \ K_1 \\ Ax-b \ in R _ + ^ k$

これで、二重の問題をすぐに書き出すことができます。

m a x_{l a m b d a 、 m u 、 n u} - b^{T} n u l a m b d a_{i} + m u_{i} + [A^{T} n u]_{i} = 0 、 q u a d 1 l e q i l e q n l a m b d a_{n + 1} + 1 = 0 m u_{n + 1} + 1 = 0 - l a m b d a i n K_{2}^{*} （ = K_{2} ） - m u i n K_{1}^{*} （ = K_{i n f t y} ） - n u i n R_{+}^{k}

$\ max _ {\ lambda、\ mu、\ nu} -b ^ T \ nu \\ \ lambda_i + \ mu_i + [A ^ T \ nu] _i = 0、\ quad 1 \ leq i \ leq n \\ \ lambda_ { n + 1} + 1 = 0 \\ \ mu_ {n + 1} +1 = 0 \\-\ lambda \ in K_2 ^ *（= K_2）\\-\ mu \ in K_1 ^ *（= K _ {\ infty}）\\-\ nu \ in R ^ k _ +$

または、少し簡単にするために、

m a x_{l a m b d a 、 m u 、 n u} - b^{T} n u l a m b d a + m u + A^{T} n u = 0 | l a m b d a |_{2} l e q 1 | m u |_{i n f t y} l e q 1 - n u i n R_{+}^{k}

$\ max _ {\ lambda、\ mu、\ nu} -b ^ T \ nu \\ \ lambda + \ mu + A ^ T \ nu = 0 \\ \ | \ lambda \ | _2 \ leq 1 \\ \ | \ mu \ | _ {\ infty} \ leq 1 \\-\ nu \ in R ^ k _ +$

どこで

| m u |_{i n f t y} = m a x_{i} | m u_{i} |

$\ | \ mu \ | _ {\ infty} = \ max_ {i} | \ mu_i |$ 。

さらなる研究のためのリンク：

円錐双対性について少し

通常、デュアルタスクはどのように構築されますか？

円錐双対性

例

More articles: