User:Zhenlige/RTT notes: Difference between revisions

Line 8:

若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>且<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{g(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>，则称<math>f,g</math>为对偶范数。

定理1：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\~~lim\limits_~~{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。

定理1：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim_{p\to+\infty}\|\vec{a}\|_p=\max|a_i|</math>。

证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_q(\vec{b})=\sum_i|b_i|^q=\|\vec{b}\|_q^q</math>，其梯度为<math>\nabla f_q(\vec{b})=q\begin{bmatrix}\mathrm{sgn}(b_1)|b_1|^{q-1}&\mathrm{sgn}(b_2)|b_2|^{q-1}&\cdots&\mathrm{sgn}(b_n)|b_n|^{q-1}\end{bmatrix}^\mathrm{T}</math>。

Line 23:

证明：<math>\vec{a}\cdot\vec{b}</math> <math> =\vec{b}^\mathrm{T}\vec{a}=\vec{b}^\mathrm{T}\boldsymbol{A}^{-1}\boldsymbol{A}\vec{a}</math> <math> =(\boldsymbol{A}\vec{a})\cdot\left(\left(\boldsymbol{A}^{-1}\right)^\mathrm{T}\vec{b}\right)</math>。

定理3：欧式斜范数<math>f(\vec{a})=|\boldsymbol{A}\vec{a}|</math>的对偶为<math>g(\vec{b})=\left|\left(\boldsymbol{A}^+\right)^\mathrm{T}\vec{b}\right|</math>，其中<math>\boldsymbol{A}</math>为列满秩矩阵。

证明：<math>(\boldsymbol{A}\vec{a})\cdot\left(\left(\boldsymbol{A}^+\right)^\mathrm{T}\boldsymbol{A}^\mathrm{T}\vec{c}\right)</math> <math> =\vec{c}^\mathrm{T}\boldsymbol{A}\boldsymbol{A}^+\boldsymbol{A}\vec{a}</math> <math> =\vec{c}^\mathrm{T}\boldsymbol{A}\vec{a}</math> <math> =(\boldsymbol{A}\vec{a})\cdot\vec{c}</math>，且<math>\left|\left(\boldsymbol{A}^+\right)^\mathrm{T}\boldsymbol{A}^\mathrm{T}\vec{c}\right|\leq|\vec{c}|</math>

== ''p''范数调律 ''p''-norm tuning ==

@@ Line 8: / Line 8: @@
 若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>且<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{g(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>，则称<math>f,g</math>为对偶范数。
-定理1：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。
+定理1：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim_{p\to+\infty}\|\vec{a}\|_p=\max|a_i|</math>。
 证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_q(\vec{b})=\sum_i|b_i|^q=\|\vec{b}\|_q^q</math>，其梯度为<math>\nabla f_q(\vec{b})=q\begin{bmatrix}\mathrm{sgn}(b_1)|b_1|^{q-1}&\mathrm{sgn}(b_2)|b_2|^{q-1}&\cdots&\mathrm{sgn}(b_n)|b_n|^{q-1}\end{bmatrix}^\mathrm{T}</math>。
@@ Line 23: / Line 23: @@
 证明：<math>\vec{a}\cdot\vec{b}</math> <math> =\vec{b}^\mathrm{T}\vec{a}=\vec{b}^\mathrm{T}\boldsymbol{A}^{-1}\boldsymbol{A}\vec{a}</math> <math> =(\boldsymbol{A}\vec{a})\cdot\left(\left(\boldsymbol{A}^{-1}\right)^\mathrm{T}\vec{b}\right)</math>。
+定理3：欧式斜范数<math>f(\vec{a})=|\boldsymbol{A}\vec{a}|</math>的对偶为<math>g(\vec{b})=\left|\left(\boldsymbol{A}^+\right)^\mathrm{T}\vec{b}\right|</math>，其中<math>\boldsymbol{A}</math>为列满秩矩阵。
+证明：<math>(\boldsymbol{A}\vec{a})\cdot\left(\left(\boldsymbol{A}^+\right)^\mathrm{T}\boldsymbol{A}^\mathrm{T}\vec{c}\right)</math> <math> =\vec{c}^\mathrm{T}\boldsymbol{A}\boldsymbol{A}^+\boldsymbol{A}\vec{a}</math> <math> =\vec{c}^\mathrm{T}\boldsymbol{A}\vec{a}</math> <math> =(\boldsymbol{A}\vec{a})\cdot\vec{c}</math>，且<math>\left|\left(\boldsymbol{A}^+\right)^\mathrm{T}\boldsymbol{A}^\mathrm{T}\vec{c}\right|\leq|\vec{c}|</math>
 == ''p''范数调律 ''p''-norm tuning ==