User:Zhenlige/RTT notes: Difference between revisions

Line 6:

== 对偶范数 dual norm ==

若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\~~Big~~|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right\}</math>且<math>f(\vec{a})=\sup\left\{x\~~Big~~|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right\}</math>，则称<math>f,g</math>为对偶范数。

若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>且<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>，则称<math>f,g</math>为对偶范数。

~~定理：欧式范数的对偶为自身。证明：显然。~~

定理：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。

证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>~~f_p~~(\vec{a})=\sum_i|~~a_i~~|^p=\|\vec{a}\|_p^p</math>，其梯度为<math>\nabla ~~f_p~~(\vec{a})=p\begin{bmatrix}~~a_1~~^{p-1}&~~a_2~~^{p-1}&\cdots&~~a_n~~^{p-1}\end{bmatrix}^\mathrm{T}</math>。

证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_q(\vec{b})=\sum_i|b_i|^q=\|\vec{b}\|_q^q</math>，其梯度为<math>\nabla f_q(\vec{b})=q\begin{bmatrix}\mathrm{sgn}(b_1)|b_1|^{q-1}&\mathrm{sgn}(b_2)|b_2|^{q-1}&\cdots&\mathrm{sgn}(b_n)|b_n|^{q-1}\end{bmatrix}^\mathrm{T}</math>。

对于任意向量<math>\vec{a}=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}^\mathrm{T}</math>，考虑向量<math>\vec{b}=\begin{bmatrix}\mathrm{sgn}(a_1)|a_1|^{p-1}&\mathrm{sgn}(a_2)|a_2|^{p-1}&\cdots&\mathrm{sgn}(a_n)|a_n|^{p-1}\end{bmatrix}^\mathrm{T}</math>，得:

Line 18:

Line 16:

<math>\|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q</math> <math> =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p}</math> <math> =|a_1|^p+|a_2|^p+\cdots+|a_n|^p</math> <math> =\vec{a}\cdot\vec{b}</math>

由于<math>\vec{b}\~~parallel~~\~~nabla~~ f(\vec{a})</math>

由于<math>\vec{a}=\frac1q\nabla f_q(\vec{b})</math>，由范数的性质，当任意向量<math>\vec{c}</math>满足<math>\|\vec{c}\|_q=\|\vec{b}\|_q</math>时，<math>\vec{a}\cdot\vec{c}\leq\vec{a}\cdot\vec{b}</math>。由此得任意非零向量<math>\vec{c}</math>满足<math>\frac{\vec{a}\cdot\vec{c}}{\|\vec{c}\|_q}\leq\frac{\vec{a}\cdot\vec{b}}{\|\vec{b}\|_q}=\|\vec{a}\|_p</math>，即<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>。同理可证<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>。

推论：欧式范数的对偶为自身。

== ''p''范数调律 ''p''-norm tuning ==

@@ Line 6: / Line 6: @@
 == 对偶范数 dual norm ==
-若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\Big|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right\}</math>且<math>f(\vec{a})=\sup\left\{x\Big|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right\}</math>，则称<math>f,g</math>为对偶范数。
+若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>且<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>，则称<math>f,g</math>为对偶范数。
-定理：欧式范数的对偶为自身。证明：显然。
 定理：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。
-证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_p(\vec{a})=\sum_i|a_i|^p=\|\vec{a}\|_p^p</math>，其梯度为<math>\nabla f_p(\vec{a})=p\begin{bmatrix}a_1^{p-1}&a_2^{p-1}&\cdots&a_n^{p-1}\end{bmatrix}^\mathrm{T}</math>。
+证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_q(\vec{b})=\sum_i|b_i|^q=\|\vec{b}\|_q^q</math>，其梯度为<math>\nabla f_q(\vec{b})=q\begin{bmatrix}\mathrm{sgn}(b_1)|b_1|^{q-1}&\mathrm{sgn}(b_2)|b_2|^{q-1}&\cdots&\mathrm{sgn}(b_n)|b_n|^{q-1}\end{bmatrix}^\mathrm{T}</math>。
 对于任意向量<math>\vec{a}=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}^\mathrm{T}</math>，考虑向量<math>\vec{b}=\begin{bmatrix}\mathrm{sgn}(a_1)|a_1|^{p-1}&\mathrm{sgn}(a_2)|a_2|^{p-1}&\cdots&\mathrm{sgn}(a_n)|a_n|^{p-1}\end{bmatrix}^\mathrm{T}</math>，得:
@@ Line 18: / Line 16: @@
 <math>\|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q</math> <math> =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p}</math> <math> =|a_1|^p+|a_2|^p+\cdots+|a_n|^p</math> <math> =\vec{a}\cdot\vec{b}</math>
-由于<math>\vec{b}\parallel\nabla f(\vec{a})</math>
+由于<math>\vec{a}=\frac1q\nabla f_q(\vec{b})</math>，由范数的性质，当任意向量<math>\vec{c}</math>满足<math>\|\vec{c}\|_q=\|\vec{b}\|_q</math>时，<math>\vec{a}\cdot\vec{c}\leq\vec{a}\cdot\vec{b}</math>。由此得任意非零向量<math>\vec{c}</math>满足<math>\frac{\vec{a}\cdot\vec{c}}{\|\vec{c}\|_q}\leq\frac{\vec{a}\cdot\vec{b}}{\|\vec{b}\|_q}=\|\vec{a}\|_p</math>，即<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>。同理可证<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>。
+推论：欧式范数的对偶为自身。
 == ''p''范数调律 ''p''-norm tuning ==