User:Zhenlige/RTT notes: Difference between revisions
Created page with "'''注意：本页面为公开的个人笔记，内容可能存在中英夹杂、前后联系不清晰等现象。''' '''Note: This page contains public personal notes, and m..." |
No edit summary |
||
| Line 10: | Line 10: | ||
定理：欧式范数的对偶为自身。证明：显然。 | 定理：欧式范数的对偶为自身。证明：显然。 | ||
定理：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\ | 定理：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。 | ||
证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_p(\vec{a})=\ | 证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_p(\vec{a})=\sum_i|a_i|^p=\|\vec{a}\|_p^p</math>，其梯度为<math>\nabla f_p(\vec{a})=p\begin{bmatrix}a_1^{p-1}&a_2^{p-1}&\cdots&a_n^{p-1}\end{bmatrix}^\mathrm{T}</math>。 | ||
对于任意向量<math>\vec{a}=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}^\mathrm{T}</math>，考虑向量<math>\vec{b}=\begin{bmatrix}a_1^{p-1}&a_2^{p-1}&\cdots&a_n^{p-1}\end{bmatrix}^\mathrm{T}</math> | 对于任意向量<math>\vec{a}=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}^\mathrm{T}</math>，考虑向量<math>\vec{b}=\begin{bmatrix}\mathrm{sgn}(a_1)|a_1|^{p-1}&\mathrm{sgn}(a_2)|a_2|^{p-1}&\cdots&\mathrm{sgn}(a_n)|a_n|^{p-1}\end{bmatrix}^\mathrm{T}</math>，得: | ||
<math>\|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q</math> <math> =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p}</math> <math> =|a_1|^p+|a_2|^p+\cdots+|a_n|^p</math> <math> =\vec{a}\cdot\vec{b}</math> | |||
由于<math>\vec{b}\parallel\nabla f(\vec{a})</math> | |||
== ''p''范数调律 ''p''-norm tuning == | == ''p''范数调律 ''p''-norm tuning == | ||