User:Zhenlige/RTT notes: Difference between revisions
| Line 6: | Line 6: | ||
== 对偶范数 dual norm == | == 对偶范数 dual norm == | ||
若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>且<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{ | 若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>且<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{g(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>，则称<math>f,g</math>为对偶范数。 | ||
定理1：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。 | 定理1：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。 | ||
| Line 16: | Line 16: | ||
<math>\|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q</math> <math> =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p}</math> <math> =|a_1|^p+|a_2|^p+\cdots+|a_n|^p</math> <math> =\vec{a}\cdot\vec{b}</math> | <math>\|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q</math> <math> =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p}</math> <math> =|a_1|^p+|a_2|^p+\cdots+|a_n|^p</math> <math> =\vec{a}\cdot\vec{b}</math> | ||
由于<math>\vec{a}=\frac1q\nabla f_q(\vec{b})</math>，由范数的性质，当任意向量<math>\vec{c}</math>满足<math>\|\vec{c}\|_q=\|\vec{b}\|_q</math>时，<math>\vec{a}\cdot\vec{c}\leq\vec{a}\cdot\vec{b}</math>。由此得任意非零向量<math>\vec{c}</math>满足<math>\frac{\vec{a}\cdot\vec{c}}{\|\vec{c}\|_q}\leq\frac{\vec{a}\cdot\vec{b}}{\|\vec{b}\|_q}=\|\vec{a}\|_p</math>，即<math> | 由于<math>\vec{a}=\frac1q\nabla f_q(\vec{b})</math>，由范数的性质，当任意向量<math>\vec{c}</math>满足<math>\|\vec{c}\|_q=\|\vec{b}\|_q</math>时，<math>\vec{a}\cdot\vec{c}\leq\vec{a}\cdot\vec{b}</math>。由此得任意非零向量<math>\vec{c}</math>满足<math>\frac{\vec{a}\cdot\vec{c}}{\|\vec{c}\|_q}\leq\frac{\vec{a}\cdot\vec{b}}{\|\vec{b}\|_q}=\|\vec{a}\|_p</math>，即<math>\|\vec{a}\|_p=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{\|\vec{b}\|_q},\vec{b}\neq\vec{0}\right.\right\}</math>。同理可证<math>\|\vec{b}\|_q=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{\|\vec{a}\|_p},\vec{a}\neq\vec{0}\right.\right\}</math>。 | ||
推论：欧式范数的对偶为自身。 | 推论：欧式范数的对偶为自身。 | ||
定理2：若<math>f(\vec{a})</math>与<math>g(\vec{b})</math>为对偶，则斜范数（skewed norm）<math>f_s(\vec{a})=f(\boldsymbol{A}\vec{a})</math>的对偶为<math>g_s(\vec{b})=g\left(\left(\boldsymbol{A}^{-1}\right)^\mathrm{T}\vec{b}\right)</math>，其中<math>\boldsymbol{A}</math>为可逆矩阵。 | |||
证明：<math>\vec{a}\cdot\vec{b}</math> <math> =\vec{b}^\mathrm{T}\vec{a}=\vec{b}^\mathrm{T}\boldsymbol{A}^{-1}\boldsymbol{A}\vec{a}</math> <math> =(\boldsymbol{A}\vec{a})\cdot\left(\left(\boldsymbol{A}^{-1}\right)^\mathrm{T}\vec{b}\right)</math>。 | 证明：<math>\vec{a}\cdot\vec{b}</math> <math> =\vec{b}^\mathrm{T}\vec{a}=\vec{b}^\mathrm{T}\boldsymbol{A}^{-1}\boldsymbol{A}\vec{a}</math> <math> =(\boldsymbol{A}\vec{a})\cdot\left(\left(\boldsymbol{A}^{-1}\right)^\mathrm{T}\vec{b}\right)</math>。 | ||
== ''p''范数调律 ''p''-norm tuning == | == ''p''范数调律 ''p''-norm tuning == | ||