User:Zhenlige/RTT notes: Difference between revisions
No edit summary |
No edit summary |
||
| Line 6: | Line 6: | ||
== 对偶范数 dual norm == | == 对偶范数 dual norm == | ||
若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\ | 若向量范数<math>f(\vec{a}),g(\vec{b})</math>使<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>且<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>，则称<math>f,g</math>为对偶范数。 | ||
定理：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。 | 定理：<math>p</math>范数<math>\|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1</math>的对偶范数为<math>q</math>范数，其中<math>q=\frac{p}{p-1}</math>。1范数的对偶为∞范数<math>\|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i|</math>。 | ||
证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math> | 证明：注意到<math>(p-1)(q-1)=1</math>。考虑函数<math>f_q(\vec{b})=\sum_i|b_i|^q=\|\vec{b}\|_q^q</math>，其梯度为<math>\nabla f_q(\vec{b})=q\begin{bmatrix}\mathrm{sgn}(b_1)|b_1|^{q-1}&\mathrm{sgn}(b_2)|b_2|^{q-1}&\cdots&\mathrm{sgn}(b_n)|b_n|^{q-1}\end{bmatrix}^\mathrm{T}</math>。 | ||
对于任意向量<math>\vec{a}=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}^\mathrm{T}</math>，考虑向量<math>\vec{b}=\begin{bmatrix}\mathrm{sgn}(a_1)|a_1|^{p-1}&\mathrm{sgn}(a_2)|a_2|^{p-1}&\cdots&\mathrm{sgn}(a_n)|a_n|^{p-1}\end{bmatrix}^\mathrm{T}</math>，得: | 对于任意向量<math>\vec{a}=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}^\mathrm{T}</math>，考虑向量<math>\vec{b}=\begin{bmatrix}\mathrm{sgn}(a_1)|a_1|^{p-1}&\mathrm{sgn}(a_2)|a_2|^{p-1}&\cdots&\mathrm{sgn}(a_n)|a_n|^{p-1}\end{bmatrix}^\mathrm{T}</math>，得: | ||
| Line 18: | Line 16: | ||
<math>\|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q</math> <math> =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p}</math> <math> =|a_1|^p+|a_2|^p+\cdots+|a_n|^p</math> <math> =\vec{a}\cdot\vec{b}</math> | <math>\|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q</math> <math> =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p}</math> <math> =|a_1|^p+|a_2|^p+\cdots+|a_n|^p</math> <math> =\vec{a}\cdot\vec{b}</math> | ||
由于<math>\vec{b}\ | 由于<math>\vec{a}=\frac1q\nabla f_q(\vec{b})</math>，由范数的性质，当任意向量<math>\vec{c}</math>满足<math>\|\vec{c}\|_q=\|\vec{b}\|_q</math>时，<math>\vec{a}\cdot\vec{c}\leq\vec{a}\cdot\vec{b}</math>。由此得任意非零向量<math>\vec{c}</math>满足<math>\frac{\vec{a}\cdot\vec{c}}{\|\vec{c}\|_q}\leq\frac{\vec{a}\cdot\vec{b}}{\|\vec{b}\|_q}=\|\vec{a}\|_p</math>，即<math>f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\}</math>。同理可证<math>g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\}</math>。 | ||
推论：欧式范数的对偶为自身。 | |||
== ''p''范数调律 ''p''-norm tuning == | == ''p''范数调律 ''p''-norm tuning == | ||
Revision as of 05:37, 10 April 2025
注意：本页面为公开的个人笔记，内容可能存在中英夹杂、前后联系不清晰等现象。
Note: This page contains public personal notes, and may show phenomenons like mixing Chinese and English or fuzzy connections between contents.
[math]\displaystyle{ \vec{a} }[/math]：向量vector [math]\displaystyle{ \overleftarrow{a} }[/math]：covector
对偶范数 dual norm
若向量范数[math]\displaystyle{ f(\vec{a}),g(\vec{b}) }[/math]使[math]\displaystyle{ g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\} }[/math]且[math]\displaystyle{ f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\} }[/math]，则称[math]\displaystyle{ f,g }[/math]为对偶范数。
定理：[math]\displaystyle{ p }[/math]范数[math]\displaystyle{ \|\vec{a}\|_p=\left(\sum_i|a_i|^p\right)^\frac1p,p>1 }[/math]的对偶范数为[math]\displaystyle{ q }[/math]范数，其中[math]\displaystyle{ q=\frac{p}{p-1} }[/math]。1范数的对偶为∞范数[math]\displaystyle{ \|\vec{a}\|_\infty=\lim\limits_{p\to\infty}\|\vec{a}\|_p=\max|a_i| }[/math]。
证明：注意到[math]\displaystyle{ (p-1)(q-1)=1 }[/math]。考虑函数[math]\displaystyle{ f_q(\vec{b})=\sum_i|b_i|^q=\|\vec{b}\|_q^q }[/math]，其梯度为[math]\displaystyle{ \nabla f_q(\vec{b})=q\begin{bmatrix}\mathrm{sgn}(b_1)|b_1|^{q-1}&\mathrm{sgn}(b_2)|b_2|^{q-1}&\cdots&\mathrm{sgn}(b_n)|b_n|^{q-1}\end{bmatrix}^\mathrm{T} }[/math]。
对于任意向量[math]\displaystyle{ \vec{a}=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}^\mathrm{T} }[/math]，考虑向量[math]\displaystyle{ \vec{b}=\begin{bmatrix}\mathrm{sgn}(a_1)|a_1|^{p-1}&\mathrm{sgn}(a_2)|a_2|^{p-1}&\cdots&\mathrm{sgn}(a_n)|a_n|^{p-1}\end{bmatrix}^\mathrm{T} }[/math]，得:
[math]\displaystyle{ \|\vec{a}\|_p\|\vec{b}\|_q=\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^{(p-1)q}+|a_2|^{(p-1)q}+\cdots+|a_n|^{(p-1)q}\right)^\frac1q }[/math] [math]\displaystyle{ =\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac1p\left(|a_1|^p+|a_2|^p+\cdots+|a_n|^p\right)^\frac{p-1}{p} }[/math] [math]\displaystyle{ =|a_1|^p+|a_2|^p+\cdots+|a_n|^p }[/math] [math]\displaystyle{ =\vec{a}\cdot\vec{b} }[/math]
由于[math]\displaystyle{ \vec{a}=\frac1q\nabla f_q(\vec{b}) }[/math]，由范数的性质，当任意向量[math]\displaystyle{ \vec{c} }[/math]满足[math]\displaystyle{ \|\vec{c}\|_q=\|\vec{b}\|_q }[/math]时，[math]\displaystyle{ \vec{a}\cdot\vec{c}\leq\vec{a}\cdot\vec{b} }[/math]。由此得任意非零向量[math]\displaystyle{ \vec{c} }[/math]满足[math]\displaystyle{ \frac{\vec{a}\cdot\vec{c}}{\|\vec{c}\|_q}\leq\frac{\vec{a}\cdot\vec{b}}{\|\vec{b}\|_q}=\|\vec{a}\|_p }[/math]，即[math]\displaystyle{ f(\vec{a})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{b})},\vec{b}\neq\vec{0}\right.\right\} }[/math]。同理可证[math]\displaystyle{ g(\vec{b})=\sup\left\{x\left|x=\frac{\vec{a}\cdot\vec{b}}{f(\vec{a})},\vec{a}\neq\vec{0}\right.\right\} }[/math]。
推论：欧式范数的对偶为自身。