1.7 向量和矩阵范数(Vector and Matrix Norms)

内容提要:

具体内容

定义 1.3 设 $\mathcal B$ 是一个实(复)线性空间 $\mathbb R^n$(或 $\mathbb C^n$ )。 这个空间是赋范的，若存在一个函数 $\|\cdot\|$: $\mathcal B\to \mathbb R$，它满足下列关系:

1. $\|x\| \ge 0$,且 $\|x\| = 0$ 当且仅当 $x = 0$(正定性);
2. $\|\alpha x\| = |\alpha|\cdot \|x\|$，对一切的实(或复)标量 $\alpha$ 成立( 齐次性);
3. $\|x + y\|\le \|x\| + \|y\|$(三角形不等式)

则称此函数为范数。

例 1.4 最常用的范数是

$$\|x\|_p = (\sum_i |x_i|^p)^{\frac{1}{p}},1\le p\le \infty,$$

称之为 p-范数。

$$\|x\|_\infty = \max_i\|x_i\|,$$

称之为 $\infty-$ 范数或无穷范数.

此外，若 $\|x\|$ 是任意的范数而 $C$ 是任意的非奇异矩阵，则 $\|Cx\|$ 也是一 个范数.

例 设有向量 $x_1 = [1,2,3]^T$， 向量 $x_2 = [1.01,2.01,2.99]^T$ 是 $x_1$ 是近似, 且它们的分量单位都是米，则 $x_2$ 是一个好的近似, 因为相对误差:

$$\frac{\| x_1 - x_2\|_{\infty}}{\| x_1\|_{\infty}} \approx 0.0033$$

而

$$x_3 = [10, 2.01, 2.99]^T$$

是一个不好的近似，因为

$$\frac{\|x_1 - x_3\|_{\infty}}{\|x_1\|_{\infty}} \approx 3.$$

但是假定第一个分量用千米而不是米来度量，则在这个范数下 $\widehat{x}_1$ 和 $\widehat{x}_3$ 比较接近.

$$\widehat{x}_1 = \begin{bmatrix} 0.001 \\ 2 \\ 3 \end{bmatrix}, \widehat{x}_3 = \begin{bmatrix} 0.01 \\ 2.01 \\ 2.99 \end{bmatrix}$$

且

$$\frac{\|\widehat{x}_1 - \widehat{x}_3\|_{\infty}}{\|\widehat{x}_1\|_{\infty}} \approx 0.0033.$$

为了比较 $\widehat{x}_1$ 和 $\widehat{x}_3$，应该使用

$$\|\widehat{x}\|_s = \begin{Vmatrix}{ \begin{bmatrix} 1000 \\ & 1 \\ & & 1 \end{bmatrix} \widehat {x}} \end{Vmatrix}_{\infty}$$

达到单位相同或者使重要的误差获得同样大的范数.

定义 1.4 设 $\mathcal B$ 是一个实(复)线性空间. $<\cdot, \cdot>:\mathcal B\times \mathcal B \to \mathbb R(\mathbb C)$ 是一个内积，如果它适合下面所有条件:

1) $<x,y> = <y,x>(\text{或}\overline{<y,x>})$;

2) $<x,y+z> = <x,y>+<x,z>$;

3) $<\alpha x, y> = \alpha <x, y>$,对一切的实(或复)标量 $\alpha$;

4) $<x,x>\ge 0$,当且仅当 $x =0$ 时等号成立.

例 1.5 在 $\mathbb R$ 上，$<x,y> = y^Tx = \sum_ix_iy_i$,而在 $\mathbb C$ 上，$<x,y> = y^*x = \sum_ix_i\overline{y_i}$ 是内积.

注意:$y^* = \overline {y}^T$ 是 $y$ 的共轭转置.

定义 1.5 若

$$<x,y> = 0,$$

则称 $x$ 和 $y$ 是正交的.

内积最重要的性质是它满足柯西-施瓦茨不等式.

引理 1.1 柯西-施瓦茨不等式:

$$|<x,y>| \le \sqrt{<x,x>\cdot<y,y>}.$$

引理 1.2 $\sqrt{<x,x>}$ 是一个范数.

内积和对称(埃尔米特)正定阵之间存在一个如下定义的 1-1 对应，这些矩阵在应用中经常遇到.

定义 1.6 若对一切的

$$x \ne 0,$$

有

$$\|x^TAx\|>0 (\|x^*Ax\|>0)$$

成立,

则称实对称(复埃尔米特) 阵 $A$ 是正定的.简写对称正定为 $s.p.d$,埃尔米特 $h.p.d$.

引理 1.3 设 $\mathcal B = \mathbb R^n(\text{或 }\mathbb C^n)$,$<\cdot,\cdot>$ 为一个内积，则存在一个 $n\times n$ 阶 $s.p.d$( $h.p.d$)阵 $A$ 使得

$$<x,y> = y^TAx(y^*Ax).$$

反之，若 $A$ 是 $s.p.d$( $h.p.d$), 则 $y^T Ax(y^* Ax)$ 是一个内积.

引理 1.4 设 $\|\cdot\|_{\alpha}$ 和 $\|\cdot\|_{\beta}$ 是 $\mathbb R^n(\text{或}\mathbb C^n)$ 上的两个范数,存在常数 $c_1,c_2 > 0$ 使 得对一切的 $x$ ,

$$c_1\|x\|_{\alpha}\le \|x\|_{\beta} \le c_2\|x\|_{\alpha}.$$

我们也称范数 $\|\cdot\|_{\alpha}$ 和 $\|\cdot\|_{\beta}$ 关于常数 $c_1$ 和 $c_2$ 等价.

引理 1.5 $$\|x\|_2\le \|x\|_1 \le \sqrt n\|x\|_2,$$

$$\|x\|_{\infty}\le \|x\|_2 \le \sqrt n\|x\|_{\infty},$$

$$\|x\|_{\infty}\le \|x\|_1 \le n\|x\|_{\infty}.$$

定义 1.7 $\|\cdot\|$ 是关于 $m\times n$ 阶矩阵的一个矩阵范数，如果它是 $m\cdot n$ 维空间上的一个向量范数:

1) $\|A\|\ge,\text{当且仅当} A = 0\text{时等号成立}$;

2) $\|\alpha A\| = \|\alpha\cdot \|A\|$;

3) $\|A + B\| \le \|A\| + \|B\|$.

例 1.6 $$\max_{ij} |a_{ij}|$$

称为最大范数，而

$$(\sum{|a_{ij}|^2})^\frac{1}{2} = \|A\|_F$$

称为弗罗贝尼乌斯($Frobenius$)范数.

定义 1.8 设 $\|\cdot\|_{m\times n}$ 是关于 $m\times n$ 阶矩阵的一个矩阵 范数, $\|\cdot\|_{n\times p}$ 是关于 $n\times p$ 阶矩阵的一个矩阵范数,而 $\|\cdot\|_{m\times p}$ 是关于 $m\times p$ 阶矩阵的一个矩阵范数.

如果

$$\|A\cdot B\|_{m\times p} \le \|A\|_{m\times n}\cdot \|B\|_{n\times p},$$

其中$A$ 是 $m\times n$ 阶矩阵， $B$ 是 $n\times p$ 阶矩阵，则这些范数称为相互相容的.

定义 1.9 设 $A$ 是 $\widehat m\times \widehat n$ 阶矩阵, $\|\cdot\|_{\widehat m}$ 是 $\mathbb{R}^m$ 上的一个向量范数， $\|\cdot\|_{\widehat n}$ 是 $\mathbb{R}^n$ 上的一个向量范数，则

$$\|A\|_{\widehat m\widehat n} \equiv \max_{x\ne0\,\ x \in \mathbb{R}^n}\frac{\|Ax\|_{\widehat m}}{\|x\|_{\widehat n}}$$

称为一个算子范数,或导出范数，或从属矩阵范数.

引理 1.6 算子范数是一个矩阵范数.

定义 1.10 若

$$Q^{-1} = Q^T,$$

称实方阵 $Q$ 是正交阵,若

$$Q^{-1} = Q^*,$$

则称实方阵 $Q$ 是酉阵.

正交(或酉阵)的所有行(或列)有单位 2- 范数，并且因为

$$Q Q^T = Q^T Q = I( Q Q^* = Q^* Q = I),$$

所以它们彼此是正交的.

引理 1.7

1. $$\|Ax\|\le \|A\|\cdot\|x\|,$$

对一个向量范数及其对应的算子范数，或向量 2- 范数和矩阵弗罗贝尼乌斯范数成立.

2. $$\|AB\|\le \|A\|\cdot\|B\|,$$

对任何算子算数或弗罗贝尼乌斯范数成立. 换言之， 任何算子范数(或弗罗贝尼乌斯范数)和它本身是相互相容的.

3.$\,\ $最大范数和弗罗贝尼乌斯范数不是算子范数.

4. $$\|{QAZ}\| = \|A\|,$$

当 $Q$ 和 $Z$ 是正交阵或酉阵时，对弗罗贝尼乌斯范数及由 $\|\cdot\|_2$ 导出的算子范数成立. 而这实际上正好是毕达哥拉斯定理.

5.$\| A\|_{\infty} \equiv \max_{x\ne 0}\frac{\|Ax\|_{\infty}}{\|x\|_{\infty}} = \max_i\sum_j|a_ij|\| =$最大的绝对值行和.

6.$\|A\|_1\equiv \max_{x\ne 0}\frac{\|Ax\|_1}{\|x\|_1} = \max_j\sum_i|a_ij| =$最大的绝对值列和.

７.$\|A\|_２ \equiv \max_{x\ne 0}\frac{\|Ax\|_２}{\|x\|_２} = \sqrt{\lambda_{max}( A^* A)}$,其中 $\lambda_{max}$ 表示最大的特征值.

8.$\|A\|_２ = \|A^T\|_２$.

9.$\|A\|_２ = \max_i|\lambda_i(A)|$, 当 $A$ 是正规阵,即 $A A^* = A^* A$ 时成立.

10.若 $A$ 是 $n\times n$ 阶矩阵，则

$$n^{-\frac{1}{2}}\|A\|_2\le \|A\|_1\le n^{\frac{1}{2}}\|A\|_2.$$

11.若 $A$ 是 $n\times n$ 阶矩阵，则

$$n^{-\frac{1}{2}}\|A\|_2\le \|A\|_{\infty}\le n^{\frac{1}{2}}\|A\|_2.$$

12.若 $A$ 是 $n\times n$ 阶矩阵，则

$$n^{-1}\|A\|_{\infty}\le \|A\|_1\le n\|A\|_{\infty}.$$

13.若 $A$ 是 $n\times n$ 阶矩阵，则

$$\|A\|_1\le \|A\|_F\le n^{\frac{1}{2}}\|A\|_2.$$

证明 只证明第七部分

因为 $\|A\|_2$ 与 $A^*$ 有关，因此我们考虑 $A^* A$ 的特征分解.

由于 $A^* A$ 是埃尔米特矩阵，故存在一个特征分解

$$A^* A = Q {\Lambda} Q^*,$$

其中， $Q$ 是酉阵(列是特征向量)， ${\Lambda} = diag(\lambda_1,\cdots,\lambda_n)$ 是包含特征值的对角阵,且特征值都是实的.

所有的 $\lambda_i\ge 0$, 因为若存在某个 $\lambda$ 为负, 我们取它的特征向量为 $q$, 有

$$0\le \|Aq\|_2^2 = q^T A^T A q = q^T\lambda q = \lambda\|q\|_2^2 < 0,$$

矛盾.

所以

$$\begin{align} \|A\|_2 & = \max_{x\ne0}\frac{\|Ax\|_2}{\|x\|_2} \\ & = \max_{x\ne 0}\frac{( x^* A^* A x)^{\frac{1}{2}}}{\|x\|_2} \\ & = \max_{x\ne 0}\frac{( x^* {Q\Lambda Q^*} x)^{\frac{1}{2}}}{\|x\|_2} \\ & = \max_{x\ne 0}\frac{( (Q^*x)^* {\Lambda} {Q^*x})^{\frac{1}{2}}}{\|x\|_2} \\ & = \max_{y\ne 0}\frac{( y^* {\Lambda} y)^{\frac{1}{2}}}{\|y\|_2} \\ & = \max_{y\ne 0}\frac{\sqrt{\sum\lambda_iy_i^2}}{\sqrt{\sum y_i^2}} \\ & \le \max_{y\ne 0}\sqrt{\lambda_{max}}\sqrt{\frac{\sum y_i^2}{\sum y_i^2}} \\ & = \sqrt{\lambda_{max}}, \end{align}$$

当选择 $y$ 是单位阵的适当的列时，上界是可以达到的.