2025-02-22
首先回忆线性映射 \(T:V\to W\) 的伴随 \(T^*\) 的相关性质. 这里 \(V,W\) 都是 \(\mathbb{R}\) 上的有限维内积空间，用 \((x|y)\) 表示内积. \(\dim V=m\)，\(\dim W=n\)，\(p=\min\{n,m\}\).
定义（伴随）：\(T^*\) 为满足 \((Tv|w)=(v|T^*w)\) 的线性映射. 可以证明 \(T^*\) 唯一，并且将 \(T\) 视作矩阵 \(A\)，则 \(T^*\) 的矩阵即为 \(A^{T}\).
从简单的矩阵乘法即可知道 \(T^*T\) 自伴. 并且，\((T^*Tv|v)=(Tv|Tv)\ge 0\)，故 \(T^*T\) 半正定.
并且我们还可以知道 \(\ker T=\ker T^*T\). 首先后者包含前者是显然的. 而对于 \(v\in \ker T^*T\)，\(0=(T^*Tv|v)=(Tv|Tv)\)，于是 \(v\) 也显然 \(\in \ker T\).
由此，我们也可以知道 \(\text{rk }T=\text{rk }T^*T\).
然后我们进入 Singular Value Decomposition，即奇异值分解.
定义（SVD）：存在 \(V\) 的一组单位正交基 \(P=(v_1|\dots|v_m)\)，\(W\) 的一组单位正交基 \(Q=(w_1|...|w_n)\)，非负实数 \(\sigma_1\ge\dots\ge\sigma_p\)，使得 \(Tv_j=\sigma_jw_j\)（对于 \(j\le p\)），且 \(Tv_j=0\)（对于 \(j>p\)）. 用矩阵描述，即 \(A=Q\Sigma P^{T}\)，或 \(\Sigma=PAQ^{T}\). \(\Sigma\) 为对角线递减的对角矩阵，且唯一存在.
我们会发现奇异值分解是一种和“正交对角化”有所相似的操作. 实际上，由于可以推出 \(A^T=P\Sigma Q^{T}\)，简单带入即可发现 \(T^*Tv_j=T^*\sigma_jw_j=\sigma^2_jv_j\). 所以 \(\sigma_j^2\) 为 \(T^*T\) 的所有非零特征值，并且配有特征向量 \(v_j\). 同理可以得到 \(w_j\) 为 \(TT^*\) 的特征向量. 将两者扩成 \(V,W\) 的基即可完成分解.
这个过程同时证明了存在性和唯一性. 并且非常地构造性.
定义（广义逆）：存在 \(T\) 的广义逆 \(S: W\to V\)，使得 \(TS|_{\text{im } T}=id|_{\text{im T}}\). 换句话说，\(TST=T\).
普通的广义逆的存在性很好说明. 将 \(\text{im }T\) 的基 \(w_1,\dots,w_r\) 扩充为 \(W\) 的基，那么显然对于 \(j\le r\) 存在 \(Tv_j=w_j\)，然后再将 \(v\) 扩充为 \(V\) 的基即可.
定义（Moore-Penrose 广义逆）：再上述条件下，还需满足：\(STS=S\)，\(TST=T\)，\((TS)=(TS)^*\)，\((ST)=(ST)^*\). 这样 \(S\) 存在且唯一.
一个想法是参考 \(Tv=w\) 的最小二乘解. 构造最小二乘解的过程中，我们先取 \(w\) 对 \(\text{im }T\) 的投影 \(w'\)，然后再取 \(Tv'=w'\)，并取 \(v'\) 对 \((\ker T)^{\bot}\) 的投影就行了.
于是，\(ST\) 是 \(V\to (\ker T)^{\bot}\) 的正交投影，\(TS\) 是 \(W\to \text{im }T\) 的正交投影，故自伴.
唯一性的证明更加神秘. 假若 \(S,R\) 都是 \(T\) 的广义逆，那么会发生：
\(S=STS=S(TS)^*=SS^*T^*=SS^*T^*R^*T^*=STSTR=STR\)
但同理，我们也能知道 \(R=STR\). 所以 \(S=R\).
下面考虑如何求解该广义逆. 实际上，取奇异值分解 \(T=Q\Sigma P^{T}\) 后，取 \(S=P\Sigma^{-1}Q^{T}\) 就可以了. 其中对 \(\Sigma\) 的取逆只需操作非零项. 看上去也十分可以理解.
而我们考虑一下这个本质. 实际上奇异值分解所作的就是分别建立了 \(V,W\) 的"坐标系"，然后再在这个坐标系上用一个简单的伸缩表达 \(T\). 这样来看，广义逆中有关正交投影的部分，就和上述操作不谋而合了.
参考讲义：李文威-代数学讲义