本笔记涵盖第 31–35 讲：线性变换及对应矩阵、基变换与图像压缩、左右逆与伪逆、期末复习。

▸与 05 的衔接：统一视角与「广义逆」

线性变换 $T(\mathbf{v})=A\mathbf{v}$ 是整门课的主线，选不同基得不同矩阵。非方阵无传统逆，但有左逆（列满秩）、右逆（行满秩）、伪逆 $A^+$（用 SVD 求）。伪逆统一处理最小二乘、最小范数解，是 01–05 的综合应用。



一、线性变换及对应矩阵

线性变换的定义

映射 $T: V \to W$ 为线性变换当且仅当：

  • $T(\mathbf{v} + \mathbf{w}) = T(\mathbf{v}) + T(\mathbf{w})$
  • $T(c \mathbf{v}) = c T(\mathbf{v})$

等价于 $T(c \mathbf{v} + d \mathbf{w}) = c T(\mathbf{v}) + d T(\mathbf{w})$。必有 $T(\mathbf{0}) = \mathbf{0}$。

投影、旋转、矩阵乘法 $T(\mathbf{v}) = A \mathbf{v}$ 均为线性变换；平移、求长度 $|\mathbf{v}|$ 不是。

线性变换的矩阵表示

选取输入空间基 $\mathbf{v}_1, \ldots, \mathbf{v}_n$ 与输出空间基 $\mathbf{w}_1, \ldots, \mathbf{w}_m$。矩阵 $A$ 的第 $i$ 列 = $T(\mathbf{v}_i)$ 在输出基下的坐标。

$$
A \cdot (\text{输入坐标}) = \text{输出坐标}
$$

▸以特征向量为基

若以特征向量为基，则变换矩阵为对角阵 $\Lambda$，对角元为特征值。


▸例：导数算子

$T = \frac{d}{dx}$ 作用在 $c_1 + c_2 x + c_3 x^2$ 上。以 ${1, x, x^2}$ 为输入基，${1, x}$ 为输出基，则 $A = \begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 2 \end{bmatrix}$。



二、基变换与图像压缩

基变换

同一向量在不同基下的坐标不同。设基从 $\mathbf{v}_1, \ldots, \mathbf{v}_n$ 变为 $\tilde{\mathbf{v}}_1, \ldots, \tilde{\mathbf{v}}_n$，坐标变换为 $\mathbf{x} = C \tilde{\mathbf{x}}$，其中 $C$ 的列为新基在旧基下的坐标。

图像压缩中的线性代数

图像可表示为矩阵，SVD 等分解用于低秩近似，保留主要奇异值可实现压缩。


三、左右逆与伪逆

满秩情况

  • 满秩方阵（$r = m = n$）：$A^{-1}$ 存在，$A A^{-1} = A^{-1} A = I$。
  • 列满秩（$r = n < m$）：左逆 $A_{left}^{-1} = (A^T A)^{-1} A^T$，满足 $A_{left}^{-1} A = I$。
  • 行满秩（$r = m < n$）：右逆 $A_{right}^{-1} = A^T (A A^T)^{-1}$，满足 $A A_{right}^{-1} = I$。
▸左逆的几何意义

$A (A^T A)^{-1} A^T$ 是投影到 $C(A)$ 的投影矩阵。左逆作用于 $A \mathbf{x}$ 可恢复 $\mathbf{x}$（因 $N(A) = {\mathbf{0}}$）。


伪逆 $A^+$

当 $r < m$ 且 $r < n$ 时，$A$ 无左逆或右逆，但有伪逆 $A^+$。

定义：将 $A$ 限制在行空间 $\to$ 列空间时，该映射可逆，其逆在相应空间上的延拓即为 $A^+$。

  • $A^+ A$ 为投影到行空间的矩阵
  • $A A^+$ 为投影到列空间的矩阵
  • $A A^+ A = A$，$A^+ A A^+ = A^+$

用 SVD 求伪逆

设 $A = U \Sigma V^T$，$\Sigma = \operatorname{diag}(\sigma_1, \ldots, \sigma_r, 0, \ldots)$，则：
$$
\Sigma^+ = \operatorname{diag}(1/\sigma_1, \ldots, 1/\sigma_r, 0, \ldots)
$$
（$m \times n$ 与 $n \times m$ 位置对调），
$$
A^+ = V \Sigma^+ U^T
$$

伪逆给出最小范数最小二乘解：$\hat{\mathbf{x}} = A^+ \mathbf{b}$ 满足 $|A \hat{\mathbf{x}} - \mathbf{b}|$ 最小且 $|\hat{\mathbf{x}}|$ 最小。


四、课程总结

核心概念速查

主题 核心概念
矩阵基础 消元、LU 分解、逆矩阵
向量空间 列空间、零空间、行空间、左零空间
正交与投影 正交补、投影矩阵、最小二乘、Gram-Schmidt
行列式 性质、代数余子式、体积
特征值 对角化、差分方程、微分方程
对称与正定 正交对角化、二次型、$A^T A$
分解 LU、QR、SVD、若尔当形
线性变换 基、坐标、矩阵表示
逆 左逆、右逆、伪逆

逻辑发展脉络

阶段 要解决的问题 引入的概念 顺承关系
01 矩阵基础 如何解 $Ax=b$？ 消元、$EA=U$、逆矩阵、$A=LU$ 列图像 → 线性组合；消元 → 矩阵乘法；$E^{-1}$ 撤销消元 → 逆；$L$ 存消元系数 → 可重复用
02 向量空间 何时有解？解的结构？ 列空间 $C(A)$、零空间 $N(A)$、四个子空间 有解 $\Leftrightarrow b \in C(A)$；通解 = 特解 + 零空间；行空间、左零空间与列、零空间正交互补
03 正交与投影 $b \notin C(A)$ 时怎么办？ 投影、$A^T A \hat{x}=A^T b$、Gram-Schmidt 投影到 $C(A)$ 得最近点；正交基简化投影；$A=QR$ 为 SVD 铺垫
04 行列式与特征值 矩阵作为变换有何性质？ $ A
05 对称与 SVD 任意矩阵如何「最好」地分解？ $A=Q\Lambda Q^T$、$A=U\Sigma V^T$、正定 对称矩阵必可正交对角化；SVD 对任意矩阵成立；$A^T A$ 正定支撑最小二乘
06 线性变换与逆 非方阵如何求「广义解」？ 基变换、左逆、右逆、伪逆 $A^+$ 同一变换不同基不同矩阵；SVD 给出 $A^+$；伪逆统一最小二乘与最小范数

概念顺承关系简图

1
2
3
4
5
6
7
8
9
10
Ax=b 有解?  ──► C(A), N(A) ──► 无解? 投影 ──► A^T A x̂ = A^T b
     │              │                              │
     ▼              ▼                              ▼
  消元 LU        四个子空间                     Gram-Schmidt
     │              │                              │
     ▼              ▼                              ▼
  |A|=0?  ──► 特征值 λ  ──► 对角化  ──► 对称? QΛQ^T / 任意? UΣV^T
     │              │                              │
     ▼              ▼                              ▼
  A^{-1}          A^k, e^{At}                  伪逆 A^+

为什么需要这些概念？

  • 消元与 LU：解方程的通法，且 $L$ 可复用（同一 $A$、多个 $b$ 时只消元一次）。
  • 列空间与零空间：抽象理解「可解性」与「解的自由度」，不依赖具体数值。
  • 投影与 $A^T A$：无解时求最优近似，拟合、最小二乘的数学基础。
  • 行列式：体积伸缩、可逆性判据，并为特征方程 $|A-\lambda I|=0$ 服务。
  • 特征值与对角化：把复杂变换分解为沿特征方向的伸缩，便于算 $A^k$、微分方程。
  • SVD：任意矩阵的「最佳」分解，用于压缩、降噪、伪逆。
  • 伪逆：统一处理满秩与降秩，给出唯一的最小二乘解或最小范数解。