3. 广义逆矩阵

3.1 定义

• 广义逆
  $A_{m \times n}, X_{m \times n}$，若X满足moore-penrose条件

  1. AXA=A
  2. XAX=X
  3. $(AX)^H=AX$
  4. $(XA)^H=XA$
     中的一部分，称X是A的广义逆矩阵, 简称广义逆

• 伪逆$A^+$

  • 如果X满足上述所有moore-penrose条件，则称X是A的伪逆，或加号逆（M-P逆），记为$A^+$, 若A可逆，则$A^{-1} = A^+$。
  • $\forall A_{n \times n} \in C，A^+$ 存在且唯一。
  • 性质
    
    1. $AA^+A=A$
    2. $A^+A A^+= A^+$
    3. $(AA^+)^H = AA^+$
    4. $(A^+A)^H = A^+A$

• 伪逆的运算
  设$A_{n \times n} \in C$，则

  1. 伪逆的伪逆是自己，$(A^+)^+ = A$
  2. 共轭转置的伪逆=伪逆的共轭转置，$(A^H)^+ = (A^+)^H$
  3. 转置的伪逆=伪逆的转置，$(A^T)^+ = (A^+)^T$
  4. $(A^HA)^+ = A^+(A^H)^+，(AA^H)^+ = (A^H)^+A^+$
  5. 一般的伪逆不能去括号，$(AB)^+ ≠ B^+A^+$
  6. 一般地，A乘A的伪逆不等于单位阵，$A^+A ≠ AA^+ ≠ I$
  7. 伪逆的秩=本身的秩，$r(A^+) = r(A)$
  8. $A^+ = (A^HA)^+A^H = A^H (AA^H)^+$
  9. 伪逆的像空间=共轭转置的像空间$R(A^+) = R(A^H)$
  10. 伪逆的核空间=共轭转置的核空间$N(A^+) = N(A^H)$
      

• A的{n}逆
  满足第n个moore-pensore条件的广义逆叫做A的{n}逆，记作A(n), n=1,2,3,4，如：

  1. 满足第1个mp条件为A的{1}逆，可写作A(1)，常记作$A^-$，也叫A的减号逆
  2. 满足第2,3个mp条件的为A的{2,3}逆，可写作A(2,3)
     以上均是A的广义逆

3.2 伪逆$A^+$的求法

• 满秩分解求A+
  对于$A_{m \times n}^r$, r > 0, A有满秩分解 $A=F_{m \times r}G_{r \times n}$(列满秩×行满秩),则
  $A^+ = G^H(GG^H)^{-1}(F^HF)^{-1}F^H = G^H(F^HAG^H)^{-1}F^H$
  特别地，
  当A列满秩，r=n时，$A^+ = (A^HA)^{-1}A^H$
  当A行满秩，r=m时，$A^+ = A^H (AA^H)^{-1}$

• 奇异值分解求$A^+$
  对于$A_{m \times n}^r, r > 0$, A有奇异值分解
  

  $$A=V\left( \begin{matrix} S_r & 0 \\ 0 & 0 \end{matrix} \right)U^H$$
  则有
  $$A^+=U\left( \begin{matrix} S_r^{-1} & 0 \\ 0 & 0 \end{matrix} \right)V^H$$
  即UV位置对换，Sr取逆，对角元全变倒数：$Sr^{-1} = diag(σ_1^{-1}, … σ_r^{-1})$
  或者，只需要U, $U=(U_1, U_2)$, 则$A^+ = U_1Λ_r^{-1}U_1^HA^H$, 这里$Λ_r=S_r^2=diag(λ_1, …, λ_n)$

• 奇异值分解求A+的简化步骤：

  1. 求出$A^HA$的r个非0特征值
  2. 求出相应的特征向量，并schmidt正交化，组成酉高矩阵$U_1$
  3. 
     $$A^+=U_1\left( \begin{matrix} λ_1^{-1} & & \\ & \ddots & \\ & & λ_r^{-1} \\ \end{matrix} \right)U_1^HA^H$$

• 秩1公式求$A^+$：若r(A)=1, 则

  $$A^+={1 \over \sum |a_{ij}|^2}A^H$$

• 谱分解求$A^+$ (这个部分有些问题。。。有空再改)
  $A^HA$有k个相异的特征值，$A^HA$的谱分解为

  $$A^HA= \sum_{i=1}^k λ_iG_i$$
  这里$G_i = X_iY_i$，$X_i$是P的各列向量，$Y_i$是$P^{-1}$的各行向量，P是$A^HA$相似对角化时的可逆阵P, 则
  $$A^+=\sum_{i=1}^k λ_i{ \phi_i(A^HA) \over \phi_i(\lambda_i)}A^H$$
  其中 $$\phi_i(\lambda)= \prod^k_{j=1, i≠j} (\lambda - \lambda_j)$$

3.3 广义逆与线性方程组

• 方程组相容：
  即Ax=b有解（当且仅当A列满秩时解唯一, $A_{m \times n}$）
  Ax=b相容的充要条件为$AA^-b=b$, 其通解为：

  $$x=A^-b+(I_n-A^-A)y$$
  y为n阶任意列向量，因为$A^+$是$A^-$的子集，所以将$A^-$替换为$A^+$也成立(这里的$I_n$的阶数与A的列数相等)： $$x=A^+b+(I_n-A^+A)y$$
  极小范数解为： $$x_0=A^+b$$

• 方程组不相容：
  x的最小二乘解的通解为：
  

  $$x=A^+b+(I_n-A^+A)y$$
  当且仅当A列满秩时，不相容方程组Ax=b的最小二乘解唯一，是：
  $$x_0=A^+b$$
  当A非列满秩时,最小二乘解不唯一，但上式是极小范数最小二乘解, 且唯一。

3.4 A的{1}逆$A^-$的求法

对于$A_{m \times n}, \exists P_m, Q_n$可逆，使得

$$PAQ=\left( \begin{matrix} I_r & 0 \\ 0 & 0 \end{matrix} \right)U^H$$
则
$$A^-=\left \{ \begin{array}{c|c} Q\left( \begin{matrix} I_r & X_{12} \\ X_{21} & X_{22} \end{matrix} \right)P & X_{12},X_{21},X_{22}为任意适当阶子块 \end{array} \right \}$$
$X_{12}^{r \times (m-r)}， X_{12}^{(n-r) \times r}，X_{22}^{(n-r) \times (m-r)}$可取0, 则
$$A^-=Q\left( \begin{matrix} I_r & 0 \\ 0 & 0 \end{matrix} \right)P$$

特别地，当$A_{n \times n}$ 为方阵且可逆时，有

$$PAQ=I_n$$ 此时 $$A^- = QI_nP=QP=A^{-1}$$

• 初等行变换求P, Q
  $$\left(\begin{matrix}A_{m \times n} & I_m \\I_n & 0\end{matrix}\right) \longrightarrow \left(\begin{matrix} \left(\begin{matrix}I_n & 0 \\ 0 & 0\end{matrix}\right) & P \\ Q & 0\end{matrix}\right)$$