0 前言

本篇，多出自其他大佬的文章，厚着脸皮总结组织一下

1 矩阵求解

参考链接

https://blog.csdn.net/wangshuailpp/article/details/80209863

https://www.cnblogs.com/AndyJee/p/3846455.html

https://blog.csdn.net/wangshuailpp/article/details/80209863

https://www.cnblogs.com/AndyJee/p/3846455.html

1-1 内容一：直接给出$\mathbf{A}\mathbf{X}=\mathbf{B}$解的情况。

（1）R(A)< r(A|B),方程组无解

（2）r(A)=r(A|B)=n,方程组有唯一解

（3）r(A)=r(A|B) < n,方程组有无穷解

（4）r(A)>r(A|B),这种情况不存在

其中r()代表矩阵的秩，A|B是增广矩阵，n是X未知数个数。

• 当A满秩时，为了提高效率通常采用QR分解、LTLD分解、Cholesky分解和SVD分解（奇异分解）等。
• 当A亏秩时，只能使用SVD分解方法，其他方法将失效。

QR分解？LTLD分解、Cholesky分解、SVD分解？

1-2 内容二：线性最小二乘问题

$$\begin{gathered} \min \Vert Ax-b{\Vert }_2^2 \\ A\in R^{m^{\ast }n}x\in R^{n}b\in R^m \end{gathered}$$

m个方程求解n个未知数，有三种情况:

1. $\mathrm{m}=\mathrm{n}$ 且A为非奇异, 则有唯一解, $x=A^{-1}b$
2. $m>n$, 约束的个数大于未知数的个数, 称为超定问题 (overdetermined)
3. $\mathrm{m}<\mathrm{n}$, 负定/欠定问题 (underdetermined)

通常我们遇到的都是超定问题, 此时A $=$ b的解是不存在的，从而转向解最小二乘问题: $f(x)=\Vert Ax-b\Vert$ ，其中 $\mathrm{f}(\mathrm{x})$ 为凸函数。令一阶导数为 0, 得到: $A^{T}Ax-A^{T}b=0$,称之为正规方程

一般解: $x={\left(A^{T}A\right)}^{-1}{A}^{T}b$可见一般在视觉SLAM中后端优化就是约束项大于未知数的个数（超定问题）, 采用最小二乘问题求 解

2 SLAM中常用的矩阵

2-1 正交矩阵

1.正交矩阵

矩阵和它的转置矩阵的乘积为单位矩阵，， 那么这个矩阵就是正交矩阵。李群中旋转矩阵就是一种正交阵，所以一般其逆的形式直接写成转置。
$${\mathbf{M}}^T\mathbf{M}=\mathbf{I}⟺{\mathbf{M}}^T={\mathbf{M}}^{-1}$$

为什么叫正交矩阵呢？因为如果我们把这个矩阵写成向量的形式， 那么这些向量除了自己和自己的点积为1，其他任意两个不同向量之间的点积全部为0.而向量点积为0的情况叫正交。正交矩阵是因此得名的

2-2 对角矩阵

乘以一个对角矩阵，好比对每个坐标轴进行缩放，包括方向，和压缩。

• 正数的乘法：正数好比在原方向上的缩放， 大于1，表示伸长，小于1，表示缩小。
• 零的乘法：零表示空间压缩。

2-3 三角矩阵

和对角矩阵相比，三角矩阵要多一些角上的元素，那么这些元素有什么作用呢？

• 上三角矩阵：上三角矩阵的作用好比进行右上的切变，水平的斜拉。
• 下三角矩阵：同样是切边，不过是往左下切边，垂直方向的下拉

2-4 总结

矩阵分解就是分解成上面三种形式，综上所述，矩阵分解的几何意义就是把一个线性变换分解开来，分别是缩放，切边和旋转。矩阵因子的作用就是要把缩放，切边和旋转分解出来理解一个矩阵的作用。

3 矩阵分解

• 当A亏秩时，只能使用SVD分解方法，其他方法将失效
• LDLT只针对对称矩阵

3-1 QR分解

QR分解介绍

当A是非奇异的实方阵（满秩，只有方阵才存在奇异性，奇异矩阵秩亏，行列式为0，非奇异矩阵满秩，行列式不为0），实方阵A能够表示成一个正交矩阵Q（QTQ=I）与上三角矩阵R的积。

QR分解的实际计算有很多方法，例如 Givens 旋转、Householder 变换，以及 Gram-Schmidt正交化等等。A=Q*R称为A的QR分解。如下图所示

正交矩阵可以看成是坐标系的转换。从几何上QR分解，就是先进行旋转，然后再进行切变的过程。

QR分解满秩最小二乘问题

设 $A$ 有 QR 分解:
$$A=Q\left(\begin{array}{l}R\\ 0\end{array}\right)=Q_{1}R$$
其中Q是正交矩阵，${\mathbf{Q}}_1$是$\mathbf{Q}$的前n列组成的矩阵，R是对角线上元素均为正数的上三角矩阵。
由于正交矩阵保持范数不变, 所以等价于
$${\Vert Q^T(Ax-b)\Vert }_2=\min \left\{{\Vert Q^T(Av-b)\Vert }_2:v\in R^n\right\}$$
记
$$\begin{gathered} \mathbf{d}=Q^T\mathbf{b}=\left(\begin{array}{l}{Q}_1^T\\ Q_2^{\tau }\end{array}\right) \\ \mathbf{b}=\left(\begin{array}{l}{\mathbf{d}}_1\\ {\mathbf{d}}_2\end{array}\right) \end{gathered}$$
则有
$${\Vert Q^T(Ax-b)\Vert }_2^2={\Vert \left(\begin{array}{l}R\\ 0\end{array}\right)x-\left(\begin{array}{l}{d}_1\\ d_2\end{array}\right)\Vert }_2^2={\Vert Rx-d_1\Vert }_2^2+\Vert d_2\Vert$$
因此, $\mathbf{x}$ 是当且仅当方程 $R\mathbf{x}={\mathbf{d}}_1$ 的解。所以 解可由上三角方程组 $R\mathbf{x}={\mathbf{d}}_1$ 求得。

QR 分解方法的基本步骤如下:

• STEP 1: 求 $A$ 的 QR 分解:
• STEP 2: 计算 ${\mathbf{d}}_1=Q_1^T\mathbf{b}$ :
• STEP 3: 解方程组 $Rx=d_1$ 。

QR分解算力和稳定性分析

QR 分解方法比正规化方法有较好的数值稳定性, 并且计算结果比正规化方法要精确。

当然, $\mathrm{Q}\mathrm{R}$ 方法比正规化方法会付出更大的计算代价。

3-2 LDLT分解

LDLT分解介绍

对称矩阵A可以分解成一个下三角矩阵L（Lower下）和一个对角矩阵D（Diagonal对角线）以及一个下三角矩阵L的转置LT三个矩阵相乘的形式。如下式
$$\mathbf{A}={\mathbf{L}\mathbf{D}\mathbf{L}}^{\mathrm{T}}=\left(\begin{array}{ccc}1& 0& 0\\ L_{21}& 1& 0\\ L_{31}& L_{32}& 1\end{array}\right)\left(\begin{array}{ccc}{D}_1& 0& 0\\ 0& D_2& 0\\ 0& 0& D_3\end{array}\right)\left(\begin{array}{ccc}1& L_{21}& L_{31}\\ 0& 1& L_{32}\\ 0& 0& 1\end{array}\right)$$

由A的分解可知${\mathbf{A}}^{\mathbf{T}}=\mathbf{A}$，即A的转置等于A矩阵本身。所以，此方法针对对称矩阵

LDLT分解解满秩最小二乘问题

一般无法得到满足对称矩阵A，因此需要使对ATA（满足对称）进行分解。将求解问题转换成下面的式子：
$$A^{T}Ax=A^{T}b$$

由于 $\mathrm{r}(\mathrm{A})=\mathrm{n}$, 所以${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$是对称（正定）矩阵, 式子有唯一解, 使用LDLT分解的步骤是：

• STEP 1:定义矩阵 $\mathrm{C}={\mathrm{A}\mathrm{T}}^{\star }\mathrm{A},\mathrm{d}={\mathrm{A}\mathrm{T}}^{\ast }\mathrm{b}$;
• STEP 2:对C进行cholesky分解 $\mathrm{C}=\mathrm{L}\mathrm{D}{\mathrm{L}}^{\mathrm{T}}$, 原式变成 $\mathrm{L}\mathrm{D}{\mathrm{L}}^{\mathrm{T}}\mathrm{x}=\mathrm{d}$
• STEP 3:令 $\mathrm{y}={\mathrm{L}}^{\mathrm{T}}\mathrm{x}$, 原式变成 $\mathrm{L}\mathrm{D}\mathrm{y}=\mathrm{d}$, 求解此方程得到y，然后求解 $\mathrm{y}=\mathrm{L}\mathrm{T}\mathrm{x}$得到 ${\mathrm{x}}_{}$

LDLT算力和稳定性分析

LDLT分解速度要快于QR分解。

3-3 Cholesky分解

Cholesky分解介绍

Cholesky分解是LDLT分解的一种特殊形式，也就是其中的D是单位矩阵。正定对称矩阵 A可以分解成一个下三角矩阵L和这个下三角矩阵L的转置LT相乘的形式。如下式
$$\mathbf{A}={\mathbf{L}\mathbf{L}}^{\mathbf{T}}=\left(\begin{array}{ccc}{L}_{11}& 0& 0\\ L_{21}& L_{22}& 0\\ L_{31}& L_{32}& L_{33}\end{array}\right)\left(\begin{array}{ccc}{L}_{11}& L_{21}& L_{31}\\ 0& L_{22}& L_{32}\\ 0& 0& L_{33}\end{array}\right)$$

Cholesky分解解满秩最小二乘问题

一般无法得到满足对称矩阵A，因此需要使对ATA（满足对称）进行分解。将求解问题转换成下面的式子：
$$A^{T}Ax=A^{T}b$$

由于 $\mathrm{r}(\mathrm{A})=\mathrm{n}$, 所以${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$是对称（正定）矩阵, 式子有唯一解, 使用LDLT分解的步骤是：

• STEP 1:定义矩阵 $\mathrm{C}={\mathrm{A}\mathrm{T}}^{\star }\mathrm{A},\mathrm{d}={\mathrm{A}\mathrm{T}}^{\ast }\mathrm{b}$;
• STEP 2:对C进行cholesky分解 $\mathrm{C}=\mathrm{L}{\mathrm{L}}^{\mathrm{T}}$, 原式变成 $\mathrm{L}{\mathrm{L}}^{\mathrm{T}}\mathrm{x}=\mathrm{d}$
• STEP 3:令 $\mathrm{y}={\mathrm{L}}^{\mathrm{T}}\mathrm{x}$, 原式变成 $\mathrm{L}\mathrm{y}=\mathrm{d}$, 求解此方程得到y，然后求解 $\mathrm{y}=\mathrm{L}\mathrm{T}\mathrm{x}$得到 ${\mathrm{x}}_{}$

Cholesky算力和稳定性分析

Cholesky分解要快于LDLT分解。

3-4 SVD分解（略，看自己关于SVD分解的笔记）

SVD分解不仅可以解决满秩最小二乘问题，最重要的是可以解决亏秩最小二乘问题（r(A)< n，理解下其实就相当于这里取r < n的情况），而前面的方法在秩亏的时候都会失效。