Infrared Patch-Image Model for Small Target Detection in a Single Image

原文：Infrared Small Target Detection by Density Peaks Searching and Maximum-Gray Region Growing

参考：红外弱小目标检测：IPI算法解读及MATLAB复现

红外图像模型：
$$f_D(x,y)=f_T(x,y)+f_B(x,y)+f_N(x,y)......................................(1)$$
其中 $f_D$、$f_T$、$f_B$、$f_N$ 和 $(x,y)$ 分别为原始红外图像、目标图像、背景图像、随机噪声图像和像素位置。根据焦点是否在目标图像 $f_T$ ，背景图像 $f_B$ 或两者分为不同的方法。

动机：

1. 背景的变化会造成序列检测算法(TBD)性能下降，因此研究基于单帧的检测算法很有必要。

2. 传统的弱小目标模型不一定适用于所有场景。

   传统的弱小目标模型：目标成像很小，可认为是一个辐射点源，具有高斯分布特性，且各向同性的圆形，其灰度分布满足如下公式：
   $$s(x,y)=\gamma e^{-\frac{1}{2}((\frac{x}{{\sigma }_x}{)}^2+(\frac{y}{{\sigma }_y}{)}^2)}...............................................(2)$$
   式中，$\gamma$表示图像中目标灰度的峰值，${\sigma }_x$,${\sigma }_y$分别表示目标灰度在x,y方向的扩展参数，决定了目标的弥散程度，$\sigma$越小，目标灰度分布越集中；$\sigma$越大，目标灰度分布越弥散。

   在实际的图像序列中，目标的灰度分布并不总是满足二维高斯分布。可能具有"平顶"形状，且由于受成像距离、环境、目标类型的影响，目标的大小在2×2～10×10不等，目标的灰度峰值也很离散。

   

3. 一些传统的目标检测算法对噪声敏感，且当目标尺寸范围较大时，检测效果不稳定。

   弱小目标检测算法的性能通常取决于对目标、背景、目标和背景的假设，假设的合理性决定了算法在应用中的鲁棒性。

   一些传统的算法，如Top-hat，通过预测背景$f_B$，进而抑制背景$f_T=f_D-f_B$ 来检测目标。这类方法的缺点即：对噪声敏感，以及空域滤波模板大小往往取决于目标尺寸这一先验知识，所以受目标尺寸的影响较大。

提出的算法：

1. 利用局部区域构造（local patch construction）的方法，将传统的红外图像模型推广至新的infrared patch-image,IPI 模型。
2. 基于新模型，假设目标图T为稀疏矩阵，背景图B为低秩矩阵，进而将目标检测转化为分离低秩矩阵与稀疏矩阵的优化问题。
3. 算法依据：背景主要是大面积缓慢变化的低频部分，如自然背景中的云层，其在空间上往往呈大面积的连续分布状态，在红外辐射的强度上也呈渐变过渡状态，使得其在灰度空间分布上具有较大相关性，这也是为什么我们在对背景预测时需要重点考虑背景辐射强度的起伏。本文提到，即使是图像中不相邻的背景之间也存在较强的相关性，因此可以将背景图B看作低秩矩阵。
4. 将目标图T看作稀疏矩阵，仅利用的目标在整幅图中所占比例小这一假设（先验知识），未对目标的尺寸、目标的灰度值做假设，因此解决了问题（3），算法更具鲁棒性。

算法优点：

1. 本文模型更符合真实性，对不同的目标尺寸和目标的SCR更具鲁棒性，应用场景更广泛。本文对目标和背景做出的假设（1）相较于整幅图像，目标的尺寸很小；（2）背景具有相关性。
2. 即使在缺乏对背景和目标尺寸先验知识的前提下，利用当前low-rank matrix recovery技术依然可以求解，算法的实现得到了保证。

IPI模型：

• patch-image的构建和重建

  

  1. 指定一滑动窗口，从左上到右下依次得到每个Patch，然后将每个patch向量化为列向量，构成新的矩阵，由此得到patch-image；
  2. patch-image的尺寸不仅取决于原图的大小，而且取决于滑动窗口的大小与其水平、垂直方向的滑动步长；（对一些特殊情况，（1）滑动窗口大小与原图大小相同（2）滑动窗口是与图像等高的列向量且滑动步长为1时，patch-image的大小与原图相同。）

  

  由于局部块通常彼此重叠，因此重建图像中的像素位置将对应于来自不同块的多个值。 因此，我们应该定义一个一维滤波器函数来确定像素值 v：
  $$v=f(X)...............................................(3)$$
  其中 $v\in R$，$x\in R_p$是一个向量，表示包含来自p个重叠patch的同一位置像素值的列向量。一维滤波器函数 f 的定义取决于实际应用，我们可以将其定义为 v=中值(x)、v=均值(x)、v=max(x) 或 v=min(x) 等等 .

  给定原始图像$f_D$，背景图像$f_B$，目标图像$f_T$和噪声图像$f_N$（公式1），我们可以分别构造相应的patch-image D，B，T和N. 然后将传统的红外图像模型（1）转换为IPI模型，如下所示：
  $$D=T+B+N.......................................(4)$$
  传统的红外图像模型可以看作：滑动窗口是与图像等高的列向量且滑动步长为1时得到的。

基于IPI模型的小目标检测：

• 目标图像T-稀疏矩阵

  尽管在实际拍摄的视频中，弱小目标的灰度、尺寸均在变化，但是对于整幅图来说，其所占比例仍然很小，因此可以将目标图像看作稀疏矩阵，如下公式。

  $$\Vert T{\Vert }_0<k.......................................(5)$$
  式中， 表示$\Vert \cdot {\Vert }_0$表示$l_0$范数，代表了矩阵中非0元素的数量；k 的值取决于图像中目标的尺寸与数量，且$k\ll m\times n$($m\times n$是$T$的尺寸)。论文中，只对目标的“稀疏性”做了假设，即算法只对目标“小”这一特性做了量化。

• 背景图像B-低秩矩阵

  红外图像的背景具有相关性，即使像素位置相隔较远的两局部区域也具有相关性，可称为非局部自相关性(non-local self-correlation)。基于这一特征，背景图看作低秩矩阵，如下公式。
  $$rank(B)\le r.....................................(6)$$
  式中，$r$为常数。本质上，$r$代表了背景的复杂程度，背景越复杂，$r$的值越大，反之，背景越均匀，$r$的值越小。

  此外，文中提到，图像中除non-local self-correlation特性外，还存在non-local self-similarity这一特性，很多纹理合成、图像复原和图像去噪的算法都是基于图像的non-local特性。并且，有相关论文指出所有的背景图像块都来自低秩子空间的混合(a mixture of low-rank subspace clusters while not only one)，当小目标位于高度非均匀背景下，使用多子空间聚类假设更为合适。但本文献中，由于背景具有非局部自相关性，使用一个低秩空间足以模拟背景。因此，为了降低算法的复杂度，本文仅使用一个低秩空间假设（only employ one low-rank subspace assumption）。

• 噪声图像N-满足独立同分布

  本文假设随机噪声满足独立同分布，如下公式。
  $$\Vert D-B-T{\Vert }_F\le \delta ...............................(7)$$
  式中，$\Vert \cdot {\Vert }_F$表示F-范数，定义为$\Vert X{\Vert }_F=\sqrt{{\sum }_{ij}{X}_{ij}^2}$。

• 小目标检测算法原理

  最终目标是检测目标，得到目标图像T至为关键。

  首先，假设红外图像不包含噪声。 因此公式 (4) 变为$D=T+B$ 。 如前所述，背景图像 B 是一个低秩矩阵，目标图像 T 是一个稀疏矩阵。 求解目标图T即可转化为从原始图像矩阵中恢复稀疏矩阵与低秩矩阵的最优化问题，可使用主成分追踪（Principal Component Pursuit, PCP）来求解这一凸优化问题，见如下公式。
  $$\underset{B,T}{\min }\Vert B{\Vert }_{\star }+\lambda \Vert T{\Vert }_1,s.t.D=B+T.................(8)$$
  式中，$\Vert \cdot {\Vert }_{\star }$表示核范数，即奇异值之和。$\Vert \cdot {\Vert }_1$表示$l_1$范数，定义为$\Vert X{\Vert }_1=\sqrt{{\sum }_{ij}|X_{ij}|}$，$\lambda$表示非负权重。这里为了便于计算，使用$\Vert B{\Vert }_{\star }$，$\Vert T{\Vert }_1$分别取代式(6)中的$rank(B)$及式(5)中的$\Vert T{\Vert }_0$。

  使用主成分追踪（PCP）这一思想，有两点优势：

  1. 对于不同的图像，不需要估计公式（5）、（6）中的$k$，$r$。
  2. 转化为凸优化问题后，算法不仅对目标的尺寸、亮度变化具有鲁棒性，而且可以适应含不同杂波的背景。

  其次，考虑图像中的噪声，问题转换为如下公式.。
  $$\underset{B,T}{\min }\Vert B{\Vert }_{\star }+\lambda \Vert T{\Vert }_1,s.t.\Vert D-B-T{\Vert }_F\le \delta .................(9)$$
  公式（9）所示凸优化问题，即从包含噪声的图像中同时分离目标图像T和背景图像B。在背景估计问题中，求解背景图也很重要，例如在一些复杂背景下拍摄的图像，求解背景图可以评估检测的可靠性，也可以用于运动成像系统中的图像配准。

  式(9)演化为求解下式的对偶问题。
  $$\underset{B,T}{\min }\Vert B{\Vert }_{\star }+\lambda \Vert T{\Vert }_1+\frac{1}{2\mu }\Vert D-B-T{\Vert }_F^2.................(10)$$
  式中，$\mu$为非负权重，且在本文中取值不固定。

  式(10)为凸优化问题，本文使用Accelerated Proximal Gradient(APG)算法求解。

• 完整算法流程

  

  第一步：使用patch-image构建方法，从原始红外图像$f_D$构建得到D，即IPI模型。

  如下图所示，展示了大小为$5\ast 5$的patch如何被构造为$25\ast 1$的列向量。

  

  下图，展示了当图像大小为$20\ast 20$，patch大小为$5\ast 5$，patch的水平、垂直方向每次的移动步长均为1时，如何由$f_D$构造$D$，最终得到的D的大小为：$25\times (16\times 16)=25\times 256$

  

  可以引申出一个公式：当原图像大小为$m\times n$，patch的大小为$p_m\times p_n$，patch在水平和垂直方向的移动步长分别为$x_{step},y_{step}$时，最终得到的patch数量为：$nums=((x-p_m)/x_{step}+1)\times ((n-p_n)/y_{step}+1)$，最终得到的patch-image的大小为：$(p_m\times p_n,nums)$。

  第二步：使用Algorithm 1 从图像D中分别求目标图T和背景图B。

  

  其中，$V_t$ 是矩阵 $V$的转置，$Sϵ[\cdot ]$是一个软阈值算子，形式如下：
  $$Sϵ[x]=\{\begin{array}{ll}x-ϵ,& ifx>ϵ,\\ x+ϵ,& ifx<-ϵ,\\ 0,& otherwise,\end{array}........................(11)$$
  式中$x\in R$且$ϵ>0$，对于算法 1 中矩阵的情况，此运算符通过逐元素应用来扩展。

  算法1中的参数设置：$\lambda =1/\sqrt{max(m,n)}$，$\eta =0.99$，${\mu }_0=s_2,\bar{u}=0.05s_4$， $s_2,s_4$分别为patch-image D 第2和第4个奇异值（从大到小排列）。

  第三步：使用patch-image B、T分别重构背景图像$f_B$，目标图像$f_T$。

  本文选用$v=median(x)$实现重构重叠区域的像素值，与mean相比，median的鲁棒性更强；如果不需要对背景进行预测，可以只重构目标图像以减少计算量。

  第四步：使用阈值分割对目标图像$f_T$进行自适应分割。

  自适应阈值 $t_{up}$由以下因素决定：
  $$t_{up}=\max (v_{min},\mu +k\sigma )$$
  式中，$u,\sigma$分别为目标图像$f_T$的灰度均值和标准差；$k,v_{min}$为由实验测得的常量，$v_{min}$是为了降低虚警率。

  如果只检测"亮"目标，遵循的分割原则是满足$f_T(x,y)>t_{up}$的为目标，否则为背景。

  如果既要检测“亮”目标又要检测“暗”目标，使用双阈值分割原则$(t_{up},t_{down})$，其中，$t_{down}=\min (v_{min},\mu -k\sigma )$是由实验得到的常量，可以降低虚警率。双阈值分割，目标像素值满足：$f_T(x,y)>t_{up}$ or $f_T(x,y)<t_{down}$ ，否则为背景。

  第五步：后处理对分割结果进行细化。

  可以采用连通域分析或形态学分析来细化分割结果。此外，可以利用通过分析重构背景图像中，目标周围区域的背景复杂度来判断目标检测结果是否可靠，如果目标周围区域背景简单，则检测结果的可靠性更高。

• 算法复杂度分析

  本文所提算法的计算时间来自3个方面：（1）PCP 计算，即从原图D中分离目标T与背景B；（2）图像重构；（3）阈值分割。

  算法的时间复杂度为：$O(Nkmn\cdot \log (mn)+rc(p+1))$