快速鲁棒高光谱目标跟踪算法

摘 要：      针对传统目标跟踪的难点如目标与背景混淆及目标外观急剧变化等问题，利用高光谱视频包含的二维空域信息和丰富的一维频谱信息，提出一种快速鲁棒目标跟踪算法FRHT。首先，在传统的空域注意力机制上基于高光谱数据的特点引入频谱注意力机制，设计了相关滤波框架下自适应更新学习的跟踪器; 其次，手工设计高光谱运动目标特征以加快跟踪器运算速度; 最后，提出一种运动目标异常检测机制，以增强跟踪器对各种干扰的鲁棒性。仿真结果表明，在高光谱数据集上，跟踪器FRHT的速度和精度显著优于KCF，SAMF和CSR-DCF等传统跟踪算法，精度提升2%以上; 引入运动目标检测机制后，算法鲁棒性得到改善。

关键词：     目标跟踪; 目标特征; 高光谱; 相关滤波; 注意力机制; 鲁棒性

中图分类号：     TJ760; TN911.73

文献标识码：    A

文章编号：     1673-5048（2022）02-0039-06

DOI： 10.12132/ISSN.1673-5048.2021.0131

0 引  言

随着人类航天活动的增加，空间运动目标检测跟踪在军事领域、航天测控等方面发挥着越来越重要的作用[1]。目前，对空间物体的全链路监视跟踪是天基光学监视系统急需解决的问题[2-3]。空间目标体积小，速度快，导致远距离观测条件下目标能量极为微弱，没有与背景进行区分的显著特征。因此，基于对目标分辨率和检测灵敏度的要求，高光谱目标检测跟踪受到人们的关注[4]。

由于传统视觉目标跟踪不能满足某些极端条件下的跟踪要求，在目标与背景相似或者跟踪目标快速变化时，跟踪器难以快速更新跟踪器。准确获取目标信息，及时更新跟踪器对于快速准确跟踪目标至关重要。一般而言，当下目标跟踪主要有两种框架： （1）深度学习框架; （2）相关滤波框架。本研究重点关注后者，即在相关滤波框架下，将空域目标傅里叶变换到频域后进行跟踪的方法。

基于高光谱数据的目标跟踪是目标跟踪领域中一个新兴的研究方向，其包含多谱段的丰富信息，对于实现精确目标跟踪具有特殊的优势。与可见光图像数据（RGB）或者单通道图像不同，高光谱数据（HSI）包含空间二维信息和丰富的一维频域信息，可以在可见光或是红外光难以辨识目标的情况下，将不同的物体区分开，比如白色的卡片和白色的纸。特斯拉汽车由于使用RGB视觉目标跟踪系统，将白色的卡车误认为白色的天空，致使发生车祸[5]。从另一方面，可以看出高光谱目标跟踪在现实世界中颇具应用前景，如瓦斯检测[6]等。

目前，针对高光谱目标跟踪的研究仍十分有限。Xiong等[7]提出的目标跟踪器 MHT（Material-Based Hyperspectral Tracker）利用基于空间频谱直方图统计的手工特征（Spectral-Spatial Histogram of Multidimensional Gradients， SSHMG），模拟目标物质信息，实现目标跟踪。为了促进这个新兴领域的发展，熊凤超等人在2020年组织了高光谱数据目标跟踪竞赛，并提供了一个精心制作的高光谱数据集 Whisper[7]，供学者进行研究对比。该数据集共有40段训练视频和35段测试视频，平均每个视频序列的长度达 425帧。每个视频序列都标记了面临的挑战因素，所有的标记因素共11类， 分别为尺度变化（Scale Variation， SV）、运动模糊（Motion Blur， MB）、遮挡（Occlusion， OCC）、快速移动（Fast Motion， FM）、低分辨率（Low Resolution， LR）、面内运动（In-Plane Rotation， IPR）、面外运动（Out-of-Plane Rotation， OPR）、形变（Deformation， DEF）、背景模糊（Background Clutters，  BC）、 光照变化（Illumination  Variation， IV）和目标丢失

（Out-of-View， OV）。与其他传统的基于相关滤波的跟踪器[8-12]相比，MHT在高光谱数据集Whisper上的表现更为优异。但是SSHMG 特征通过3D直方梯度图提取，需要在高维度空间进行大量计算，降低了目标跟踪的速度。

针对高光谱图像数据维度高、处理耗时的特点，本文提出了一个新颖的高光谱图像快速跟踪算法FRHT（Fast and Robust Hyperspectral Tracker），在相关滤波跟踪的框架下，融合空间注意力和频域注意力机制，实现快速鲁棒目标跟踪。

与MHT使用的3D梯度特征不一样，本文使用的特征是压缩后的灰度图像特征，可以在速度和精度两者间取得平衡。在跟踪过程中，利用空间注意力机制，二值分割出一个自适应调整的目标分割模板，使跟踪器可以用目标图像块进行更新。对高维图像特征，频谱注意力机制可以通过学习权重，不同频域通道加权后进行定位跟踪。不仅如此，本文还设计了运动目标异常检测算法，用于对异常目标进行检测，及时纠正跟踪器。

本文创新点如下： （1）针对高光谱数据特点，提出了一个基于相关滤波的高光谱目标跟踪器FRHT; （2）提出了高光谱运动目标异常检测算法，用于及时纠偏高光谱跟踪器; （3）在当下最新的高光谱基准数据集 Whisper 上做了大量仿真实验，结果表明所提方法跟踪精度优于可见光跟踪算法，同时跟踪速度大幅提升。

1 相关滤波跟踪

目标跟踪是计算机视觉领域最富有挑战性的任务之一，目前主流有两个跟踪框架，一个是基于相关滤波框架，一个是基于孪生网络的深度学习框架。基于深度孪生网络的跟踪方法，需要大量样本来训练网络参数，以学习运动目标的空间特征表示，

因此，在训练和实时测试两个阶段，该方法耗时多[13-15]。相比之下，基于相关滤波的跟踪将目标信息根据傅立叶变换从空域到频域进行相关跟踪，大大提升了计算效率。

Bolme等[16]首先富有开创性地将相关滤波的原理引入了目标跟踪领域，提出最小输出平方和滤波跟踪器MOSSE（Minimum Output Sum of Squared Error Filter）。由于相关滤波跟踪器将空域计算转换到频域进行，基于相关滤波的跟踪器计算效率通常都很高。MOSSE能够以每秒数百帧的速度实现精确鲁棒地跟踪目标，将目标跟踪的研究向前推进了一大步。Henriques等[17]提出的核相关滤波器KCF（Kernel Correlation Filter），通过对提取的目标特征施加线性核的方法，提升跟踪器将目标与环境背景的区分能力。该方法在目标相邻区域采样大量图像块，由于图像块包含目标与背景，且有偏移真值，相关滤波器经过训练后可以提升识别目标能力。图像块组成的循环矩阵会带来边缘效应，为了消除这种影响，Danelljan等 [18]提出跟踪器ECO（Efficient Convolution Operators）来消除这种负面影响。Lukeic等[12]提出CSR-DCF（Channel and Spatial Reliability-Discriminative Correlation Filter）跟踪器，可以在空域和特征维度同时学习权重参数，针对性进行跟踪。2017年的视觉目标跟踪竞赛VOT2017[19]中，ECO和 CSR-DCF 表现最为出色。

本文的基本框架主要是CSR-DCF，为更好介绍FRHT，下面对CSR-DCF的具体实现细节进行回顾。

目标跟踪的主要问题是要在时间t和取样点坐标i找到合适的滤波器，在给定的输入xi∈Rdw×dh×p上得到想要的输出y i∈Rdw×dh×1，其中dw和dh分别表示搜索区域的长和宽，p代表输入数据的维度;  基于相关滤波的跟踪器根据上一帧预测结果在目标点周围密集采样。由于采样点随机，裁取的图像块随机覆盖跟踪目标，若图像块中包含目标则此样本为正例，若不包含目标则为负例。滤波器的目的是使算法在所有采样图像块中跟踪偏差最小。对该问题的优化求解是一个岭回归问题[20]，即

minhL（h; xi， yi） =yi -hTfi2 + λh2（1）

式中： 常数λ用来正则化优化过程，防止滤波器过拟合表示提取出的图像块特征。

针对经典目标跟踪器SRDCF[21]利用大量采样图像块构成循环矩阵学习目标特征时易引入环境背景噪声的问题，CSR-DCF通过学习目标与背景特征分割出模板m，将目标周围环境背景遮挡，来解决优化过程中产生的图像边缘效应。将上述问题式（1）转化为一个有约束的优化问题，即

minhL（h; xi，yi）=yi-hTmfi2 + λh2（2）

Lukeic等[12]引入变量hc≡m⊙h将这个优化问题转化为增广拉格朗日求解问题，即

minh^Hcdiag（f^）-y^2+λ2h2+μh^c-h^2+

[I^H（h^c-h^）+I^H（h^c-h^）]（3）

为了简洁，令hm=m⊙h。可以通过 Boyd等[22]的方法分两步循环解决该问题，如式（4）～（5）所示。

h^i+1c=（f^⊙y^+（μh^im-I^i））⊙-1（f^⊙f^+μi） （4）

hi+1=m⊙F-1（I^i+μih^i+1c）/λ2D+μi（5）

滤波器h按式（4）和式（5）就可以分两步实现更新。这里操作符a^= vec （F[a]）主要用于将矩阵变量a转化到频域一维向量，长度为图片所含像素数量a^∈RD×1，D=dw·dh，I^是为一个复数的拉格朗日乘子。

2 快速鲁棒跟踪器

高光谱（HSI）数据相对于可见光（RGB）数据维度高，相同时间长度对跟踪器的计算负担更重。CSR-DCF针对可见光图像设计了梯度特征（HOG）、颜色特征（CN）和灰度特征（grayscale），并在特征维度进行叠加作为目标特征。针对高光谱数据，在CSR-DCF跟踪器的基础上，设计了高光谱特征及高光谱运动目标异常检测机制。

2.1 假彩色图像

由于高光谱图像维度远高于RGB图像，直接对高光谱图像提取梯度特征等操作较为费时，因此，抽取高光谱数据低、中、高三个频段信息组成假彩色图像模拟RGB图像，用于提取物体的颜色和梯度信息。假设高光谱数据存在[1， 2， …， p]个频谱段，取最低、中间和最高频率[1， p/2， p]作为抽样频率，级联组成三通道假彩色图像Hs。生成假彩色图像如图1所示。

2.2 高光谱特征

高光谱图像由上百个记录物体反射的连续波段组成，每个像素都是一个频谱向量，因此，存在丰富的物质信息，可以作为判别目标的重要依据。为更好地利用高光谱数据提供的频域、空域和时域信息，抓取物体的物质信息、形状信息、纹理信息和语义信息，参考CSR-DCF的方式根据高光谱数据特点提取三种特征： 梯度特征 （HOG），颜色特征 （CN） 和灰度特征 （grayscale），将其在通道维度上进行拼接，作为跟踪器FRHT的目标特征。梯度特征fhist和颜色特征fcn直接按处理彩色图像的方式从假彩色图像Hs上提取，灰度特征fgray则是将高光谱数据整体Hi作为灰度值送入滤波器，并在通道维度上进行求和，然后正则化。最后，三者特征维度拼接得到跟踪器目标特征。

2.3 运动目标异常检测算法

由于高光谱数据集Whisper中图像序列平均长度达到425帧，跟踪过程考验跟踪器的长时跟踪能力，因此，设计了一个运动目标异常检测算法，帮助跟踪器检测异常目标，从而对跟踪器进行有效更新学习。假设跟踪器的目标响应值在目标的真实位置最大，即与服从高斯分布的真值响应图在真实坐标点处的差异最小，提出以响应峰值差异Dpeak作为高光谱异常的检验指标之一。其次，若是在真实坐标周围出现多个高峰值响应，即出现假目标干扰跟踪，提出利用峰值旁瓣比Dpsr作为当前响应图可靠性的判断依据。为使运动目标异常检测算法简洁有效，提出下式作为判断跟踪器可靠性的依据：