基于惯性测量与视频图像信息综合的抗遮挡跟踪策略在机载光电侦察瞄准系统中的应用研究

摘要：       目标跟踪是机载光电侦察瞄准系统的一个重要工作模式， 其性能的优劣直接决定着载机系统完成任务使命的效能。 针对机载光电侦察瞄准系统目标跟踪应用中存在的主要问题和技术难点， 本文基于系统多源传感器构型及应用特点， 综合组合惯导、 运动测量、 伺服控制、 地理坐标及图像信息等多维度参数， 提出了一种基于惯性测量与视频图像信息综合的智能目标跟踪策略， 通过仿真分析与飞行测试表明， 该策略有效提高了目标跟踪抗遮挡性能， 实现了全动态复杂场景下稳健持久跟踪， 提升了载机系统侦察监视、 目标定位、 瞄准引导的作战能力。

关键词：     光电侦察瞄准； 信息融合； 惯性测量； 视频图像； 深度学习； 目标跟踪; 抗遮挡; 智能化

中图分类号：       TJ760                  文章编号：     1673-5048（2023）04-0001-09

文献标识码：    A                             DOI： 10.12132/ISSN.1673-5048.2022.0227

0引言

机载光电侦察瞄准系统采用陀螺稳定平台及惯性导航技术， 装载可见、 红外和激光等光电传感器， 遂行侦察监视、 识别定位、 跟踪瞄准和武器引导等任务使命。 光电侦察瞄准系统不仅要实现高分辨率目标探测识别、 精准测量定位， 而且要实现精确瞄准和武器引导， 以上任务的完成都是建立在高性能目标跟踪基础之上， 目标跟踪性能直接决定着载机系统完成任务使命的效能。

随着计算机视觉、 图像处理技术及应用需求的发展， 视频图像目标跟踪（视觉跟踪）技术取得了突破性进展， 新算法众多。 根据目标模型构建方式的差异， 视觉跟踪算法通常分为生成类和判别类。 由于生成类算法忽略背景影响， 抗干扰能力较弱， 当目标被遮挡时易导致失跟， 该类算法主要包括均值漂移（Mean Shift）、 粒子滤波（Particle Filtering）和光流法（Lucas Kanade）等。 判别类跟踪算法考虑背景建模， 具有更好的目标跟踪鲁棒性， 目前已成为视觉跟踪的主流算法， 该类算法主要包括相关滤波（Correlation Filter）和深度学习（Deep Learning）等。

基于最小化均方误差（MOSSE）［1］滤波目标跟踪算法将时域计算转换到频域计算， 显著提升了目标跟踪速度， 开创了视觉跟踪的新时代。 为进一步提升性能， 在MOSSE基础上出现了很多改进算法（CSK［2］， KCF［3］， BACF［4］， SAMF［5］等）， 成为目标跟踪算法的研究热点［6-7］。 CSK通过样本循环移位增加样本数量， 利用循环结构性质和傅里叶变换快速计算， 使得训练出的滤波器更加稳健。 文献［8］在KCF算法框架下融合HOG特征和CN特征， 增强了对目标外观表征， 提升目标跟踪的精度和鲁棒性。 文献［9］提出依据多峰检测与置信度（APCE）的目标模型更新策略， 一定程度上解决了目标被遮挡问题， 提高了目标跟踪效果。 SAMF和DSST在KCF算法的基础上引入尺度估计， 改进目标尺度变化对跟踪的影响。 在SRDCF的基础上， 文献［10］提出CCOT算法， 将时域离散位置估计转换为时域连续位置估计， 提升目标位置估计的精准性。 文献［11］从训练样本、 滤波器系数和模板更新等方面对CCOT进行改进， 提出ECO算法， 显著降低了计算复杂度。

近些年， 随着神经网络技术的发展， 深度学习算法凭借其优秀的建模能力， 在目标跟踪领域取得了巨大的进展， 涌现出大量算法， 提升了目标跟踪的精准性和鲁棒性。 基于深度学习的目标跟踪算法主要分为两类， 即以相关滤波作为跟踪框架的目标跟踪算法和完全基于神经网络框架的目标跟踪算法。 文献［12］提出基于多层卷积特征的跟踪算法（HCFT）， 结合多层深度网络特征与相关滤波算法， 取得很好的效果。 文献［13］提出循环目标强化跟踪算法（RTT）， 使用RNN网络提取目标显著性特征， 将其加到相关滤波器系数上， 增强相关滤波器对于背景噪声信息的抗干扰能力。 文献［14］提出一种全卷积孪生网络结构， 通过一对在大型数据集上离线训练的通用孪生网络框架提取目标模板与候选区域特征， 然后将目标模板与候选区域进行卷积操作， 得到目标响应图， 响应最大候选区域位置即目标位置。 该方法模型构建简单， 跟踪速度可达到58帧/秒， 而且跟踪精度高。 目前， 基于神经网络的目标跟踪算法普遍实时较差， 对硬件资源要求高， 而且需要大样本量的训练数据支撑， 限制了其在视频跟踪中的应用。

机载光电侦察瞄准系统目标跟踪属于动基平台上的全动态场景目标持久跟踪， 由于跟踪过程中目标场景和环境的复杂多变性， 目标跟踪过程中会出现以下情况： （1）长时间跟踪误差累计、 瞄准线漂移， 导致失跟； （2）相似目标或强背景物体出现， 导致错跟； （3）目标被烟、 云、 物等遮挡， 导致失跟； （4）目标特征剧烈变化、 瞄准线跳动， 导致失跟。 通过应用实践证明， 仅采用视频图像跟踪技术， 不能满足机载光电侦察瞄准系统对运动目标长时间韧性跟踪的要求， 不能有效解决运动目标跟踪抗遮挡等问题［15-16］。

为了提高光电侦察瞄准系统目标跟踪对复杂环境的适应能力， 本文通过对系统组合导航、 惯性测量和视频图像等多维度参数信息的综合分析， 提出一种基于惯性测量与视频图像信息融合的智能目标跟踪策略， 提高目标跟踪的韧性和抗遮挡性能， 实现了全动态复杂场景高精度稳健自主跟踪。

1机载目标跟踪策略原理分析

图1为智能目标跟踪策略的原理框图， 其主要由惯性测量、 运动补偿、 视频图像目标检测跟踪及伺服跟踪控制等功能单元组成。 本文提出一种多算法协同目标跟踪策略： 基于深度学习的智能目标检测算法［17］， 实现多目标快速检测、 搜索区域目标自动捕获及失跟目标的搜索和再捕获； 基于改进型核相关滤波跟踪算法， 实现全动态复杂场景目标稳健跟踪和状态估计； 采用基于惯性测量的目标运动描述与瞄准线指向控制算法， 实现记忆跟踪， 提升目标跟踪抗干扰能力。

导航与惯性测量传感器获取载机大地坐标、 地理坐标系下的航姿角及速度参数， 稳定平台速率传感器获取目标跟踪过程中视轴指向姿态角和速度参数， 激光传感器获取目标距离。 综合以上信息解算目标在地理坐标系下的运动速度和方向， 对目标运动特性进行学习及轨迹描述， 解算载机与目标在视轴坐标系下的方位/俯仰方向的角速度信息， 输入伺服跟踪控制回路进行运动补偿和视轴指向控制［18］。 系统进入目标跟踪模式后， 智能目标检测算法进入目标检测和自动识别状态， 并自主捕获视场搜索区域目标， 识别确认目标身份后实施自动捕获跟踪。 视频图像跟踪算法实时解算目标图像坐标参数， 经处理形成的脱靶量参数输入伺服跟踪回路控制瞄准线随目标移动。 当遇到遮挡等干扰情况， 视频图像跟踪算法对跟踪状态进行评估并给出目标失跟提示， 自主进入记忆跟踪状态。 伺服跟踪系统基于学习得到的目标运动特性， 控制瞄准线随目标运动， 保证目标始终处于视场中心一定区域内。 同时， 视频图像跟踪算法转入目标搜索状态， 待再次检测捕获目标， 自主转入视频图像跟踪状态， 实现持久目标稳定跟踪。

1.1视频图像跟踪

光电成像传感器、 视频跟踪器及伺服控制器构成视频图像跟踪功能单元。 光电成像传感器采集目标区域图像信息， 经图像预处理及格式变换， 形成动态视频图像流输入视频图像跟踪器。 视频图像跟踪器进行目标搜索检测， 提取目标偏离视场中心像素坐标数据， 形成目标的脱靶量信息， 经图像校正处理后输出至伺服控制分系统， 驱动稳定平台视轴转动减小脱靶量， 以一定的跟踪控制率将目标稳定控制在视场中心， 实现目标的自主跟踪。

视频图像跟踪是基于初始帧图像目标位置， 预测后续帧图像中目标位置的过程。 主要由四个功能模块组成： 特征提取、 模型构建、 搜索策略和模板更新。 特征提取是实现目标跟踪的基础， 提取的目标特征应具有旋转、 尺度、 光照、 颜色、 亮度及对比度等变化的鲁棒性； 模型构建是实现检测跟踪的关键、 学习能力的体现， 模板更新机制（模型参数学习优化）是提高抗干扰的核心。

本文提出的视频图像跟踪算法是对相关滤波（KCF）跟踪算法［19］进行改进设计： （1）基于深度学习获取目标场景特征， 提高算法的鲁棒性和场景适应能力； （2）采用置信度和平均峰值能量比准则进行参数学习和模型优化， 提高目标跟踪的抗干扰性能。

KCF算法将目标跟踪转化为目标检测分类问题， 基于正则最小二乘分类器学习准则辨识目标， 基于循环移位采样和快速傅里叶变换技术， 利用傅里叶空间中循环矩阵可对角化性质， 解决稠密采样计算量问题， 显著降低样本训练和目标检测的运算复杂度。 通过核函数非线性映射， 将样本向量映射到高维特征空间， 显著提升分类器性能， 并且特征空间满足线性回归关系， 实现核空间的线性回归。 算法具有计算量小、 实时性强、 跟踪精度高， 以及复杂动态场景适应能力强等特点。

对于训练样本（xi， yi）和线性分类函数f（xi）=wTxi， 基于正则化风险最小分类器的损失函数为

式中：

采用梯度下降法求解， 可得模型参数w=（XTX+λE）－1XTy；  矩阵X=［x1，  x2， …， xn］， 每一列代表一个样本特征向量； y为列向量， 每个元素代表一个样本标签。 基于正则化线性模型表示定理， 并通过核函数非线性映射变换， 将样本向量映射到高维特征空间φ（x）：

损失函数变换为

式中： 求偏导可得模型参数a=（K+λE）－1y;   K=φ（X）φ（X）T， kij=φ（xi）Tφ（xj）为核函数矩阵； E表示单位矩阵； λ表示为正则化系数。

采用循环移位产生的目标区域图像作为分类器的训练样本， 生成训练样本矩阵。 对于测试样本Z=（z1， z2， …， zn）， Kxz=φ（X）Tφ（Z）为循环矩阵， 降低计算复杂度， 利用其傅里叶变换可对角化的性质， 则有

算法迭代优化得到模型参数后， 对于输入帧图像， 利用已有的模型参数进行目标跟踪， 以上一帧图像中目标的检测位置为中心， 获取待跟踪图像区域。 通过核函数计算出待跟踪图像区域的响应图， 根据响应图中最大值所在的位置得到目标位置（如图2所示）， 并更新模板参数。

当出现目标被遮挡等干扰场景时， 跟踪算法的特征响应图会出现多峰现象， 如图3所示。

针对多峰响应情况， 算法基于置信度和平均峰值能量比准则， 进行参数学习和模型优化， 提高目标跟踪的抗干扰性能和失锁估计精准度。 响应的最大值计算：

Fmax=maxF（s， l， w）（5）

式中： s， l， w表示目标图像的尺度、 响应图的长和宽。 平均峰值方差比计算：

式中： Fmax， Fmin， Fh， v分别表示响应图F（s， l， w）中最大、 最小以及h行v列的的响应值；  Apvr值反映响应图的波动情况和检测目标的置信水平。 出现遮挡情况时， Apvr值会变小、 置信度下降。 采取的学习优化： 如果Fmax和Apvr的计算值大于其前序计算均值的β1和β2倍， 则当前的跟踪结果置信水平高， 模型参数以更新率η更新。 否则， 给出目标丢失标识Lott， 系统转入记忆跟踪通道， 视频跟踪进入目标搜索捕获状态：