基于红外与可见光图像融合的无人机探测研究

摘要：为了进一步提高识别无人机的效率，提出基于红外与可见光图像融合的无人机探测方法，并且对配准算法进行改进，搭配Canny边缘检测ORB特征检测的融合配准算法。首先，搭建双目摄像头、采集无人机图像;接着，对图像进行Laplace预处理、Canny边缘检测ORB特征检测配准、Harr小波变换融合。将得到的融合图像和融合前的可见光图像分别进行YOLOv3检测框架。实验表明，图像融合后的识别，mAP从92.45%提高到了93.39%。证明通过图像融合的方法，可以提高对无人机识别的准确率。

关键词：图像融合;无人机;目标识别;红外图像;可见光图像

中图分类号：TP18      文献标识码：A

文章编号：1009-3044（2022）07-0001-08

近年来，由于无人机影响逐渐变大，从中国民航局公布的2017年成都双流机场的无人机入侵的“黑飞”事件到2020年军用无人机摧毁了亚美尼亚一辆装甲车，需要对无人机的识别准确率提出了更严格的要求。大部分提高识别准确率的方法都是从算法方面进行提升，本文尝试在图像质量方面进行提升，增强无人机图像在YOLOv3中的识别效果。识别无人机的难度大的具体原因主要有以下三点：

1） 离干扰物距离近。无人机的飞行环境一般都有较多的房屋建筑和绿植等像素较为丰富的物体。干扰具体表现在树木和建筑物造成的像素的掺杂、遮挡。

2） 低速飞行或悬停。这些都给雷达探测带来了挑战，雷达探测的主要原理是利用多普勒效应，效应越明显，无人机显示越清晰。但是低速飞行的无人机，使得效应特别不明显。如果为了检测不动或慢飞的无人机，卸装多普勒元件，则会受到不动物体环境的干扰。

3） 尺寸小。这会让探测设备接收到的信息骤减。同时由于目标尺寸较小，对于原始可见光图像，轮廓清晰的优势变小，容易被背景物体像素影响，识别起来难度加大。

针对识别无人机的需求，文献[1]提出一种基于对范围内的目标进行自动探测的方法，区分有价值目标和无价值目标，提高探测的效果;文献[2]提出对雷达探测无人机的算法进行优化;文献[3]提出了对激光探测无人机的算法进行优化;文献[4]采用双边滤波结合去雾算法进行图像增强处理，提高了无人机的图像质量;文献[5]着重于处理目标的大小问题，在FasterR-CNN下优化其特征提取层。本文实验提高识别无人机准确率的方法为红外和可见光图像融合，得到信息熵更高的图像，原理和优势如下：

红外成像原理：物体发射出红外辐射的差值形成的红外图像，红外波长0.75μm～ 1000μm。优势为全天候适应，劣势为图像分辨率低，着重于轮廓信息，容易产生欠曝，曝光不足。如图 1所示。

可见光成像原理：利用光反射原理成像，可见光的波长在0.39μm～ 0.75μm。优点为目标细节更加清晰，缺点为受光线和天气等自然条件的影响，容易产生过曝，降低图片质量。如图 2所示。

本文实验依次对可见光图像和红外图像进行预处理、配准、融合，得到信息更充足的图像。可以观察到融合图像相对于可见光图像的背景像素干扰较少，无人机边缘更加清晰，图像中过曝和欠曝也较少，如图 3所示。

1 相关工作

1.1 硬件平台

本文实验中使用的双目摄像头是深圳市新成像电子科技有限公司的可见光红外USB摄像头模块，型号为HM2131，可见光摄像头和红外摄像头的像素为200万，最大分辨率为1920*1080，感光元件类型为CMOS，如图 4所示。

1.2 软件平台

基于VS2017+OpenCV3.4，实现对双目摄像头的调用，捕获左右摄像头的帧图像，并且显示左右摄像头获得的图像，以按下空格保存图像，如图 5所示。

1.3 数据集拍摄环境

由于本实验平台中的红外相机与可见光的双目摄像头位置关系保持在同一场景，无法跟随无人机运动轨迹调整摄像头角度，因此只能手动调整双目摄像头的方向实现手动跟随无人机。同时由于对无人机监管时的场景多是天空背景，背景较为简单。针对这两点要求，本文选择大厦背面、马路边、树林边等位置实现对无人机的拍摄，增强数据集的训练效果，拍摄场景图如图 6所示。按照训练集：测试集为5：1的比例，总共得到训练集2565张，待融合的测试集中，可见光图像和红外图像各498张。

1.4 数据集标注

在数据集训练和测试前，需要对数据集的图像目标进行框选分类，也是识别无人机的前期工作。图 7为实验数据集中训练集图像的标注结果图。图 8为待用于融合和测试的可见光图像的标注结果图。图 9是可见光和红外图像融合图像的标注结果图。从图中可以看出，对图像中不同位置和不同尺寸的目标进行了框选并归类为“drone”。为了保证实验的准确性，可见光数据集和融合数据集的唯一区别就是融合效果，这也是实验核心之一，不对融合图像进行二次预处理，并且保证标注文件保持一致，即在其他变量一定的情况下，融合图像带来的图像质量改变，为实验的唯一变量。本文就研究这唯一的变量对无人机的识别影响效果开展实验研究。

综上，由训练集得到相对应的2565份标注文件，由可见光得到相对应的498份标注文件，并且复制这498份标注文件当作融合图像的标注文件。

2 预处理

2.1 预处理算法选择

红外图像通过物体发射出红外辐射的差值形成像，具有全天候适应的优势，但由于红外图像的劣势，红外图像分辨率低、图像常常欠曝、边缘信息不够完善，会影响图像未能将笔者感兴趣的信息更清晰地呈现出来。另外，待配准和待融合的图像往往具有对比度不够或者图像不匹配等问题。综上两点原因，需要对数据集进行预处理，才能更准确地配准和融合。在预处理算法中，主要分为滤波、边缘增强、灰度形态学、算术运算等类型，由于实验中无人机属于小目标，所以对无人机的边缘轮廓信息极其重要，同时也有利于接下来的边缘提取，故选择边缘增强的Laplace算法。

2.2 Laplace算法

Laplace滤波首先对输入图片[I]采用非线性函数[ri]处理，获得[rI]，然后对[rI]进行拉普拉斯金字塔分解，获得[LrI]，最后把金字塔中系数[LlrIx，y]作为图像[LlOx，y]中的系数，重构后即可获得拉普拉斯滤波图像，[ri]如式（1）：

其中[fi=i-rii-g]为连续函数，[ri]的定义如式（2）：

其中[g=GlIx，y]为高斯金字塔在[l]层中[x，y]位置的系数。当[0≤α<1]时，图像表现出来的细节信息更多;当[α>1]时，图像表现出来的细节信息更少;当[0≤β<1]时，减少图像的取值范围;当[β>1]时，增加图像的取值范围。[σr]的作用是把细节信息和边缘信息清晰化，即亮度阈值。

把图像分解为两层金字塔，拉普拉斯金字塔分解：

公式如式（3）：

其中[L0O]为第0层拉普拉斯金字塔，[Gσp=12πσ2pGσp]为高斯核[σp]的标准化，[p=x，y]为金字塔相应层上的点，[Ip]为[p]点的像素值，[σp]用于构建金字塔，*为卷积操作。代入函数[ri]，并令[L0I=I-Gσp*I，g=Ip]可以得到如式（4）：

然后，上采样残差图像，并加到公式（4）两边，扩展卷积，得到滤波后的图像金字塔输出图像如式（5）：

式（5）和双边滤波公式相似，其中[Gσp]可以看作空间权重，函数[f]可以看作值域权重。

综上可得到Laplace预处理后的图像。

3 配准

3.1 配合算法选择

在本文实验中，双目摄像头和无人机虽然都位于同一场景内，但是拍摄无人机时，始终存在角度不同，造成两个摄像头的同帧图像不完全一致问题。在融合可见光和红外图像前，需要对红外图像和可见光图像进行配准工作，即将待配准图像（本文为红外图像）变换参数，利用平移、旋转及尺度缩放等相关图像处理，对齐可见光图像，才能使融合达到最佳效果。在图像配准算法中，可分为基于灰度信息、基于图像特征及基于变换域三种类型。由于实验中是不同色度图像进行融合，即不能采用基于灰度信息的配准方法。由于本次实验的数据中，大多数背景都为设定的大厦背面、马路边、树林边，该类场景的特征较为明显。针对这一特点，文献[6]采用的是Sobel边缘检测;文献[7]采用的是SURF算法边缘检测;文献[8]采用的是SIFT和ORB特征检测算法在地形三维重建中的配准算法;文献[9-10]采用基于Canny边缘SURF特征的红外与可见光图像配准算法;本文采用的是Canny边缘检测和ORB[11-13]特征检测的配准算法。由于红外的边缘提取不够明显，为了提取红外和可见光异源图像中稳定性较好的边缘轮廓，在ORB特征检测算法的基础上，得到红外图像的Canny边缘图，将第一次得到的Canny边缘图经过RANSAC[14]筛选，获得更清晰的配准信息。

3.2 Canny边缘检测和ORB特征检测

3.2.1 Canny边缘检测算法

检测算法的考量指标是每个检测算法优劣差别的参考参数。Canny边缘检测算法根据考量指标有取舍地运用了滤波方法和梯度计算方法，使Canny成为检测的质和量都表现不错的边缘检测算法。其步骤包括图像平滑、梯度计算、非极大值抑制、确定高低阈值和边缘检测，以下为该步骤的介绍：

图像处理，即采用高斯滤波算法处理图像信息的每一行和每一列，在此得到的函数等式为：[Gx=exp-x22σ22πσ]，其中等式左边为高斯函数，等式右边的[σ]为标准差。此外，还会得到一个平滑信息[I'x，y]。

梯度计算，目的是得到上述平滑信息[I'x，y]中具体图像像素点的[Mx，y]和[θx，y]，其中[M]代表的是该像素点的幅值信息，[θx，y]代表的是该像素点的方向信息。需要对上述像素点的关于[x]和[y]轴方向的计算，从而可以计算得到该像素点的梯度[dyx，y]。综合以上信息，使用两个2×2的行列式配合得到的平滑信息[I'x，y]对图像信息进行卷积，两个行列式具体如[H1、H2]所式（6）：

非极大值抑制：目的是确定[Mx，y]点是否为边缘点。而判定条件为该点是否为局部最大值点，如果是局部最大值点则为边缘点，若不是则把[Mx，y=0]。是否为局部最大点可以在3×3的图像大小中对比前文得到的该点的[I'x，y]的[Mx，y]。

舍弃部分值：利用手动设置的参数，调整高阈值[Vh]和低阈值[VI]，目的是删选更合要求的边缘点和像素点，使得二者达到预设的平衡。

边缘检测：在满足前一步的条件下，得到在[VI]和[Vh之间]的像素点，并且可以得到其相对应的边缘点，通过这部分边缘点得到边缘检测，获得满足前一步条件下的边缘，即优质边缘。即得到信息边缘图。

3.2.2 ORB特征匹配算法

由上述得到的信息边缘图，再进行ORB（Oriented FAST and Rotated BRIEF）特征匹配算法。主流特征匹配算法的两步是检测特征点及其匹配。在该算法中，使用的是oFAST（Oriented FAST）算法，即由FAST算法升级优化得到。FAST是目前被证实最快的特征点提取算法。也就是说，使用FAST算法得到特征点后，为了使旋转后的特征点不变，定义特征点方向，生成特征向量。然后由该特征向量和汉明距离[15]得到关于特征向量间的重复程度。

第一步，Oriented FAST特征点检测。角点即目标图像在某一范围内，像素相差明显的点，Oriented FAST是由FAST算法升级优化得到的。由文献[16]可得：特征带的概念为任一像素点的灰度值与其邻域中的绝大部分像素点的灰度值相差大于提前设定的值时，就设定该点为特征点。当某像素点[p]的与其邻域中16个像素点的灰度值相差大于提前设定的值时，则符合以下函数，如式（10）：