红外遥感图像目标识别对抗算法研究

摘要：针对现有识别对抗算法对小尺度目标攻击效果差、对抗样本中存在大量无意义扰动、扰动生成效率低等问题，以红外遥感为应用背景，基于对抗生成攻击理论提出一种具有较强泛化性的目标识别对抗算法。算法引入空洞卷积和注意力机制构造多通道变尺度扰动生成网络以克服红外遥感图像存在的小目标问题;同时，基于检测热力图设计滤波器对生成扰动信息进行筛选，实现无意义扰动消除;  最后，以第三届“空天杯”全国创新创意大赛复赛所公布数据集为例进行实验分析。

与次最优攻击算法相比，本文所提算法的平均攻击成功率提升了0.313，同时将生成对抗样本的平均耗时降低了57.409s;此外，利用生成的对抗样本去迁移攻击其他类型的检测器，使得YOLOv3检测器、YOLOv5检测器和Faster-RCNN检测器的平均检测精度分别下降了0.032，0.287和0.09。实验结果表明，本文算法在对抗样本物理可实现性、迁移性和生成速度方面都具有显著优势。

关键词：红外图像;识别对抗;小尺度目标;对抗生成攻击;物理可实现性; 迁移性; 攻击算法

0引言

随着深度学习理论研究的不断发展创新，计算机视觉领域相关技术也日益成熟，在军事和民用领域都得到广泛开发与应用。然而，深度学习技术在帮助计算视觉系统拥有令人瞩目性能时，也为其留下可被攻击的系统漏洞。对抗攻击^[1]（Adversarial Attack）是近年来深度学习领域一个新兴的研究热点，其致力于研究如何利用深度学习算法弊端对深度视觉系统进行攻击。研究结果表明，可在输入中加上特殊扰动以达到欺骗深度视觉系统的目的，并且上述扰动通常难以被人眼所察觉。对抗攻击算法研究在智能安防、无人化作战等方面都具有重要的理论和实践意义，也是提升深度视觉系统鲁棒性和稳定性不可或缺的关键因素。

对抗攻击算法研究起源于图像分类工作，FGSM^[2]，DeepFool^[3]，C&W^[4]等都是经典的图像分类对抗攻击算法。作为计算视觉领域的重要组成，目标检测也属于对抗攻击算法主要的应用对象^[5-6]。相较于分类问题，目标检测算法因其复杂的实现机制而更难以进行攻击^[7-8]。根据检测算法实现方式不同，可将现有目标检测对抗攻击研究工作大致分为两类。

第一类算法主要对基于先验框的目标检测方法进行对抗攻击。此类算法利用检测网络先对候选区域进行分类再生成先验框的工作机制^[6-10]， 通过生成伪

标签和反向传播算法来生成对抗样本。Xie等^[8]提出一种名为密集对抗生成（Dense Adversary Generation， DAG）的白盒攻

击算法。该算法以Faster-RCNN^[11]为攻击对象，先将检测器RPN网络输出中关于分类信息的张量全部设为“0”以保证所有候选框都会被分类为背景区域，再利用优化算法修改输入图像像素点以生成对抗样本。

第二类算法^[12-15]主要用于攻击基于回归方法的目标检测器。此类算法将目标检测算法视为一个复杂的回归器，先通过固定回归器输出的形式去篡改对应的输入特征，再同样利用优化算法去修改输入图像像素点取值以生成对抗样本。Chow等^[16]根据上述研究思路，针对单阶段检测框架设计了基于目标特性的梯度攻击算法。该方法以不同方式固定检测器特征金字塔结构的输出，进而构造出不同类型的回归损失函数，并结合FGSM算法进行对抗样本生成。

现有目标识别对抗研究工作大多是针对自然场景下的可见光图像，针对遥感图像目标检测器，Du等^[17]通过梯度优化算法设计具有物理可实现性的对抗扰动，并将扰动打印后放在车顶或者车的周围，能够显著降低车辆检测模型的效率。然而，现有研究工作并不能在遥感场景下取得显著的攻击效果，上述现象的出现主要有两个原因。首先，如图1所示，不同于自然场景下的可见光遥感图像，红外遥感图像中的目标通常表现出尺度小、能量弱等特征。第二，现有目标对抗识别攻击算法自身无论在攻击性能或是执行效率方面都还存在较大的改进空间。因此，想要将目标识别对抗技术成功应用于红外遥感领域，还存在如下亟需解决的问题：

（1） 红外图像只存在单通道且所包含目标尺度过小，不利于进行特征提取，进而难以获取到攻击算法所需的目标纹理信息和空间位置信息。

（2） 现有目标攻击对抗算法多为全局扰动算法，但目标在红外遥感图像中通常只占据小部分区域。在背景区域所产的扰动通常不会对攻击效果产生增益，反而会大幅增加生成对抗样本所需的扰动量，不利于物理实现。

（3） 基于梯度和优化算法的攻击方式需要根据图像特性进行在线训练调整，而检测器大量的网络参数会导致攻击算法效率极其低下，难以实现实时攻击。

为解决上述问题，本文提出一种基于生成机制的目标攻击对抗算法。首先，针对现有算法生成对抗样本效率低问题，利用生成式对抗网络^[18]（Generative Adversarial Networks，GAN）进行对抗样本生成。GAN网络可以通过网络训练过程预先构建输入图像与扰动样本之间的函数映射关系，在应用阶段无须再对不同输入做出调整，实现真正意义上的“即插即用”。同时，为克服红外遥感图像中存在的小目标问题，使用变感受野的空洞卷积构建并行多通道特征金字塔网络作为骨干网络，并引入注意力机制用于进一步改变骨干网络获取目标特征的方式，重点关注与检测结果相关的重要目标特征，实现对小目标特征的细粒度提取。最后，考虑到背景区域存在无意义扰动攻击，本文算法以检测器检测结果为引导进行热力图生成，用于表征不同空间位置处像素点对检测结果的影响程度大小，再根据上述热力图生成掩膜对扰动信号进行滤波处理，突出放大有意义（目标区域）扰动并抑制较小无意义（背景区域）扰动，提高攻击算法的物理可实现性。

1对抗生成攻击

对抗生成攻击^[19]（Adversarial Generation Attack）是深度对抗学习领域的重要研究分支，其将GAN网络作为主体用于设计深度学习对抗算法。

1.1对抗生成攻击算法原理

在对抗生成攻击算法被提出之前，大多数攻击算法都是基于梯度和优化算法进行实现的。上述攻击算法存在的最大问题是需要反复调用被攻击网路结构和网络参数，导致算法执行效率低下且迁移性差。此外，这些对抗算法多以对抗样本与原始样本之间距离度量（例如欧式距离）为约束去限制算法所产生的扰动量。但是，距离度量约束下所生成的对抗样本通常不够逼真，即容易被视觉系统所察觉而不具有良好的隐蔽性。

为解决上述问题，对抗生成攻击算法将扰动生成问题转换成网络参数学习问题，让模型学会根据输入图像特征自适应地生成扰动信息。对抗生成攻击算法的大致流程为：首先，对输入图像进行特征提取，并将特征作为生成器输入用于生成扰动。其次，将扰动添加到输入图像以产生对抗样本，并将对抗样本分别输入到判决器和被攻击模型中用于计算相似性损失和攻击损失。其中，相似性损失用于度量对抗样本与原始图像间的差异性，而攻击损失则是在衡量对抗样本对模型的攻击效能。最后，将相似性损失和攻击损失同时作为目标函数，利用梯度反向传播算法实现对网络模型参数的学习与训练。

从实现原理角度进行分析，攻击损失本质上是以对抗样本对模型造成的性能损失为引导，让生成器自适应地调整自身网络参数以生成更具欺骗性的攻击扰动;而相似度损失则是教会生成器如何在庞大扰动向量空间中挑选出最难以被视觉系统发现的扰动信息。相比于距离度量约束，将GAN网络判断器输出作为相似性损失而产生的对抗样本往往更容易欺骗视觉系统^[20]。此外，由于生成对抗算法通过网络参数构建出输入图像与生成扰动之间的映射关系，在实际应用中只需要通过简单的前向推断即可实现对抗样本生成，无须进行在线训练，大幅度提升了对抗样本的生成效率。

1.2对抗生成攻击算法模型构建

对抗生成攻击算法通常由生成器G、判决器D和被攻击网络模型f构成，如图2所示。

假设输入图像向量xRⁿ是生成器网络G的输入，通过前向传播后，可生成扰动g（x）; 将扰动g（x）附加到输入图像x上，得到生成对抗样本g（x）+x，将对抗样本分别输入到判决器网络D和待攻击网络f中。其中，判决器网络D会根据输入图像特征判断其是真实图像还是生成图像，并返回一个真实性得分D（g（x）+x）。需要注意的是，判决器网络本质上是特殊的二分类网络，其输出结果D（x）的物理含义为输入图像x属于生成图像的概率。同时，当对抗样本g（x）+x输入到待攻击模型f中时，可借助样本标签计算出生成对抗样本对待攻击模型造成的性能损失。为保证生成扰动不易被视觉系统所捕获到，还需要对生成器输出的扰动量加以限制。最后，只要利用优化算法对所有网络参数进行调整以最小化上述损失函数，即可完成对抗生成攻击网络模型的训练。

2注意力机制

注意力机制^[21]（Attention Mechanism）是近年来深度学习领域又一项重大突破，起源于人类视觉对外界感知的特殊方式。研究表明，人眼视觉系统在接收外界信息时，会有意识地重点关注部分感兴趣信息而忽略其他无关信息，进而变相地实现图像信息筛选过滤，保证能够发掘出所关注事物更为细致的特征，这就是视觉系统注意力机制。

深度学习的研究通常离不开海量训练数据的支撑，大数据在提升算法性能的同时会因冗余性成为算法的瓶颈上限。而注意机制则是一种良好的数据筛选方式，以算法所实现任务为导向从众多数据中挑选出有用的关键信息。于是，在计算机视觉领域，注意力机制已经被广泛应用于图像分类、目标检测和语义分割等实际任务中。

自注意力机制网络结构本质上是不同类型卷积网络的非线性再组合，属于复合的卷积神经网络，如图3所示。与传统卷积神经网络不同的是，自注意力机制网络模块会根据后续任务的需要自适应地进行感受野调整，保证尽可能多地提取到图像中的关键目标特征。由于对

图像特征的高敏感性，自注意力机制也被用于解决遥感场景下目标检测任务中的小目标问题。

3空洞卷积

在深度学习算法中，骨干网络是凝练并提取输入图像重要语义信息的关键所在。图像深度特征提取操作本质上是重复且有目的地对图像进行下采样处理，则越深层次的深度特征感受野越大，但空间分辨率却越低。然而，传统深度学习算法通常会对卷积层的输出再次进行池化处理，而高层特征图在池化处理后会因自身空间分辨率过低而丢失大量细节信息，使得检测模型无法获取到小目标相关特征，最终导致模型检测精度降低。

解决上述问题最直观的方法就是增大特征图感受野后不再进行池化处理。空洞卷积^[22]（Dilated Convolution）是一种能够同时提高特征图空间分辨率和感受野的特殊网络结构。不同于传统卷积操作，空洞卷积通常采用稀疏卷积核进行深度特征提取。如图4所示，稀疏卷积核是传统卷积核的一种变体，相当于在传统卷积核算子间注入空洞以实现对感受野的扩张，通常用卷积算子间的间隔个数表示空洞卷积的稀疏程度，记作空洞率（Dilated Rate）。根据图4不难发现，扩张前后卷积核所执行的有效运算并未发生改变，但是卷积核的感受野却在成倍增长，因此，空洞卷积被应用于改进目标检测算法以提高其对小尺度目标的检测性能。

4基于多通道自注意力机制GAN网络的红外遥感目标识别对抗算法

为了对红外遥感图像目标检测算法进行快速、有效的攻击，提出一种新型目标识别对抗算法，算法整体流程如图5所示。