无人机自主航迹规划智能算法综述
作者： 郭启敏 张鹏 王应洋 王石
摘 要：自主能力是无人机跨代升级的根本能力和直接推手。 随着人工智能技术的颠覆变革， 基于智能算法的自主航迹规划技术成为提高无人机自主能力的关键技术， 具有重要研究价值。 本文首先总结国内外相关研究， 提出对无人系统自主性的理解， 对智能算法应用于无人机自主航迹规划的优势进行分析， 然后从算法改进方式入手， 对进化算法、 群智能算法、 神经网络、 强化学习算法和深度强化学习等航迹规划智能算法进行分类梳理和总结， 最后结合当前无人机自主航迹规划面临的挑战， 对未来的研究方向进行展望。
关键词：无人机； 航迹规划； 自主性； 智能优化算法； 机器学习算法； 算法改进
中图分类号： TJ760; V279文献标识码：A文章编号： 1673-5048（2023）03-0029-12
DOI： 10.12132/ISSN.1673-5048.2022.0220
0 引言
无人机在空战中地位作用日益突出， 如何提高在高对抗、 强拒止战场环境中的自主作战能力， 成为各国重点研究方向， 美军将自主性列为加速无人系统作战应用的四大驱动力之一［1］。 无人机自主能力涵盖自主感知、 自主判断、 自主决策、 自主行动等多个方面。 其中， 无人机航迹规划是无人机遂行任务的核心环节， 航迹规划的优劣关系到无人机的生存和任务能力。 因此， 无人机自主航迹规划技术成为影响无人机自主能力的关键因素。
近年来， 以机器学习为代表的人工智能技术飞速发展， 实现与多种应用场景的深度融合［2］。 在军事领域， 人工智能技术成为推动军事革命的核心力量， 世界军事大国纷纷抢先布局人工智能， 塑造未来新型战场优势， 掌握智能化战争主动权。 将基于人工智能技术的智能算法应用于无人机自主航迹规划， 能够避免传统航迹规划算法的不足， 实现复杂、 动态、 高度不确定性战场环境下的自主航迹规划。
1 无人系统自主性及其内涵
自主性（Autonomy）是行为主体按自己意愿行事的动机、 能力或特性。 提高无人系统自主性， 对压缩“OODA”回路的循环周期［3］、 占据战场主动权具有重要意义。
1.1 无人系统自主性定义
20世纪70年代， 研究人员将自主性概念引入无人系统领域后， 自主性就成为衡量无人系统智能化程度的重要指标， 但至今未形成被广泛认同的定义。 美军对无人系统自主性的研究有3项。
（1） 围绕能力需求
美国空军研究实验室（AFRL）于2000年提出自主作战概念， 认为无人作战系统应具备态势感知、 信息处理、 控制重构和自适应能力， 能够在没有人类干预情况下， 制定最优策略完成给定任务。 美国无人系统自主性等级工作组（ALFUS）将无人系统自主性定义为系统具有传感、 感知、 分析、 通信、 规划、 决策和执行能力， 完成由人类指定的任务或由其他无人系统分配的任务［4］。
（2） 提炼行为特征
美国空军实验室专家Bruce Clough认为， 自主系统能够不受外界影响进行合理决策， 具备在没有指挥员指令时完成任务和为实现目标开发任务的能力， 即自主系统有自由意志［5］。 美国国防部在《无人系统综合路线图（2011-2036）》［6］中指出， 自主系统能够在不确定情况下以目标导向方式优化自身行为。 报告认为无人系统应具备与人类操作员和其他无人系统的交互协作能力， 以及适应环境、 任务变化并从中学习的能力。
（3） 自主行为的核心
美国空军在2019年版《自主地平线》［7］中未明确定义无人系统自主性， 而是针对系统行为提出了“WHAT， WHAT-NOT， WHY， NOT-HOW”模型， 即通过在任务环境中告诉无人系统“做什么、 不做什么、 为什么做和不做的后果”来描述自主行为， 认为熟练性、 可信赖性和灵活性三组属性是自主行为的核心。
国内对无人系统自主性研究中， 高劲松等［8］将无人机自主性定义为无人机在没有外界指导下根据作战目标产生自己意图的能力。 胡晓峰等［9］认为自主性是将决策权赋予智能系统， 使其能够在特定范围内自由采取行动。 刘畅等［10］对无人机可变自主展开研究， 认为无人机系统自主等级应根据战场态势变化、 任务需求和操作员意图共同决定。 郑剑［11］对无人作战系统自主性的描述较为全面， 即无人作战系统根据自身能力， 精确获取战场环境信息， 通过系统内部间交流协作， 在操作人员监督下进行独立判断、 决策并完成作战任务的能力。
从国内外无人系统自主性定义研究中， 得出结论： （1）自主性的重要性体现在复杂、 动态、 高度不确定性的战场环境中； （2）自主性是更高级别的自动化， 自主系统通过目标导向方式优化自身行为； （3）自主性体现在无人系统领受任务后， 在没有人类干预情况下独立完成任务的能力； （4）自主性包括自主感知、 判断、 决策和行动， 自主决策是自主性的核心。
综上所述， 对无人系统自主性可理解为： 无人系统自主性的最终目标不是让系统脱离人的控制， 而是实现人机合作的高度自主。 自主性代表无人系统的独立性水平， 无人系统应具备在复杂、 动态、 高度不确定性战场环境中理解、 学习、 协作和自适应的能力， 在没有人类干预情况下通过目标导向独立完成任务。 无人系统的自主级别应根据战场环境和操作员意图动态调整， 并使无人系统始终处于操作人员的监控下。
1.2 无人系统自主性内涵
（1） 自主感知认知
自主感知认知是指无人系统利用自身携带的多样化传感设备， 对战场态势要素进行综合感知， 使用信息融合技术对感知信息进行融合处理， 实现对动态战场环境的准确理解和敌方作战意图的准确判断， 从而使无人系统达到人类指挥员的认知水平。 自主感知认知能力是无人系统从战场边缘进入战场中心的基础保证。
（2） 自主规划决策
自主规划决策是无人系统在自主感知认知能力基础上， 综合分析战场环境变化和敌我双方作战要素变化， 不依赖指挥员指令进行作战规划， 最终实现任务目标约束下的快速辅助规划决策。 2020年， 在DARPA人工智能近距空战格斗比赛中， 苍鹭公司的自主空战算法以5∶0的总比分击败了经验丰富的美军F-16飞行教官。 自主规划决策能力是提高无人系统作战效能的必然要求。
（3） 自主协同交互
自主协同交互是指利用协同交互技术， 解决多无人系统、 无人/有人系统间的协同问题和人机之间的交互问题， 使无人系统能够跨系统相互通信、 共享信息并与人类协同完成作战任务。 美国“忠诚僚机”项目通过有人机与自主作战无人机高效集成， 实现有人-无人编队协同作战， 对空中、 地面目标实施打击。 自主协同交互能力是无人系统融入联合作战体系的关键要素。
（4） 自主学习
随着现代战争从物理域、 信息域向认知域拓展， 通过学习数据中的模式模型， 开发出具备自主学习和决策能力的无人系统， 使系统具有类人智能［1］。 因此， 未来无人系统不是一成不变的， 而是根据战场态势信息不断学习进化， 这种学习能力将使无人系统实现高度自主。 自主学习能力是推进自主感知认知、 自主规划决策、 自主协同交互向更深层次发展的力量倍增器。
2 航迹规划智能算法优势
2.1 航迹规划问题
无人机自主航迹规划是在满足性能约束和保证飞行安全的前提下， 生成一条连接起点和终点的最优任务航线［12］， 其实质是一类多约束条件下的最优化问题。
无人机航迹规划按任务需求可分为预先航迹规划和实时航迹规划。 预先航迹规划是基于环境先验信息的全局优化， 因此在合理时间内得到全局近似最优解更具现实意义； 实时航迹规划是应对突发威胁的航线局部优化， 需要尽量缩短规划时间以达到实时性要求。
求解航迹规划问题的主要方法是将航迹规划问题转换为状态空间的航线优化问题， 利用优化算法获得最优解。 当前， 针对小范围、 已知环境下的航迹规划研究已经较为成熟， 未来重点研究方向是大范围复杂场景和动态不确定环境下的航迹规划研究［13］。 因此， 航迹规划算法的改进、 创新和应用也是未来研究的重点和难点。
2.2 智能算法优势分析
航迹规划算法分为传统优化算法和智能算法两大类。 其中传统优化算法又分为图搜索算法、 空间采样算法、 势场法等。 A*算法［14］作为一种被广泛应用的图搜索算法， 实现较为简单， 但是在大范围高维空间中搜索效率低， 难以解决多约束的航迹规划问题； 快速扩展随机树法［15］是一种典型空间采样算法， 无需离散化飞行环境， 搜索速度快， 但是难以获得最优航线； 人工势场法［16］规划速度快、 实时性好， 但在大范围高维空间中存在局部震荡、 局部极小值等情况导致航线不可用。 因此， 传统优化算法能够在简单环境下具有较好的航迹规划效果， 但是难以高效解决复杂、 动态、 高度不确定性战场环境下的无人机自主航迹规划问题。
近年来， 智能算法因具有高并行性、 强鲁棒性、 自组织自学习等特点， 被广泛应用于复杂环境下的无人机自主航迹规划问题［17］。 与传统优化算法相比， 智能算法在复杂环境下有以下优势：
（1） 鲁棒性。 复杂环境体现在规划空间的复杂。 自主航迹规划问题是NP-hard问题， 传统优化算法在小规模空间中具有明显优势， 随着空间规模增大， 计算复杂度呈指数增加， 易产生“组合爆炸”； 智能算法构建启发式目标（奖励）函数， 采用并行计算和自组织、 自学习方式， 在简单和复杂环境中均表现出良好适用性。
（2） 实时性。 复杂环境也体现在约束条件的复杂， 需全面考虑无人机自身性能约束和动态变化的各类威胁、 障碍， 因此， 自主航迹规划问题是一类多极值优化问题。 与传统优化算法相比， 智能算法在求解多极值优化问题时， 牺牲得到最优航迹的可能却获得更快的收敛速度， 更符合航迹规划实时性需求。
综上， 相比传统优化算法， 智能算法在解决多约束条件下的优化问题上具有明显优势， 更加适用于复杂、 动态、 高度不确定性战场环境下的无人机自主航迹规划。
3 无人机自主航迹规划智能算法
无人机自主航迹规划智能算法分为两类： 智能优化算法和机器学习算法。 图1为无人机自主航迹规划智能算法分类图。
3.1 智能优化算法
智能优化算法通过模拟大自然的某种现象或生物群体的自组织行为解决无人机自主航迹规划等组合优化问题， 具有易实现、 启发性、 并行处理等特点。
3.1.1 进化算法
进化算法来源于大自然的生物进化现象。 在无人机自主航迹规划中常用的进化算法有遗传算法和差分进化算法。
（1） 遗传算法
遗传算法（Genetic Algorithm， GA）是一类基于生物进化论和遗传学机理的随机搜索优化算法［18］。 在航迹规划中， 对初始航线进行基因编码， 依据各类约束建立适应度函数， 通过选择、 交叉、 变异等遗传算子逐代演化出最优航迹。