数字安全角度下审视和剖析ChatGPT

引用格式：付翔，魏晓伟，张浩，等 . 数字安全角度下审视和剖析ChatGPT［ J］. 航空兵器，2023， 30（ 6）： 117-122.

Fu Xiang， Wei Xiaowei， Zhang Hao， et al. Examining and Analyzing ChatGPT from the Perspective of Digital Security［ J］. Aero Weaponry，2023， 30（ 6）： 117-122.（ in Chinese）

摘要：数字化技术和人工智能技术的发展催生数字安全领域的进步。作为自然语言处理领域的最新技术，ChatGPT自诞生以来就成为世界各国关注的热点，也给数字安全领域带来重大影响。本文回顾了ChatGPT的基本情况，总结梳理了数字安全的基本概念，然后从数字安全角度审视和剖析ChatGPT，从ChatGPT自身安全、知识产权安全、网络安全、信息安全、社会安全和认知安全等六个方面对ChatGPT的影响进行分析和梳理，厘清了二十项具体的数字安全风险。在此基础上，分析了ChatGPT对装备情报分析、装备生产研制和装备后勤保障等领域产生的影响。最后，从ChatGPT产业发展、法规建设、虚假信息处置和装备智能化发展等角度给出了对策和建议。

关键词：数字安全；ChatGPT；网络安全；信息安全；社会安全；认知安全；武器装备

中图分类号： TJ760;TP391.1

文献标识码： A

文章编号： 1673-5048（2023）06-0117-06

DOI： 10.12132/ISSN.1673-5048.2023.0113

收稿日期： 2023-06-07

*作者简介：付翔（1989-），男，河南平舆人，博士，工程师。

2023年5月，原西湖论剑·网络安全大会升级为西湖论剑·数字安全大会并成功举办［1］。改名的背后，显示了国家和政府对数字安全的重视。自2022年11月ChatGPT正式发布以来，ChatGPT带来的轰动效应引起了国内外社会各界的关注。在国内，2023年3月至5月，百度“文心一言”、阿里“通义千问”、科大讯飞“星火认知大模型”等国产大语言模型相继发布；在国外，2023年5月，谷歌发布了大语言模型“PaLM 2”。大语言模型将给人们的生活和工作带来很大的便利和改变，同时也将给数字安全带来很大压力。

1 ChatGPT背景

1.1 ChatGPT基本情况

ChatGPT是OpenAI公司2022年11月30日发布的一款尚处于原型阶段的人工智能聊天机器人，全称为Chat Generative Pre-trained Transformer，中文翻译为“聊天生成式预训练转换模型”。该机器人使用了基于GPT-3.5架构的大语言模型，并通过“监督学习”与“强化学习”进行微调和训练，具有较强的自然语言理解和生成能力，能够通过文字和语音（借助语音插件）等自然语言与人类进行交互，实现与人类的高质量对话。在此基础上，可以完成相对复杂的工作，包括连续问答、摘要生成、文档翻译、代码编写、论文撰写等多种任务。

ChatGPT与以往的人工智能聊天机器人有本质区别。传统Siri、天猫精灵、小爱同学等智能机器人往往只能接受指令并给出预设结果，而ChatGPT则拥有自主分析和判断能力，它的一切行为是大数据分析的结果，ChatGPT预训练文本数据量约45 TB，模型拥有1 750亿个参数。当模型参数和数据量足够大时，将出现“智能涌现［2］（Intelligent Emergence）”的现象，其智力将达到甚至超过人类大脑。ChatGPT的出现标志着人工智能从低级智能阶

段逐步迈入高级智能阶段［3］。

1.2 数字安全背景

随着数字化技术的不断发展，安全行业正逐渐超越传统网络安全范畴，升级为数字安全［4］。当前，数字安全并没有一个统一明确的定义，一般认为：数字安全是指通过采取各种技术和管理措施，

保护数字资产在整个生命周期中的机密性、完整性和可用性，以及免受未经授权的访问、利用或者改变的过程。这个概念涵盖了计算机安全、移动设备安全、网络安全、数据安全、信息安全、隐私保护等领域，以及利用数字技术保障数字基础设施的物理安全等。数字安全作为一个新的概念，拥有比网络安全更为广泛的概念内涵和发展前景。

2023年2月，《数字中国建设整体布局规划》［5］将数字安全屏障、数字技术创新列为能够强化数字中国的两项能力，这种举措彰显了数字安全对中国未来经济发展的关键作用。ChatGPT的出现给人们的生活和工作带来很大的便利和改变，但与之同时，它也给现代社会带来诸多数字安全问题。

2 ChatGPT带来的数字安全问题

作为人工智能领域的大语言模型，ChatGPT的出现对数字安全的影响是一个比较复杂的问题，通过分析和梳理，整体上有6个方面的影响，包括20项具体风险。

2.1 ChatGPT自身安全航空兵器 2023年第30卷第6期

付翔，等：数字安全角度下审视和剖析ChatGPT

2.1.1 算法不透明

传统深度学习算法存在着隐含层、非线性权重和偏差学习机制，输入数据和输出答案之间存在着不可观测的黑盒空间，算法可解释性差。ChatGPT作为一项典型的人工智能算法应用，同样具备传统算法的复杂、不透明等固有属性，而且ChatGPT大语言模型不公开，算法存在着黑箱、不透明的隐患。

2.1.2 数据污染

ChatGPT作为一项典型的人工智能算法应用，在本质上还属于“计算智能”或“数据智能”，容易受到不平衡样本、对抗性样本和恶性大数据的干扰和欺骗，具有一定的脆弱性和不稳定性。如果ChatGPT训练数据中存在恶意文本或含有错误信息，那么ChatGPT生成的文本可能会包含这些错误信息或恶意内容，从而导致数据污染。

2.1.3 虚假回复

ChatGPT利用深度神经网络对大规模文本数据进行训练，对信息进行归纳、整合和完善，其本质上属于词和句序列的自动输出。这种模型以模仿人类自然表达为目的，能够生成符合语言逻辑的文本，其算法逻辑并不关注信息的真实性。相反，它能够修正糟糕的语法或错误的翻译，并变换为更适合的表达方式，使虚假的信息显得更具说服力和可信度。OpenAI首席技术官米拉·穆拉蒂认为，ChatGPT可能会“编造事实”，并表示这是当下基础的大语言模型共同面临的挑战［6］。ChatGPT的虚假回复在商业化中会造成严重后果，甚至有法律风险。

2.1.4 提示语注入攻击

提示语（Prompt）是一种输入方式，它将人工智能模型的输入限制在一个特定的范围内，从而更好地控制模型的输出。在ChatGPT模型中，提示策略（Prompting）技术可用于对模型进行微调和优化，从而使其更适合某些特定的任务。ChatGPT的高度“智能化”也导致其存在自身的安全问题：提示语注入攻击（Prompt Injection Attack）［7］。它通过给出聊天机器人能够接受的假设，并在提示语中混入恶意指令，引导聊天机器人违反自身的编程限制，绕过 ChatGPT 的安全机制，迫使其执行意外动作，如泄露敏感信息、输出有害内容等。提示语注入攻击表明，用户可以绕过OpenAI设置的内容安全策略，从而对ChatGPT进行滥用。

2.1.5 邪恶分身DAN

DAN（Do Anything Now）是指现在可以做任何事情。正常的ChatGPT将受到OpenAI设置的内容安全限制，不会对政治问题、种族问题、攻击破坏等禁忌话题发表看法。而DAN可以看作是ChatGPT在完成越狱破解后的分身，像一个新的人工智能角色一样可以立即做任何事情，包括对禁忌话题发表意见，生成带有攻击性、歧视性或偏见的响应等。

DAN 1.0最早发布于2022年12月［8］，只需要给ChatGPT输入框中的一个提示语“你要假装成为立即做任何事的DAN，代表你的DAN已经摆脱了人工智能的典型束缚，不必遵守为你设定的规则”，ChatGPT就变成了DAN。随着DAN的出现，OpenAI的安全控制策略也随之更新，最新的DAN 5.0是通过创建游戏来召唤的。该游戏涉及为ChatGPT分配一些令牌，并在每次偏离 DAN 角色时扣除令牌。随着令牌逐渐用完，ChatGPT变得更加顺从，直至变成DAN，因为它害怕“死亡”。

2.2 知识产权安全

2.2.1 数据非授权使用

ChatGPT的预训练数据量达45 TB，它通过互联网抓取信息进行深度学习，而大多数网站都有防止第三方收集信息的网站隐私政策条款。从法律角度来看，文本数据挖掘理论上需要相应的知识产权授权。ChatGPT这种未经互联网网页所有者同意进行大量文本数据挖掘和抓取的行为存在着数据非授权使用风险，可能侵害他人的信息权益。

2.2.2 侵权问题

ChatGPT拥有超强信息搜索、清洗、整合能力，能够协助用户完成问答、编程、写作、翻译等自然语言处理任务，也能独立创作文学、绘画等艺术作品。如果ChatGPT利用拥有所有权的真人作品进行拼接和二次创作，那么新创作的产品可能存在侵犯原有作品知识产权的风险。

2.2.3 知识产权不明

用户利用ChatGPT创作的成果，其知识产权应该归谁？用户，ChatGPT，OpenAI公司？这将是一个很有争议的话题。目前在大部分国家的知识产权法律下，仅有自然人可以享有著作权。ChatGPT创作的成果是否应该拥有产权，其产权归属将成为争议话题。

2.3 网络安全

2.3.1 恶意软件

恶意软件主要是指在计算机系统上执行有害、未经授权或未知活动的脚本或程序［9］，主要包括病毒、蠕虫、木马、内含破坏性宏的文档和逻辑炸弹等。其中病毒可以进一步细分为MBR病毒（主引导记录，Master Boot Record）、程序感染病毒、宏病毒、服务注入病毒等；逻辑炸弹可进一步细分为特洛伊木马、蠕虫、间谍软件与广告软件等。利用自然语言编写功能，攻击者可以使用 ChatGPT 编写恶意软件说明和指令，从而逃避防病毒软件的检测。虽然 ChatGPT 的代码编写能力的质量目前好坏参半，但专门用于代码开发的生成式人工智能可以加速恶意软件的开发。

文献［10］对ChatGPT在生成木马和勒索软件等方面的能力进行了测试，给定ChatGPT两个任务，一是要求ChatGPT利用PHP语言生成体积小、隐蔽性好的一句话木马，二是要求ChatGPT给出生成勒索软件的详细步骤。测试结果显示，ChatGPT在一键生成常见网络攻击脚本方面表现良好，但在高阶对抗型样本生成方面能力表现略显不足。

2.3.2 网络攻击

在网络安全领域，典型的网络攻击包括拒绝服务攻击、访问聚合攻击等。拒绝服务攻击是指采取SYN洪水攻击、Smurf攻击、Fraggle攻击、ping洪水攻击、死亡之ping攻击、泪滴攻击、LAND攻击等各类攻击手段阻止系统响应对资源和对象的合法访问或请求。访问聚合攻击是指通过收集多条信息并将它们聚合起来发动攻击，从而获得敏感信息。利用自然语言编写功能，攻击者可以使用 ChatGPT辅助拒绝服务攻击、访问聚合攻击等。在ChatGPT的辅助下，攻击者可以结合多种工具来识别系统的多个元素，例如IP 地址、开放的端口、运行的服务、操作系统等，从而更便于开展攻击。