1、DOI：10.13766/j.bhsk.10082204.2023.0336编者按：2023 年，研究机构 OpenAI 发布的 ChatGPT 聊天机器人掀起了人工智能的新一轮浪潮。当前，中国正在积极探索人工智能发展的新模式、新路径，在对标 ChatGPT 大模型的基础上，着力构建开源框架和通用大模型的应用生态。ChatGPT 受到了来自法学、数学、计算机科学与技术、网络空间安全、软件工程、语言学、哲学等多个学科的广泛关注，由此引发了如何认识 ChatGPT、ChatGPT 会给社会带来哪些机遇和挑战、应该对 ChatGPT 采取何种治理方案等诸多问题。针对上述问题，本刊特邀五位青年学者，从
2、交叉学科视角出发，针对人工智能发展的新趋势及其潜在的技术安全风险，探讨 ChatGPT 对中国人工智能产业的影响方式和借鉴意义，以期为推动中国人工智能产业良性、高效发展助力。ChatGPT：挑战、发展与治理赵精武，王鑫，李大伟，刘艾杉，周号益（北京航空航天大学，北京100083）中图分类号：TP18文献标志码：C文章编号：10082204（2023）02018805ChatGPT 背后的技术安全风险及其应对路径生成型预训练变换模型（ChatGegerativePre-trainedTransformer，ChatGPT）因其强大的功能而爆火出圈，无论是短文撰写、新闻编辑，还是代码编写、时事点评
3、，ChatGPT 均能胜任。因此，国内外市场对于 ChatGPT所代表的人工智能产业抱有较高的期待。部分专家甚至认为，ChatGPT 能够通过取代人类完成部分重复性、模块化的工作任务，进而对社会人力资源分配和产业结构优化产生直接的推动效用。然 而，技 术 创 新 从 来 都 是 与 风 险 相 伴 的，ChatGPT 也不例外ChatGPT 一旦被滥用，虚假信息泛滥、用户数据泄露、内嵌的算法歧视以及知识产权侵权等一系列风险也将随之而至。以网络安全风险为例，ChatGPT 的自动编写代码功能在提升代码编写效率的同时，也会被黑客用于辅助编写恶意代码，网络安全态势势必更加严峻。具体表现为：其一，Ch
4、atGPT 的代码编写功能将拓展黑客攻击的技术工具，使得原有的网络攻击呈现更加庞大的规模化趋势。ChatGPT 能够辅助黑客高效完成恶意软件的编写，如此一来，黑客针对关键信息基础设施进行有组织、有规模的网络安全攻击的频次将会增加。同时，过去以大型企业为主要目标的攻击模式可能转变为囊括大中小型企业的攻击模式。其二，ChatGPT 的信息编写功能能够辅助网络诈骗分子生成规模化、低成本的网络钓鱼软件，并且生成的诈骗信息具有智能化特征，使得被诈骗者识别信息真伪的难度进一步增加。其三，ChatGPT的信息编写功能可能会导致网络虚假信息泛滥，并且网络用户更加难以甄别这些信息的真伪，由此将导致网络空间舆情治
5、理压力增大。面对 ChatGPT 滥用可能导致的种种风险，国内外学者纷纷提出了具有前瞻性的治理方案。有专家、学者提出，应对 ChatGPT 需“制定专门立法”“制定配套措施”。实际上，ChatGPT 的市场成功不等于人工智能产业取得了突破性创新发展，相对应的风险治理思路更应当考虑现有的技术水平。结合ChatGPT 所具有的如仅能完成重复性和模块化的工作内容、输出结果准确率无法保障、知识更新周期慢、算力资源需求庞大等技术特征，监管机构没有必要立即将尚处探索阶段的 ChatGPT 作为现阶段网络空间治理的核心立法任务。因为凭借不确定的技术应用场景和难以预测的安全风险径直推导出“法律需要对 Chat
6、GPT 进行专门立法规制”，只会陷入“一项技术对应一条法律制度”的谬误之中。收稿日期：20230307第36卷第2期北京航空航天大学学报（社会科学版）Vol.36No.22023年3月JournalofBeijingUniversityofAeronauticsandAstronautics(SocialSciencesEdition)March2023法律与技术的关系并非简单的治理与被治理的关系，而是表现为被需要与需要的关系。技术在不同的发展阶段，往往存在差异化的制度需求，或是产业促进制度，或是禁止性规范，或是对既有立法体系的法律解释与概念重述。在目前 ChatGPT 技术尚未落地应用之前，
7、过于超前地规划立法方案和制度建构路径，可能会压制技术的创新。区块链、元宇宙等领域同样存在类似问题，专门立法和配套措施等治理思路并不能真正解决这些问题，同时还可能会致使法律偏离原本的功能定位。事实上，中国已先后颁布了中华人民共和国网络安全法网络信息内容生态治理规定互联网信息服务算法推荐管理规定等法律法规，针对人工智能技术和算法技术滥用问题规定了详细的法定义务和监管体系，足以应对短期内 ChatGPT 可能带来的各类技术安全适时风险。中国监管部门完全可以利用现有法律制度，规范 ChatGPT 的相关产业活动；未来在经验成熟时，可以考虑启动人工智能技术应用领域的立法，以应对各种潜在的安全风险。首先，
8、重点监管大型企业研发活动，落实人工智能技术标准。ChatGPT 对于算法、数据乃至服务器的需求量惊人，具备开发能力的主体大多限于超大型互联网企业或技术公司。在相关产品投入市场之前，可以利用算法备案机制，对存在影响网络安全和国家安全可能性的产品或服务进行安全性审查。此外，相较于对用户使用行为进行监管，从源头上对研发企业进行监管的成效可能会更加显著，且研发企业也有技术水平和能力对恶意软件代码片段编写功能加以限制。其次，明确研发机构、网络平台经营者对于人工智能产品应用的安全风险评估义务。ChatGPT 及其类似产品本身不具有社会危害性，但以不当方式使用则可能会导致一定的损害后果。针对 ChatGPT
9、 可能引发的网络钓鱼邮件等网络诈骗风险，应当明确作为“危险制造者”的研发机构、网络平台经营者在将此类产品投入市场之前必须进行安全风险评估，确保风险可控。最后，需要重点关注以人工智能信息审核技术规制人工智能可能诱发的虚假信息泛滥风险。为了避免滥用 ChatGPT 等人工智能技术生成大量难以通过自动化批量审核的虚假信息内容，监管机构以及网络平台经营者可能需要进一步提升监管技术，以人工智能监管科技来规范人工智能生成的内容。根据 ChatGPT 这类产品的发展水平和生成信息内容特征，鼓励行业协会、大型企业或第三方专业机构积极推进人工智能违规信息审核产品的研发和推广。赵精武（北京航空航天大学法学院副教授
10、、硕士生导师）ChatGPT 发展需要关注复杂系统研究17 世纪以来，科学思想经历了从简单系统还原论到复杂系统涌现论的根本转变。如何认知、处理复杂系统，已成为现代科学的核心问题。处理复杂系统的方法论可以归结为以下三种：一是以数学物理模型为代表的 Hypothesis-drivenScience，通过抽象自然现象，提出科学假设，构造模型解释、推导、预测，再以实验方法验证，形成普适性定律；二是以统计学为基础的 Data-drivenScience，通过真实数据特征分析，归纳科学问题，得到新发现，提出新理论；三是以神经网络为代表的人工智能方法，学界将其称为“DataisScience”，其底层逻辑在
11、于数据本身就被认为是一种描述世界的方式，因此缺乏对数据及其特征之间的耦合、因果等内在关联关系的刻画，更关心“效果怎么样”，而非“原因是什么”。上述三种方法论也形成了当下人工智能与复杂系统研究的两种主要范式：一是以 ChatGPT 为代表的超级拟合范式，即采取大模型、巨参数、海量数据，试图对客观世界进行无限逼近，表现为“大数据、小定律”，但其核心瓶颈在于不可解释性和“学习”效率低；二是结合了 Hypothesis-drivenScience 和Data-drivenScience 的寻找 principles 范式，追求复杂系统的可解释性数理建模和智能涌现的本源，代表性工作包括 2021 年获得
12、诺贝尔物理学奖的复杂气候系统研究，以及目前的脑科学、类脑智能研究等，表现为“大定律、小数据”，但其仍受限于复杂系统第36卷第2期赵精武等：ChatGPT：挑战、发展与治理 189 的数学理论困难和神经科学的发展现状。当前，一方面，ChatGPT 在连续问答、知识归纳、代码写作、文献推荐等多个方面表现出了前所未有的强大能力，很有可能对众多行业都带来变革性影响，其潜力令人期待。另一方面，ChatGPT 的“智能”水平是基于模型规模、数据量的大幅度提升而突然涌现出来的，即得益于所谓的“scaleup”和“scalinglaw”。涌现本身就是复杂系统的重要特征，但 ChatGPT 的“智能”为何能够涌
13、现，其涌现的相变点受哪些因素影响，目前均为未知。从技术上来看，大模型范式所需的高质量、易标注的数据量有限，算力要求高，成本与能源消耗大；从原理上来看，ChatGPT 并没能突破超级拟合范式的瓶颈，仍然存在不可解释性、可泛化边界未知、涌现原理未知、逻辑推理能力有限等问题。同时，ChatGPT 的使用也带来了法律安全、认知安全、应用安全、社会安全、数据安全等一系列的安全性挑战。王鑫（北京航空航天大学人工智能研究院助理教授、硕士生导师）ChatGPT 的网络安全威胁及其应对路径着眼未来，高性能通用人工智能的下一个颠覆性突破也许来自大模型（如高质量大数据、高效率大模型、涌现学习能力）和大定律（如可解释
14、、可泛化、逻辑推理能力）的结合。其核心科学问题在于，面对无处不在的复杂系统，如何在拟合过程中内嵌数理原理或智能涌现规律。自从机器与人类结缘以来，二者的历史发展进程便始终在不断地交织、发展和演变。ChatGPT作为强大的自然语言处理模型，能够提供文本生成、对话交互、机器翻译、智能建模等服务，以“合作者”的身份，为人类创造更多的价值和福利。然而，在技术的发展过程中，也会出现一些问题和挑战。以ChatGPT 为代表的新兴人工智能也面临着安全威胁的挑战，如何防御这些威胁，是必须认真思考和应对的问题。从传统的软件系统的角度来看，ChatGPT 可能会遭受 DDOS 攻击、命令注入攻击、数据泄漏、访问控制
15、漏洞攻击等安全威胁。从人工智能模型的角度来看，ChatGPT 面临的安全威胁包括：对抗样本攻击（即攻击者可以通过在输入中添加微小但有意义的扰动来欺骗 ChatGPT 模型）、模型逆向攻击（即攻击者逆向推导出模型的参数或训练数据，从而获取敏感信息或泄露隐私）、模型解释攻击（即攻击者通过访问模型的解释信息来获取敏感数据）、窃听攻击。此外，作为自然语言处理模型，ChatGPT 还会遭受提示语注入攻击，攻击者可在用户输入的数据中混入可执行的命令，迫使底层引擎执行意外动作，危害系统安全。ChatGPT 生成的语言符合人的思维，常常带有情感倾向，且模型的输入数据库是人为设定的，学习的数据也具有人类特征。因
16、此，不能简单地将 ChatGPT视为机器，而是应将其视为机器与人的结合体。作为机器与人的结合体，ChatGPT 会带来许多新的安全问题。从机器的角度来看，ChatGPT 会带来模型安全、数据安全、算法偏见等问题，模型中的错误数据会不断累积，最终导致虚假信息的产生甚至泛滥，算法与数据集的选择也会导致模型输出的偏见和不公平性。从人的角度来看，ChatGPT 会带来政治与舆论、军事与国防、恶意程序生成、情绪引导、版权问题等方面的安全问题。敌对势力可以利用 ChatGPT，操纵舆论叙事以谋求地缘政治利益；也可以借助ChatGPT，辅助军事决策，改变战场形态；还可以使用 ChatGPT 生成恶意程序，降低发动网络攻击的门槛。此外，ChatGPT 生成的文本还可能会导致情绪引导、版权侵害等问题。针对上述安全威胁，可以采取多种防御手段。首先，可以通过限制 ChatGPT 的访问范围和使用权限，来防止恶意攻击者利用模型进行攻击，完善人工智能模型，提高系统“免疫力”；其次，可以使数据集多样化，对数据进行清洗和脱敏，保护用户隐私和数据质量，避免隐私泄露和数据偏见；最后，可以制定配套规则，完善相关法律法规，