1、计算机与现代化JISUANJI YU XIANDAIHUA2023年第1期总第329期收稿日期：2022-04-01；修回日期：2022-04-19基金项目：国家自然科学基金资助项目（61304150）；浙江省自然科学基金资助项目（LQ13F030015）作者简介：钱晓钊（1999），男，浙江温州人，硕士研究生，研究方向:图与风控，E-mail:；通信作者:王澎（1981），男，湖南岳阳人，硕士生导师，博士，研究方向:在线人类行为动力学机制，虚假交易特征识别，E-mail:wangpeng_。0引言随着深度学习的研究与发展，卷积神经网络在计算机视觉和自然语言处理等领域带来了突破性的进展。但是，
2、传统的卷积神经网络只能处理欧氏空间数据（如图像、文本）。这些领域的数据具有平移不变性的特点，平移不变性的特性能够在全局空间共享卷积核1。而一种非欧氏空间数据：图数据，因其普遍存在而受到广泛关注。图通常被用来建模成许多现实世界的复杂关系，如社交网络关系、交通关系、蛋白质结构关系等。图数据中每个节点的局部结构可能大不相同，这使得平移不变性不再满足，传统深度学习方法不再适用。研究人员受到卷积神经网络的启发，将其推广应用到图数据上，图卷积神经网络（GCN）应运而生。图卷积神经网络巧妙地设计了一种从图数据中提取特征的方法，从而可以使用这些特征去对图数据完成节点分类、链路预测、图分类等各种下游任务。研究人
3、员研究图卷积神经网络鲁棒性时发现：图神经网络容易被一些微小的扰动所影响。如加边、删边、修改节点特征等，这类扰动被定义为对抗性扰动。鲁棒性对抗扰动对图卷积神经网络来说是一个关键问题。相比在深度学习的其他应用领域，研究图对抗文章编号：1006-2475（2023）01-0074-07面向图卷积神经网络鲁棒防御方法钱晓钊，王 澎（杭州师范大学阿里巴巴商学院，浙江 杭州 311121）摘要：近来对图卷积神经网络（GCNs）的研究及其应用日益成熟，虽然它的性能已经达到很高的水准，但GCNs在受到对抗攻击时模型鲁棒性较差。现有的防御方法大都基于启发式经验算法，没有考虑GCNs结构脆弱的原因。最近，已有研究
4、表明GCNs脆弱的原因是非鲁棒的聚合函数。本文从崩溃点和影响函数抗差性角度出发，分析平尾均值函数和均值聚合函数二者的鲁棒性。平尾均值相较于均值函数，其崩溃点更高。平尾均值的影响函数跳跃有界，可抵抗异常值；而均值函数的影响函数无界，对异常值十分敏感。随后在GCNs框架的基础上，通过将图卷积算子中的聚合函数更换为更为鲁棒的平尾均值，提出一种改进的鲁棒防御方法WinsorisedGCN。最后采用Nettack对抗攻击方法研究分析所提出的模型在不同扰动代价下的鲁棒性，通过准确率和分类裕度评价指标对模型性能进行评估。实验结果表明，所提出的防御方案相较于其他基准模型，能够在保证模型准确率的前提下，有效提高
5、模型在对抗攻击下的鲁棒性。关键词：图卷积神经网络；图对抗训练；鲁棒性中图分类号：TP389.1文献标志码：ADOI:10.3969/j.issn.1006-2475.2023.01.013Robust Defense Method for Graph Convolutional Neural NetworkQIAN Xiao-zhao，WANG Peng（College of Alibaba Business，Hangzhou Normal University,Hangzhou 311121，China）Abstract：Recently，graph convolutional neural
6、 networks（GCNs）have been increasingly mature in research and application.Although its performance has reached a high level，but GCNs have poor model robustness when subjected to adversarial attacks.Most of the existing defense methods are based on heuristic empirical algorithms and do not consider th
7、e reasons of the structuralvulnerability of GCNs.Nowadays，researches have shown that GCNs are vulnerable due to non-robust aggregation functions.Thispaper analyzes the robustness of the winsorised mean function and the mean aggregation function in terms of the breakdown pointand the impact function
8、resistance.The winsorised mean has a higher breakdown point compared to the mean function.The influence function of the winsorised mean is bounded in jumps and can resistant to outliers，while the influence function of the meanfunction is unbounded and very sensitive to outliers.An improved robust de
9、fense method，WinsorisedGCN，is then proposedbased on the GCNs framework by replacing the aggregation function in the graph convolution operator with a more robust winsorised mean.Finally，this paper uses the Nettack counter-attack method to study and analyze the robustness of the proposedmodel under d
10、ifferent perturbation budgets，and the model performance is evaluated by accuracy and classification margin evaluation metrics.The experimental results demonstrate that the proposed defense scheme can effectively improve the robustness ofthe model under adversarial attacks while ensuring the model ac
11、curacy compared to other benchmark models.Key words：graph convolutional neural networks；graph adversarial training；robustness2023年第1期更具有挑战性，因为图的属性不仅会受到扰动，而且离散结构也会受到影响。图卷积神经网络在实际应用场景中受到对抗攻击往往会带来严重的后果，例如，垃圾邮件发送者可以轻松地创建虚假的关注者，向社交网络添加错误的信息，以增加推荐和传播重大新闻的机会2，或者操控在线评论和产品网站3。恶意用户可能会故意操作他的个人资料或欺骗目标用户，以误导分析系统
12、。同样，在特定产品上，添加虚假评论可以愚弄一个网站的推荐系统4。因此图卷积神经网络的安全性问题是研究热点之一，深入研究图对抗攻击及其对策，能推动其在更广泛领域中成功应用。随后，关于图卷积神经网络的攻防问题引发学者研究探讨。Zgner等5首次提出图对抗学习的攻击算法Nettack。该算法基于节点数据特征修改其连边及节点特征，在评分函数指导下修改连边或特征生成微小的对抗扰动。之后，面向图卷积神经网络的对抗攻击方法的研究陆续展开，Dai等6、Wang等7、Zhhou等8、Sun等9相继加入了对抗攻击的研究行列。与此同时，面向图卷积神经网络的防御方法研究随之展开。根据 Gnnemann10的研究，可以
13、将图卷积神经网络对抗防御方法大致分为3类：1）数据预处理11-12。如图纯化，通过对扰动图进行纯化得到纯化图，并在纯化图上训练图卷积神经网络模型。2）模型训练13-15。如对抗训练，将对抗样本打上正确类标对模型进行训练，使模型具有对应方法的防御能力。但该方法受限于对抗攻击方法，无法对未知攻击方法实现防御。3）模型架构修改16。如引入注意力机制，通过学习一种注意力机制来区分对抗性扰动和干净的样本，通过惩罚对抗性节点或连边的权重来训练出鲁棒的图卷积神经网络模型。然而上述的防御方法大都基于启发式经验算法，并没有考虑图卷积神经网络脆弱的原因。现有的防御方法大多关注于提高模型的防御能力，而忽略了防御成本
14、因素的考虑。在现实场景应用中，海量大规模图数据会给高成本的防御策略带来严峻的挑战。因此需要通过更多的鲁棒性理论分析，研究在一定防御成本下实现较高鲁棒性的防御方法，提高防御方法的可行性。随后，Chen等17的研究表明图卷积神经网络脆弱的原因是非鲁棒的聚合函数。基于消息传递机制的主流图卷积神经网络的节点信息聚合表示可以很容易地被轻微的扰动所修改，整个模型建立在这样的聚合函数上是非鲁棒的。基于这一研究，本文在通用图卷积神经网络框架上引入更为鲁棒的平尾均值聚合函数进行改进，并在下文分析平尾均值聚合函数的鲁棒性。综上所述，本文首先运用鲁棒统计学崩溃点理论和影响函数抗差估计理论，分析平尾均值和均值聚合函数
15、二者的鲁棒性。随后在图卷积神经网络框架基础上，提出一种改进的鲁棒防御方法WinsorisedGCN，用更为鲁棒的平尾均值聚合函数替换均值聚合函数。最后，本文在真实数据集中进行对抗训练，验证本文所提出的防御方法的有效性，对模型或数据安全给出更多的理论性和实验性的分析与评估。1图卷积神经网络对抗攻击理论分析首先介绍图卷积神经网络的基本概念及其节点信息聚合的表示过程，随后给出图卷积神经网络对抗攻击的基本定义及类型。1.1图卷积神经网络给定一个属性图G=（A，X），A 0，1NN是邻接矩阵，且X 0，1D表示D维节点特征。节点V=1，2，N，特征F=1，2，D。其中子集节点VlV的标签来自于类别C=1
16、，2，CK。图卷积神经网络任务的目标是将图中的节点映射成对应的类标签，通过迭代聚合邻居节点特征来更新目标节点表示。图卷积神经网络第l层的定义如下18：h（l）v=（l）AGG（l）（Auv，h（l-1）uW（l），u N（v）（1）其中，包括邻居节点集合N（v）=N（v）v，包含节点自身v；聚合函数AGG（l）的作用是聚合邻居节点的特征，形成一个消息向量，传递给中心节点。h（l）v表示节点v在第l层的消息嵌入；以及归一化邻居矩阵A、权重函数W（l）和激活函数（l）。图卷积神经网络是一个邻居聚合策略，消息传递机制是图卷积神经网络的核心部分。一个节点的表示向量由它的邻居节点通过循环的聚合和转移表示向量计算得来。如图1所示，想要计算第l层目标节点的表示，首先通过获取目标节点中邻居节点的信息，然后通过聚合函数对获得的信息与l-1层目标节点自身表示组合起来，最终计算得到第l层红色节点的表示。图1节点信息聚合图1.2图卷积神经网络对抗攻击为了进一步描述图卷积神经网络的对抗攻击问题，本节主要针对图神经网络的节点分类任务，给出对抗攻击的基本定义以及介绍对抗攻击的2种基本类型：直接攻击和间接攻击。对于一
