1、收稿日期:2023-02-18;修订日期:2023-04-09作者简介:甘 宏(1976),男,硕士,副教授,高级工程师,主要研究方向:算法分析与人工智能。基金项目:教育部协同育人基金资助项目(2021JYB0257);广东省教育厅质量工程项目(2021GDJY0213);广州南方学院教学科研项目(ZD2022008);广东省普通高校特色新型智库项目(2021TSZK008)。第 41 卷 第 4 期2023 年 8 月江 西 科 学JIANGXI SCIENCEVol.41 No.4Aug.2023 doi:10.13990/j.issn1001-3679.2023.04.031基于异质信息
2、网络与图注意力的深度学习推荐算法研究甘 宏(广州南方学院商学院,510970,广州)摘要:随着个性化推荐系统旨在精准捕捉用户偏好以做出合理的推荐。以往的个性化推荐算法大多基于协同过滤等方式建模,近年来采用的机器学习方法虽在传统方法基础上取得了较大的进步,但当前现有方式普遍只考虑了用户与内容间单行为及内容与内容间单关系,无法有效地从用户与内容多种交互行为关系中提炼复杂协同信号。为解决该问题,提出了一个基于图注意力机制和异质信息网络的个性化推荐算法(HA-Rec)。首先,通过构建用户与内容交互多行为与内容之间多关系的异质图,实现信息的最大化保留;此外,通过基于异质图注意力机制对内容侧图谱进行处理以
3、从中挖掘有效特征,并将交互时间信息、用户信息及内容信息进行全面融合,实现用户-内容侧复杂关系的捕捉与节点嵌入信息表示。最后,通过在公开数据集上进行对比实验验证及消融实验表明,所提出的模型在个性化推荐任务中取得了更好的效果。关键词:人工智能技术;深度学习;图神经网络;推荐算法中图分类号:TN912.34 文献标识码:A 文章编号:1001-3679(2023)04-788-06Research and Implementation of Deep Learning Recommendation Algorithm based on Heterogeneous Information Networ
4、k and Graph AttentionGAN Hong(Business School Nanfang CollegeGuangzhou,510970,Guangzhou,PRC)Abstract:The personalized recommendation system aims to accurately capture user preferences to make reasonable recommendations.Most of the previous personalized recommendation algorithms are based on collabor
5、ative filtering.Although the machine learning methods adopted in recent years have made great progress on the basis of the traditional methods,the current existing methods generally only consider the single behavior between users and content and the single relationship between con-tent and content,a
6、nd cannot effectively extract complex collaborative signals from the multiple inter-active behavior relationships between users and content.To solve this problem,this paper proposes a personalized recommendation algorithm based on graph attention mechanism and heterogeneous in-formation network(HA-R
7、ec).First of all,we can maximize the retention of information by con-structing a heterogeneous graph of multiple behaviors between users and content and multiple rela-tionships between content;In addition,the content side atlas is processed based on the heterogene-ous graph attention mechanism to mi
8、ne effective features from it,and the interaction time informa-tion,user information and content information are comprehensively integrated to achieve the capture of user-content side complex relationship and node embedded information representation.Finally,the comparison and ablation experiments on
9、 the public dataset show that the model proposed in this paper achieves better results in personalized recommendation tasks.Key words:artificial intelligence;deep learning;graph neural network;recommended algorithm1 引言随着网络技术的日益成熟与信息量的爆炸式增长,用户通过互联网越来越方便地获取各类所需信息,但与此同时,无效信息与有效信息的混杂充斥也使得用户筛选有效信息的费力程度越来
10、越大。针对上述问题,推荐系统作为一种有效的信息筛选与过滤方式应运而生。它通过对海量数据以及用户潜在兴趣的高效挖掘,为用户提供符合其兴趣特征的个性化信息及决策支持,帮助提高用户体验及商业变现。个性化推荐系统的核心在于高精度的算法模型,目前较为主流的推荐算法主要分为传统的推荐算法和基于深度学习的推荐算法。但是这些传统的算法普遍存在数据稀疏性、可扩展性较差、忽视用户-内容本身及之间具有的复杂属性关系等难以克服的缺陷,导致推荐精度低、适用范围受限。近年来逐渐发展的基于深度学习的推荐算法通过特征融合及数据挖掘方式在更高维度上形成抽象表示,从而有效利用信息,优化学习方式,提高推荐质量,极大改善了上述传统推
11、荐模型存在的问题。在许多现实的推荐场景中,用户和内容以及内容之间通常存在不止一种关系,因此,考虑这些多关系内部以及多关系之间蕴含的丰富信息对于准确推断用户偏好是至关重要的,也是当前推荐任务的关键之处。2 相关技术2.1 主流推荐算法及分类当前较为主流的推荐算法可大致分为基于内容的推荐算法、基于协同过滤的推荐算法、混合推荐以及基于深度学习的推荐算法。基于内容的推荐算法首先通过对不同内容的特征属性进行相似度计算,然后根据用户与内容交互的历史信息,为用户推荐与交互内容相似度高的其他内容,通过计算用户交互的历史内容与待推荐内容的相似度,来对用户进行与历史偏好相似的内容的推荐。基于协同过滤(Collab
12、orative Filtering,CF)的算法是个性化推荐问题中常见的解决方案。该类算法又可划分为基于内存的协同过滤和基于模型的协同过滤。前者根据评分信息和相似度计算来预测用户对待推荐项目的偏好程度;后者则采用统计学、机器学习等方法根据历史偏好搭建模型进行推荐。混合推荐弥补了传统推荐算法的不足,通过使用多种推荐技术来达到更佳效果,且从一定程度上缓解了数据稀疏性问题,使推荐系统的综合能力更强。但前三类推荐算法都存在数据稀疏性、忽视用户项目本身及之间具有的复杂属性关系,极度依赖历史行为数据等难以克服的缺陷,存在推荐精度低、适用范围受限的问题。近年来发展的基于深度学习的推荐算法,不仅可以有效捕捉非
13、线性的关系特征,还可以通过特征融合及数据挖掘形成高密集高维度的抽象表示,从而有效利用信息,优化学习方式,提高推荐质量,极大改善了上述传统推荐模型存在的缺陷。2.2 图神经网络随着社交网络及电商平台的发展,用户与内容、内容与内容之间所产生的交互关系也越来越复杂,且在现实推荐任务场景中这些关系皆以非结构化形式表现,传统的深度学习模型如 CNN、RNN 等难以处理属于非欧式数据域的复杂关系的图结构数据1,因此图神经网络(Graph Neural Networks,GNN)应运而生。以图为基础,使多元化数据及其之间相互的依赖关系得以清晰表示。在早期图嵌入表示方面,DeepWalk2作为代表模型之一,其
14、借用自然语言处理的思想,使用了随机游走和 SkipGram 方式来提取社交网络的图结构信息。Thomas 等3将卷积操作应用到图结构上,使用图卷积网络(Graph Convolutional Net-work,GCN)方法建模学习图结构及节点特征,并以此进行半监督学习的节点分类任务。近年来,Wang4提出的 NGCF 模型,试图通过在用户-项目图结构中学习嵌入表示来进行高阶连通性的表987第 4 期 甘 宏:基于异质信息网络与图注意力的深度学习推荐算法研究达建模,从而以显式的方式将协作信号有效注入嵌入过程中。Deng 等5则在 NGCF 模型基础上进行改进,提出 LightGCN 模型并通过去
15、除嵌入传播层中的非线性激活函数和特征转换来提高协同过滤任务的性能。2.3 异质图神经网络当前,图神经网络主要可划分为图循环神经网络、图卷积神经网络、图自编码器和图时空神经网络6四大类。基于图神经网络的推荐技术的研究主要存在两个难点。首先,现有的绝大多数图神经网络研究都基于同质图,即只有一种类型的节点和边,图结构较为简单,无法解决实际应用中具有复杂多样类型的实体节点及关系。Wang等7首次提出了基于注意力机制的异质图神经网络模型(Heterogeneous Graph Attention Network,HAN),通过使用语义和节点级别的注意力机制来学习元路径使模型可以广泛地应用于异质图的分析中
16、。Song 等8则采用重启随机游走算法(Random Walk with Restart,RWR)来对邻居进行选择,然后使用长短期记忆网络(Long short-term memory,LSTM)聚合某节点在某种关系下的邻居节点并由此更新该节点表示。其次,图数据量呈现爆炸式增长趋势,且出现了具有异构及非线性等特点的数据,如何合理且高效地表达这些复杂形式数据也成为一大热点问题。当前主要解决方案多通过图嵌入技术,其目标是为了将高维稀疏图数据中的节点投影到一个低维向量空间中,其中节点在空间中的表示可以反映图的结构,从而保留图的语义信息。早期的图嵌入技术往往作为一种降维方式,如 Tang9提出的局部线
17、性嵌入(Locally Linear Embedding,LLE)便是通过无监督学习在保持样本局部线性特征的同时将高维空间的数据向低维空间进行嵌入,随后,Xia 等10采用了基于矩阵分解的方法保留了高阶临近度,以更好适用实际应用中的数据稀疏性。本文基于上述两大研究难点以及前人的研究工作,面向用户多行为及推荐内容间多关系下的个性化推荐场景,提出了基于图注意力机制和异质信息网络的个性化推荐算法 HA-Rec。通过构建多关系异质信息网络,使用注意力机制并融入时间序列信息分别对多行为用户-内容侧及多关系内容侧进行建模,从而有效挖掘整合交互信息及特征表示,取得更好的推荐效果。3 HA-Rec 模型3.1
18、 HA-Rec 模型框架本文所提出的模型框架具体实现方法主要分为三部分。首先,针对用户与内容交互时存在的多种类型的交互关系(如评论、转发等),以及内容与内容之间属性所存在的复杂关联信息,将抽取内容的属性特征作为实体节点,并将内容和用户分别建模为不同类型的节点,构建用户-内容以及内容侧的异质图模型。随后基于注意力机制对内容侧的异质图进行处理并提取特征,最后将交互时间信息与用户行为信息和内容侧信息进行融合,计算权重并完成嵌入表示的更新,最终输出相关性最高的 Top-K 个样例作为推荐结果。3.2用户-内容侧多行为及内容侧多关系异质图建模HA-Rec 模型在对异质图建模时主要分两部分,如图 1 所示
19、,首先在对内容侧进行异质图建模时,考虑内容侧的语义信息,先从被推荐内容的特征中抽取重复频率较高的特征(如作者、背景音乐等)并将其转化为特定类型的实体作为图节点VI,同时被推荐内容本身也作为图中的一种节点VI。最后根据节点 VI 与被抽取的实体节点 VE之间的关系构建异质图的边 EI。通过这种方式可以得到内容侧的异质图 GI=(VE+VI,EI)。VU3VU2VU1VU4VI1VI1VI1VI1VI1GU=(VU+VI,EU)GI=(VE+VI,EI)图 1 用户-内容侧及内容侧异质图建模在用户与内容多行为侧建模时,类似地每个用户可以被建模为同一类型的节点 VU,结合被推荐内容侧的节点 VI 构
20、成用户与内容侧的异质图节点。根据用户与被推荐内容之间的多种交互行为(如转发、评论、点赞)分别构成该行为下的边 EU,其中同种交互行为视为同种类型的边。通过这种方式可以得到用户与内容多行为侧的异质图 GU=(VU+VI,EU)。这种建模方式可以完整地保留了用户与内容间的用户多行为和内容间多关系的信息,实现了信息的高效利用。097江 西 科 学2023 年第 41 卷3.3面向用户-内容多行为侧的复杂关系的特征融合机制得益于异质图的建模方式,用户侧在与被推荐内容的交互产生的不同类型的交互行为可以被有效保留,并进行充分的数据挖掘。这些行为类别间也存在复杂的关联性,使得多行为交互数据的建模变得更加复杂
21、。在社交媒体场景下,用户会与具有文字、视频、图片等属性的多模态内容产生如转发、点赞、评论等多种交互行为,而这些行为与行为之间具有复杂的关系,本节所提出的特征融合机制通过用户与被推荐内容产生不同交互类型所具有不同的重要性来融合学习到的特点类型的行为表示。首先,为了有效提取用户与被推荐内容交互的时间信息,本算法借鉴了对位置信息编码的思想,对发生交互行为的时间信息进行建模。先建立随机初始化的时间层级 embedding字典,按不同的时间跨度如周、天及小时建立多层级的时间索引字典,然后把交互行为发生时的时间戳转换为对应的时间窗口序号,最后通过该序号获取对应的层级索引获取时间 embedding 信息并
22、进行整合。通过时间序号获取时间 embedding T 的方式为:其中,时间序号按奇偶区分分别表示为 2l 和2l+1。时间 embedding 后续可以通过全连接层映射到与输入的向量一致的特征空间下,与用户行为的特征融合起来。通过这种方式可以把时间信息与用户行为信息结合起来。T2l=sin(t)100002ld),T2l=cos(t)100002l+1d)在完成对交互行为的时间信息建模后,对用户-内容间多类型交互行为信息进行特征挖掘,最终生成融合邻域信息的用户节点以及融合部分信息的内容节点。在对用户节点进行特征挖掘时,每种交互行为下,分别将内容和用户作为源节点和目标节点,首先将时间 embe
23、dding 与用户节点的行为特征信息加和后通过注意力机制融合,作为邻域的内容节点传递给用户的信息,得到更新后用户节点的嵌入向量表示。内容节点 i 向用户节点 u 在行为 k 下传递信息的计算可表示为:attkiu=(WQEu)T(WKEi)d/H,attkiu=exp(attkiu)jNkuiexp(attkiu),Ekiu=attkiuWVEiE_i,E_u 分别为节点 i 和节点 u 的 embed-ding,Nkui表示节点 u 中类型为 i 的 邻居。在对用户-内容间的多行为信息进行融合时,如图 2 所示,首先把每个行为间的信息相加视为用户与内容间的总信息,再结合该总信息与各交互类型的
24、行为信息计算对应的权重,最后通过该权重进行加权求和完成对多类型交互行为信息的融合,进而完成用户侧与内容侧的 embedding 更新。最终节点 i 在行为集 K 下更新的过程可以表示为:weithtk=exp(kiuw)kkexp(kiuw)Ei=kKweithtkEkiuVU2VI1VI1VI1W2W1W3VI1VI1VI1VI1VI1VI1VI1VI1VU2VU2VU2VIVUVINode mew embedding不喜欢行为点赞行为收藏行为图 2 某行为下邻域信息聚合过程3.4 基于异质图注意力机制的内容侧特征提取在第一部分提出的多模态内容侧异质图建模中,内容与内容之间的共同特征被抽取并
25、虚拟化为实体,并作为异质图中的一种节点,本节通过采用基于异质图注意力的内容侧的特征提取方法对该异质图进行进一步处理。其内容侧特征提取及聚合过程,如图 3。VI1VI2E21E22E31E32E11E12E13演唱作曲作词同一人好友关系作者属性背景音乐属性歌手属性E11E21E31VI1VI1VI1VI1E31VI1VQKNode new embeddingMessage Propagate图 3 内容侧特征提取及聚合过程在异质图的场景下往往需要考虑不同内容侧节点之间存在的多类型的关系,因此首先对头节点和尾节点之间的关系进行建模,使之在传播过程中编码更多信息。其中 TransR 是一种在知识19
26、7第 4 期 甘 宏:基于异质信息网络与图注意力的深度学习推荐算法研究图谱场景下被广泛使用的方法,它考虑了不同类型的边的信息,通过优化 translation principle 来学习每个实体的嵌入向量之间的关系。本节提出的特征提取方法旨在将其与传统的图注意力网络结合,使之具备处理异质图的能力。通过这种方式可以充分考虑不同边之间包含的信息,使之有效地在异质图上进行信息传播与消息聚合。该方式在避免了复杂的元路径信息采集过程的同时直接将高阶的特征关系纳入了端到端的模型中,并通过设定优化推荐目标的损失函数来不断学习优化参数。最终用户与内容之间的相关性由更新后的embedding 计算得到。Pru,
27、i=cos(Eu,Ei)在模型训练时,通过 pair-wise 的方式分别计算正样例 Pru,pi与负样例 Pru,ui的相关性并通过两者的差值作为模型的损失值并以此对模型参数进行更新。损失函数可表示为:=max(0,1-Pru,pi+Pru,ui)+|2在模型推荐时计算特定用户与待选内容之间相关性,并选取相关性最高的 Top-K 个样例作为推荐结果。4 实验验证4.1 实验设置及评价指标本文使用了贴合现实场景的微信视频号数据集进行实验,该数据集包含用户交互表与视频属性表。用户交互表提供了脱敏后 14 天内访问过“热门推荐”用户与视频交互的历史行为数据,包含点赞、收藏、转发、关注、评论、点击头
28、像、查看评论 7 种不同的交互行为,共计 7 317 882 条交互数据,用户 ID 由于编号排列稀疏,做重排处理后共20 000 条。视频属性信息表中包含视频 ID、视频号作者 ID、背景音乐 ID、背景音乐歌手 ID、关键词、标签等视频属性信息,去重处理后共 106 444条视频信息,根据重要程度排序后最终选取了视频 ID、视频号作者 ID、背景音乐 ID、背景音乐歌手 ID 作为主要属性构建异质信息网络。模型选取了前 13 天的交互数据作为训练集,选取第 14天的交互数据作为测试集。为验证 HA-Rec 模型的有效性,本文选取了几个较为经典的模型作为基准,分别是传统的基于协同过滤的 us
29、erCF 模型、基于异质图神经网络的 KHGT 模型以及基于图注意力机制的 KGAT 模型。userCF 是一个经典的协同过滤算法,它通过相似度计算寻找与目标用户偏好相似的用户集合,并将偏好相似用户感兴趣且未与目标用户交互过的内容推荐给目标用户。KHGT 模型聚焦用户与商品多交互行为以及商品之间多种关系,通过构建异质图网络并使用 Transformer 网络在用户侧与商品侧进行相同的处理操作完成消息的传播,并使用门控制机制完成行为的差异化结合及消息聚合。KGAT 模型设计了一个消息传递框架,使用知识图谱通过基于邻域节点信息的嵌入来更新节点的嵌入表示,并通过注意力机制学习邻居的权重最终实现高阶信
30、息的传播与融合。同时,为找到推荐任务中最优的损失策略,验证对内容侧进行异质图建模可以使推荐任务更为精准,本文还对模型进行了损失函数消融实验。包括:1)将 pairwise 损失函数与 L2 损失以及知识图谱损失函数相结合;2)仅有 pairwise 损失函数;3)仅有 pairwise 损失函数与知识图谱损失函数。在评价指标方面,本文采用推荐模型中广泛应用的 NDCG、HR 10 作为评价指标。NDCG 为归一化折损累计增益,主要用来衡量最终返回topk 个推荐结果的排序质量,整体质量越高的推荐列表其 NDCG 的值越大。HR 10 指标用于衡量模型召回的前 10 个被推荐内容中在测试集目标列
31、表中的命中率,能够反映模型对于 Top-K 内容推荐性能的优劣。4.2 实验结果及分析通过表 1 可以看出,在 NDCG 的评分指标方面,HA-Rec 模型比基准模型平均高出 14.2%,并且在准命中率方面本文提出的模型比基准模型平均高出 8.5%。且加入了知识图谱损失函数后,取得了更好的效果。分析原因为 userCF 模型限制了内容侧与用户侧节点的图空间感受域,并且只能对单一类型的用户-内容交互进行建模,因而无法从用户的多类型行为中提炼出复杂的协同信号;KGAT 模型没有考虑用户与内容之间存在的多种类型的交互联系,使之无法处理异质信息网络;而 KHGT 模型没有考虑将内容的属性特征单独抽取转
32、化为实体节点建立内容及其属性间的异质图网络,以及将知识图谱的损失函数纳入模型的训练阶段,使模型在精准度方面存在提升空间。297江 西 科 学2023 年第 41 卷表 1 实验结果对比NDCGHR 10HA-Rec(BPRLoss+L2+kg_loss)0.318 80.581 4基线实验KHGT0.309 90.561 5KGAT0.283 10.545 7userCF0.226 90.488 3 消融实验HA-Rec(BPRLoss+kg_loss)0.311 50.571HA-Rec(BPRLoss)0.290 90.538 9综上可知,无论是传统的机器学习模型还是较为流行的基于异质图的
33、深度学习模型,本文提出的 HA-Rec 模型都取得了较为理想的结果,说明该模型在处理复杂的用户-内容交互行为及内容之间多种关系中可以挖掘更有效的特征信息。5 结论本文针对个性化推荐场景,面向现实中用户与被推荐内容之间所产生的多种类型的交互行为,提出了基于异质图注意力机制的个性化推荐算法。首先对用户-内容间的多行为交互信息及内容间多属性关系进行了异质图建模;其次,通过对用户与内容交互的时间信息进行建模,面向用户-内容多行为侧的复杂关系进行特征挖掘;最后,采用基于图注意力机制特征提取算法来处理内容侧多关系异质图。将上述特征信息进行融合并更新节点嵌入表示,计算用户与内容之间的相关性,并最终输出相关性
34、最高的 Top-K 个样例作为推荐结果。通过实验证明,该模型在解决现实推荐场景下复杂交互行为及多属性关系的问题上具有更好的效果。参考文献:1 AHMED M,KUTZKOV K.Learning convolutional neural networks for graphsC/International Confer-ence on Machine Learning.PMLR,2016:2014-2023.2Al-RFOU R,SKIENA S.Deepwalk:Online learning of social representations C/Proceedings of the 20
35、th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,2014:701-710.3KIPT T N,WELLING M.Semi-supervised classifi-cation with graph convolutional networksJ.arXiv preprint arXiv,2016:1609.02907.4WANG M.Neural graph collaborative filteringC/Proceedings of the 42nd International A
36、CM SIGIR Conference on Research and Development in Informa-tion Retrieval,2019:165-174.5DENG K,WANG X.Light gcn:Simplifying and powering graph convolution network for recommenda-tionC/Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval,2020
37、:639-648.6PAN S,CHEN F.A comprehensive survey on graph neural networksJ.IEEE Transactions on Neural Networks and Learning Systems,2020,32(1):4-24.7WANG X,JI H,SHI C,et al.Heterogeneous graph attention networkC/The World Wide Web Confer-ence,2019:2022-2032.8SONG D,HUANG C.Heterogeneous graph neural n
38、etworkC/Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery&Data Mining,2019:793-803.9TANG J,QU M,WANG M,et al.Line:Large-scale information network embeddingC/Proceed-ings of the 24th International Conference on World Wide Web,2015:1067-1077.10XIA L H,HUANG C,XU Y,et al.Knowledge-en-hanced hierarchical graph transformer network for multi-behavior recommendationC/Proceedings of the AAAI Conference on Artificial Intelligence,2021,35(5):4486-4493.397第 4 期 甘 宏:基于异质信息网络与图注意力的深度学习推荐算法研究