1、2023 年 8 月 25 日第 7 卷 第 16 期现代信息科技Modern Information TechnologyAug.2023 Vol.7 No.1694942023.082023.08收稿日期：2023-03-10基于知识图谱信息协同传播的推荐模型张海龙1，颜金尧2（1.中国电子科技集团公司第十五研究所，北京 100083；2.中国传媒大学，北京 100024）摘 要：针对当前基于知识图谱的推荐模型没有充分挖掘知识图谱语义结构信息的问题，提出一种融合知识图谱表示学习方法和信息协同传播机制的推荐模型 KCOD。KCOD 基于经典的知识图谱表示学习模型 DistMult 与Tran
2、sR 建模并推理实体三元组的语义关系，然后通过交叉计算每一阶历史交互实体向量推理结果与候选物品实体向量推理结果的相似度，进行模型训练及偏好预测。实验结果显示 KCOD 的性能优于经典对比模型。关键词：个性化推荐；知识图谱；表示学习；协同传播中图分类号：TP391.3 文献标识码：A 文章编号：2096-4706（2023）16-0094-06Recommendation Model Based on Knowledge Graph Information Collaborative DiffusionZHANG Hailong1,YAN Jinyao2(1.The 15th Research
3、Institute of CETC,Beijing 100083,China;2.Communication University of China,Beijing 100024,China)Abstract:Aiming at the problem that the current recommendation model based on knowledge graph does not fully mine the semantic structure information of knowledge graph,a recommendation model,KCOD,which co
4、mbines the representation learning method of knowledge graph and the information collaborative diffusion mechanism,is proposed.KCOD models and infers the semantic relationship of entity triples based on the classical knowledge graph representation learning model DistMult and TransR.Then it performs
5、model training and preference prediction by cross-calculating the similarity between the inference results of historical interaction entity vector and the inference results of candidate item entity vector at each hop.The experimental results show that the performance of KCOD is better than the class
6、ical comparison model.Keywords:personalized recommendation;knowledge graph;representation learning;collaborative diffusion0 引 言近年来，随着互联网的快速发展，人类社会开始面临严重的“信息过载”问题。推荐系统是互联网平台缓解这一问题、改善用户体验的关键技术。经典的推荐模型包括协同过滤和矩阵分解模型。这些模型的核心思想是通过用户与物品的历史交互数据（比如点击、观看、评论、转发等）进行相似度计算，并根据相似度进行相似用户或者物品的推荐。但用户的历史交互数据非常稀疏，基于交互数
7、据进行推荐使得推荐结果的可解释性较差，且不可避免地存在冷启动问题1。为了解决上述问题，提高推荐效果，研究人员开始在推荐系统中引入辅助信息。常用的辅助信息包括用户物品属性信息，比如用户画像信息；内容信息，比如文本信息、图像信息；上下文信息，比如时间、地点；社交网络信息，比如用户的好友关系等。随着深度神经网络（Deep Neural Networks,DNN）的广泛应用，为了有效融DOI:10.19850/ki.2096-4706.2023.16.021合多源的辅助信息，研究人员开始基于 DNN 架构设计个性化推荐系统2。DNN 模型能够自动从多源辅助信息中挖掘高阶个性化兴趣特征，从而改善传统推荐
8、模型的各种问题。尤其是图神经网络（Graph Neural Networks,GNN）3技术的研究取得进展后，利用非欧几里得空间的图数据作为辅助信息进行推荐受到研究人员的重点关注。知识图谱（Knowledge Graph,KG）是一种由实体（Entity）节点和边组成的异构网络图，具有丰富的语义结构信息。知识图谱由三元组（h，r，t）集合组成。其中 h 表示头实体，t 表示尾实体，r 表示 h 和 t 之间的关系。如果将推荐系统中的用户或者物品映射到知识图谱中的相关实体，那么知识图谱可以提供丰富的先验知识信息。利用知识图谱进行个性化推荐的方法主要分为三类：基于嵌入的方法、基于路径的方法、一体化
9、方法4。基于嵌入的方法，先使用经典的知识图谱嵌入表示模型，比如 Trans 系列模型，学习每个实体与关系的低维表示向量，然后基于表示向量计算相似度从而进行推荐。典型模型有CKE5、MKR6等。现代信息科技8月下16期.indd 94现代信息科技8月下16期.indd 942023/8/15 17:38:152023/8/15 17:38:1595952023.082023.08第 16 期此类模型直接利用三元组信息进行表示向量学习，非常适用于知识图谱内部进行知识推理与补全；但由于在训练时没有考虑路径上的邻居节点信息，因而将其应用于推荐系统时存在局限性。基于路径的方法通过在知识图谱中提取用户-物
10、品二元组之间的元路径或元图类隐特征，从而完成相似度的计算。由于其利用了知识图谱的语义结构信息，能够挖掘用户的个性化兴趣，具有较好的可解释性。典型模型有 HeteRec7等。但是此类方法非常依赖于人工设计的元路径或元图，在现实场景中难以应用。最近的研究工作开始借助深度神经网络模型自动提取元路径，一定程度上改善了基于路径方法的可用性与准确性。一体化方法则充分结合了以上两类模型的优势，即使用嵌入方法学习实体与关系的表示向量，又利用路径信息即连接关系进行邻居实体表示向量的特征融合。用户或者物品的特征信息在知识图谱中向邻居实体进行多阶传播后，即可学习到用户更广泛的个性化兴趣特征。典型的一体化推荐方法有R
11、ippleNet8、KGAT9、KGCN10等。一体化方法充分利用了知识图谱数据的结构关系与语义信息，在学习到个性化兴趣特征的同时还具有非常好的可解释性。特别是知识图谱数据属于典型的非欧几里得空间数据，近些年来提出的图卷积网络、图注意力网络等模型使得在深度神经网络架构下处理这类数据成为可能。一体化方法因而成为研究人员重点关注的方向。但由于知识计算与信息传播方法的多样性，尤其考虑到知识图谱中的实体具有严格的连接推理关系，现有模型并未充分利用以上特性从知识图谱结构及语义上挖掘用户兴趣特征，因此融合知识图谱的个性化推荐模型有待进一步研究完善。综合上述分析，本文提出知识协同传播推荐模型KCOD（Kno
12、wledge COllaborative Diffusion Recommendation Model）。首先 KCOD 将知识图谱表示学习方法融入特征学习过程，基于 DistMult11和 TransR12模型对知识图谱中实体三元组（h，r，t）的语义关系进行建模，并通过矩阵运算进行表示向量推理。然后KCOD 将用户历史交互实体向量和候选物品实体向量在知识图谱中同时扩散传播，并通过交替计算向量推理结果的相似度来学习语义结构信息。1 基于知识图谱信息协同传播的推荐1.1 感受野集合知识图谱中实体的感受野集合是指由实体节点与邻居实体节点组成的三元组集合。例如某实体 a的多阶感受野集合示意图如图
13、1 所示。则图中实体 a的 0 阶感受野 Na(0)等于 a 本身，实体 a 的 1 阶感受野为；实体 a的 2 阶感受野为，其中，bcdefghija图 1 实体的多阶感受野集合示意图通常，在构建感受野集合时，需要将每一个实体的一阶邻居数量设置为固定值 n。如果实体的邻居数量大于 n，则进行随机采样；如果实体的邻居数量小于 n，则进行重复采样。1.2 知识协同传播推荐模型KCOD 的结构图如图 2 所示。KCOD 模型首先构建两个实体感受野集合，一个是用户 u 的历史交互实体感受野集合 Nu，另一个是候选物品 v 的实体感受野集合 Nv。然后，KCOD 在两个感受野集合中同时传播特征信息。在
14、向每一阶邻居实体扩散信息时，KCOD 假设由 Nu(i)中的（hu，ru，tu）推理出的 Muhu与 Nv(i)中（hv，rv，tv）的 tv具有较高的相似度，同样由 Nv(i)中（hv，rv，tv）推理出的 Mvhv与 Nu(i)中（hu，ru，tu）的 tu具有较高的相似度。KCOD 模型最终输出由 sigmoid 函数基于这两个相似度数值之和计算的交互概率。1.2.1 特征协同传播层KCOD 模型基于 DistMult 模型和 TransR 模型建模知识图谱中实体三元组（h，r，t）的语义关系：tr=Mr Rr h （1）其中 tr=Rr t，Mr和 Rr分别表示关系 r 对应的转换矩阵
15、和投影矩阵。然后，如图 2 所示，KCOD 在用户 u 的历史交互实体感受野集合 Nu和候选物品实体 v 的感受野集合 Nv中同时进行信息扩散传播。在用户的第 i 阶感受野 Nu(i)中进行信息扩散时，KCOD 首先对 Nu(i)中的所有三元组（h，r，t）计算出以下结果：（2）（3）张海龙，等：基于知识图谱信息协同传播的推荐模型现代信息科技8月下16期.indd 95现代信息科技8月下16期.indd 952023/8/15 17:38:162023/8/15 17:38:169696第 16 期现代信息科技2023.082023.08其中 l2_normalize()表示对计算出的特征表示
16、向量进行 L2 正则化，hw表示将基于知识图谱表示学习算法推理出的尾实体向量之和进行正则化的结果。同样，在候选物品的感受野集合 Nv中进行信息扩散时，KCOD 首先对 Nv(i)中的所有三元组（hv，rv，tv）计算出以下结果：（4）（5）接着，KCOD 分别计算出用户历史交互实体感受野集合 Nu(i)对应的 hw和 t s以及候选物品实体感受野集合 Nv(i)对应的 和 后，再通过下式交叉计算这四组特征表示向量的相似度：（6）（7）最后，KCOD 将（6）式和（7）式的结果求和后作为第 i 阶感受野的相似度综合得分：si=su,v+sv,u （8）1.2.2 预测层KCOD 模型通过迭代执行
17、式（2）（8）计算出全部 K 阶感受野的相似度得分，然后加和全部 K 阶感受野的相似度综合得分：ssum=s1+s2+sK （9）最后，KCOD 模型通过 sigmoid 函数输出预测的用户与候选物品的交互概率：（10）图 2 KCOD 模型架构图?v?u hththt?k?+?phts?s?hhh?KGhvrrrr?k?skvt?k?itemKGr?k?vvtrvtrvtr?normalize?normalize?t sshws?s?s?normalize?normalize?ss?s?s?k?normalizek?normalize?ss?s?sk?(hv,r)?tv?(h,r)?t?(h
18、,r)?t?(h,r)?t(hv,r)?tv(hv,r)?tvMr?Rr?hvMr?Rr?hv?Mr?Rr?hMr?Rr?h?Mr?Rr?hvMr?Rr?hvnormalnormalhw?Mr?Rr?hMr?Rr?hnormalnormalhvwt vshvw?Mr?Rr?hvMr?Rr?hvnormalhvwRr?tvRr?tv?Rr?tRr?tt s?Rr?tRr?thw?Mr?Rr?hMr?Rr?hnormalt s?Rr?tRr?t?t vsRr?tvRr?tv?t vsRr?tvRr?tv现代信息科技8月下16期.indd 96现代信息科技8月下16期.indd 962023/8/1
19、5 17:38:172023/8/15 17:38:1797972023.082023.08第 16 期1.2.3 模型训练KCOD 模型的优化目标定义为给定知识图谱 G以及用户-物品交互矩阵 Y，优化如下的后验概率：max p(|G,Y)（11）基于贝叶斯定理，即为最大化式（12）：（12）取负对数，得到 KCOD 需要最小化的损失函数如下：（13）式中第一项表示基于交互矩阵与预测概率计算的交叉熵损失，其 yu，v 表示交互矩阵中样本的实际标签值，(ssum)表示模型基于用户相似度得分的总和预测的交互概率；第二项表示基于知识图谱表示学习模型与实体连接关系计算的均方误差；第三项表示模型待学习参
20、数的正则化项。2 实验与分析本节对 KCOD 模型的性能进行实验分析，使用的数据集是 MovieLens-1M 和 MovieLens-20M。2.1 数据集MovieLens-1M 数据集是取自 MovieLens 电影评分推荐网站的经典电影评分数据集，它包含了约6 000 名用户对约 4 000 部电影的近 100 万条评分记录，分值从 1 到 5。相比 MovieLens-1M，MovieLens-20M 数据集则包含了约 138 000 名用户对约 27 000部电影的近 2 000 万条评分记录。实验使用的样本数据是文献 9 和文献 11 公开的基于 MovieLens-1M和 Mo
21、vieLens-20M 处理后的数据集。这两个预处理后的包含知识图谱的数据集其基本统计信息如表 1所示。在数据预处理部分，文献先将数据集的显式交互评分转化成隐式标签数据。转化时，评分大于 3的样本数据转换成正样本标签 1。同时，文献对评分记录中用户没有评价过的电影集合进行随机负采样。随机负采样生成的负标签样本与正标签样本数量相等。文献基于 MovieLens 数据集和微软 Satori 生成电影知识图谱三元组时，先依据关系名称初步筛选出知识图谱电影子图，然后将 MovieLens 数据集中的电影名称与子图实体名称进行一一匹配，从而构建出 MovieLens 对应的电影知识图谱。表 1 数据集的
22、统计信息统计量MovieLens-1MMovieLens-20M用户数/名6 036138 159电影数/部2 44516 954评分样本数/条753 77213 501 622知识图谱三元组数/个1 241 995499 474知识图谱实体数/个182 011102 569知识图谱关系数/个12322.2 实验设置实验中的对比模型包括 SVD、CKE、RippleNet和 KGCN。硬件训练环境为 Intel Core i7-6800K 和Nvidia GTX 1080 Ti，软件训练环境为 TensorFlow v1.14 和 Python V3.7。KCOD 模型的超参数设置如表 2 所
23、示，其中 dim 表示实体与关系的特征表示向量维度，hop 表示最高感受野阶数 K，lr 表示学习率，num 表示每阶感受野采样的邻居节点个数，1和 2表示正则化项的衰减系数。这些超参数取值主要参考经验数据并通过参数搜索实验确定。模型优化器采用 Adam 算法。对比模型的超参数设置参考了原论文中的参数设置，但为了公平比较，一些参数设置成和本章所提模型尽量相同。例如，SVD 模型的表示向量维度设置为 32，学习率设置为 0.01。CKE 模型的表示向量维度设置为 64。RippleNet与 KGCN 的超参数设置取原论文最优实验结果的参数。实验按照 6:2:2 的比例从样本数据中随机选择出训练集
24、、验证集以及测试集。为了充分验证模型的性能，本文使用 AUC、准确率（Accuracy,ACC）、召回率（RecallN）以及精确率（PrecisionN）作为实验结果评价指标，对每个模型分别进行 3 次实验，并取实验结果的平均值作为对比数据。表 2 KCOD 的超参数设置超参数numhopdimlr12值32216210-2110-2110-72.3 实验结果各模型的实验结果如表 3、图 3、图 4、图 5、图 6 所示。结果表明，经典的 SVD 取得了相对较好的性能，这证明了矩阵分解模型的有效性。结合知识图谱的 CKE 模型并未取得理想的结果，说明 CKE 未能有效地学习到知识图谱的语义信
25、息。RippleNet 和 KGCN 的结果超过其他的对比模型，这说明基于一体化方法利用知识图谱进行推荐比张海龙，等：基于知识图谱信息协同传播的推荐模型现代信息科技8月下16期.indd 97现代信息科技8月下16期.indd 972023/8/15 17:38:172023/8/15 17:38:179898第 16 期现代信息科技2023.082023.08较有效。本文提出的 KCOD 模型在 AUC、ACC、RecallN 以及 PrecisionN 四个指标上都取得了最好的实验结果。这证明在特征信息扩散过程中引入DistMult 和 TransR 模型可以更好地学习用户的个性化兴趣特征
26、，从而提高表示向量的准确度。从数据集上看，所有模型的性能在 MovieLens-20M 上都有提升。这是因为 MovieLens-20M 拥有更多的训练样本，可以更充分地挖掘特征信息。表 3 各模型在数据集上的 AUC 和 ACC模型数据集MovieLens-1MMovieLens-20MAUCACCAUCACCSVD0.895 20.812 40.954 00.902 7CKE0.802 00.746 30.913 10.858 0RippleNet0.925 30.849 70.977 20.931 2KGCN0.912 70.837 60.976 80.929 000.20.40.61
27、2 5 10 20 50100RecallNNSVD CKE RippleNet KGCN KCOD 图 3 各模型在 MovieLens-1M 数据集上的 RecallN00.050.100.150.201 2 5 10 20 50 100 PrecisionNNSVD CKE RippleNetKGCN图 4 各模型在 MovieLens-1M 数据集上的 PrecisionN0 0.1 0.2 0.3 0.4 0.5 125102050100RecallN NSVDCKE RippleNet KGCN 图 5 各模型在 MovieLens-20M 数据集上的 RecallN0 0.02
28、0.04 0.06 0.08 0.10 0.12 1 2 5 10 20 50 100 PrecisionN NSVDCKE RippleNetKGCN KCOD 图 6 各模型在 MovieLens-20M 数据集上的 PrecisionN表 4 显示的是各模型在 MovieLens-20M 上完成一轮训练的训练时间。相比 RippleNet，KCOD 拥有更低的训练时间。这说明 KCOD 复杂度低，训练效率高，能够有效地学习邻居节点的特征信息。表 4 各模型在 MovieLens-20M 上完成一轮训练的时间模型RippleNetKGCNKCOD时间/s4 200903 200实验还调整了
29、一些超参数的取值来研究其对于模型性能的影响。首先，实验将超参数 num 设置为不同的值并在 MovieLens-20M 数据集上进行实验，结果如表 5 所示。实验结果表明 KCOD 在 num=32时达到最优性能。这说明合适的 num 值可以使模型学习到最丰富的特征信息。表 5 超参数 num 取不同值时 KCOD 的 AUC 值num 取值248163264AUC0.963 2 0.970 6 0.973 5 0.979 1 0.979 8 0.978 0然后，实验将超参数 dim 设置为不同的值并在MovieLens-20M 数据集上进行实验，结果如表 6 所示。实验结果表明 KCOD 在
30、 dim=16 时达到最优性能。这是因为增加 dim 值可以增加特征表示向量的表达能力，但过高的 dim 值会导致过拟合现象，并增加模型复杂度。表 6 超参数 dim 取不同值时 KCOD 的 AUC 值dim 取值48163264AUC0.971 20.976 00.979 80.979 30.975 1最后，实验将超参数 hop 设置为不同的值并在MovieLens-20M 数据集上进行实验，结果如表 7 所示。实验结果表明KCOD在hop=2时达到最优性能。这说明引入多阶邻居信息可以提高 KCOD 的性能，但是过高的邻居阶数又会引入噪声，降低模型性能。表 7 超参数 hop 取不同值时
31、KCOD 的 AUC 值hop 取值123AUC0.978 00.979 80.974 73 结 论将知识图谱含有的语义结构信息集成到个性化现代信息科技8月下16期.indd 98现代信息科技8月下16期.indd 982023/8/15 17:38:172023/8/15 17:38:1799992023.082023.08第 16 期推荐系统中，可以改善数据稀疏性、冷启动和可解释性等问题。为了学习这些语义结构信息，基于知识图谱表示学习模型 DistMult 与 TransR，本文提出的 KCOD 模型对知识图谱三元组之间的关系进行了矩阵化推理计算，并将推理结果应用到信息扩散过程中。KCOD
32、 通过交叉计算每一阶历史交互实体向量推理结果与候选物品实体向量推理结果的相似度进行模型训练及偏好预测。本文在两个 MovieLens数据集上对 KCOD 进行性能对比分析。实验结果表明 KCOD 优于经典的对比模型，可以有效地学习知识图谱的语义结构信息。参考文献：1 CAMACHO L A G，ALVES-SOUZA S N.Social Network Data to Alleviate Cold-start in Recommender System:A Systematic Review J.Information Processing and Management，2018，54（4）
33、：529-544.2 王越群.基于知识图谱的深度推荐系统研究 D.长春：吉林大学，2022.3 WU Z H，PAN S R，CHEN F W，et al.A Comprehensive Survey on Graph Neural Networks J.IEEE Transactions on Neural Networks and Learning Systems，2021，32（1）：4-24.4 GUO Q Y，ZHUANG F Z，QIN C，et al.A Survey on Knowledge Graph-Based Recommender Systems J.IEEE Tran
34、sactions on Knowledge and Data Engineering，2020，34（8）：3549-3568.5 ZHANG F Z，YUAN N J，LIAN D F，et al.Collaborative Knowledge Base Embedding for Recommender Systems C/Proceedings of the 22nd ACM International Conference on Knowledge Discovery and Data Mining.San Francisco：ACM，2016：353-362.6 WANG H W，Z
35、HANG F Z，ZHAO M，et al.Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation C/The World Wide Web Conference.San Francisco：ACM，2019：2000-2010.7 YU X，REN X，SUN Y Z，et al.Recommendation in Heterogeneous Information Networks with Implicit User Feedback C/Proceedings of the 7th ACM conf
36、erence on Recommender Systems.Hong Kong：ACM，2013：347-350.8 WANG H W，ZHANG F Z，WANG J L，et al.Ripplenet:Propagating User Preferences on the Knowledge Graph for Recommender Systems C/Proceedings of the 27th ACM International Conference on Information and Knowledge Management.Torino：ACM，2018：417-426.9
37、WANG X，HE X N，CAO Y X，et al.KGAT:Knowledge Graph Attention Network for Recommendation C/Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery&Data Mining.Anchorage：ACM，2019：950-958.10 WANG H W，ZHAO M，XIE X，et al.Knowledge Graph Convolutional Networks for Recommender Syst
38、ems C/WWW 19:the World Wide Web Conference.San Francisco：ACM，2019：3307-3313.11 YANG B S，YIH W-T，HE X D，et al.Embedding Entities and Relations for Learning and Inference in Knowledge Bases J/OL.arXiv:1412.6575 cs.CL.（2014-12-20）.https:/arxiv.org/abs/1412.6575v1.12 田萱，陈杭雪.推荐任务中知识图谱嵌入应用研究综述 J.计算机科学与探索，
39、2022，16（8）：1681-1705.作者简介：张海龙（1988），男，汉族，山东兰陵人，工程师，博士，研究方向：数据分析、推荐系统；颜金尧（1973），男，汉族，浙江海宁人，研究员，博士，研究方向：数据分析、多媒体计算与传播。6 徐征宇，朱宗晓，周康，等.基于深度学习目标检测的可行驶区域分割 J.现代信息科技，2020，4（23）：106-108.7 周伟鸿，朱思霖.基于深度学习技术的智慧考场方案的应用探究 J.信息技术与信息化，2020（12）：224-227.8 郭智超，徐君明，刘爱东.基于嵌入式平台与优化YOLOv3的航拍目标检测方法 J.兵工自动化，2022，41（3）：10-1
40、5+20.9 陆峰，刘华海，黄长缨，等.基于深度学习的目标检测技术综述 J.计算机系统应用，2021，30（3）：1-13.10 张智坚，曹雪虹，焦良葆，等.基于改进 YoloX 的输电通道工程车辆检测识别 J.计算机测量与控制，2022，30（9）：67-73.11 吴子强.基于改进 YOLOv3 的疲劳驾驶检测算法的研究与应用 D.南昌：南昌大学，2022.12 王小荣，张益通，彭炫.基于人脸关键点检测的车载疲劳驾驶系统研究 J.无线互联科技，2022，19（17）：82-84.13 WANG Z J，WU Y M，YANG L C，et al.Fast Personal Protecti
41、ve Equipment Detection for Real Construction Sites Using Deep Learning Approaches J/OL.Sensors，2021，21（10）：（2021-05-17）2023-03-25.https:/doi.org/10.3390/s21103478.14 XING J J，FANG G X，ZHONG J P，et al.Application of Face Recognition Based on CNN in Fatigue Driving Detection C/Proceedings of the 2019
42、International Conference on Artificial Intelligence and Advanced Manufacturing.Dublin：Association for Computing Machinery，2019（56）：1-5.作者简介：孙浩哲（2001），男，汉族，山东诸城人，本科在读，研究方向：通信与计算机视觉；陈红昌（2001），男，汉族，云南昆明人，本科在读，研究方向：通信与计算机视觉；张言利（2003），女，汉族，河南驻马店人，本科在读，研究方向：通信与计算机视觉；张喜伟（2001），男，汉族，甘肃静宁人，本科在读，研究方向：通信与计算机视觉。（上接 93 页）张海龙，等：基于知识图谱信息协同传播的推荐模型现代信息科技8月下16期.indd 99现代信息科技8月下16期.indd 992023/8/15 17:38:172023/8/15 17:38:17
