1、河南科技Henan Science and Technology计算机科学与人工智能总第806期第12期2023年6月VR教学中学习者多模情感计算研究白占俊1司俊勇1付永华1，2（1.郑州航空工业管理学院，河南郑州450015；2.航空经济发展河南省协同创新中心，河南郑州450015）摘要：【目的目的】识别 VR 教学中学习者的学习情感，提升学习者学习效率、学习感知和思维能力，促进 VR 技术在教学中的高效应用。【方法方法】结合课堂教学特点，通过收集面部表情、语音、肢体动作等数据，实现多模数据融合的情感计算，确定最优情感计算模型。【结果结果】在多模数据融合模型中，赋予各种情感不同权重的模型整体
2、输出的识别率要高于赋予各种模态不同权重的模型整体输出的识别率。【结论结论】多模数据融合的学习情感识别模型能有效计算出 VR 教学中学习者情感，为多模数据融合的情感计算提供有效的基础模型，研究基于多模数据融合情感计算技术，为VR教学中的情感计算提供可靠的技术路径。关键词：情感计算；VR教学；多模数据；学习情感中图分类号：TP391.41文献标志码：A文章编号：1003-5168（2023）12-0035-08DOI：10.19968/ki.hnkj.1003-5168.2023.12.007Research on Multimodal Affective Computing of Learner
3、s inEducation VRBAI Zhanjun1SI Junyong1FU Yonghua1,2(1.Zhengzhou University of Aeronautical,Zhengzhou 450015,China;2.Collaborative Innovation Center forAviation Economy Development,Hennan Province,Zhengzhou 450015,China)Abstract:PurposesTo identify the learning emotion of learners in VR teaching,imp
4、rove their learningefficiency,learning perception and thinking ability,and promote the efficient application of VR technology in teaching.Methods Combined with the characteristics of classroom teaching,the data of facialexpression,voice and body movement were collected to realize the multi-module da
5、ta fusion of emotioncalculation and determine the optimal emotion calculation model.Findings The multi-module data fusion learning emotion recognition model can effectively calculate the learners emotion in VR teaching,and provides an effective model basis for the multi-module data fusion emotion ca
6、lculation.The researchon the emotion calculation technology based on the multi-module data fusion provides a reliable technical path for the learning emotion calculation in VR teaching.Conclusions In the multi-module datafusion model,the recognition rate of different weights assigned to different em
7、otions in the overall outputof the model was higher than that assigned to different weights.Keywords:affective computing;education VR;multi-mode data fusion;learning emotion收稿日期：2023-02-09基建项目：河南省教育厅人文社科项目“新时代大学生理想信念教育现状及策略研究”（2023-ZDJH-439）；2023年郑州航院教育教学改革研究与实践项目“黄河文化融入高校课程思政教育体系研究与实践”（zhjy23-36）；2
8、023 年度郑州航员研究生教育改革和发展研究“黄河文化精神融入研究生思政教学实践路径研究”（2023YJSJG04）；河南省高等学校重点科研项目“多模态全场景富情感阅读情境关键技术研究”（23B520007）。作者简介：白占俊（1992），男，硕士，助教，研究方向：思政教育技术。36第12期0引言随着人工智能、5G、VR等技术的快速发展，其对多个领域的发展都产生巨大影响，也能助力高校教学的现代化转型。目前，教学VR已有法务实战演练1、医技情景模拟2、大学体育训练教学3、航空航天技术教学4等应用案例。VR技术作为新媒体技术，具有沉浸性、交互性、自主性、想象性等特点，将其应用于实际课堂教学中，为高
9、校教育教学理念带来新的启发，从而有效提高教学的时代感和实践性，扩大教学效果和深度。同时，VR技术能将教学中的复杂概念可视化，使学习过程具有互联网思维，提高教学对学习者的吸引力，使学习者沉浸式的课堂学习体验更佳。但VR教学无法对学习者的过程情感进行分析预测和精准干预，导致学习者的情感无法得到准确回应，难以提升其学习效率、学习感知和思维能力。运用情感计算技术来对VR教学过程中的学习者进行情感识别和分析具有重要的理论价值和实践意义。现阶段，情感计算技术包括基于单模的面部表情、语音、脑电信号等数据进行计算和基于重量级生理反馈两类，但这两类情感计算技术在VR教学场景中的适用性较低。首先，单模的面部表情、
10、语音、脑电信号等数据的可解释性较弱，难以实现多模数据的交叉印证和相互补偿，可能会对情感识别的准确性产生影响。其次，基于重量级生理反馈技术的成本高、试验场地复杂，无法在实际的课堂教学环境中大规模、常态化应用5。通过对已有的情感计算技术研究进行梳理，本研究提出基于多模数据融合的情感计算技术，以期满足常态化VR教学中学习者情感计算的应用场景。1研究现状1.1VR教学VR 技术融入教学的发展势头良好。李玲玲等6认为VR技术能突破传统课堂教学的时间、地域等限制，为教学理念创新和实践提供新机遇；梁军等7认为应用VR技术能拓展教学实践空间、构建积极的课堂氛围，并完善社会主义核心价值观建设体系。VR技术结合课
11、堂教学的基础理论研究不断涌现。陈梦翔等8提出VR技术在高校教育中的应用理论基础是情景认知理论、人本主义理论和建构主义学习理论；邓卉9基于具身认知理论，提出学习者具身体验能激发对心理情感的认知，认为VR教学是基于具身认知理论、认知学习理论和建构主义学习理论的。VR技术结合教学的模式众多。甘琴等10从子模块设置、系统功能模块和用户角色功能关系这三方面出发，构建基于VRML的高校课堂虚拟实践系统，并将所有角色划分为管理员、教师和学生；余图军等11提出虚拟仿真教学和探究性教学的两种结合模式，并将VR技术应用于对教学的对策研究中；张毅翔等12认为应注重顶层设计、凝练团队，结合教学课程重点、要点来开发具体
12、内容，实现VR课程建设；徐礼平等13认为应结合VR教学和传统教学，加强VR形式和教学内容的结合，提高教师媒介素养，教师引导学生进行自学。VR技术在教学层面的实践研究逐渐深入。金伟等14借助VR技术来实现在武汉辛亥革命纪念馆课堂中的教学；赵亮等15在北京理工大学“重走长征路”实践案例的基础上，提出大力普及VR技术，并将其深度应用于校园学习和生活中，从而优化VR技术的沉浸体验感。1.2教育中的情感计算目前，情感计算并未形成权威的概念。情感计算属学科交叉领域，涉及社会科学、医学、计算机科学等领域，通过计算机来识别、解释、判断、分析、处理和模拟人类情感16。Picard17是最早提及情感计算概念的，其
13、将情感计算定义为由情感所产生、与情感相连结、能对情感造成影响的计算。情感计算与情感、情感产生及影响情感紧密相关，从而使计算机能识别、理解、表达和适应人的情感18。情感计算在教育中的应用范围逐渐扩大。情感计算在教育中的实践应用通常从心理、生理和行为这三个方面进行测量，识别学习者的情感并进行判断19。心理测量是通过情感测评量表和调查问卷来对学习者的情感进行识别的。如赖长春等20借助情感测评量表来实现课程学习情感测量。生理测量是通过观测学习者的生理信号（如心率、脑电、体温等），从而实现对情感的判断21。也有学者基于深度学习算法来识别、分析所采集到的被测试者的心电和脉搏数据，从而判断学习者的正负性情绪
14、22。行为测量是通过外在行为动作（如面部表情、肢体动作等）来对学习情感进行识别的。徐振国等23通过卷积神经网络深度学习模型，基于学习者面部表情数据，实现对开心、愤怒、悲伤等情感的识别；Li等24通过深度学习网络，实现基于学习者白占俊，等.VR教学中学习者多模情感计算研究第12期37面部表情和所处环境信息的情感识别。通过多模式传感器对学习者身体姿态进行测量，并分析其与情感的关联状态25。综上所述，情感计算可通过心理、生理和行为这三个方面来实现。其中，轻量级的情感识别技术能更好地实现情感计算。1.3多模数据计算现阶段，基于单模数据的学习情感分析识别的准确率明显要低于基于多模数据融合的学习情感分析识
15、别的准确率，多模数据融合已成为实现情感计算切实可行的方法。数据融合是指将多种数据进行存储、整合、处理，基于全面的综合数据才能实现决策准确性的提升。情感计算中多模数据的研究主要包括以下两个方面。一是多模数据融合的方法。如蒋艳双等26提出的四种数据融合法，包括基于规则的融合法、基于分类的融合法、基于估计的融合法和基于深度学习的融合法。二是多模数据的类型。在线数据分析领域包括个人共享数据、服务数据和行为数据等27，学习分析领域包括心理层、生理层和行为层三大类数据28。随着数据规模和数据类型呈指数增长，能适用于情感计算的数据也随之增多，基于多模数据融合的学习情感分析研究也取得较为显著的成效。处于同一层
16、级的多模数据融合包括以下两个方面。一是多模生理数据融合。如 Abdu 等29通过采集脑电数据和心电数据，采取基于多模数据融合与深度学习法来分析和识别被测试者的情感。二是多模行为数据融合。如Sun等30通过收集面部表情和肢体动作数据来获得较单独面部表情分析更优的识别结果。处于不同层级的多模数据融合也涵盖三个方面。第一，生理数据与行为数据的融合。通过融合脑电图数据和表情数据来进行情感识别，研究发现该方法的识别准确率要高于单模数据31。第二，心理数据与行为数据的融合。如薛耀锋等32通过将面部表情、文本和语音数据融合来识别学习者的学习情感。第三，生理数据、心理数据和行为数据的融合。如周萍33通过融合脑电数据、面部表情数据和文本数据来判断学习者的学习参与度。综上所述，融合心理、生理、行为的多模学习数据能实现对学习者的情感计算，且基于深度学习的多模数据融合能提高情感判断的准确率。2VR教学中学习者多模数据获取2.1试验组织本研究被测试的对象为55名大学生，其中25名男生、30名女生，年龄范围为1827岁。涉及的试验设备有摄像头（采用具有自动对焦功能的高清摄像头）、VR一体机（包括VR眼镜与手柄，为