1、第 24 卷 第 2 期 2023 年 2 月 电 气 技 术 Electrical Engineering Vol.24 No.2Feb.2023 神经网络认知测量在 工程教学课程评价中的应用 谢 佳 段 斌 高 婷 钟伦亮（湘潭大学自动化与电子信息学院，湖南 湘潭 411105）摘要 在工程教学课程评价中，由于存在不可观测的混杂因子，使教师在进行课程目标达成情况评价时无法得到真正可靠的数据，故而影响后续的教学持续改进工作。针对此问题，本文提出一种结合神经网络认知测量学和因果推断科学的去混杂方法。首先，根据学生平时的练习数据构建神经网络认知诊断模型，得到学生对知识点的掌握程度并作为学生能力的
2、衡量指标；然后将学生的能力评估结果作为该案例因果推断模型中的中介变量数据；最后通过前门调整法得到去混杂后的实际课程教学对课程目标达成情况评价的因果效应。本文以湘潭大学某学年电子信息类专业本科生专业课“电源技术”为案例，对该学年的课程目标达成情况评价结果进行修正，得到该学年实际的平均课程目标达成情况评价结果为 88.92%。结果表明，该方法可以有效屏蔽混杂数据，帮助教师在实际教学中进行更加可靠、公平的课程目标达成情况评价。关键词：工程教学；课程目标；认知测量学；神经网络；因果推断 Application of neural network cognitive measurement in eng
3、ineering teaching curriculum assessment XIE Jia DUAN Bin GAO Ting ZHONG Lunliang(College of Automation and Electronic Information,Xiangtan University,Xiangtan,Hunan 411105)Abstract Due to unobtrusive confounding factors in the evaluation of engineering teaching curriculum,teachers cannot get reliabl
4、e data when calculating the evaluation of the achievement of curriculum objectives,thus affecting the teachers to carry out the continuous improvement of teaching in the future.To solve this problem,this paper proposes a de-confounding method combining neural network cognitive measurement and causal
5、 inference science.Firstly,the neural network cognitive diagnosis model is constructed according to the students daily practice data,and the students mastery of knowledge points is taken as the measurement index of students ability.Then,the students ability assessment results are used as the mediati
6、ng variable data in the causal inference model of this case.Finally,through the method of front door adjustment,the causality effect of actual course teaching on the evaluation of the achievement of the course goal is got.Taking the professional course Power Supply Technology for undergraduates majo
7、ring in electronic information in Xiangtan University in an academic year as a case,this paper revises the evaluation of the achievement of course objectives in that academic year,and obtains the actual average achievement evaluation of course objectives in that academic year as 88.92%.The results s
8、how that this method can effectively shield confounder data and help teachers get more reliable and fair evaluation of the achievement of curriculum objectives in actual teaching.Keywords：engineering teaching;objectives of the course;cognitive measurement;neural network;causal inference 湖南省学位与研究生教育教
9、改研究重大项目（2020JGSZ016）湖南省新工科研究与实践项目（202012）2023 年 2 月 谢 佳等 神经网络认知测量在工程教学课程评价中的应用 53 0 引言 2022 年 3 月 16 日，教育部、中国工程院举行会商会议，研究加强和改进工程教育。怀进鹏部长强调，要深入贯彻中央人才工作会议精神，推动从工程教育大国向工程教育强国迈进，培养壮大战略科技力量，深化对工程教育、职业教育自身规律性认识1。课程教学是高等院校教育教学活动中最基本、最关键的环节，课程教学的质量是反映一个学校教育质量的重要方面。教学目标是教学活动的出发点和归宿，在教学过程中制约着教学方案设计和教学评价设计，起着提
10、纲挈领、纲举目张的作用。课程目标达成情况评价，是教师根据教学大纲和教学内容所设计的教学目标在教学实施过程中所能实现的程度2。基于工程教育专业认证，课程目标达成情况分析与评价即为：课程负责人及其教学团队，通过一定的评估手段和方法，评估课程目标的达成程度，即收集数据，包括日常作业、测验、实验和期末考试等，在对所有评估数据进行分析、比较和综合后，得出每个课程目标的达成情况评价结果3。目前，已有的课程目标达成情况评价方法大致可以分为两类4：第一类是直接根据该课程的课程考核总成绩的平均值来计算课程目标达成情况；第二类是根据考核环节和课程目标双层赋权来计算课程目标达成情况或者是根据课程目标对考核环节的贡献
11、力度来计算课程目标达成情况。这些方法仅针对具体教学进行课程目标达成情况改进计算研究。但实际上，在教学过程中总是存在大量的混杂数据，比如学生在做题过程中由于身体状态原因无法发挥其正常水平等。这些数据无法真正衡量在教学过程中实际课程教学对课程目标达成情况评价的因果效应。鉴于此，本文提出结合人工智能前沿科学-因果推断科学和认知心理测量学及神经网络科学对工程教育教学评价中存在的不可观测的混杂因子进行去混杂研究，从根本的数据入手，得到更加可靠、公平的课程目标达成情况评价结果。1 方法学现状 1.1 认知测量方法学发展现状 认知测量学是一个很大的心理学范畴。其理论发展的丰富化、应用的多样化、信度和效度的准
12、确化，以及方法、技术的现代化，使它被广泛应用在教育、医学临床、人才选拔、智能发育的早期诊断等领域。由于本文主要研究的是学生对知识点的认知能力，因此这里的认知测量主要针对学生在某一科学领域的能力。在教育学领域，认知测量通常被称作认知诊断。目前，认知诊断方法有 60 种左右5，根据学生的能力向量是连续的还是离散的，可将比较常用的模型大致分为两类，一类是以项目反应理论（item response theory,IRT）为代表的连续型认知诊断模型，一类是以 DINA（deterministic inputs,noisy“and”gate）为代表的离散型认知诊断模型6。随着大数据时代的到来，神经网络逐渐
13、应用于认知诊断领域。2020 年，陈恩红、刘淇团队提出一种通用的神经网络认知诊断框架，该框架可以利用神经网络来学习复杂的练习交互，以获得准确且可解释的诊断结果7。2022 年，Yang Haowen 等提出一种新的基于量化关系的可解释认知诊断模型（quantita-tive relationship-based explainable cognitive diagnosis model,QRCDM），通过设计的神经网络计算习题和知识概念的两个贡献矩阵，预测学习者的概念熟练度和答案的得分8。同年，Su Yu 等提出一种基于图的认知诊断模型（graph-based cognitive diagno
14、sis model,GCDM），通过异构认知图直接发现学生、技能和问题之间的交互，设计了两个图的层：性能相关传播器和注意力知识聚合器。前者用于不同类型的图边传播学生的认知状态，后者可以选择性地从相邻的图节点收集消息9。总地来说，目前将神经网络用于认知诊断领域的文献还比较少。1.2 因果推断方法学发展现状 自相关系数的概念被提出以来，涉及因果推断的问题就缠住了统计学的脚后跟10。经济学研究强调的是变量间因果关系的识别而非统计学上相关关系的判断，然而由于传统的统计推断方法在识别因果关系时存在某些弊端和不足，于是可以更加有效识别变量间因果关系的新兴研究范式“因果推断”开始兴起11。因果推断的哲学基础
15、最初由英国实证主义哲学家与经济学家穆勒于 1851 年在其所著的逻辑体系一书中提出。在研究方法与数据来源不断更新迭代的当下，对新兴路径与范式的探索业已成为教育政策研究者亟须开展的工作。蓬勃发展的“数据密集型科学发现”被界定为科学方法革命的“第四范式”，表征出科学探究的基本范式在当前“大数据时代”前所未有的变化12。2007 年，杨向东表示对因果关系的推断是教育评价中的核心问题54 电 气 技 术 第 24 卷 第 2 期 之一，他结合西方有关领域，分析了教育评价中存在的各种类型的因果关系及因果关系推断中的基本问题13。2014 年，乔天宇等提出使用工具变量回归的方法，解决最小二乘回归在估计寄宿
16、的影响时可能存在的内生性偏误问题，实证估计了寄宿对农村学生学习成绩的效应，从而考察寄宿对农村中小学教育的影响14。2019 年，杨真等学者使用中国家庭追踪调查数据和倾向得分匹配方法，考虑子女教育对家庭消费的挤入效应和挤出效应，研究了父辈教育期望对家庭消费的影响15。总地来说，因果推断科学目前主要应用在教育领域和经济学领域。1.3 本文创新点 认知测量学和因果推断科学目前都有与教育相结合的例子，例如应用认知测量方法学估计学生的能力从而提供个性化教学，利用因果推断方法学推断出实际教学效果，帮助教师进行持续改进。但目前还未有学者尝试将认知测量方法学和因果推断方法学相结合。本文主要从修正教学数据出发，构建基于神经网络认知测量的自动化测评工具，作为因果推断模型中的中介变量，应用前门调整法对教学数据进行调整，从而去除教学质量评价中的混杂数据，得到真正的因果效应。2 神经网络认知测量自动化测评工具 神经网络认知测量自动化测评工具主要通过学生的做题数据和实验数据来训练模型，从而得到学生能力评估结果。这里研究的是特定的电源设计教学领域。自动化测评框架如图 1 所示。图 1 自动化测评框架 2.1 数据的
