1、 信息检索实习绩效评价量规设计【】信息检索课实习效果评价问题已引起广泛关注，如何客观、公开、公正地对学生实习绩效进行评测是一个难点。本文从评价量规的角度入手，对实习报告的结构内容进行重新设计，使各个项目具有客观评价特征，并就实习报告不同模块的特点提出了相应的判分方法。【关键词】信息检索 文献检索 实习 实验 考试成绩 绩效评价 量规1.引言信息检索课在高校非图书情报专业中被定位于信息素质课，选修专业覆盖文、理、工、农、医、艺术各个专业，开课对象从一年级新生到研究生，在一些学校成了公共选修课甚至专业选修课中的第一大课，关于信息检索课的教学研究成果丰富。笔者选用维普中文期刊数据库采用检索表达式“标
2、题或关键词=信息检索+文献检索+情报检索+计算机检索+文检x课+教学-题名=简介-作者=无查找与信息检索课相关的论文，再采用检索表达式“题名或关键词=(文献检索+信息检索+计算机检索+情报检索+文检)x课x(实习+实践+上机) -题名=简介-作者=无查找与信息检索课实习相关的论文，剔除不相关的文献后将两者数据进行比照，可以看到从手工检索、联机检索、光盘检索到网络和电子文献教学，研究内容随着检索条件的改善而转移，对于信息检索课的关注大致可以分成三个阶段， 1995以前属起步阶段，1996-2023年是初盛阶段，2023年以来呈蓬勃之势，其间与实习有关的研究从2023年起开始那么增多见表1。202
3、3年以后，关于信息检索课学习效果评价的客观、公正和全面的问题开始引起重视。(郭丽翔，郑辉, 2023)认为“准确评定学生在课程结束时的学习成绩，一直是这门课没有很好解决的问题之一。虽然各学校都有自己的考核方法，但始终没有建立一个相对客观、比拟统一的、能够反映学生学习成绩的考试系统和标准。文章建议各高校图书馆协作，通过完善考试题库的方法来解决成绩评定标准化的问题，但没有提到与卷面考试同等重要的实习报告、综合报告成绩评定的客观性和标准化问题。(陈新颜, 2023)认为教师因材施教，学生自主学习，图书馆机检条件和师生利用网络工具双向交流和实习报告的讲评，是构建实习质量评价体系的四要素，开始关注实习效
4、果的测评问题。(何钧, 2023)认为单纯以卷面考试或实习报告包括综述形式作为期末成绩主要依据都有问题。看到卷面考试作为测评的局限性，认为这种形式无法考查学生文献检索技能掌握的程度，以及运用检索技能进行信息收集、整理与分析研究能力。同时认为单纯以实习报告或综述报告作为期末成绩评定依据教师作业批改量太大，对教师专业知识要求高，没有标准答案，成绩评定缺乏客观性。文章提出期末成绩由卷面考试、实习报告和出勤率等综合成绩组成，降低实习报告和综述的比重，以此降低主观评定对总评成绩的影响。(杜春光，杨广林, 2023)首次提出了信息检索课学习评价量规，包括信息获取与文化、信息获取、信息甄别、信息利用、信息道
5、德与法律意识五个一级指标，但缺乏可操作性。作者也认为这一量规还需要进一步给出二级指标的权重，选择适宜的教学模型才可应用。(刘颖等, 2023)看到了实习成绩评定方法对实习教学的重要性，将思路定位在实习环节多要素的主观评价上，认为“如何利用多元化评定手段，如实习报告、平时上机、综合实践等方法体现该课程的实践性值得研究。(王玉香, 2023)也看到了单纯以卷面考试或综述报告作为期末总评成绩的问题，提出将平时上机实习成绩和上课表现也纳入期末总评成绩。为了提高对实习能力的考察的客观性，文章提出将上机操作题和对编制检索表达式方面的能力考察以客观题的形式呈现，并纳入标准化考试题库。以这种形式考察信息检索综
6、合能力的方法实际上已被许多学校采纳。综上所述，信息检索课实习效果评价问题已引起广泛关注，也认识到这一问题的格式化、定量化评测标准的制定是非常困难的，因此所提方案均是避险而行，退而求其次的方法，实际上并不能解决现有的问题。本文从评价量规的角度入手，对实习报告的内容进行重新设计，使各个项目本身具有客观评价特征，并就实习报告不同模块的特点给出了相应的判分方法。2.信息检索实验量规设计2.1 量规概述标准化考试引入中国教育界已有很多年，只是在以实践为特征的信息检索课中的应用时间较短。标准化的考试形式不利于学生创造力、批判性思维和想象力的发挥，这种测评手段也不能有效地判断学生在小组合作项目、真实情景任务
7、等复杂学习活动中的表现情况(何晔, 2023)。从教学的角度看，量规rubric是对学生学习绩效，包括学习过程中的行为、认知、态度和各种形式学习成果进行定性或定量评价的一套标准，特别适合于基于任务驱动、项目学习或问题求解的活动，这种学习绩效评价所要求的评价方法不但要关注学习结果，更要关注学习过程。大多数量规在形式上是从多个维度划分等级和规定评价准那么的二维表(钟志贤等, 2023)。一个有实用价值的学习绩效评价量规具有以下特点 (jonassen, 1999)：1与教学目标、教学特点、学生认知水平和学习环境特点相适应，提高评测的针对性，使训练目标更为突出；2包括含有重要的评测点，便于对学生学习
8、态度、知识领会、能力达标有全面的考虑；3评测点的权重设定与教学重点和重要性相一致。对实习过程中反映出来的诚信问题、态度问题、理解问题、效能问题、粗心问题、笔误问题等应按问题的严重程度给出不同的权值，以利于强化问题意识，加强引导；4评测项目应客观明确，具有可操作性。主观的、粗糙的指标既不公平也不利学生认识问题所在；5评测点是评测项目细分的最小单元，不可再分。只有测评点是不可再分的考查项目，才能使问题具体化、也才能明确学生哪局部内容掌握了，哪局部还没掌握。6评测量规不仅是教师评价学生学习绩效的依据，也是与学生沟通、发现教师教学中的问题的一个平台，因此，量规不仅要便于教师理解，也要便于学生理解。2.
9、2 关于信息检索实习量规设计出发点的思考一些作者在讨论信息检索实习环节的设计时，考虑了与毕业论文相结合(杨凝清等，2023)，与科研课题相结合(刘维庆，2023)，或者以毕业后的就业取向相结合(张会珍,2023)，其原因就在于，对于非图书情报专业来说，信息检索课是一门实用型课程，学习这门课的目的是为了提升个人的信息素质，而信息素质目标的实现要通过在工作生活中的运用来体现。因此，只有使信息能力的训练环节基于真实情景，才有助于发现学生在卷面考试中不能发现的问题，评估学生的理解能力和操作能力，使学生在完成任务、解决问题的过程中进一步开展高级思维技能(何晔，2023)，提高学生分析问题与解决问题的能力
10、(杨振冰，2023)。信息检索实习量规设计应遵循以下原那么：真实情境再现原那么。真实情境包括与实际相符的操作界面、较长的数据年限、三种根本逻辑检索功能和较多的条件限定。从训练检索能力的角度说，基于实际的网站或数据库进行实习能与以后实际使用无缝对接；对于学生来说，基于实际网站或数据库进行演示和讲解也更生动、更容易理解。客观性原那么。评测标准必须有明确的依据，这个依据可以是拟定的答案，也可以用学生自已填写的其他项目相互验证进行自我判断。这两种类型的评判依据都属于标准答案。可操作性原那么。基于客观性原那么的可操作性，要求评测结论能转化为一个系数值，用于标识正确、局部错误、错误三种状态。例如设系数为，
11、那么三种状态的权值分别为1=1，2=0.5，3=0。当某一题的分值为s时，该题的得分为s。可验证性原那么。对于学生针对实验题目，在自述检索环境和检索策略下得出的答案，应经得起重复检索的验证。这种验证不仅能判断检索结果的相关度，更能考查学生的学习态度，反映学生是否具有老实的品质。2.3 信息检索实习量规的根本结构就影响信息检索学习绩效的影响因素来看，有学校网络和硬件等环境条件、学生内在的学习动力、教师的教学水平等，但这些因素相对来说是静态的，同一时期每个学生面对的条件是均等的，可以排除在学习实习绩效的评价要素之外，而学习过程和实习成果那么可以综合反映学生的知识储藏、理解能力、学习态度、发散性思维
12、和创新能力，甚至人格特征。以检索环节作为实验绩效评价对象，可以更全面的发现学生实习中存在的问题，从而使教师可以给出有针对性的整改建议，使学生可以明确自己在哪些内容上存在认识偏差，进而实质性地提高检索能力。所有检索环节的行为都离不开三个要素：检索行为的载体、过程和对象，它们分别可以用检索环境、检索策略和检索结果三个维度来描述。以国外学术论文检索实习为例，检索环境、检索策略和检索结果评测量规设计如下见表2。1检索环境解析检索环境描述项进一步划分为：数据库、子数据库和检索窗口三项。我国购置的国外文献型数据库，使用时直接进入数据库首页，而不是进入网站首页。因此将数据库作为检索环境中第一级描述的内容是适
13、宜的，可以框定最后记录的检索结果的范围。有些大型数据库真正供读者使用的是子数据库，让学生声明实习时所有的子数据库可以进一步框定检索结果的范围。对于检索窗口，实习时指定使用高级检索窗口或结构式检索窗口，用以对学生进行强制引导，使学生的数据库的高级检索功能有更深的认识。2检索策略解析实习报告中记录的检索策略指产生了有效的命中文献的检索步骤，包括检索入口、检索式、各检索式之间关系和各种条件限定。实习前就国外文献数据库的使用重点介绍了具有多个子库、条件限定功能比拟强的ebsco数据库，要求学生根据指定课题查找相关文献，但允许学生自己决定选用哪个或哪些数据库，因此检索策略记录的实习格式兼容了其他各种国外
14、数据库。检索策略是判定命中文献相关性的重要依据，必须如实记录。检索表达式的形式是一行还是多行，构成检索表达式的检索词是一个还是多个，均不作特别规定，但所述检索词应与所记录命中文献数和命中文献高度相关。根据检索词、逻辑运算符和截词符的使用，以及检索精度的限定情况，可以看出学生对前期知识的吸收掌握程度，也能看出学生的老实品质和学习态度。对检索结果限定项的记录那么能看出学生对高级检索功能的掌握程度。3检索结果解析“检索结果的各元素中的某些项与检索环境和检索策略具有相互验证作用，“检索结果的某些项之间也具有相互验证的作用。“检索结果中记录的有些元素还具有一些特殊作用。例如，如果只查到一篇相关文献这种情
15、况经常发生，如果学生能利用这篇文献中记录的“关键词/主题词查找其他相关文献，说明他已吸收了前期的课堂知识，不仅为自己的检索节省了效率，学习绩效也比拟高。“原文文种的判断需要在作为检索结果的书目记录中寻找相关特征，这种判断有助于用户决定是否要下载全文。母体文献和出版发行时间的判断对于用户在国内索取印刷本的全文复印件是重要依据。母体文献类型的判断需要通过国际文献编号和母体文献名称中的特征词进行验证，这项判断对于强化学生对不同文献类型作用的认识、扩展使用其他文摘型数据库的能力有很大帮助。“检索结果中所有元素的设置都有各自的作用，大多数用于对学生学习绩效的识别，少数那么是一种干扰信息，例如“作者单位就是对“文献类型的干扰信息，有些同学看到作者单位是中国就会误认为原文是中文，这种干扰项的设置有利于学生加深对一些是似而非概念的认识。另外，检索结果中的作者联系方式对作者姓名、页码页次对出版发行时间那么形成一种错误诱导信息，可以测出学生对相关信息是否有正确理解，或者学习态度是否认真。表2是国外学术文献数据库实习绩效评价元素列表。2.4 信息检索实习量规评测等级设计的思考当量规元素具有可计量、可比拟、可验证的特征时，制定客观公正的实习绩效评价标准就具有了可能性。为了使这种可能性转化为可操作性，应做以下约定：1确定评价等级划分的总体思路。第一种方案是各维度的权值相
