1、收稿日期:20220709基金项目:国家社会科学基金“学术期刊评价 指标创新与方法研究”(项目编号:21FTQB016);浙江省自然科学基金重点项目“制造业从数量型创新向质量型创新转型机制研究”(项目编号:Z21G030004)。作者简介:俞立平(1967)，男，教授，博士，博士生导师，研究方向:技术经济、科技评价。通讯作者:舒光美(1979)，男，讲师，硕士，研究方向:数字经济与文旅开发，高等教育管理。信息计量与科学评价异类指标相关对学术期刊评价影响及修正研究俞立平1舒光美2*(1 常州大学商学院，江苏 常州 213159;2 广州商学院数字经济产业学院，广东 广州 510700)摘要:目的
2、/意义 在学术期刊评价中，不同类型指标之间往往是相关的，这个问题对评价结果必然产生较大影响，相关研究缺乏。方法/过程 本文在理论分析的基础上，提出了一种基于拟合优度测度指标独立信息的思路，并基于中国知网的环境科学与技术期刊数据进行了实证。结果/结论 不同类学术期刊评价指标之间相关具有内生机制;机器分类在学术期刊评价中有时并不适用;不同类评价指标相关会影响期刊评价结果，涉及评价值、权重与结果排序;基于独立信息的修正方法可以有效克服不同类型评价指标的相关问题。关键词:学术期刊;独立信息;拟合优度;指标相关;学术评价DOI:103969/jissn10080821202303014中图分类号G302
3、文献标识码A文章编号10080821(2023)03013810esearch on the Influence and evision of Correlation of HeterogeneousIndicators on Evaluation of Academic JournalsYu Liping1Shu Guangmei2*(1 Business School，Changzhou University，Changzhou 213159，China;2 School of Digital Economy Industry，Guangzhou College of Commerce，G
4、uangzhou 510700，China)Abstract:Purpose/Significance In the evaluation of academic journals，there are often correlations between differ-ent types of indicators This problem will inevitably have a great impact on the evaluation results，and related research islacking Method/Process On the basis of theo
5、retical analysis，this paper proposed an idea to measure the independentinformation of indicators based on the goodness of fit，and conducted empirical research by the data of environmental sci-ence and technology journal on CNKI esult/Conclusion The research results show that:there is an endogenous m
6、ech-anism for the correlation between evaluation indicators of different types of academic journals;machine classification issometimes not applicable in the evaluation of academic journals;the correlation of different types of evaluation indicatorswill affect the evaluation results of journals，invol
7、ving evaluation value，weight and result ranking;the correction methodbased on independent information can effectively overcome the related problems of different types of evaluation indicatorsKey words:academic journals;independent information;goodness of fit;index correlation;academic evaluation在学术期
8、刊评价中，不同类型指标之间相关是一种容易被观测到的正常现象。通常情况下，同类指标相关更容易被理解，如影响因子、他引影响因子、h 指数之间，被引半衰期与引用半衰期之间。不同类型指标之间的相关其实也比较正常，如优秀期刊的传播力和影响力均较高，引用指标与时效性指标均较好等。本质上，这源自优秀趋同效应，即优秀期刊的表现不是某一个方面优秀，而是全方位8312023 年 3 月第 43 卷第 3 期现 代 情 报Journal of Modern InformationMar，2023Vol.43No.3优秀。不同类型指标相关带来的信息重叠问题会影响评价结果。同类指标相关带来的信息重叠问题总体上还好，毕竟
9、说明的是同一问题，但是不同类型指标相关会带来相关信息的重复计算，必然会扭曲评价结果。这个问题是学术期刊评价方法的基础问题，如果不加以解决，势必会影响学术期刊评价的科学性，降低学术评价的公信力12。关于指标相关导致的信息重叠问题的危害，Har-rigan N 等3 指出，信息重叠的表现是用户关注或收到许多内容相同或相似的信息。刘翠杰4 认为，在一个指标体系中，指标数量与信息重叠是一对矛盾，指标越多越全面，信息重叠问题也就越严重。王伟夏5 从集合论的角度分析了指标信息重叠对评价造成的不利影响。秦烁等6 提出信息重叠降低了传播效率，严重时会丧失信息自身价值。关于评价指标信息重叠的消除方法，一种观点认
10、为可以通过改进评价方法实现，如采用主成分分析、因子分析等方法进行评价，问题是基于降维的评价方法容易牺牲评价指标的部分信息，进而扭曲评价结果;另一种观点是通过删除信息冗余指标实现，Destrero A 等7 指出，应删除相关系数较大指标中的次要指标，以提高评价指标信息独立水平。陈洪海8 提出信息可替代性标准，然后删除信息重叠较大指标。迟国泰等9 构建了基于信息敏感性的指标筛选与赋权模型。从现有的研究来看，关于评价指标的信息重叠或数据冗余问题，学术界已充分认识到问题与危害。关于这个问题的解决方法，目前总体上停滞不前，因为以牺牲部分指标信息的降维方法解决了信息重叠问题但带来了新的问题，而删除评价指标
11、并不能从根本上解决问题，其他指标之间还是会相关，何况删除指标会带来信息损失。至于不同类型指标之间的相关问题，缺乏专门的研究，相关讨论尚处于探索阶段。在以下方面有待进一步深入研究:第一，对于学术期刊评价而言，其指标分类标准是什么?基于现有的指标分类标准，不同类型指标之间相关的形成机制是什么?只有弄清不同指标相关的形成机制的基础上，才能更好地解决相关问题。第二，不同类型指标之间相关会对学术期刊评价带来什么影响，现有的研究尽管提及相关问题，但缺乏深入分析。第三，解决不同类型指标信息重叠的方法，总体上缺乏研究，本文提出一种基于不同类型指标复相关系数的调整方法，试图解决这个问题。本文基于中国知网期刊数据
12、库，以环境科学与技术学科期刊为例进行实证。首先构建期刊评价指标分类框架，并分析不同类型期刊评价指标信息重叠的形成机制，然后提出消除不同类型指标信息重叠的解决方法，最后比较原始指标评价与消除信息重叠后指标评价结果的差异，从而得出结论。本文的研究推进了多属性评价与学术评价方法的进一步完善，对于提高学术期刊评价方法的科学性和公信力具有重要意义。1理论分析1.1期刊评价指标的分类期刊评价指标是指用于期刊评价、具有价值判断的指标。那些无法体现价值判断的指标一般不能称为期刊评价指标，比如平均发表周期、地区分布数等。本文重点研究不同类型指标之间的相关问题，对于同类指标相关，考虑到信息重叠对其影响较小，因此不
13、做重点研究。这样就涉及评价指标的分类问题，为了研究方便，主要从一级指标角度进行分类，一级指标之间的相关是不同类型指标相关的典型代表，因此主要对一级指标之间的信息重叠问题进行深入研究。期刊评价指标的分类依据有很多，如指标内涵、外表形式、时间跨度、统计特征等，本文重点研究不同类型评价指标之间的相关关系，因此从指标内涵角度进行分类。关于期刊评价指标的分类，尽管不少文献在期刊评价应用中进行过分类，但缺乏系统研究。赵惠祥等10 将期刊评价指标分为影响力指标、文献指标、载体指标、管理指标。本文根据当前期刊评价的实际，将其分为编辑出版指标、知识传播指标、影响力指标、引用类指标、时效性指标、来源特征指标。编辑
14、出版指标包括政治指标以及体现期刊编辑9312023 年 3 月第 43 卷第 3 期异类指标相关对学术期刊评价影响及修正研究wwwxdqbnetMar，2023Vol.43No.3图 1期刊评价指标分类出版质量的指标，如编排规范化、差错率、印刷质量等，一般在学术期刊评价中，评价目的也是多样的，基于期刊学术质量的评价一般不选择此类指标进行评价，而相关学术期刊管理部门往往比较重视该类指标评价。知识传播指标包括网络下载指标、网络评论指标等，目前许多 Altmetrics 指标可以归到此类。影响力指标众多，如影响因子、h 指数、即年指标等，该类指标也是非常重要的引文指标，是传统文献计量学中最重要的指标
15、。引用类指标指期刊论文中与引用相关的指标，如平均引文数、引用期刊数、引用外文文献数等，该类指标对期刊质量具有潜在的影响。需要说明的是，影响力指标与引用类指标还是有较大差异的，影响力指标主要是被引指标，是期刊论文的“输出”指标，引用类指标是期刊引用其他期刊论文的指标，是期刊的“输入”指标。时效性指标指典型的如引用半衰期、被引半衰期等、平均发表时滞等，用来反映期刊文献的老化速度，期刊类别不同，文献老化速度不同，一般侧重基础研究的期刊文献老化速度慢。来源特征指标是体现期刊内在信息又不包括编辑出版的指标，如平均国家基金数量、基金论文比、海外论文比、平均作者数等，其实这些指标涉及范围比较广泛，有时可以划
16、分到其他类型中去。1.2学术期刊评价指标分类方法对于同类指标而言，评价指标相关信息适当重复是可以的，而对于不同类型指标而言，其对评价结果的影响可能很大，因此，评价指标的分类对实证研究结果影响很大，必须进行全方位分析。学术期刊评价指标的分类方法有两种，一种是人工分类，这也是传统分类方法;另一种是采用机器分类，分类方法包括聚类分析、因子分析等。机器分类有时是必要的，俞立平等11 在学术期刊评价指标分类中发现聚类方法并不适用，建议采用因子分析。本文综合采用聚类分析、因子分析进行数据分析，再进行人工分类，这样可以使得期刊评价指标分类更加全面。图 2期刊不同类型指标之间关系1.3 异类指标相关的原因分析第一，作者同源效应。比如引用类指标与来源特征指标相关。引用类指标是评价期刊引用其他期刊的一些指标，如平均引文数、引用期刊数等，表面看它与其他期刊相关，但实际引用行为却是作者在论文中进行的引用，作者水平越高，引用期刊的档次、论文水平等越高。来源特征指标本质上也是由作者和稿件决定，作者水平越高，期刊篇均国家基金数量、基金论文比等指标值越大。所以由于作者同源效应，导致引用类指标与部分来源特征指标相关。第
