2024年4月5日发(作者：红米7多少钱)
编号：
时间：2021年x月x日
书山有路勤为径，学海无涯苦作舟
页码：第
1
页 共
10
页
期刊审稿专家评价方法及有效性
1引言
同行评议是科学评价最重要、最普遍的方式，在论文评审、项目遴选、
职称评定、学术荣誉授予等众多科学评价过程中被广泛采用，用于鉴别科研价值、
保障科研质量[1]。对于期刊论文评审，审稿专家对研究工作的重要性、有效性、
创新性等进行评定，同时向作者提供有关错误校正、理论/方法改进等方面的建
议[2]。有效的同行评议过程是保证稿件质量、提高期刊声誉与影响力的重要保
障[3,4]。同行评议相关问题得到了国内外学者们比较广泛的关注与研究[5]。考虑
到同行评议结果受专家个体差异性的影响，如主观意志的影响、专业知识水平的
局限以及评议过程中其他偶然因素，容易产生偏见与片面性[1]，学者们开始着
手研究评议专家“反评估”方法，以期评估专家的评审行为，为评议专家遴选提供
参考，以尽可能提高同行评议结果的公平与公正[6-12]。文献[6]基于评议专家的
基本情况、修养和工作业绩三个方面对评议专家进行评估，奠定了评议专家“反
评估”的基本指标体系。作者指出，工作业绩指标可基于历史评议数据计算得出，
具有较好的可获得性。其下属指标包括评议项目累计数、（评分数据的）离散率、
命中率（推荐项目数/立项项目数）、算数偏差（与其他专家意见的偏差）等维度。
文献[7-12]在文献[6]的框架下，从数学意义与物理意义讨论了指标体系的合理性
[7]，设计了更加细粒度的指标体系及相应的权重分配[8,9]，对评估数据进行预处
理以提高评估可靠性[10]，基于不同案例对指标体系进行验证分析[7-9,11]。文献
[12]针对期刊评议，从审稿时长、审稿意见长度以及审稿意见与编辑意见的一致
性三个维度出发，设计了F3指数用于辅助期刊评审人选择，整体而言也并未超
第 1 页 共 10 页
编号：
时间：2021年x月x日
书山有路勤为径，学海无涯苦作舟
页码：第
2
页 共
10
页
出文献[6]所给出的指标体系范畴。上述工作较大地推进了评议专家评估指标体
系的建立与应用，然而还存在以下可改进之处：（1）文献[6]中“工作业绩”指标的
核心理念为，在存在大量评议数据时，评议专家的业绩可基于该专家与其他专家
的一致性程度进行刻画（一致性越高业绩更好）。因而，在文献[6]的框架下，现
有研究中工作业绩指标均只考虑了蕴含于评议过程与评议结果数据中的专家知
识，而未考虑更广大的学术共同体的认可度。（2）现有研究对指标的验证分析往
往退化为指标的应用分析。即针对某组评议案例计算指标值，进而从数值分布的
角度分析指标的合理性。缺乏评议专家（的评分）与评议对象（如被学术共同体
认可程度）的交叉验证。针对上述问题，本文针对期刊评议，同时考虑蕴含于评
议数据中的专家知识与蕴含于发表文献的计量数据中的学术共同体知识，提出一
种审稿专家一致性评价方法，基于《长江流域资源与环境》期刊评议数据与已发
论文的计量数据计算一致性指数，设计假设检验方法检验一致性更高的专家是否
能对论文做出更为准确的评价。本文的方法有望辅助期刊编辑从数据的角度了解
审稿专家，从而为专家遴选提供参考。
2一致性指数
针对期刊论文评议，本文的核心思想为，审稿专家的评议意见应契合
于论文的学术水平。在评审阶段，论文的学术水平应契合于评审论文的（所有）
专家的整体意见；论文发表后，论文的学术水平应契合于学术共同体的认可程度。
换言之，审稿专家的业绩可基于其与（其他）审稿专家的一致性程度（简称“评
审一致性”）以及其与学术共同体认可度的一致性程度（简称“学术共同体一致性”）
刻画。因而，本文的一致性指数C定义如公式1所示：(1)rpC=C+−C(1)其中，
第 2 页 共 10 页
发布者：admin，转转请注明出处：http://www.yc00.com/num/1712291059a2035779.html
评论列表（0条）