2024年4月26日发(作者:)
信息管理与信息学
图书馆理论与实践
LIBRARY THgORY AND pRAC'I'IC£
●魏晓峰(河北建筑工程学院图书馆,张家口0'75024)
国内学术期刊质量评价指标体系构建探索与实证研究
[关键词]期刊评价;学术质量;评价
虑和兼顾图书情报以及其他学科或专业领域专家的评
指标体系;指标权重 议意见,以确保权重分配的专业性和体现指标评价的
[摘要]选取目前学术界较为公认的 学科特色。
核心指标,构建国内学术期刊质量评价指标
1.1期刊评价指标选取
体系,再利用层次分析法和专家调查法确定
期刊的学术质量主要通过期刊的学术含量和对外
各指标权重。然后以数学期刊为例,阐述该
界的学术影响力两个方面体现,一般分别选用期刊来
指标体系的具体应用,并检验其合理性。
源(或载文)指标和被引(或影响力)指标进行衡
最后考察各指标的期刊质量综合评价效用
量。本文以目前国内学术界比较公认的、影响较大的
和验证该指标体系的多学科适用性。
6种期刊评价工具[1-6]以及3篇最具代表性的期刊评
[中图分类号]G255.2;G311
价体系研究论文[7-9]为参考依据,在详细考察各类评
[文献标志码]A
价指标属性、功效和使用频次的基础上,最终选取了
[文章编号]1005--8214(2013)12--0053—04 9个期刊评价核心指标。其中,期刊来源指标包括基
金论文比、篇均参考文献数和篇均作者机构数,期刊
近年来,国内外有关学术期刊评价的理论探讨与
被引指标包括篇均被引频次、影响因子、他引量、他
实证研究日趋深入,多种学术期刊评价指标与期刊评 引刊数、即年指标和Web即年下载率。由于考虑到期
价体系相继提出和广泛应用。指标选取上,一级指标 刊学术质量评价主旨、期刊所属地域区分度较小、当
逻辑性不强,不能有效体现与衡量期刊学术质量;而
前学科交叉渗透发展趋势明显以及“同类可比”的期
二级指标往往力求细致全面,既增加了数据收集与统 刊评价原则等因素,本文没有选用载文量、国际论文
计难度,又不利于各类指标的有机组合与应用。指标 比、本学科论文比、被引半衰期和其他使用频次较小
权重赋值上,目前各评价体系普遍采用层次分析法和
的指标。
专家调查法,一般仅限于期刊管理或图书情报而缺乏
1.2评价指标权重分配
各学科或专业领域专家调查,由此确定的指标权重不 上述9个指标虽然都是从定量角度反映期刊的学
能有效体现各学科之间的差异性。此外,利用不同的 术质量,但是对于期刊评价结果的贡献各不相同,而
评价体系进行期刊质量评价的结果也不尽相同,势必
且由于各学科之间的差异性,各指标在不同学科中应
会出现相互冲突或矛盾之处,影响期刊选购、职称评
用价值也不一致,因此需要结合评价目的等主观因素
定、科研评价等工作绩效。当前国内大多涉及针对某 进行分析,赋予各指标不同的权重和充分考虑学科因
种期刊评价指标的研究,仅有少数研究涉及某一类型 素。本文选择半定性的层次分析法来确定各指标权重
或学科领域期刊评价指标体系。因此,本文对学术期 值,并将权重划分为基础权重和学科权重两部分;前
刊评价体系进行整合研究与实证分析以供参考。 者是指由图书情报领域专家、学术期刊编辑与图书馆
1 国内学术期刊质量评价指标体系构建
员得出的权重,后者是指由某一专业或学科领域专家
评价指标选取在全面性、科学性、易获取性和整
得出的权重。在综合上述分析和参考《中国人文社会
个评价体系的简练性下,以增强期刊评价的时效性、
科学核心期刊要览》 (2008年版)的指标权重处理办
公正性和高效率。在指标权重分配方面,需要综合考
法的基础上,本文将基础权重和学科权重分别赋权值
[基金项目]本文系张家1:3市2013年度社会科学研究课题“学术期刊质量评价指标体系构建与实证研究——以张家口市地域
特色期刊为例” (项目编号:2013065)的研究成果之一。
期一53
图书馆理论与实践
LlBRAIlY TH£ORY AND PRACTlC∈
信息管理与信息学
为0.7和0.3,二者加权后的权重值之和即为某学科领
域学术期刊质量评价指标体系的综合权重。
(1)构建评价指标层次结构模型。本文运用层次
重,如表2所示。在具体评价某学科领域学术期刊质
量时,还需要对领域专家进行问卷调查以获取各指标
学科权重,进而得出各指标的综合权重值。
2实证研究
分析法构建指标层次结构模型,依次包括目标层(期
刊评价指标综合值)、准则层(包括期刊来源指标和
被引指标两项)、子准则层(期刊被引指标下设影响
强度、广度和速度三类)和指标层。
(2)构造评价指标判断矩阵。根据上述模型,本
本文坚持“同类可比”的评价原则,选择数学期
刊进行实证研究以体现基础与学科权重之间的差别。
2.1 问卷调查与指标权重确定
本文选择2011年国内“211:翻呈”大学中数学专
文构建了6个判断矩阵。准则层的2个1级指标构成
1个2维判断矩阵,子准则层的3个2级指标构成1
个3维判断矩阵,指标层的9个3级指标按其类别构
成4个判断矩阵,分别是由3个期刊来源指标构成的
1个3维判断矩阵和由6个期刊被引指标构成的3个
2维判断矩阵。ll咖根据Saaty权威性建议,采用数字
1-9及其倒数为标度来确定各指标权重值。
(3)问卷设计与调查。本文设计了专家调查问
卷,其中一级指标权重专家评分表如表l所示,其他
层次指标权重专家评分表均以此类推。笔者采用电子
邮件方式对国内一些具有副高级以上职称的图书情报
业综合排名前30所高校中具有副高级及其以上职称
(正高与副高职称比例各为37.6%和62.5%)的数学领
域专家为调查对象,以保证调查的较高权威性与可信
度。共计发放问卷40份,回收问卷36份,其中32
份有效问卷全部通过层次单排序和总排序一致性检
验。然后分别计算出各评价指标的学科权重值,通过
加权进而算出各指标的综合权重值,如表2所示。从
表中可知,两类权重值相差较大的指标有基金论文
比、篇均被引频次、影响因子和Web即年下载率,这
在一定程度上反映出不同学科领域专家对学术期刊质
量的不同理解与认知。
领域高校教师与图书馆员(各占73.1%和17.1%)以
及学术期刊编辑进行访问渊查,共计发放问卷100
表2数学期-?lJ各评价指标的三类权重值分布
评价指标 基础权重 学科权重 综合权重 评价指标 基础权莺 学科权重 综合权重
基金论 0
文比 08660 014840 0.105l4 他弓『量 0l3550 Ol4020 Ol369l
.
份,回收问卷89份。利用yaaph0.5.2软件再对全部问
卷调查数据进行统计,共计82份有效问卷均通过了
层次单排序与总排序一致性检验,由此表明该调查问
卷设计较为科学合理,评价指标层次结构模型与判断
矩阵具有较好的适用性。
表1调查问卷中一级指标权重专家评分表
注:表格中数据填写请参照层次分析法一1—9标度法,只需要填写上三角或
下_二角元索。
评价指标fcj1
期刊来源指标
期刊被引指标
篇均参考
文献数 006715 0.06230 0.065695 他引刊数 O.10375 O.o4673 0086644
篇均作者 0
机构数 o4485 003935 00432 即年指标 0.10280 008830 0.09845
.
篇均被引 Web即年
频次 0l3210 0 33395 0.192655 下载率 O.1 2655 0 02945 0.09742
影响因子 0 20070 01l132 0173886 总计 l(1o( 1 00Oo0 1 000o0
2.2期刊选取和数据统计源
评价指标(cj)
期刊来源指标
1
l
期刊被引指标
在参照国内多种期刊分类或导航目录的基础上,
本文选取l5种有代表性的数学期刊进行实证研究;同
时选择((2009年版中国期刊引证报告(扩刊版)》和
《中国学术期刊综合引证报告(2009年版)》为主要数
据来源,以CNKI中国引文数据库同期数据为补充,以
保证统计分析的科学有效性。通过直接检索或辅助人
工统计得到各刊评价指标原始数据,如表3所示。数
(4)计算评价指标权重。本文采用专家评分法和
层次分析软件yaaph0.5.2,对指标体系内同层指标进
行两两比较,得到判断矩阵,计算矩阵对应的特征向
量,再依次进行层次单排序和层次总排序及其一致性
检验,从而确定各指标权重。根据全部的层次单排序
统计结果,可以计算出指标层内各指标的层次总排序
权重。判断矩阵一致性检验是指检验专家对各指标进
行两两比较时所作出的判断思维是否一致。本文引入
据检索与统计处理日期为2012年8月l5~16口。
由于同一个指标体系内的不同指标数据之间存在
较大差异,因此需要对各指标数据进行归一化规范处
理,以便在同一个数量级上进行横向比较与评价。归
一
Saaty提出的判断矩阵平均随机一致性指标值进行具体
的统计检验,然后计算出每份有效问卷中获得的各指
标层次总排序权重的算术平均值,即各指标基础权
化处理的思路是将各指标中的最高值设置为1,其
他数据依据相应比例取值,通过加权综合得到各指标
综合评价值,其降序排列结果如表4所示。
54 i 2013・第12期
信息管理与信息学
图书馆理论与实践
l8 A Y下H∈0RY AND PRACTIC£
表3数学期刊各评价指标原始数据分布
刊名 基金 篇均参 篇均作 篇均被 影响 他引量 他引 即年 Weh即
论文比 考文献数 者机构数 弓l频次 因子 刊数 指标 年下载率
大学数学 O.42l 5.41 0.7l26 O1385 0409 533.60 301 0073 35.8O
高等数学
研究 0l67 2 86 0.6046 01359 0.371 207 48 137 0094 39.40
高等应用
数学学报 0.910 10.42 0 8333 0.1900 O 3叭 277.42 172 0.045 3010
(A辑)
工程数学
学报 0 861 8.93 0.6988 0.217l 0 348 551.04 319 0.036 29.90
(1)评价指标体系的总体分析。据统计,准则层
与目标层之间的两个相关系数r分别为0.538和
0.958,P值均小于0.O1,表明本文构建的期刊评价指
标体系中的准则层指标与目标层之间在O.01水平(双
侧)上显著相关,来源与被引指标的设置对于整个评
价体系而言是合理的。三个子准则层指标与准则层之
间显著性相关(相关系数r分别为0.852、0.768和
O.646,P值均为0.000),表明i个被引指标的设置也
是较为合理的。此外,j个来源指标与准则层之间(r
分别为0.958、O.881和0.550,P值分别为0.000、
O.000和0.002)、两个影响强度指标与子准则层之间
(r分别为0.810和0.802,P值均为0.000)、两个影响
广度指标与子准则层之间(r分别为0.986和0.957,P
值均为0.000),以及两个影响速度指标与子准则层之
间(r分别为0.838和O.670,P值均为0.000)均在
0.01水平(双侧)上显著相关,表明各项指标的设置
对于整个评价体系而言均是较为合理的。
(2)单项指标与目标层的相关性分析。限于篇
幅,本文仅列出Web即年下载率与目标层之间相关性
分析结果及相应的散点图,如图1所示。其中,篇均
参考文献数、篇均被引频次、影响因子、他引量和他
引刊数与目标层之间在0.01水平(双侧)上显著相关
(r值分别为0.601、0.051、0.831、0.794和0.654),
而基金论文比、篇均作者机构数、即年指标和Web即
年下载率与目标层之间在0.05水平(双侧)上显著相
关(r值分别为0.429、0.395、0.423和0.411)。由此
计算数学 O9o2 12.68 0.8537 0 3035 0.789 42l 8O 194 0.024 33 lO
数学的实 l
践与认识 O6l2 7.34 0 5618 0.2530 0 364 105966 584 0045 39 50
数学季 0盘20 8 55 0.3964 0.1407 O061 l04 O0 85 0O31 11 6o
数学进展 0 900 16.O1 O 8o00 0I986 0 339 39060 204 0087 22.00
数学年
似辑) 0 894 l3.86 0.6353 0 2207 0.289 572 30 215 O071 19.30
数学学报 0.870 13 65 0.63l0 0.3344 0.717 1 379 56 341 0.167 28 00
数学杂志 0 740 7 21 0 6500 0.1756 0.266 382.23 225 0.029 23_20
系统科学
与数学 0.876 l2 o6 0 7629 03Oo4 0.409 4320o 230 0.021 36 36
应用数学 0.833 9.28 0.7652 n J938 0.339 456oo 264 0038 28o0
应用数学
学报 0.880 11.93 0 7368 0 3243 0457 686.40 293 0053 29 50
应用数学
与计算数 0 650 7.46 0.5946 0 3761 0 586 216 31 138 O189 27.7O
学学报
表4数学期刊各评价指标归一化处理后的数据
与综合评价值分布
刊名
基金 篇均 篇均 Weh
参考 作者 篇均被 影响 他引量 他引 即年 即年下 综合
论文比 机构数 引频次 因子 刊数 指标 载率 评价值
数学学报 O.o963 0.0542 0.0288 O.1058 O.1580 0l369 00506 0.0870 0.0691 0 7866
计算数学 0.0998 0o504 0o389 ).o96o O.I739 004I9 O o288 O.0l25 0.08I6 0 6238
数学的实
践与认识 0()677 0.0292 0.0256 00800 00802 O.1【J52 0.0866 0.0234 00974 0.5954
应用数学
学报 0.0974 0.0474 0.0336 0.1025 0.10o7 00681 0.0435 0.0276 0.0728 0 5936
应用数学
与计算数 O.O719 0.0296 00271 Ol189 O.1291 0.0215 0.0205 0.0985 00683 0.5855
学学报
系统科学
与数学 0.o97O 0.0479 00348 00950 0.0901 0.0429 0.0341 0叭I)9 00897 0.5424
数学进展 0 o996 0.0636 0.0365 加628 0.0747 00388 0.0303 O.0453 00543 0 5058
工程数学
学报 O 0953 00355 0.0319 0.0687 00767 00547 O o473 0.0188 0.0737 0.5025
数学年刊 O
f^辑) o989 0.0551 00290 0.0698 00637 00568 O o3】9 0.0370 0.0476 0.4898
.
可知各项指标与目标层之间存在不同程度的正相关
性,评价指标体系构建在整体上较合理。
相关t生
自E龠滓伯・值
蜕 下戴
.411 缀台评价值Pe ̄rsotl捆关性 1
显著性(双例)
N 29
027
29
Web黜年下裁j茸 Pe鸯r¥on章茸荚缝
曼薯性‘双捌)
N
.4"‘
027
29
1
应用数学 O.o922 0.0369 0.0349 O.0613 0()747 O.【Ⅵ53 0.0392 0.0198 0.0691 04732
高等应用
数学学报 0.1007 0.04l4 0.0380 O o601 0.0663 00275 00255 00234 0.0742 0.4573
(A辑)
大学数学 0.0466 00215 00325 0 0438 0O9Ol O.o530 0.0447 0.03so 00760 0446l
数学杂志 0.08l9 00287 00296 00555 0.0586 0.0379 0.0334 O.Ol51 00572 0 3980
高等数学
研究 0.0185 00114 00321 0 o43O 0.0818 00206 0.0203 0.0490 00824 0 3590
数学季刊 0.0830 0.034o 0叭81 00445 O叭34 0.0103 0.0126 0.叭6l 0.0286 0.2607
29
在0 05水平‘艘蒯,上显著年丑关.
n‘
{
—
_~j耋 ‘j
萎
o舯
—
.
::: : - 一
。
。
.
.
2.3评价指标相关性分析
本文基于皮尔逊(Spearman)积差相关系数,利用
SPSS17.0软件分别对评价指标体系中的目标层(即指
j
oo Ⅲ 0 ● 螂 * ofa● o舯 o ●o
weh即年下栽率
标综合评价值)与各指标层及单项指标间的相关性进
行分析,以考察各指标层对于上一层级设置的合理性。
图1 Web即年下载率指标与目标层之间相关性
分析结果及相应的散点图
2013-第12期l 55
图书馆理论与实践
LI8RARY TH∈ORY AND PRACTlC∈
信息管理与信息学
2.4与《中文核心期刊要目总览》的比较分析
由于《中文核心期刊要目总览》 (2011年版)中
共列出l7种数学核心期刊排名情况,因此本文选择
其与上述期刊评价结果进行对比分析,以探寻两者问
载文、被摘、Web下载、自引等数量)以获得较高评
价绩效所带来的不良影响。因此,本文构建的期刊评
价指标体系在总体上具有一定的科学合理性,与《总
览》等传统做法不同,能够适用于不同学科领域期刊
评价;在指标选择方面,既兼顾各类期刊的内在特征
和外在影响,又考虑不同期刊的办刊特色或方向,能
够较公平和客观地体现与评价期刊学术质量;在指标
权重分配方面,既包含专业成分又融入学科特色,同
时涵盖基础与学科两类权重,一定程度上避免了专家
偏向等主观影响。
[参考文献】
[1]朱强,等.中文核心期刊要目总览(第六版)
[M].北京:北京大学出版社,2011:1—18.
[2]南京大学中国社会科学研究评价中心.来源期刊
目录[EB/OL].[2012--08—16].http://cssci.ju.
edu.cn/news.as—p?ChannellD=9.
的差异性及其原因,对比情况如表5所示。需要说明
的是,表中“升降幅度”一列是指某刊在本文研究中
排名与其在 览》中排名相比下的升降位数,正负
数分别表示排名升与降, “/”表示某刊在 总览》中
为非核心期刊。
表5本文研究的数学期刊综合评价值排名与
《总览》中排名的对比情况
序号 本文研究的期刊评价排名 《总览》中的期刊评价排名 升降幅度
1 数学学报 数学学报 0
2 计算数学 计算数学 O
3 数学的实践与认识 应用数学学报 8
4 应用数学学报 中国科学(A辑擞学1 一I
5 应用数学与计算数学学报 系统科学与数学 |
6 系统科学与数学 数学年刊(A辑) 一l
7 数学进展 模糊系统与数学 2
8 工程数学学报 工程数学学报 0
9 数学年刊(A辑) 数学进展 /
1O 应用数学 应用数学 0
ll 高等应用数学学报fA辑) 数学的实践与认识 2
l2 大学数学 应用概率统计 ,
13 数学杂志 高等应用数学学报(A辑) 1
14 高等数学研究 数学杂志 ,
15 数学季刊 高等学校计算数学学报 ,
[3]中国科学引文数据库项目组.中国科学计量指标:
期刊引证报告(2011年卷)[R].北京:知识产
权出版社.2012:1—10.
[4]万锦望,薛芳渝.中国学术期刊综合引证报告
(2009年版)[R].北京:科学出版社,2010:
1—10.
从表中可知, (微学学报》等4种期刊在两个评
价体系中排名均相同, (擞学的实践与认识》等4种
期刊以及《系统科学与数学》等2种期刊的排名分别
有不同程度的上升或下降。由于本文与《总览》中的
指标构成、评价时段与方法不尽相同,两者的评价结
[5]曾建勋.2010年版中国期刊引证报告(扩刊版)
[R].北京:科学技术文献出版社,2010:1—8.
[6]邱均平,等.中国学术期刊评价研究报告:RCCSE
权威、核心期刊排行榜与指南(2011—2012)
果必然存在一定差异。仅以排名变动较明显的《数学
[R].北京:科学出版社,2011:8—26.
[7]庞景安,等.中国科技期刊综合评价指标体系的
研究[J].中国科技期刊研究,2000(4):217—
219.
的实践与认t只》和 用数学学报=》为例,两刊的来
源指标值排名均普遍靠后,而前者的被引指标值排名
多数较靠前,而后者多数较靠后。从表4中可知,来
源与被引指标权重分别约占总权重的20%和80%。如
果期刊各项指标排名均居前列,则其综合排名必定靠
[8]师昌绪,李廷杰.自然科学学术期刊综合评价指
标体系研究[J].中国科技期刊研究,2001,12
(3):165—168.
前,如 用数学学报》;如果来源指标排名较靠后,
而被引指标排名较靠前而且竞争优势较明显,则其综
合排名也会相对靠前,如《数学的实践与认识》。此
[9]苏新宁.人文社会科学期刊评价指标体系研究
[J].图书馆论坛,2006,26(6):59—65.
外, 览》的评价指标中有6项量效指标和4项信
_10]白景永.基于职业成长的高校教师科研能力评
价体系设计[J].继续教育研究,2011(7):
39—41
息栈指标(如被索引量、被摘量、获国家奖或被国内
外重要检索工具收录数等)均受期刊载文量的较大影
响,一定程度上削弱了被引指标的评价效果。
本文构建的评价指标体系比较突出期刊学术影响
力的评价效用,也能体现一定的期刊学术含量,有效
避免了由于期刊编辑出版随意改进来源指标(如增加
[作者简介]魏晓峰(1982一),男,硕士,河北建筑
工程学院图书馆馆员,发表论文9篇。
[收稿日期]2013--03—25 [责任编辑]菊秋芳
56 l 2013・第12期
发布者:admin,转转请注明出处:http://www.yc00.com/web/1714095794a2380322.html
评论列表(0条)