首页> 关注此文用户还关注:

科学数据中心综合运行评价体系赋权研究

产出机构: 国家科技基础条件平台中心;中国科学院空天信息创新研究院;国家对地观测科学数据中心
提交机构: 中国科学技术信息研究所
产出日期: 2021-07-27   
发布日期: 2021-10-12   
作者: 徐波;王瑞丹;陈祖刚;李国庆;石蕾;高孟绪;

 

摘要: 

体系赋权是科学数据中心综合运行状况评价的关键技术之一,赋权是否合理直接影响评价的科学性。本文 提出层次分析法和皮尔逊相关系数相结合的方法来赋权。通过构建同一层级内各个指标的两两重要性矩阵,对指标的 相对重要性进行判断,检验矩阵的一致性,求解特征值和特征向量,获取每个层次指标体系的权重向量,再利用皮尔 逊相关系数,选出质量不合格的判断,提取共识,最终形成准确可靠的权重体系。该方法具有很强的可操作性和可靠 性,计算的结果对科学数据中心明确工作重点具有指导意义,能够有力地支撑科学数据中心的评价工作,也为类似任 务的赋权提供方法借鉴。

关键字: 科学数据中心;综合运行评价;赋权;层次分析法;皮尔逊相关系数

科学数据中心评价的指标权重是评价体系的关键技术之一,赋权是否合理直接影响评价的科学性。无论从科学数据中心管理实践还是理论研究的角度出发,在当前背景下,构建一套适应我国科学数据战略需求的合理数据中心评价体系的赋权机制,对推动数据中心的管理和运行能力的提升,更好地利用科学数据价值,支撑国家重大战略需求,具有十分重要的意义。本研究面向科学数据中心运行状况综合评价的重大需求,针对已有的多指标评价体系,提出了一套耦合层次分析法和相关性分析法的高可操作性、高可靠性赋权方法,为实现科学数据中心运行状况科学合理评价,以及类似任务的赋权提供方法借鉴。

1研究方法

1.1 层次化系统建立

层次分析法是指将与决策有关的元素分解成目标、准则、因素等层次,在此基础之上进行定性和定量分析的决策方法。使用层次分析法计算科学数据中心评价赋权,首先需要对评价指标体系进行层次化分解,形成有序的递阶结构。如下图2示,建立的科学数据中心评价指标体系的一级指标层次化系统,目标层为科学数据中心运行评价A,因素层主要包括资源整合情况(A1)、平台服务情况(A2)、分析与挖掘(A3)、运行管理情况(A4)、支撑条件情况(A5)、可持续能力(A6)、国际影响力(A7),A=A1+A2+A3+A4+A5+A6+A7。

建立的关于资源整合情况的二级指标层次化系统,目标层为资源整合情况A1,因素层包括清单任务完成度(A11),资源数量、增量与质量(A12)、资源合作网络(A13)、数据资源汇交(A14),A1=A11+A12+A13+A14,依次建立各个其余各个二级指标层次化系统,最终共建立8个层次化系统。

1.2 科学数据中心评价体系权重确定

2.2.1 构造各层次化系统两两比较矩阵

对于每个层次化系统,建立其因素层的各个因子两两之间的相对重要性的评价表,8个层次化系统共建立8张评价表。然后邀请熟悉数据工作的专家来对各个指标相对重要性进行评分,采用Saatty1-9标度评分标准进行评估赋分。邀请了我国熟悉科学数据中心工作的多位专家,专家遴选需满足以下条件:(1)熟悉科学数据中心管理工作;(2)对科学数据发展理论有一定的研究和认识;(3)来自不同领域不同专业的数据中心。请专家分别对8张评价表进行评分,形成了指标重要性两两比较判断矩阵,获得多个比较矩阵。

1.2.2 数据分析与结果

对获得的关于8个层次化系统多个比较矩阵,首先计算一级指标对总目标A的权重,计算方法为对所有的有关总目标A的比较矩阵,进行矩阵的一致性检验,一致性检验的目的是考察专家打分内在的逻辑一致性以排除随机或错误给出的相对重要性评分。 

按照以上方法对所有专家评价产生的比较矩阵进行分析,得到了有效权重向量。可以发现,各个专家的权重向量存在一定差距,但总体上差别不大,可见各个专家对指标的重要性程度有着较为一致的认识。为了进一步挑选出低质量的专家评价矩阵,把有效权重向量求取平均值,计算每位专家的权重向量和平均值向量的皮尔逊相关系数,把相关系数较小的权重向量剔除,计算剩余权重向量的平均值,作为考核指标的最终权重。

用以上方法,分别对各个二级指标层次化系统的指标求取权重,然后用二级指标的权重乘以相应的一级指标的权重,获取最终的权重系数。

3 结论与讨论

本研究通过邀请科学数据领域的专家,对提出的科学数据中心评价指标体系的一级、二级指标的相对重要性进行评分,生成指标相对重要性矩阵,计算矩阵的特征值和特征向量,把特征向量归一化后获取各个指标的权重。对各个专家的指标权重求取平均值,再由平均值和各个专家的权重值进行相关性分析,剔除相关系数较低的值,剩余值再求平均数作为各个指标最终权重。把层次分析与相关系数相结合的方法应用于科学数据中心运行状况的评价之中。本方法具有两个方面的优点,一是把专家的专业知识作为科学数据中心指标权重大小的判断依据;二是减少层次分析法的主观性,提取出熟悉科学数据工作的专家共识。

从计算的评价体系指标的最终权重中可以看出,其七个一级评价指标的权重并不相同,甚至相差很大,其中数据“资源整合”和共享“平台服务”是科学数据中心评价指标体系中权重最大的因子,这也暗示了各个科学数据中心必须把数据资源整合和数据共享服务作为工作的重中之重。在二级指标中,“清单任务完成度”,“资源数量、增量与质量”,“资源服务量”和“数据资源汇交”在数据中心的工作占有较大权重,是数据中心较为核心的具体工作。总体上看,本研究提出的方法能有效支撑科学数据中心开展量化评价,指导数据中心明确工作的重心,具有重要的评价和指导意义。未来,可以对二级指标进一步细化,形成更加详细的三级指标,利用本研究提出的方法计算三级指标的权重,实现各个科学数据中心提供其运行状况数据资料后,其运行绩效分数的自动生成,增强评价的自动化和智能化水平。

本文为《中国科技资源导刊》2021年第4期《科学数据中心综合运行评价体系赋权研究》缩略版,全文见附件。