科技评估方法及其适用性研究

产出机构： 国家科技评估中心国际部

提交机构： 中国科学技术信息研究所

产出日期： 2020-05-27

发布日期： 2020-12-01

作者： 周小林;杨云;曲敖廷;张欣亮;

摘要：

面对日益增长的科技评估需求，设计科学的评估框架和选择合适的评估方法是成功开展科技评估活动的关键。针对科技评估工作者难以从众多科技评估方法中选择合适的方法并准确使用的难题，在对常用科技评估方法进行概述的基础上，总结不同方法的优缺点和适用范围，并就方法选择的注意事项进行分析和讨论。

关键字： 科技评估;评估方法;适用性;评估理论框架;评估方法运用

近年来，随着科技和经济社会的快速发展，科技评估作为政府部门和科研机构开展管理的重要手段，逐渐成为创造良好科技创新生态环境，构建科技创新正确价值导向，促进科技创新良性发展的有效抓手，同时也成为支撑国家科技计划改革的“三根支柱”之一。在此背景下，各类科技活动对评估的需求与日俱增，各种评估方法也迅猛发展，设计科学的评估框架和选择合适的评估方法成为提高评估质量的关键因素。文章旨在对科技评估方法进行整体述评及适用性研究，在对通用科技评估方法进行综述的基础上，总结不同方法的优缺点和适用范围，以期为科技评估同行提供参考和借鉴。

1 科技评估方法的理论框架及技术方法

在科技评估实践中，评估框架的设计是做好一项评估的基础。即在评估开始时就考虑被评活动的最终的成效以及中间的逻辑关系，将从目标到结果的过程设计成为一个框架，并应用这个框架或体系清晰地指导评估的整个过程。科技评估理论框架既是方法论，本身也可称之为方法，是设计评估框架的有效指导理论和手段。目前，主要的科技评估理论框架有逻辑模型和变革理论。这两种理论均由计划理论发展而来。

科技评估方法从技术层面可以分为三大类，分别是定性评估方法、定量评估方法和综合评估方法。

定性评估方法是指依靠评估者、专家、科技活动执行者的经验进行判断和评价的方法。典型的定性方法包括案卷研究、利益相关方座谈/访谈、调查（问卷调查）、实地调研、同行评议、案例研究、德尔菲法等。其特征主要体现在专家意见征询及利益相关方观点的调查。目前定性评估方法广泛应用在各类科技评估活动中，已经成为科技评估方法最为重要的基础支柱。

定量评估方法是通过把评估指标量化，并采用数学、统计学、经济学、运筹学等理论，对评估对象做出定量价值判断的方法。目前国际上已经开发出种类繁多的可应用于科技评估的定量方法，这些方法机理复杂、各有千秋。近年来，针对各类定量评估方法的改进和研究已经成为学界的研究热点。

综合评估方法是指评估人员采用各种定性和定量的分析，对评估对象做出全局性、整体性评价的方法。典型的综合评估方法有指数法、标杆分析法，以及元评价方法等。

2 科技评估技术方法的选择和使用

在科技评估活动中，单一的定性或定量方法一般很难满足对科技战略与规划、科技政策、科技计划等对象的评估需求，因此，需要在科技评估过程中综合性运用多种评估方法。由于各种评估方法都有其自身的特点和局限性，适用于不同的科技评估对象和场景。在科技评估过程中，评估人员应根据评估目的、评估对象和评估活动的性质、方法的可实现性、方法的可操作性、方法的经济性，以及数据的可获取性来选择合适的评估方法。表1对部分主要评估技术方法优缺点、局限性以及适用对象与场景进行了比较和总结。

表1 主要科技评估方法总结

序号	方法名称	优点	局限性	主要适用对象与场景
1	案卷研究	成本低；可从现有资料获得大量信息；非介入性，不会对评估对象带来任何影响	很难呈现具有前因后果的完整资料；信息的客观真实性难以核实	广泛应用于各类科技评估研究中，是最基础和用途最广泛的资料收集方法之一
2	利益相关方座谈/访谈	利于收集到丰富、完整的信息；利于全面听取不同利益相关方的观点和建议；会议座谈可以相互启发，产生“思维共振”作用	受到人员规模的限制；专家权威性会影响讨论倾向；专家观点可能带有主观倾向性；可能会收集到很多无用信息	适用于科技战略/规划、政策、计划、机构与基地评估等宏观和中观层面的评估活动中
3	调查（问卷调查）	可以获得大量结构化数据，覆盖面广；材料收集式调查可以获得十分丰富的事实、数据、观点；观点统计式调查，调查对象范围广，可获得一手数据和信息	材料收集式调查仅适用于政府部门开展的评估活动；观点统计式调查的问卷回收率较低以及问卷回收时间较长	适用于科技战略/规划、政策、计划、机构与基地评估等宏观和中观层面的评估活动中
4	实地调研	快速直观掌握一手信息和更加详细的证据	覆盖面有限；成本高；过多依赖于调研评估人员的主观意见；实际不确定性因素较多	几乎适用于所有的科技评估对象，尤其是二手资料无法获取或无法充分反映实际情况的科技评估活动中
5	同行评议	保证了评估结果的权威性和可靠性；可操作性强、灵活度高	高水平专家选择的困难；公平公正性无法得到保证；缺乏有效的对评审专家的监督和评价机制	适用于科技计划/项目评估、人才评估、科技成果评估、学位与职称评估、科技奖励评估、机构/基地评估等活动中
6	案例研究	能够调查到事项活动细节以及全过程的来龙去脉；可以处理难以预测和非常规的事项活动；操作灵活	难以得到具有普适性的结论；结果必然包含有主观因素；成本较高	适用于科技战略/规划、政策、计划、机构与基地评估等宏观和中观层面的评估活动中
7	德尔菲法	匿名和信息保密性强；个体回答，独立性强；通过反馈实现统计收敛	专家单独提供个人意见，有时会出现不切合实际的情况；征询周期长	适用于长远技术规划或大趋势技术预测，同时还适用于对各类科技评估活动中指标体系及指标权重的设计
8	技术就绪度	研发流程标准化，有利于管理者加强进度管理、防范新技术“不可靠”的风险；便于不同技术之间的交流和比较	需要获取详细的技术、工程化、产业化等资料和信息；无法对成果水平进行评价	适用于面向成果转化的国家科技计划/项目评估以及成果评估
9	文献计量	普适性；易于理解；结果具有较高的可信度；结果具有广泛的可比性；数据获取方便	成本高；需要专业数据库支持；容易忽略其他产出和成效；多领域间不可比；成果统计上有滞后效应	适用于科技战略/规划、政策、计划等宏观和中观层面的科技评估
10	成本-效益分析法	将成本和效益货币化，易于比较；便于找出各项成本构成及影响利润的关键要素	某些因素无法或很难通过货币化的方式加以衡量	适用于开发类研究活动或科技产业化的绩效评估或影响评价中
11	数据包络分析法	DEA不需要预先估计参数，因而具有绝对客观性；运算量小	需要获取详细的投入产出数据；将所有的产出都一视同仁；容易导致存在缺陷的DMU被其他好的指标所覆盖	适用于科技计划、项目、机构、成果的产出效率评估
12	层次分析法	将主观判断与数学模型结合起来，具有精确性、简洁性和可靠性的特点	元素较多时耗时耗力；过于依赖人的主观判断；计算复杂	适用于科技战略与规划评估、政策评估、计划评估等大型、复杂的科技评估活动中
13	标杆分析法	便于直观看出评估对象与行业内领先者的差距，确认在行业中的位置	制定的改进方案跟随性较强；易失去对被评估者本身特征的关注	适用于科技项目、成果、机构评估
14	元评价法	检验评估的优势和缺陷，实现评估向更优方式迭代	/	适用于各种类型的科技评估对象

根据对各类评估方法主要适用对象与场景的分析，表2列出了不同评估方法适用的主要科技评估对象。从表2可以看出，在定性评估方法里，案卷研究和实地调研作为最基础的证据收集方法中的两种，适用于几乎所有类型的科技评估活动；利益相关方座谈/访谈、调查（问卷调查）、案例研究适用于宏观和中观以及群体性科技评估活动；同行评议和技术就绪度评价适用于微观和中观层面的科技评估活动；德尔菲法作为确定指标体系和指标权重的有效手段，可应用于所有涉及指标体系的科技评估活动。在定量评估方法中，文献计量方法对样本量有一定要求，适用于宏观和中观层面的群体性评估；成本-效益分析法有宏观和微观之分，可应用于各层次的科技评估；数据包络分析法适用于需要评价产出效率的中观和微观评估类型中；层次分析法原则上可应用于所有涉及指标体系的科技评估活动，然而由于其实现的复杂性，笔者建议将其应用于宏观和中观层面的复杂评估中。在综合评估方法中，标杆分析法适用于微观层面的评估；元评价属于对评估的评估，可适用于所有的评估类型。

表2 评估方法与科技评估对象的对应表

序号	方法名称	战略与规划	政策	计划	项目	人才	机构与基地	成果
1	案卷研究	√	√	√	√	√	√	√
2	利益相关方座谈/访谈	√	√	√			√
3	调查（问卷调查）	√	√	√			√
4	实地调研	√	√	√	√		√	√
5	同行评议			√	√	√	√	√
6	案例研究	√	√	√			√
7	德尔菲法		√	√	√	√	√	√
8	技术就绪度评价			√	√			√
9	文献计量	√	√	√			√
10	成本-效益分析法		√	√	√		√	√
11	数据包络分析法			√	√		√	√
12	层次分析法	√	√	√			√
13	标杆分析法				√		√	√
14	元评价法	√	√	√	√	√	√	√

此外，在评估方法的综合运用过程中，应避免以下两种倾向。一是仅采用传统的、容易实现的定性评估方法，从而放弃了对各类定量评估方法的探索和应用。二是过度使用定量评估方法，认为方法越复杂越好，只有运用数学模型的定量方法才是先进的方法。美国乔治亚理工学院的Diana M.Hicks教授等对这种倾向进行了批判，并在其发表的《关于科研指标的莱顿宣言》中明确指出量化的评估应当支持而非取代质化的专家评审，评估人员也不应过度强调定量评估方法的重要性，并避免在不了解方法原理及适用场景的情况下运用定量评估方法。在科技评估过程中，将定性与定量方法相结合是提高评估质量的有效途径。

本文为《中国科技资源导刊》2020年第3期缩略版，全文见附件

附件下载：

科技评估方法及其适用性研究.pdf