基于随机对照试验的管理科学部三处分类评审试点效果分析

本文采用随机对照试验方法,对管理科学部三处经济科学学科(G03)2021年面上和青年基金1110份项目的分类评审试点效果进行评估.基于随机对照试验的评估结果发现,分类评审能够有效提高同行评议专家对原创、前沿和交叉类项目的共识度,具体表现为原创、前沿和交叉类项目的上会率和资助率显著提高.同时,分类评审实验组和对照组样本的综合得分的分布与均值并没有显著差异,表明分类评审不会系统性地影响通讯评审结果.

管理科学部经济科学学科人工智能指派与分类评审效果分析

本文对国家自然科学基金委员会管理科学部经济科学学科(G03)2022年面上项目和青年科学基金项目人工智能指派和分类评审的效果进行分析。基于在经济科学学科国际经济与贸易领域的随机对照试验发现,人工智能指派能够高效匹配“小同行”开展通讯评审,有效提升评审项目共识度和上会率。经统计检验,人工智能指派实验组和对照组样本的项目评审得分分布与均值没有显著差异,意味着人工智能指派不会系统性地影响同行通讯评审结果。2022年经济科学学科全面开展基于科学问题属性的分类评审,统计数据表明分类评审能够有效使同行评议专家按科学问题属性形成共识,明显缩小原创、前沿、交叉类项目同需求类项目之间上会率的差异。