基于同行评审视角的学术创新认知、同量偏差及改进方法研究

[目的/意义]创新性是学术质量评价的首要标准。同行评议在学术创新评价中具有不可替代性,然而目前同行评审学术创新的发展受困于同量偏差带来的不利影响。与评审人学术创新认知密切相关的同量偏差,在一定程度上会影响到同行评审人对高创新性和交叉学科性质的学术成果的识别。[方法/过程]文章阐述了同量偏差的概念、在学术创新评价中的表现及其影响因素。通过文献调查,梳理出不同学科评审人有关学术创新评价的两方面共识,即一方面评审人会审查路径、选题、方法、理论以及结论等类型的知识元,判断是否发生创新;另一方面评审人也会考虑知识增量的高低,区分颠覆式、增量式等不同创新水平的成果。[结果/结论]文章提出了基于知识元和知识增量的学术论文创新性评价框架及改进对策,与同行评审认知相适应,以期减轻同量偏差对学术创新评价的不利影响。

科研项目学术创新力评价方法与实证

为进一步激发我国科研领域的原始创新力,提出科研项目评价应加强对其学术创新力的评价。以国际相关研究作为项目成果的评价参照系,将基于结构洞理论和媒介角色理论的创新潜力测度指标与现有的影响力测度指标相结合,实现科研项目学术创新力评价。通过实证研究总结评价方法与步骤,倡导排名与定性描述相结合的评价结果。

ChatGPT用于论文创新性评价的效果及可行性分析

[目的/意义]文章旨在探讨ChatGPT用于论文创新性评价的效果与可行性,如果以ChatGPT为代表的生成式人工智能可以用于论文创新性评价,将能够有效提高创新评价效率。[方法/过程]通过模拟真实的论文创新性评价需求和应用场景,选择生命科学、细胞免疫、市场营销、经济学、人工智能、信息资源管理6个研究领域完成超24轮论文创新性评价实验。采用内容分析法,深入分析ChatGPT在论文创新性评价过程中生成的文中本材料,对其创新评价过程、标准与可行性进行研究。[结果/结论]研究发现,ChatGPT在论文创新性评价任务展现出良好性能,评价方法与标准均表现出较高的综合性与科学性,能够较好地完成多学科领域的论文创新性评价。现阶段,ChatGPT用于论文创新性评价的稳定性、准确性与真实性稍显不足,可在相关任务中将其视为高效的论文创新性评价辅助工具。随着提示工程的发展、互联网访问权限的开启、学术数据库的开放获取,ChatGPT用于论文创新性评价的不足预计会被逐渐弥补。