同行评议有效吗——基于有效市场假说的探究

[目的/意义]同行评议在科学发展中扮演着关键角色,探讨同行评议的有效性对同行评议制度的发展和运行有着重要意义。[研究设计/方法]旨在对两种不同的研究取向进行回顾与阐述:即同行评议何以有效与为何无效。并从尚未得到充分关注的同行评议与文献计量间的内在联系这一视角切入,借鉴有效市场假说,从更加系统性的维度重新架构同行评议有效性的评判路径。[结论/发现]同行评议的有效性是同行评议功能得以发挥的基准,而引文量作为最核心的文献计量指标与同行评议结果之间存在紧密且复杂的内在联系,并在此基础上提出了以三种同行评议有效性形式(弱有效、半强有效、强有效)为主的有效同行评议假说。[创新/价值]从更为多元和异质性的视角,提出了新的关于同行评议有效性的解释路径,在一定程度上呈现了同行评议机制的内在复杂性,搭建了同行评议与文献计量指标之间的内在联系。

同行评议速度与论文影响力的关系研究——以二次文献选文速度为视角

长期以来,同行评议作为学术论文发表体系及规范中的重要环节,备受学术界的关注。然而,同行评议速度所象征的科学学意涵尚未得到全面的研究和阐释。基于此,本研究试图以二次文献选文速度为视角,探讨同行评议速度的科学学意义,以复印报刊资料转载时间差衡量选文速度,并在此基础上探究选文速度与论文影响力之间的关联。研究发现,二次文献选文速度与论文影响力之间存在显著的负相关关系,这一结论在北大核心期刊、一流高校和教授作者等论文样本中都呈现显著结果。

开放获取背景和疫情形势下预印本发表模式的扩散研究——以bioRxiv为例

[目的/意义]在开放获取运动和疫情背景下,预印本发表模式在科学界得到广泛关注和应用,探究预印本发表在国家和机构间的扩散趋势对于预印本平台建设以及改善学术交流体系具有重要意义。[研究设计/方法]以生物学领域主流预印本平台bioRxiv全部论文(2013-2021年)为分析对象,使用文献计量方法,从时间、国家和机构维度分析bioRxiv发表在国家和机构层面的演化规律,以及疫情对bioRxiv发表扩散的影响。[结论/发现]bioRxiv发表存在从发达国家向发展中国家,以及从顶尖机构向普通机构扩散的趋势,新冠疫情对预印本发表在发展中国家的扩散趋势有负面影响。[创新/价值]从时间、空间等多角度揭示预印本发表的扩散规律,并分析了疫情对预印本扩散的影响,为预印本平台建设提供一定启示。

新冠疫情爆发前后我国国际科研合作模式的变化——基于bioRxiv的分析

[目的/意义]揭示新冠疫情爆发前后我国国际科研合作模式的特征和差异,为后疫情时代我国提高国际合作参与度和合作影响力提供借鉴。[研究设计/方法]以12余万篇bioRxiv平台论文为样本,构建了一个有向、加权、以通讯作者为中心的全球科研合作主导网络,并从国际合作增长情况、合作生存概率、合作规模、合作强度和合作地位五个维度来测量我国的国际科研合作模式。[结论/发现]在新冠疫情全球爆发后,我国的国际合作关系比重、规模、强度总体呈现出先增长后下降的趋势,而我国的国际合作地位一直保持上升势头。我国在新冠病毒领域的合作地位要远高于其他领域。[创新/价值]从复杂网络视角探测疫情前后全球科研合作网络的变化特性,测度我国在国际科研合作中的影响力变化,为我国提高国际合作影响力提供有益参考。

开放同行评议视角下学术论文同行评议得分与被引频次的关系

【目的】在开放同行评议的大背景下,探讨会议论文同行评议得分与其被引频次的关系,从而分析同行评议结果与传统文献计量指标在科研评价中的关系,为完善科研评价体系提供一定的参考。【方法】基于OpenReview平台提供的ICLR会议论文的公开评审数据,将全部论文划分为口头报告、海报展示和拒收论文三类,运用文献计量和统计分析方法探究论文的同行评议得分与被引频次之间的关系。【结果】三类论文在评审得分和被引频次方面均存在显著差异,同行评议得分与被引频次存在较显著的正相关性。【结论】同行评议与传统文献计量指标在科研评价方面的一致性较高,但并非相互替代的关系,文献计量指标应是对同行评议的重要补充。科研评价体系应该是建立在定性同行评议的质量评价基础上,融合定量文献计量指标,形成一种主客观相结合的融合评价模式。

非共识研究的影响力更高还是更低呢?——基于中文开放同行评议审稿意见的分析

[目的/意义]同行评议中的非共识备受学术界关注。在开放同行评议的背景下,探索同行评议中的非共识度与论文影响力间的关系。[方法/过程]以国内开放同行评议期刊《心理学报》的开放审稿意见为研究对象,构建了2014—2020年发表的888篇论文的22604条有效评审意见的数据集,设计审稿意见非共识度指标,采用回归分析检验审稿意见非共识度和论文影响力间的关系。[结果/结论]审稿意见非共识度与论文影响力存在统计上的相关关系,在加入控制变量后,进一步验证审稿意见非共识度与论文影响力之间存在显著的负向关系,为理解同行评议提供了新的视角。

科学计量视角下的论文同行评议研究综述

[目的/意义]旨在通过梳理科学计量视角下同行评议相关研究,为深入开展同行评议研究提供参考。[方法/过程]在概括同行评议量化特征的基础上,从同行评议公平性、可靠性、预见性3个方面对国内外研究现状进行综述。[结果/结论]总结科学计量视角下的论文同行评议研究在研究方法多样性和数据应用全面性方面的趋势,并指出当下研究在结论的可解释性上仍然有待提升、国内同行评议实证研究相对不足等问题。