开放科学背景下高校科技期刊同行评议优化的探讨

同行评议已经是科技期刊出版过程中的一个极其重要的环节。传统同行评议有其自身无法克服的偏倚。在开放科学的背景下,开放同行评议是传统同行评议的改进模式,其审稿流程更加公开透明,主要包括公开作者和审稿人身份、公开审稿内容、作者与审稿人之间或不同审稿人之间可以直接互相交流、开放公众参与、预印本、开放最终版本评论,以及开放平台。其中公开审稿内容、作者与审稿人之间或者不同审稿人之间可以直接互相交流以及开放最终版本评论可能比较适用于高校科技期刊采用,从而优化同行评议。

某神经特色医疗机构2020—2023年申请神经系统领域国家自然科学基金项目同行评议意见分析及对策

目的了解首都医科大学附属北京天坛医院神经系统领域国家自然科学基金项目申请未获资助的原因并提出对策,为同行提供借鉴。方法采用内容分析法,对该医院2020—2023年申请国家自然科学基金神经系统领域未获资助的289项青年、面上项目的867人次同行评议意见进行归类整理分析。结果本文共分析了1219条未获资助原因,发现在未获资助的青年和面上项目中,存在问题提及率及比例排名前5位的依次为“研究方案不合理”(32.65%/85.12%)、“研究基础不足”(18.54%/54.33%)、“创新性不足”(15.67%/51.21%)、“立项依据不足”(8.37%/30.10%)、“科学及临床价值不足”(7.88%/28.72%),其中青年项目“创新性不足”(提及率:17.13%vs.13.84%;比例:53.75%vs.48.06%)、“细节问题”(提及率:6.50%vs.3.87%;比例:23.13%vs.15.50%)的提及率及比例略高于面上项目,“科学问题属性选择错误”的提及率(4.28%vs.4.06%)、“关键科学问题凝练不足”的比例(24.38%vs.23.26%)同样在青年项目中略高,但仅“细节问题”提及率在两类项目中的差异有统计学意义(χ^(2)=4.322,P=0.038)。专家意见一致性分析显示,3位专家意见完全一致且排名前3位的反馈意见与上述结果中的前3位一致。结论该医院未中标项目存在问题主要集中在“研究方案不合理”“研究基础不足”“创新性不足”3个方面。建议该医院通过开展多维度的申报培训、精细化辅导等方式帮助申请人完善方案设计,通过设立孵育基金、加强在研课题过程管理等渠道强化研究基础,通过促进学科交叉融合拓展研究领域和思路、提升源头创新能力等措施提高申请书质量及申请中标率。

基于逆向云算法的同行评议评价模型建设探析

同行评议本质上依然是一种量化的主观定性评议,其基石是参与评议活动的每位评议者,只有做到对评议者的有效评估、监督、规范与约束,才能保证同行评议结果的客观和公正。但同行评议过程始终存在着不确定性,如何处理不确定性是同行评议需解决的难点问题。为此,在论述同行评议中评议者评价的必要性和当前发展概况的基础上,利用同行评议的评价数据分析评议者和评议影响因素,基于数据构建科学的同行评议评价模型。运用云模型理论,针对同行评议特点,选择符合正态分布统计性质、无确定度的逆向云生成算法,将方案分解为评议者评议评价与多任务协同评议评价2个层次,提出同行评议评价模型;并利用中国某省2018—2022年某类人才项目同行评议在技术、前瞻、产出、风险、经济和社会6个方向共18个评议指标的数据,通过该模型分类分层次计算出其云模型数字特征,根据数字特征构建云图和数字画像进行分析。结果表明:基于逆向云算法的同行评议评价模型对于评价评议者各方面的评议能力和整体评议效果、评价同行评议活动开展成效以及监管同行评议中的异常数据具有实操意义,能据此科学构建评议者个性化权限,能发挥评议者最大优势,并最大限度减小人为因素造成的误差,缓解当前同行评议评价面临的困境。

开放科学背景下学术期刊同行评议注册式转型路径与机遇

注册报告是在开放科学背景下诞生的一种新型学术论文出版模式,它转移了传统同行评审的重点。注册报告的选择性同行评审更关注研究问题和方法,可以在很大程度上解决期刊出版中的阳性结果偏好、数据透明度和可重复性问题,给学术期刊带来了新的机遇和挑战,能助力学术期刊深度融入学术研究全过程。我国学术期刊应密切关注这些动态,及时做出有中国特色的出版模式创新。

多举措优化同行评议模式的研究

【目的】分析学术期刊同行评议的现状,并提出优化的对策建议。【方法】通过文献分析的方法,结合期刊的现状,对同行评议面临的挑战进行分析,并对同行评议的模式进行优化。【结果】同行评议设计的两个主要主体——作者和审稿专家,对现有学术期刊的同行评议制度的满意度不尽如人意。同行评议制度应该得到完善和优化。学术期刊可以通过多种措施,比如:扩充评议专家库、进行评议专家培训、细化专家研究领域标签、建立评议激励机制、建立评议评分机制、完善评议反馈机制和作者申诉机制等,优化期刊同行评议的流程。【结论】同行评议是保障期刊学术质量的重要环节和核心制度,但是目前同行评议还存在一定的局限性。学术期刊可以通过多种措施,优化期刊同行评议的流程,提高作者和评议专家的满意度,进而增加作者投稿和专家进行同行评议的积极性,提高同行评议的质量。

再议论文同行评议的可靠性——来自元分析的新证据

论文同行评议的可靠性是科学界长期探讨却又悬而未决的议题。对此,选取目前广泛使用的两种评价者间信度指标,即组内相关系数(ICC)和卡帕系数(κ)来测度论文同行评议的可靠性,并通过元分析方法针对49项发表自1974至2022年间有关论文对同行评议场景下评价者间信度的实证研究进行量化归纳,继而开展亚组分析以考察情境和程序两大类共10种因素对论文同行评议可靠性的影响及其测度指标差异,以期拓展对论文同行评议质量的认识与理解。研究结果显示:论文同行评议的可靠性总体上不甚理想(ICC=0.3611,κ=0.1947);此外,论文同行评议的可靠性受评价对象、学科门类和录用难度(3种情境因素)以及盲法形式(单一程序因素)影响显著,而且当使用不同的测度指标对论文同行评议场景下的评价者间信度加以计量时,同一种因素所表现出来的影响模式可能大相径庭。

从“要素公开”到“开放参与”:开放同行评议策略研究

[目的/意义]对开放同行评议(Open Peer Review,OPR)策略的全面调查是开展OPR可行性评判、策略选择等的重要依据,有助于把握OPR发展现状,为制定OPR路径提供参考。[研究设计/方法]基于OPR内涵和流程分析,对“开放性”理念进行解构,构建“要素公开”“开放参与”二维度分析框架;基于文献调研和拓展检索,构建覆盖5类实践主体的OPR策略数据集;基于文本标注和统计分析,对OPR策略的要素开放等级分布和模式分布进行探讨。[结论/发现]当前OPR策略呈现多样化、多维度的发展态势,但大多数实践主体仍倾向采取保守的策略,OPR策略应用视不同的资源禀赋、商业和公共属性的权衡而不同。建议从加强政策制定和规范引导、制定呼应主体定位的转型路径、探索多主体协同的合作机制等方面优化OPR实施策略。[创新/价值]构建覆盖多元主体的OPR策略数据集,提出“要素公开”“开放参与”二维度理论分析框架,对多元主体的OPR策略选择进行探索分析,为把握OPR整体发展情况、OPR策略选择等提供参考。

打开同行评议的“黑匣子”:专家评审行为特征分析

传统同行评议制度由于数据不透明、缺乏监督等问题饱受诟病,开放同行评议为揭开同行评议的黑盒、加强同行评议过程监督、规范评审行为提供了契机。文章基于Open Review平台2017-2019年ICLR会议的2,534篇论文及7,602份专家评审意见,结合定量和定性的方法从专家自信度、评审模式和论文评议结果等3个维度分析专家的评审行为特征分布。研究发现:在专家自信度上,自信度高的评审专家更了解论文的研究内容,更能给出差异化的评审打分和针对性的评审意见;在评审模式上,相较于单盲评审,双盲评审模式下评审专家打分更加严格,更少提及论文语言表达方面的不足;在评审决议结果维度上,评审专家对论文核心内容的评价是决定论文最终评议的重要依据,在实验设计和原创水平方面得到更多正面评价的论文,更有可能获得更好的评审决议。文章从评审专家的遴选、评审模式的选择和评审指标的设置等3个方面提出建议,以提高同行评议质量、推动同行评议改革。

同行评议对完善农业技术类期刊“三审三校”制度的启示

文章调研了41本园艺学期刊、43农艺学期刊同行评议制度的实施情况,分析同行评议与语种、核心期刊收录情况、主办单位、出版周期、扩展影响因子之间的关系。结果发现,在参与调研的期刊中,农业学术类期刊均将同行评议纳入“三审三校”制度,63%的农业技术类期刊采用了同行评议制度。由此可见,同行评议制度在农业技术类期刊出版中占据重要地位,各农业技术类期刊应根据自身情况设置或完善同行评议制度,可适当放宽审稿人的学历、职称要求;编辑部应采用开放式同行评议制度,将需要送审的稿件上传至审稿系统,等待审稿专家自行“接单”;编辑应帮助审稿专家了解期刊办刊宗旨,把控审稿尺度,并引导其成为期刊作者或稿件推荐者。

谈学术专著选题评价与同行评议

选题资源是出版单位的核心资源,优质选题的“海拔”和“丰度”很大程度上决定了一家出版社的学术品位和能否高质量可持续发展。学术出版单位如何才能源源不断地涌现好选题、问世好图书呢?笔者认为,应该充分发挥选题评价的“指挥棒”作用,全过程引入学术评价中的通行做法——同行评议,补足目前国内学术出版机构选题评价的短板,建立一套“人无我有,人有我优”且独具科技出版强国气象的选题评价体系。

人工智能视域下学术期刊同行评议创新研究

同行评议制度是学术期刊保证论文发表质量和公平性的重要手段。然而在同行评议制度的执行过程中,存在评审专家招募困难、评审时间过长、评审报告质量不稳定等问题。人工智能技术可对同行评议过程中的困难提供针对性的解决方案,包括基于学者画像进行审稿人智能匹配、打造同行评议智能管理系统、人机结合提供评审意见。对人工智能辅助同行评议流程创新的理念和其构建路径进行探讨,可为提高学术期刊的出版质量和效率提供借鉴。

开放科学背景下开放同行评议模式体系及协同运行机理

结合文献调查、网络调查、案例分析,以主导主体作为首要划分标准,归纳开放同行评议模式,并基于协同理论从开放主体、开放形式、开放流程三方面剖析不同模式协同运行机理。现行开放同行评议模式可归纳为传统学术期刊、预印本平台、开放出版平台、开放评议社区四大类,根据各类别实践特点进一步细分为10种子模式。不同模式涉及不同的主体、形式、流程,其协同机理各异,学术共同体应结合各自需求与发展目标选择合适的评议模式并规范协同运行机制。

二级学科医学期刊提高短时效同行评议质量的困境和策略

同行评议是学术期刊把关稿件质量的关键环节,对出版周期时滞长短有显著影响。为适应医学学科专业细分化发展的需要“,小学科、小专业”医学期刊队伍建设逐渐壮大,但却无法保证同行评议质量。本文以二级学科医学期刊为例,依据文献研究与自身经验,分析期刊同行评议面临的问题及其原因,提出在短时效要求下提高审稿质量和保证审稿效率的针对性措施。

探讨科技期刊编辑提升同行评议效果的策略

通过探讨同行评议存在的现实问题、背后原因,提出了一些提升同行评议效果的对策。研究认为,首先充分发挥编辑的主导作用,优化送审策略:严格初审,提高送审稿件的质量水平,减少送审稿件数量,缓解审稿人审稿压力;注重审稿专家的专业性,挑选与稿件主题相匹配的审稿专家,提高送审精准度;与审稿人保持沟通,做好审稿服务工作。其次,编辑要充分挖掘和维护审稿人库资源,动态管理审稿人库,稳定审稿专家队伍。最后,编辑要执行同行评议激励机制等相关制度,以更好地调动审稿专家的积极性。编辑只有在同行评议工作中发挥积极的主导作用,优化策略,落实相关机制和措施,才能有效提升同行评议的效果,从而提高期刊的学术质量,促进期刊发展。

基于可拓理论的同行评议智能评价系统研究

基于可拓理论利用开发程序软件对同行评议智能系统进行开发研究,从学术规范性、创新程度、学术价值、选题意义和结构与表述五大同行评议指标建立评价体系,对指标体系的主客观权重进行综合分析,构建智能评价系统的物元经典域和节域,并通过实例验证了评价系统的可行性,为同行评议智能评判提供了一种有效方法。

《微创医学》杂志招募同行评议专家启事

《微创医学》为国内外公开出版发行的专业性医学学术期刊。重点刊发微创理论研究、微创基础医学、微创手术、内镜技术、腔镜技术、介入技术、显微外科(骨科、口腔科、眼科等)技术、微创美容、针灸、物能技术(介入超声、介入X线/CT、X刀、γ刀、射频消融术等)、激光医疗技术、微创设备与器械等相关论文。本刊先后获得第六届广西优秀自然科学期刊、广西优秀科技期刊等荣誉。为了进一步提高刊物的学术质量和影响力,发挥专家学者在学术期刊中的指导作用,并争取尽快进入核心期刊行列,本刊在全国范围内吸纳壮大同行评议专家队伍。

学术期刊同行评议现状及开放同行评议应用价值探讨

在学术期刊出版中,同行评议发挥着关键性作用,评判论文的创新性、科学性、完整性,虽然自同行评议诞生之日就饱受争议,但该制度是保障学术质量而采用必要方式,且难以被取代。同行评议的形式包括单向匿名评审、双向匿名评审和开放式评审。匿名评审因其不透明性而可能给出不公正或不客观的评审意见,导致作者不信任或错失观点、理论超前的优质论文;开放式评审的高透明性避免了这一问题,使审稿过程由“结论式判决”转变为“引发讨论”,审稿结论更加客观、科学。但任何一种审稿模式均有其优势与缺陷,须适当选用并逐步完善。同行评议专家须与编辑一起作为学术出版的守门人与责任人,为确保期刊的学术质量共同努力。

同行评议质量新探:同行评议意见挖掘研究综述

在开放式同行评议模式蔚然成风与自然语言处理技术日新月异的双重驱动下,同行评议质量的研究范式正在酝酿改变——同行评议意见挖掘已悄然兴起。纵观此变迁轨迹,在文献回顾的基础之上,本文系统地梳理了同行评议意见挖掘的代表性研究成果,旨在阐明这一新兴研究方向的概貌特征以及随之而来的机遇和挑战,为后续的探索实践提供借鉴与参考。结果显示,目前有关同行评议意见挖掘的研究工作主要围绕同行评议意见的预测能力、情感表达以及论辩逻辑三个方面展开,着重探讨各种文本挖掘方法在被用于解析同行评议意见时的可行性与有效性,且所使用的数据样本限于计算机科学领域的国际会议论文(英文)。

同行评议有效吗——基于有效市场假说的探究

[目的/意义]同行评议在科学发展中扮演着关键角色,探讨同行评议的有效性对同行评议制度的发展和运行有着重要意义。[研究设计/方法]旨在对两种不同的研究取向进行回顾与阐述:即同行评议何以有效与为何无效。并从尚未得到充分关注的同行评议与文献计量间的内在联系这一视角切入,借鉴有效市场假说,从更加系统性的维度重新架构同行评议有效性的评判路径。[结论/发现]同行评议的有效性是同行评议功能得以发挥的基准,而引文量作为最核心的文献计量指标与同行评议结果之间存在紧密且复杂的内在联系,并在此基础上提出了以三种同行评议有效性形式(弱有效、半强有效、强有效)为主的有效同行评议假说。[创新/价值]从更为多元和异质性的视角,提出了新的关于同行评议有效性的解释路径,在一定程度上呈现了同行评议机制的内在复杂性,搭建了同行评议与文献计量指标之间的内在联系。

基于pu-learning的同行评议文本情感分析

最近几年逐渐出现了对同行评议文本情感分析的研究,包括通过同行评议文本预测审稿人的推荐状态的任务。现有模型融入了论文本身或摘要信息,采用神经网络学习论文或摘要的高层表示,结合同行评议文本预测审稿人的推荐状态,这使得模型变得非常复杂的同时结果却没有实质性的提高。为此,提出了OSA机制来提高情感分析模型中对观点句的关注度。具体来说,采用pu-learning从同行评议文本的前N个句子中学习观点句的特征,使每一个句子都得到一个观点句权重,将其应用于情感分析模型的倒数第二层,由此得到最终的预测结果。在ICLR2017—2018数据集上使用不同的情感分析模型对OSA进行了评估,实验结果验证了OSA的高效性,并在两个数据集上取得了优异的性能。