International Journal of Ophthalmology(IJO) English edition invites peer-reviewers

International Journal of Ophthalmology(IJO)--English edition(ISSN 1672-5123),established in 2008,was accepted for coverage in SCIE in September,2010,it is the only ophthalmological periodical in China

Expert Anti-Evaluation Model Based on Matter-Element Analysis in Fund Project Peer-Review System

The article analyses several key issues which restrict the effectiveness of fund project peer review work. It analyses the evaluating theory and matter-element theory to access the expert anti-evaluation model, and also studies the expert anti-evaluation index system to support the anti-evaluation method. The practical basis is the true score data of the experts which is collected from the actual anti-evaluation in Liaoning province science and technology fund project peer review system. With the practical experience of the actual project, we prove that the expert index system anti-evaluation model and expert anti-evaluation method can improve the fund project peer review work and play a positive role for the peer review work and also make the review work more scientific and more rational.

国际开放同行评审平台的发展趋势及其对中国的建议

[目的/意义]梳理分析国际开放同行评审平台的基本模式与发展趋势,探讨国际开放同行评审平台对中国学术交流和科研治理的启示。[方法/过程]文章首先概述了国际开放同行评审平台的3种基本运营模式,之后通过对这些平台和社区发展动态的深入分析,归纳总结了其发展趋势。在此基础上,结合国际经验与中国科研环境的具体特点,提出了针对中国开放开放同行评审(平台)建设的建议。[结果/结论]国际开放同行评审平台和社区正逐步成为推动科研创新、提升科研质量的重要力量。针对中国现状,文章提出加快建设国际开放同行评审平台和社区的6条建议,包括加强政策引导与制度支持,更新科技出版理念,鼓励案例示范,建设国家开放同行评审基础设施等,以抢占国际学术交流的新阵地。

开放科学背景下高校科技期刊同行评议优化的探讨

同行评议已经是科技期刊出版过程中的一个极其重要的环节。传统同行评议有其自身无法克服的偏倚。在开放科学的背景下,开放同行评议是传统同行评议的改进模式,其审稿流程更加公开透明,主要包括公开作者和审稿人身份、公开审稿内容、作者与审稿人之间或不同审稿人之间可以直接互相交流、开放公众参与、预印本、开放最终版本评论,以及开放平台。其中公开审稿内容、作者与审稿人之间或者不同审稿人之间可以直接互相交流以及开放最终版本评论可能比较适用于高校科技期刊采用,从而优化同行评议。

学科交叉研究评价:概念、原则与方法

学科交叉研究评价与学科交叉相伴而生,是保证学科交叉融合质量的关键。厘清学科交叉研究评价的核心概念,剖析同行评议、文献计量等传统科研评价方法的内涵与优缺点,进而从方法论视角指出学科交叉研究评价需要遵循整合性、多元性、动态性等原则,在实施学科交叉研究评价时,要对同行评议、文献计量等传统科研评价方法予以修正,同时有必要引入定量与定性相融合的新评价方法,即融合评价。研究有助于深化对学科交叉研究评价的理论认知,为评价实践的运行提供思路启示,促进学科深度交叉融合,助力交叉学科孵化建设。

基于逆向云算法的同行评议评价模型建设探析

同行评议本质上依然是一种量化的主观定性评议,其基石是参与评议活动的每位评议者,只有做到对评议者的有效评估、监督、规范与约束,才能保证同行评议结果的客观和公正。但同行评议过程始终存在着不确定性,如何处理不确定性是同行评议需解决的难点问题。为此,在论述同行评议中评议者评价的必要性和当前发展概况的基础上,利用同行评议的评价数据分析评议者和评议影响因素,基于数据构建科学的同行评议评价模型。运用云模型理论,针对同行评议特点,选择符合正态分布统计性质、无确定度的逆向云生成算法,将方案分解为评议者评议评价与多任务协同评议评价2个层次,提出同行评议评价模型;并利用中国某省2018—2022年某类人才项目同行评议在技术、前瞻、产出、风险、经济和社会6个方向共18个评议指标的数据,通过该模型分类分层次计算出其云模型数字特征,根据数字特征构建云图和数字画像进行分析。结果表明:基于逆向云算法的同行评议评价模型对于评价评议者各方面的评议能力和整体评议效果、评价同行评议活动开展成效以及监管同行评议中的异常数据具有实操意义,能据此科学构建评议者个性化权限,能发挥评议者最大优势,并最大限度减小人为因素造成的误差,缓解当前同行评议评价面临的困境。

某神经特色医疗机构2020—2023年申请神经系统领域国家自然科学基金项目同行评议意见分析及对策

目的了解首都医科大学附属北京天坛医院神经系统领域国家自然科学基金项目申请未获资助的原因并提出对策,为同行提供借鉴。方法采用内容分析法,对该医院2020—2023年申请国家自然科学基金神经系统领域未获资助的289项青年、面上项目的867人次同行评议意见进行归类整理分析。结果本文共分析了1219条未获资助原因,发现在未获资助的青年和面上项目中,存在问题提及率及比例排名前5位的依次为“研究方案不合理”(32.65%/85.12%)、“研究基础不足”(18.54%/54.33%)、“创新性不足”(15.67%/51.21%)、“立项依据不足”(8.37%/30.10%)、“科学及临床价值不足”(7.88%/28.72%),其中青年项目“创新性不足”(提及率:17.13%vs.13.84%;比例:53.75%vs.48.06%)、“细节问题”(提及率:6.50%vs.3.87%;比例:23.13%vs.15.50%)的提及率及比例略高于面上项目,“科学问题属性选择错误”的提及率(4.28%vs.4.06%)、“关键科学问题凝练不足”的比例(24.38%vs.23.26%)同样在青年项目中略高,但仅“细节问题”提及率在两类项目中的差异有统计学意义(χ^(2)=4.322,P=0.038)。专家意见一致性分析显示,3位专家意见完全一致且排名前3位的反馈意见与上述结果中的前3位一致。结论该医院未中标项目存在问题主要集中在“研究方案不合理”“研究基础不足”“创新性不足”3个方面。建议该医院通过开展多维度的申报培训、精细化辅导等方式帮助申请人完善方案设计,通过设立孵育基金、加强在研课题过程管理等渠道强化研究基础,通过促进学科交叉融合拓展研究领域和思路、提升源头创新能力等措施提高申请书质量及申请中标率。

基于同行评审视角的学术创新认知、同量偏差及改进方法研究

[目的/意义]创新性是学术质量评价的首要标准。同行评议在学术创新评价中具有不可替代性,然而目前同行评审学术创新的发展受困于同量偏差带来的不利影响。与评审人学术创新认知密切相关的同量偏差,在一定程度上会影响到同行评审人对高创新性和交叉学科性质的学术成果的识别。[方法/过程]文章阐述了同量偏差的概念、在学术创新评价中的表现及其影响因素。通过文献调查,梳理出不同学科评审人有关学术创新评价的两方面共识,即一方面评审人会审查路径、选题、方法、理论以及结论等类型的知识元,判断是否发生创新;另一方面评审人也会考虑知识增量的高低,区分颠覆式、增量式等不同创新水平的成果。[结果/结论]文章提出了基于知识元和知识增量的学术论文创新性评价框架及改进对策,与同行评审认知相适应,以期减轻同量偏差对学术创新评价的不利影响。

国家自然科学基金面上项目的遴选标准及其规范化探讨

同行评议的决策机制中,获取同行专家提供的评议意见很重要,管理者如何基于评议意见做出科学决策也同样不可忽视。国家自然科学基金项目管理者面对大量的项目,且每个项目包含有多个同行专家的评议意见,如何汇总项目的评议意见并从众多项目中优中选优开展项目遴选,倘若没有科学且可把握的遴选标准,遴选过程的不规范、不科学必然事实上将对获取的同行专家评议意见打折扣。因此,建立科学、规范的项目遴选标准,减少遴选过程中可能存在的随意性,避免其中人为因素干扰,是确保同行评议制度公正性的重要环节。

开放式学术批评引入科研评价研究

融媒体时代为构建开放式学术批评提供了可能。将开放式学术批评引入科研评价,既受科研评价异化与学术批评缺失的内部逻辑驱动,也受回应同行评议信任危机的外部逻辑驱动,同时面临从批评乱象中选取基于文本的客观有效批评、对学术批评的价值倾向作出分类、对学术批评质量作出衡量、对学术批评实现数据化的叠加挑战。为此,应构建刊网融合的开放式学术批评平台,多元并举治理开放式学术批评乱象。开放式学术批评引入科研评价,其性质是对同行评议的补充,应采用定性评价与定量评价相结合的评价方式,定性评价由同行评议专家作出,定量评价由第三方专业评价机构作出,科研评价结果以同行评议为主、以开放式学术批评为辅。

从“要素公开”到“开放参与”:开放同行评议策略研究

[目的/意义]对开放同行评议(Open Peer Review,OPR)策略的全面调查是开展OPR可行性评判、策略选择等的重要依据,有助于把握OPR发展现状,为制定OPR路径提供参考。[研究设计/方法]基于OPR内涵和流程分析,对“开放性”理念进行解构,构建“要素公开”“开放参与”二维度分析框架;基于文献调研和拓展检索,构建覆盖5类实践主体的OPR策略数据集;基于文本标注和统计分析,对OPR策略的要素开放等级分布和模式分布进行探讨。[结论/发现]当前OPR策略呈现多样化、多维度的发展态势,但大多数实践主体仍倾向采取保守的策略,OPR策略应用视不同的资源禀赋、商业和公共属性的权衡而不同。建议从加强政策制定和规范引导、制定呼应主体定位的转型路径、探索多主体协同的合作机制等方面优化OPR实施策略。[创新/价值]构建覆盖多元主体的OPR策略数据集,提出“要素公开”“开放参与”二维度理论分析框架,对多元主体的OPR策略选择进行探索分析,为把握OPR整体发展情况、OPR策略选择等提供参考。

开放同行评审中自动评审分类方法研究

[目的/意义]科技论文是学术界传递和交流知识的重要方式。科技论文评审是对科技论文承载的知识的价值衡量,高效准确的科技论文评审分类预测可以快速判断论文价值,加速有价值的知识传播进程。[方法/过程]本文讨论开放同行评审中自动评审分类方法,利用科技论文语义信息和开放同行评审中的专家评分,分别构建基于传统机器学习和基于深度学习的科技论文文本表示及分类模型,提供自动评审分类结果。[结果/结论]实验结果表明,融合语义信息和评分信息的评审分类模型比单纯依靠评分均值进行评审判断更为有效,以评分+均值为评分信息输入、基于SCIBERT的质量评审分类模型准确率最高,达到90.17%。本文提出的自动评审分类方法具有可用性,准确率较高,可以辅助期刊编辑快速筛选有潜力的科技论文,促进科技论文智能评审的发展。

学术期刊高质量发展的新趋势

面对百年未有之大变局,学术期刊顺应历史潮流,积极应变、主动求变,策划专题、发表文章、创新传播,做出了新探索,取得了新成果,出现了新趋势。数字化转型成为新引擎,为学术期刊高质量发展打下了坚实基础。优先数字出版成为新潮流,使学术论文出版的时滞性大大缩短,从而提高了论文的关注度和引用率。微信公众号成为新标配,创建了一种跨越时间和空间障碍、无处不在的学术论文传播环境。短视频成为新场景,短小醇厚、画面精美的视觉体验把学术论文变成吸引用户粘性的试听产品。集群化成为新模式,形成孵化式、纽带式、加盟式和协同式发展路径。同行评议成为新常态,不仅是对学术权力过于集中的纠正,而且是对评价权力过于任性的怯魅。高质量发展成为学术期刊追求的新目标,主要体现在“量的发展”和“质的创新”。

科研项目评审活动中专家诚信建设刍议

科研诚信是科技创新的基石,是科研管理的重要议题,是维护科研活动秩序、提高科研成果质量、增强公众对科研信任的关键所在。科研诚信在科研项目评审(项目同行评议)中有着集中体现,如何确保专家公平公正地开展负责任评审已成为科研诚信建设的重要方面之一。本文围绕这一问题,对欧美科研项目评审有关实践和我国相关制度建设进行了调研,结合本职工作,围绕评审专家等开展问卷调查及分析,从项目管理角度初步提出了保障评审专家的独立性、采用匿名等信息保密制度、确保适当的透明度和公开性、明确易操作的评审准则、探索正向激励的举措机制、完善投诉申诉和信用评价制度等优化建议,以期在评审专家诚信建设的政策制定和管理实践方面提供参考。

打开同行评议的“黑匣子”:专家评审行为特征分析

传统同行评议制度由于数据不透明、缺乏监督等问题饱受诟病,开放同行评议为揭开同行评议的黑盒、加强同行评议过程监督、规范评审行为提供了契机。文章基于Open Review平台2017-2019年ICLR会议的2,534篇论文及7,602份专家评审意见,结合定量和定性的方法从专家自信度、评审模式和论文评议结果等3个维度分析专家的评审行为特征分布。研究发现:在专家自信度上,自信度高的评审专家更了解论文的研究内容,更能给出差异化的评审打分和针对性的评审意见;在评审模式上,相较于单盲评审,双盲评审模式下评审专家打分更加严格,更少提及论文语言表达方面的不足;在评审决议结果维度上,评审专家对论文核心内容的评价是决定论文最终评议的重要依据,在实验设计和原创水平方面得到更多正面评价的论文,更有可能获得更好的评审决议。文章从评审专家的遴选、评审模式的选择和评审指标的设置等3个方面提出建议,以提高同行评议质量、推动同行评议改革。

开放科学背景下开放同行评议模式体系及协同运行机理

结合文献调查、网络调查、案例分析,以主导主体作为首要划分标准,归纳开放同行评议模式,并基于协同理论从开放主体、开放形式、开放流程三方面剖析不同模式协同运行机理。现行开放同行评议模式可归纳为传统学术期刊、预印本平台、开放出版平台、开放评议社区四大类,根据各类别实践特点进一步细分为10种子模式。不同模式涉及不同的主体、形式、流程,其协同机理各异,学术共同体应结合各自需求与发展目标选择合适的评议模式并规范协同运行机制。

同行评审问题清除量化模型研究

同行评审是一种有效发现软件缺陷的手段,为通过开展同行评审达到提升软件产品质量的目的,本文结合CMMI高成熟度模型中的过程性能模型,以软件需求评审为例,研究了同行评审问题清除模型的建立方法。该模型可以支撑研发团队有效地策划、预测和控制同行评审过程。

基于多任务学习的同行评审细粒度情感分析模型

学术论文同行评审能够直接反映审稿人对论文的主观评价,对审稿文本进行情感分析有利于挖掘审稿人对论文多维度的评价信息。现有的情感分析模型仅能挖掘专家单一的评审维度和相应的情感倾向,本文提出了一种基于多任务学习的同行评审细粒度情感分析模型。该模型在多任务学习框架下,通过在BERT-LCF模型的基础上增加BiLSTM-CRF模块,使其具备了同时完成属性词抽取和细粒度情感分析任务的能力。与传统的基于Pipeline模式的单任务细粒度情感分析模型相比,本模型在保证精度的情况下可以同时完成评审属性提取和情感分析任务。在这两项任务中,所提出模型的F1分数分别达到了89.01%和90.71%。对比实验证明,在多任务场景下,引入BiLSTM-CRF模块对评审文本属性词提取任务有一定的提升作用。

高校在线课程中的同伴互动——基于国内外研究的系统性文献综述

同伴互动是决定学生在线学习有效性的重要变量,但当前高校在线课程普遍存在交互水平低、教学效果差的现象,如何提升同伴互动水平以提高教学有效性是亟待解决的重要问题。文章通过对高校在线课程中同伴互动的国内外研究进行系统性文献综述发现:首先,同伴互动的研究方法从相关分析发展到因果推断,综合运用质性研究以及量化研究中的多种方法已成为当今的主要趋势。其次,同伴互动不仅会对学生客观的学习成绩等产生影响,还会对其主观的自我效能感等产生影响。此外,同伴互动过程中的课程、教师、同伴等外部因素以及学习者的基本特征、学习投入和个体能力等内部因素均会对教学效果产生影响。未来针对高校在线课程同伴互动的实证研究应着重在数据来源、研究对象、研究方法和变量选取这四个方面进行优化,实际应用要注重从平台技术支持与教师教学策略这两个层面进行改善,以提升同伴互动水平及其教学效果。

同伴支持在脑卒中患者中应用的范围综述

目的对同伴支持干预在脑卒中患者中应用的研究进行范围审查,以识别同伴干预的要素及应用现状。方法以乔安娜布里格斯研究所范围综述指南为方法学框架,检索PubMed、Embase、CINAHL、Web of Science、Cochrane Library、中国知网、万方和中国生物医学数据库中相关研究。检索时限为建库至2023年10月28日。结果纳入18篇文献,从纳入文献基本信息、干预类型、同伴支持者类型、会议主题和结局指标5个方面进行了总结与分析。结论同伴支持应用于脑卒中患者具有可行性和有效性,但亟需高质量研究与系统全面的干预方案。未来可进一步完善实验设计,进行更多纵向及质性研究,实施更加全面的效果与效益评估研究,为脑卒中患者提供更符合实际情况的个性化同伴支持干预。