科学研究的颠覆性创新测度——相对颠覆性指数

在破“五唯”的背景下,科学研究的创新性测度尤为重要,创新性较高的论文往往会对既有研究领域的学科范式产生颠覆性影响,甚至开创新的范式。颠覆性指数是近几年被提出的可以直接测度论文颠覆性创新程度的计量指标,基于网络中论文节点的深层引用关系,在一定程度上破除了单一维度评价的缺点,引起了文献计量学、信息科学和网络科学等多领域学者的广泛关注。本文对颠覆性指数的最新研究进行了总结和拓展,深入剖析了指标局限性及因素,并提出了新的计量指标——相对颠覆性指数(relative disruptive index,RDI),它在颠覆性指数的基础上,涵盖了引文网络的深层引用比例,在一定程度上解决了颠覆性指数分布不均匀、评价不一致的问题,能够对科学研究的颠覆性创新程度进行更为精确和客观的衡量。实证结果表明,颠覆性指数的参数量级不一致,相对颠覆性指数可以更有效地衡量科学研究的创新性,且相比于原始颠覆性指数以及Bornmann等学者提出的修正颠覆性指数(DI5)具有更佳的评价一致性,巩固性论文的相对颠覆性指数较低,创新性论文的相对颠覆性指数较高。

基于颠覆性指数优化的细分领域优秀科技人才发现研究

[研究目的]基于颠覆性指数进行细分领域优秀科技人才发现,对实现科技专家发现和科技创新服务具有重要作用。[研究方法]提出了颠覆性指数计算优化方法。首先采用LDA主题模型确定科技人才的研究专长,然后通过颠覆性指数识别科技人才的创新能力,并与引用量、h指数、社会网络分析指标等3个传统方法进行比较和检验,最终形成可量化计算的“小同行”发现方法。[研究结论]以“干细胞”领域为例进行实验表明,颠覆性指数与传统指标基本趋势一致,其优势是能够更为准确、灵敏地发现细分领域具有较强创新能力的“单项冠军”,对优秀科技人才发现、创新人才引进和科技人才评估等具有一定参考价值。

文献颠覆性创新测度——权重颠覆性指数

[目的/意义]为解决传统颠覆性指数计算过程中不考虑焦点文献的参考文献数量的问题,提出权重颠覆性指数(权重D指数),有助于更加合理有效地评估文献的创新性。[方法/过程]提出一种针对焦点文献的参考文献数量的调整方法——权重颠覆性指数,以1950—2023年获得化学诺奖及其对照组的论文为数据来源,一方面,从合理性与有效性两方面对比颠覆性指数与权重D指数;另一方面,针对一篇焦点文献的参考文献被其引证文献多次引用的情况,具体分析焦点文献的创新性、焦点文献的影响力、焦点文献的参考文献的影响力与焦点文献的参考文献收到引用数量的相关性。[结果/结论 ]权重D指数具有合理性,且比传统颠覆性指数更能有效识别论文的创新性;当焦点文献的创新程度和影响力越高时,引证文献越倾向于引用其参考文献;当焦点文献的参考文献影响力越高时,引证文献也倾向于引用其参考文献。

绝对颠覆性指数与同行评议指标及CNCI的关系:基于病毒学论文的研究

[目的/意义]探索绝对颠覆性指数D_(Z)与Faculty Opinions同行评议指标和引证指标CNCI间的相关性,揭示Faculty Opinions同行评议指标在研究论文颠覆性创新早期识别中的效果.[方法/过程]通过对选出的140篇研究论文的绝对颠覆性指数D_(Z)、Faculty Opinions同行评议指标[包括同行评分(FScore)、同行评级(FStar)、评价次数(FTime)、加权评级(FStar_w)、加权评价次数(FTime_w)]和影响力指标CNCI进行相关性分析,并对高颠覆性文献、Faculty Opinions收录文献、高影响力文献在全部5 566篇焦点文献中的分布和不同评价角度下选出的研究文献重合情况进行研究.[结果/结论]从全部病毒学领域期刊来看,绝对颠覆性指数D_(Z)与Faculty Opinions同行评议指标间存在弱相关性,与影响力指标CNCI间存在中等相关性.FScore与CNCI存在着强相关性,FStar、FStar_w与CNCI存在着中等相关性,FTime、FTime_w与CNCI存在着弱相关性.但不同标签的研究论文三类指标间的相关性各不相同.其中,变革性研究论文的同行评议结果与绝对颠覆性指数的一致性与加权评分均高于循证性研究论文.三种评价指标在实际评价过程中应互为补充而非相互替代.在识别早期颠覆性创新的过程中,Faculty Opinions同行评议指标可以发挥一定的作用,其同时也可以辅助研究人员在发表后快速发现有潜在影响力的研究论文.

SCIE收录的我国科技期刊创新性评价:基于颠覆性指数的实证研究

【目的】从创新性和影响力两个角度对SCIE收录的我国科技期刊进行评价,分析基于不同评价视角的科技期刊排名和文献分布的差异,探究不同指标评价结果与同行评议结果间的一致程度,以助力对现有科技期刊评价体系的改进与完善。【方法】选择机械工程、环境科学、综合性材料科学、数学4个领域的37种SCIE收录的我国科技期刊及病毒学领域的28种SCIE收录的我国科技期刊作为研究对象。从JCR和开放引文数据库中分别获取被选期刊的影响因子(JIF)、期刊引证指数(JCI)、JCR分区及研究文献引用关系等数据,分别计算每篇研究文献的绝对颠覆性指数和期刊颠覆性指数(JDI)并进行比较分析,使用《高质量科技期刊分级目录》验证JDI的评价效果。【结果】在所选的5个领域中,创新性排名与影响力排名相同的期刊占比不足1/4。在除环境科学以外的4个领域中JCI与JDI排名的差异最小,而在除机械工程以外的4个领域中JIF与JDI差异最大。在影响力/创新性分区中,研究文献分布较为均衡。在特定期刊内部,研究文献的创新水平参差不齐。相比影响力指标,JDI与权威专家的同行评议结果更为一致。【结论】期刊的影响力排名和创新性排名间存在较大差异。影响力指标不能较好地体现期刊及其发表文献的创新水平。在病毒学领域,国内科技期刊对颠覆性创新成果的吸引力仍有待提升。

颠覆性指数的稳定时间窗研究

[目的/意义]探索颠覆性指数的稳定时间窗,分析其学科差异,揭示颠覆性指数稳定度与被引半衰期、被引频次稳定度之间的关系,为各学科合理应用该指数提供时间窗参考。[方法/过程]分别计算22个学科在不同引文时间窗下的颠覆性指数稳定度,得到各学科颠覆性指数达到0.8稳定度所需的时间窗;进而分别分析颠覆性指数与被引半衰期、被引频次稳定时间窗之间的关系。[结果/结论]颠覆性指数达到0.8稳定度所需的时间窗存在较大学科差异;达到被引半衰期时,各学科的颠覆性指数稳定度均达到了0.8,可使用被引半衰期作为颠覆性指数计算的参考时间窗;学科特质和指标算法都是影响颠覆性指数稳定度的重要因素,受算法的影响,颠覆性指数一般会晚于被引频次达到较高稳定度。

融合论文颠覆性与巩固性的学者二元影响力测度

针对当前学者评价研究与实践中存在的准确性与全面性不足的问题,本文从颠覆性影响力的视角出发,基于引文网络的深层互引信息,将被引文献划分为颠覆性被引文献和巩固性被引文献,构建了学者影响力的二元测度框架,凝练出两种不同类型的学术特征,即“颠覆型学者”和“巩固型学者”,并提出颠覆性被引量和颠覆性h指数等指标用于学者影响力测度。实证研究基于APS(American Physical Society)数据集的463348篇论文、9370286条引证链接、234086位消歧后作者以及诺贝尔奖(Nobel Prize)、沃尔夫奖(Wolf Prize)、狄拉克奖(Dirac Medal)3种重要奖项得主数据,综合肯德尔秩相关性、识别比率、平均排名等方法进行指标一致性和收敛有效性分析。研究结果表明,颠覆性被引量和颠覆性h指数与传统指标高度一致,并且在收敛有效性上全面优于基准测度指标。颠覆性影响力能够反映学者的创新水平和潜力,二元测度框架可以对学者影响力进行准确划分,对未来创新科学家的早期识别、学者绩效与奖励制度的改革、基金项目的评审与评价、科研激励政策的制定等具有重要意义。

科研论文颠覆性指数的改进及其影响因素研究

[目的/意义]解决颠覆性指数在数学性质上存在的不一致性问题,并探讨颠覆性指数在应用中的影响因素。[方法/过程]首先指出颠覆性指数D的不一致性表现,然后对其改进得到相对性颠覆性指数Rela_D_(Z)和绝对性颠覆性指数D_(Z);最后从引文时间窗、学科差异和文献类型3个角度,分析影响颠覆性指数差异的因素。[结果/结论]Rela_D_(Z)算法解决了D关于N_(R)非单调的问题,D_(Z)算法解决了D关于N_(F)、N_(B)不严格单调的问题,从而避免了不一致性;将颠覆性指数的相对性与绝对性两个算法结合,在应用中将更加合理。此外,颠覆性指数Rela_D_(Z)和D_(Z)受引文时间窗、学科和文献类型的影响,因此,在应用时应进行必要的处理。

颠覆性指数用于科研评价初探

基于我国目前科研发展水平现状及科研评价出现的窘境,分析颠覆性指数的相对优势,明确其在科研评价中的推广价值。主要采取对比分析的方法,分别以其他原创性评价方法、三种学术影响力评价方法、定性评价方法为对比对象,针对在实践中的特点,分析颠覆性指数在相应各方面的优势。研究发现,颠覆性指数的机理导向不仅与科研评价的目的相吻合,还可以弥补现有大部分评价方法存在的问题与不足。文章分析了颠覆性指数用于科研评价的优势与潜力,为将颠覆性指数作为定量评价方法的优化方案提供支持。

科技期刊的创新性评价指标——期刊颠覆性指数(JDI)及其实证研究

【目的】构建通过学术创新性而非学术影响力进行期刊评价的新指标——期刊颠覆性指数(Journal Disruption Index, JDI),并进行实证研究。【方法】选择2016年Web of Science中Virology学科34种期刊中Article类型论文占比≥50%且可在开放引文数据库(the OpenCitations Index of Crossref open DOI-to-DOI citations, COCI)中获取引文关系的22种期刊作为研究对象,分别计算每种期刊的JDI,比较根据JDI和期刊5年累积影响因子(Cumulative Impact Factor for 5 Years, CIF5)、期刊PR6指数(Journal Index for PR6,JIPR6)、期刊论文被引频次平均百分位(Average Percentile in Subject Area, aPSA)排序的差异。分析创新性指标与不同影响力指标之间的相关度。【结果】基于创新性指标和影响力指标的期刊排序结果存在较大差异:12种(54.5%)期刊JDI排名高于影响力指标排名;17种(77.0%)期刊两类指标排名差≥5。JDI与CIF5、JIPR6、aPSA都呈中度相关,相关度分别为0.486、0.471、-0.448。论文的绝对颠覆指数D与论文累计被引频次(Accumulated Citations, AC)、论文6级百分位数排名(Percentile Ranking with 6 Classifications, PR6)、论文被引频次学科领域百分位(Percentile in Subject Area, PSA)亦呈中度相关,相关度分别为0.593、0.575、-0.593。【结论】将JDI应用于科技期刊评价能更好地体现期刊载文的学术质量和原创性,较为客观地体现科技期刊的学术水平,有助于推动学术研究、科技期刊、学术评价体系良性发展。

基于STM的颠覆性技术主题识别研究

[目的/意义]基于专利数据,探讨识别颠覆性技术主题并揭示主题关联的方法。[方法/过程]以人工智能领域为例,获取目标专利及其引用专利与施引专利,以此计算目标专利的颠覆性指数。基于目标专利摘要,建立以颠覆性指数为协变量的结构主题模型。对领域主题进行分类并构建主题关联网络,同时计算主题流行度,筛选出颠覆性技术主题。[局限]无法完全替代领域专家的经验和智慧,对颠覆性技术主题的预测能力相对有限。[结果/结论]得到人机交互、量子人工智能、机器阅读理解和推荐系统四个潜在颠覆性技术主题,发现当前人工智能领域的颠覆性技术创新聚焦于降低算力成本和优化人机互动两个方向。

科研论文颠覆性与参考文献年龄之间的关系研究

[目的/意义]揭示不同年龄的参考文献对促进知识创新的作用规律。[方法/过程]以物理学2006年发表的SCI论文为例,计算每篇论文在D算法、Rela_DZ算法和DZ算法3种算法下的颠覆性指数,综合运用统计描述和线性回归、分位数回归,从参考文献年龄的跨度和多样性两个方面,研究科研论文颠覆性与参考文献年龄之间的关系。[结果/结论]参考文献年龄跨度和多样性都对科研论文的3种颠覆性指数有负向影响,但是所有回归分析的结果中3个模型的拟合R2都偏低,但结论一致,即参考文献年龄对科研论文颠覆性指数的影响并不明显,因此操纵参考文献年龄的非科学引用并不会影响颠覆性指数的评价结果。

面向质量创新的期刊颠覆性超越指数设计与实证研究

[目的/意义]提出期刊颠覆性超越指数,从创新角度进行期刊质量评估,促进基础研究学术创新的环境建设。[方法/过程]借鉴期刊引文超越指数的设计思想,在学术论文颠覆性指数的基础上,构建期刊颠覆性超越指数,度量期刊的创新质量;通过实证研究,分析期刊颠覆性超越指数在应用中的性能表现,并针对该指数的优点与局限性进行初步探讨。[结果/结论]该指标可以用于期刊创新质量评估;能有效识别高质量期刊,鲁棒性较强,不易受极值影响;同时,能解决文献类型差异和学科差异等问题,且评估结果不受期刊载文规模的影响。但该指标在应用时,对期刊的低被引载文比例和引文时间窗有一定的要求。

学术论文创新质量评价研究——以多能干细胞技术为例

【目的】通过构建学术论文创新质量评价模型,探讨基于定量与定性相结合的科技评价方法,促进科学研究的渐进性创新。【方法】兼顾创新新颖性和影响性特征,采用Doc2Vec算法将非结构化文本内容转化为向量空间模型,继而运用余弦相似度测度文本内容相似度,同时应用待评价论文局部引文网络构建创新影响指数计算方法,并将新颖性和影响性测度结果映射到二维散点图中,基于区域划分构建学术论文创新质量评价模型。【结果】多能干细胞技术实证结果显示:本文方法与F1000推荐结果基本一致,能够在一定程度上弥补当前学术论文创新质量评价的不足。【局限】仅讨论了学术论文新颖性、学术论文创新影响两个因素,存在一定的片面性。【结论】本文构建的评价模型能够为定性的同行评议提供定量数据支撑,是对学术论文创新质量定量评价的有益探索。