基于机器学习的诊断试验准确性研究(二):测量指标

与传统的诊断方法相比,基于机器学习的诊断试验测量指标也有一定的差异。本文对目前机器学习诊断模型常用测量指标的定义、计算方法以及相关的统计推断进行详细阐述。希望对临床研究者有所裨益,使之能更好地评价机器学习诊断模型。

诊断试验准确性研究系统评价和Meta分析摘要的报告规范(PRISMA-DTA for abstracts)解读

BMJ在2021年3月发表了"诊断试验准确性研究系统评价和Meta分析摘要报告规范"的清单及详细说明,目的是为了提高相关研究摘要的报告质量。本文对诊断试验准确性研究系统评价和Meta分析摘要的报告规范(PRISMA-DTA for abstracts)的12个报告条目进行介绍和解读,为研究人员规范报告诊断试验准确性研究系统评价和Meta分析摘要提供借鉴和参考。

基于机器学习的诊断性试验准确性研究(一):研究设计

随着人工智能的发展,机器学习在疾病诊断方面的运用逐渐广泛,对于基于机器学习的诊断性试验准确性研究,如何合理评估模型的性能对提升诊断准确性至关重要。本研究为系列方法学研究之一,首先从靶疾病、受试者选择、诊断性试验、参考标准、伦理等方面介绍了基于机器学习的诊断性试验准确性研究的设计原则。

2型糖尿病湿热证五种权重研究方法的诊断性试验准确性比较研究

目的以《2型糖尿病湿热证诊断标准》为例,比较五种中医证候诊断权重研究方法的诊断准确性,分析其诊断效能和特点。方法收集关于2型糖尿病湿热证诊断标准的专家调查问卷数据和1021例患者的横断面调查研究数据,采用诊断性试验准确性比较研究(CDTA)方法,分析知识驱动型赋权方法(专家打分综合法、层次分析法、优序图法)和数据驱动型赋权方法(Logistic回归贡献度法、熵权法)五种常用权重研究方法的受试者工作特征(ROC)曲线下面积(AUC)、P-R曲线下面积(AUPR)、准确率(ACC)、敏感度、特异度,比较其诊断效能和特点。结果在1021例2型糖尿病患者中有389例为湿热证,632例为非湿热。专家打分综合法、AHP法、优序图法在各条目权重分值大小上基本保持一致,专家打分综合法、AHP法和熵权法的各条目权重分值差异比例较小,优序图法和Logistic回归贡献度法的各条目权重分值差异比例较大。五种权重研究方法的AUC(95%可信区间)、AUPR、ACC、敏感度、特异度分别为:专家打分综合法[0.913(0.893,0.932),0.851,0.870,0.868,0.875]、层次分析法[0.910(0.890,0.930),0.838,0.879,0.848,0.896]、优序图法[0.919(0.900,0.937),0.858,0.875,0.871,0.875]、Logistic回归贡献度法[0.867(0.842,0.891),0.792,0.853,0.769,0.898]和熵权法[0.895(0.873,0.916),0.820,0.869,0.802,0.908]。结论知识驱动型赋权方法在诊断效能和反映专家经验与知识方面较数据驱动型赋权方法更具优势。

外周血结核杆菌感染T细胞斑点试验对骨关节结核的诊断准确性研究:一项病例对照研究

目的本文旨在探讨外周血结核杆菌感染T细胞斑点试验(T-SPOT.TB)对骨关节结核的诊断准确性。方法回顾性收集2015年1月1日至2019年12月31日在中国河南省人民医院呼吸与危重症科住院的疑似骨关节结核患者231例,所有患者均行外周血结核杆菌感染T细胞斑点试验检查。以骨关节结核诊断的综合标准为金标准,确诊骨关节结核患者77例,非骨关节结核患者113例。分析外周血结核杆菌感染T细胞斑点试验诊断骨关节结核的灵敏度、特异度、阳性预测值、阴性预测值、阳性似阳比、阴性似然比、准确度。结果外周血T-SPOT.TB诊断骨关节结核的敏感度、特异度、准确度分别为0.75、0.71、0.73。结论外周血结核杆菌感染T细胞斑点试验对诊断骨关节结核有较好的诊断价值。

诊断试验准确性比较研究的统计分析

正确合理的统计分析方法可使诊断试验准确性的比较结果更具有说服力。本文将试验的诊断准确性按二分类结局和有序多分类/连续型2种结局变量,以灵敏度、特异度、ROC曲线和AUC值等诊断指标为切入点,结合实例,介绍如何通过参数估计和假设检验比较多个诊断试验的诊断结果,以期为多个诊断试验的准确性比较提供参考。

诊断试验准确性比较研究:研究设计

科学严谨的研究设计可提高诊断试验准确性比较研究的结果可信度。诊断试验准确性比较研究设计包括构建临床问题、确定金标准、选择研究对象、估算样本量、同步盲法比较待评价试验的结果及确立诊断截断值。本文介绍诊断试验准确性比较研究的设计的5种类型:完全配对、随机子集部分配对、非随机子集部分配对、非配对随机和非配对非随机。

诊断试验准确性比较研究偏倚风险评价工具QUADAS-C解读

QUADAS-2已广泛用于评价单个诊断试验准确性研究偏倚风险,但其不适用于评价多个诊断试验准确性比较研究的偏倚风险。目前,系统评价普遍采用QUADAS-2评价多个诊断试验准确性比较研究的偏倚风险,这本质上会导致偏倚。为避免此类偏倚,QUADAS工作组开发了多个诊断试验准确性比较研究的偏倚风险评价工具QUADAS-C,并于2021年10月正式推出。QUADAS-C保留了与QUADAS-2相同的4个问题域(病例选择、待评价试验、金标准、病例流程和进展情况),由14个信号问题和4个偏倚风险问题组成。本文就QUADAS-C的基本情况、评价条目、评价标准、使用方法和流程进行解读,以期为国内研究者和用户提供参考。

诊断试验准确性比较研究系统评价的证据分级

诊断试验准确性比较(CDTA)研究是诊断准确性试验的一种,旨在同一诊断试验研究中比较2个及以上诊断试验的准确性。CDTA系统评价的GRADE证据确信度分级与单个诊断试验准确性系统评价不同,主要体现在研究设计的选择、偏倚风险的评估及试验准确性比较指标的使用等方面。本文重点介绍GRADE分级方法应用于CDTA系统评价的基本原理和方法,以促进国内学者对该方法的理解与应用。

诊断性试验准确性比较研究

在同一个研究中对多个诊断性试验的诊断准确性进行比较,可筛选出准确性较高的诊断性试验。因此,诊断性试验准确性比较研究的开展尤为重要。本文介绍了诊断性试验准确性比较研究的概念,比较了其与单个诊断性试验研究的不同,并从其作用、研究设计、统计分析、现状与挑战的角度进行了阐述。

诊断试验准确性比较研究的偏倚评估工具--QUADAS-C

本文介绍了诊断试验准确性比较研究的偏倚评估工具(QUADAS-C)的主要内容,阐述了QUADAS-C与QUADAS-2的联系与区别,同时介绍了如何将QUADAS-C与QUADAS-2结合使用及如何呈现评价结果。QUADAS-C在QUADAS-2的基础上,共扩展14个标志性问题,形成4个关键领域(病例选择、待评价试验、金标准、病例流程和待评价试验与金标准之间的时间间隔)。与QUADAS-2不同的是,QUADAS-C各领域第一个标志性问题的回答均需结合QUADAS-2的评价结果;此外,QUADAS-C仅评价原始研究的偏倚风险而不包含适用性评价。完成QUADAS-C评价最终得出原始研究每个领域偏倚风险为“低”“高”或“不清楚”的结果。

ICU意识模糊评估量表与重症监护谵妄筛查量表应用效果比较的Meta分析

目的 评价ICU意识模糊评估量表(Confusion Assessment Method of Intensive Care Unit,CAM-ICU)和重症监护谵妄筛查量表(Intensive Care Delirium Screening Checklist,ICDSC)对重症患者谵妄发生的应用效果,为重症患者谵妄筛查的工具选择提供依据。方法 计算机检索PubMed、Web of Science、Embase、Cochrane Library、中国知网、万方数据库、维普数据库、中国生物医学文献数据库从建库至2023年2月24日关于CAM-ICU与ICDSC的诊断试验准确性比较研究。经过文献筛选、文献质量评估、资料提取后,采用Rev Man 5.3软件和Meta-DiSc软件进行数据分析。结果 共纳入10篇研究,CAM-ICU和ICDSC的合并灵敏度分别为0.73和0.77;合并特异度分别为0.93和0.91;合并诊断比值比为37.62和36.95。结论 CAM-ICU与ICDSC在重症患者谵妄筛查中均具有良好的诊断效度;基于谵妄的波动性特点,CAM-ICU可能更适合ICU环境下患者的谵妄评估。