目的:研究超声造影(contrast-enhanced ultrasound,CEUS)引导下细针穿刺活检(fine-needle aspiration biopsy,FNAB)对直径≥10 mm甲状腺乳头状癌(papillary carcinoma of the thyroid,PTC)的诊断价值。方法:回顾并分析2020年5月—2023年...目的:研究超声造影(contrast-enhanced ultrasound,CEUS)引导下细针穿刺活检(fine-needle aspiration biopsy,FNAB)对直径≥10 mm甲状腺乳头状癌(papillary carcinoma of the thyroid,PTC)的诊断价值。方法:回顾并分析2020年5月—2023年8月复旦大学附属闵行医院经术后病理学检查证实的PTC(直径≥10 mm)患者资料。所有患者均先行CEUS检查,CEUS结束后在结节最大径线的二维超声图像下行常规超声引导下FNAB(US-FNAB),抽吸细胞组织涂片2张(标注A_(1)、A_(2))作为常规穿刺组。观察同一结节CEUS时图像,选取结节灌注区域行目标穿刺,抽吸细胞组织涂片2张(标注B_(1)、B_(2))作为目标穿刺组。以术后病理学检查结果为金标准,采用一致性Kappa检验分析CEUS、US-FNAB以及CEUS-FNAB这3种方法对PTC的诊断价值。结果:本研究共纳入149例患者(155个结节),在诊断155个PTC方面,CEUS诊断PTC的灵敏度、特异度、准确度分别为87.1%、68.6%、83.2%;US-FNAB诊断PTC的灵敏度、特异度、准确度分别为92.9%、78.0%、85.6%;CEUS-FNAB诊断PTC的灵敏度、特异度、准确度分别为98.1%、79.6%、94.9%。以术后病理学检查结果为金标准,CEUS结果与术后病理学检查结果行Kappa一致性检验,Kappa=0.393(Kappa<0.4),一致性较差,差异有统计学意义(P<0.01);US-FNAB结果的Kappa值=0.574(0.75>Kappa≥0.4),一致性一般,差异有统计学意义(P<0.01);CEUS-FNAB结果的Kappa值=0.773(Kappa>0.75),一致性较好,差异有统计学意义(P<0.01)。结论:CEUS技术有助于发现甲状腺的可疑病灶,CEUS-FNAB可提升穿刺准确度和病灶检出率,对PTC的诊断具有重要意义。展开更多
在基于Transformer的语言模型中自注意力网络扮演了重要的角色,其中的全连接结构能够以并行方式捕捉序列中非连续的依赖关系。但是,全连接的自注意力网络很容易过拟合到虚假关联信息上,比如词与词、词与预测目标之间的虚假关联。这种过...在基于Transformer的语言模型中自注意力网络扮演了重要的角色,其中的全连接结构能够以并行方式捕捉序列中非连续的依赖关系。但是,全连接的自注意力网络很容易过拟合到虚假关联信息上,比如词与词、词与预测目标之间的虚假关联。这种过拟合问题限制了语言模型对领域外或分布外数据的泛化能力。为了提高Transformer语言模型对虚假关联的鲁棒性以及泛化能力,提出掩码语言增强表示的对比学习微调框架(fine-tuning framework via mask language model enhanced representations based contrastive learning,MCL-FT)。具体而言,文本序列和其随机掩码后的序列送入到一个孪生网络,结合对比学习目标和下游任务目标对模型进行参数学习。其中,每一个孪生网络由预训练语言模型和任务分类器组成。所以,该微调框架更加符合掩码语言模型预训练学习方式,能够在下游任务中保持预训练知识的泛化能力。在MNLI、FEVER和QQP数据集以及它们的挑战数据集上与最新的基线模型进行了对比,包括大语言模型ChatGPT、GPT4、LLaMA,实验结果验证了提出模型在保证分布内性能的同时有效提高了分布外的性能。在ATIS和Snips数据集上的实验结果证明,该模型在常见自然语言处理任务中也有显著的效果。展开更多
文摘目的:研究超声造影(contrast-enhanced ultrasound,CEUS)引导下细针穿刺活检(fine-needle aspiration biopsy,FNAB)对直径≥10 mm甲状腺乳头状癌(papillary carcinoma of the thyroid,PTC)的诊断价值。方法:回顾并分析2020年5月—2023年8月复旦大学附属闵行医院经术后病理学检查证实的PTC(直径≥10 mm)患者资料。所有患者均先行CEUS检查,CEUS结束后在结节最大径线的二维超声图像下行常规超声引导下FNAB(US-FNAB),抽吸细胞组织涂片2张(标注A_(1)、A_(2))作为常规穿刺组。观察同一结节CEUS时图像,选取结节灌注区域行目标穿刺,抽吸细胞组织涂片2张(标注B_(1)、B_(2))作为目标穿刺组。以术后病理学检查结果为金标准,采用一致性Kappa检验分析CEUS、US-FNAB以及CEUS-FNAB这3种方法对PTC的诊断价值。结果:本研究共纳入149例患者(155个结节),在诊断155个PTC方面,CEUS诊断PTC的灵敏度、特异度、准确度分别为87.1%、68.6%、83.2%;US-FNAB诊断PTC的灵敏度、特异度、准确度分别为92.9%、78.0%、85.6%;CEUS-FNAB诊断PTC的灵敏度、特异度、准确度分别为98.1%、79.6%、94.9%。以术后病理学检查结果为金标准,CEUS结果与术后病理学检查结果行Kappa一致性检验,Kappa=0.393(Kappa<0.4),一致性较差,差异有统计学意义(P<0.01);US-FNAB结果的Kappa值=0.574(0.75>Kappa≥0.4),一致性一般,差异有统计学意义(P<0.01);CEUS-FNAB结果的Kappa值=0.773(Kappa>0.75),一致性较好,差异有统计学意义(P<0.01)。结论:CEUS技术有助于发现甲状腺的可疑病灶,CEUS-FNAB可提升穿刺准确度和病灶检出率,对PTC的诊断具有重要意义。
文摘在基于Transformer的语言模型中自注意力网络扮演了重要的角色,其中的全连接结构能够以并行方式捕捉序列中非连续的依赖关系。但是,全连接的自注意力网络很容易过拟合到虚假关联信息上,比如词与词、词与预测目标之间的虚假关联。这种过拟合问题限制了语言模型对领域外或分布外数据的泛化能力。为了提高Transformer语言模型对虚假关联的鲁棒性以及泛化能力,提出掩码语言增强表示的对比学习微调框架(fine-tuning framework via mask language model enhanced representations based contrastive learning,MCL-FT)。具体而言,文本序列和其随机掩码后的序列送入到一个孪生网络,结合对比学习目标和下游任务目标对模型进行参数学习。其中,每一个孪生网络由预训练语言模型和任务分类器组成。所以,该微调框架更加符合掩码语言模型预训练学习方式,能够在下游任务中保持预训练知识的泛化能力。在MNLI、FEVER和QQP数据集以及它们的挑战数据集上与最新的基线模型进行了对比,包括大语言模型ChatGPT、GPT4、LLaMA,实验结果验证了提出模型在保证分布内性能的同时有效提高了分布外的性能。在ATIS和Snips数据集上的实验结果证明,该模型在常见自然语言处理任务中也有显著的效果。
