面向中文临床术语标准化的ESim-SimCSE融合算法

临床术语的不规范性和多样性给临床数据的应用带来了困难和挑战,因此临床术语标准化工作成为一个重要的研究方向.传统机器学习标准化算法无法结合上下文捕获到隐藏的深层语义,随着计算机算力性能的大幅提升及神经网络被广泛应用于医疗信息处理领域,深度学习可以克服传统机器学习方法的缺点,被应用于临床术语标准化工作中.本文基于深度学习神经网络提出一种基于无监督与有监督学习融合的候选集生成方法,把候选集生成问题转换为文本相似度计算问题,运用对比学习,结合无监督学习场景ESimCSE-unsup模型和有监督学习场景SimCSE-sup模型,通过迁移学习将ESimCSE-unsup与SimCSE-sup融合形成ESim-SimCSE模型.选取SimCSEsup、SimCSE-unsup和ESimCSE-unsup 3种模型与ESim-SimCSE进行对比.实验结果显示,在CHIP-CDN2019数据集上相同召回范围下,ESim-SimCSE模型均优于其他模型,其中top k=20下,ESim-SimCSE模型计算F1得分为0.8891,比SimCSE-unsup提高了0.0459,比ESimCSE-unsup提高了0.0175,比SimCSE-sup提高了0.0107.

基于对比学习的临床领域意图识别算法研究

随着电子信息化的发展,智能搜索、知识问答等应用被越来越多地应用在临床领域中.意图识别作为其中重要的一部分,随着这类应用的逐渐兴起,受到越来越多的关注.意图识别即理解用户问句的意图.在自然语言处理中,意图识别的本质是文本分类问题.针对意图识别工作,大量的研究和探索用以理解用户的文本输入,并将其映射到预先给定的意图类别中.本文提出一种基于对比学习的意图识别算法,根据文本的长度和意图类别的数量,将意图识别定义为短文本多分类问题.通过将对比学习引入到分类模型的训练中,提高模型的最终效果.在有监督学习场景中,采用R-drop对比学习方法.该方法选择dropout作为数据增强的方式,同时通过增加一个正则项来强化模型对dropout的鲁棒性.同时,对数据进行无监督训练,作为预训练阶段.并在预训练过程中选择SimCSE对比学习方法.最终将无监督学习与有监督学习结合,形成基于半监督学习的R-SimCSE模型.实验选取textCNN、textRNN、textRCNN、BERT-base、prompt等多种分类模型进行对比.实验结果显示,基于对比学习的分类模型效果优于文中选择的其他分类算法模型,在CHIP-QIC数据集上,准确率提升了0.0097~0.0493.

基于对比学习和预训练模型的临床诊断标准化

针对临床诊断标准化任务中存在的标准诊断词库规模大、文本相关性不显著且标准词个数不确定的问题,提出一种基于对比学习和预训练模型的临床诊断标准化方法.先用无监督和有监督相结合的方法对基于简单对比学习的句子嵌入(SimCSE)模型进行训练,并利用得到的模型从标准库中召回候选标准词,再利用基于转换器的双向编码表征(BERT)进行候选词重排序和标准词个数分类,最终得到标准化结果.实验结果表明:基于无监督和有监督相结合的SimCSE方法的召回率为86.76%,显著优于其他方法;在重排序和标准词个数分类任务中,相比于其他模型,BERT在多个指标上有明显提升;该方法在测试集上进行标准词预测的F1值达到72.54%,在临床诊断标准化中具有较好的表现.