基于BERT模型的医学短文本分类算法研究

提出基于预训练语言模型的医疗命名实体审核算法.首先借助BERT预训练模型对短文本数据进行句子层面的特征向量表示;然后通过构建循环神经网络和迁移学习模型实现短文本分类;最后在参数相同的条件下,将获得的文本特征向量分别输入到循环神经网络和迁移学习模型中进行训练.实验结果表明,与迁移学习相比,基于BERT和循环神经网络模型的医疗命名实体审核模型的精确率和稳定性都有所提升,其在测试集上的精确率最高可达93.2%,具有更好的短文本分类效果.

基于深度学习的中文临床实验筛选标准的分类

针对大多数临床实验筛选标准的分类研究都集中在英文资格标准上,研究适合中文资格标准的分类模型,利用第五届中国健康信息处理会议开发的中文临床实验短文本数据集,结合神经网络和预训练语言模型对分类任务进行构建和微调,比较分析Word2vec-BiLSTM模型、CNN模型、RNN模型、预训练语言模型在此应用上的效果差异,并通过实验得到预训练模型ERNIE的分类效果优于其他模型。针对数据不平衡这一特征,对数量较少的类别语料进行数据增强后可有效提升模型的性能和效果,结果显示ERNIE模型的宏观平均F1值和微观平均F1值分别可达到0.8281和0.8537。