面向中文临床术语标准化的ESim-SimCSE融合算法

临床术语的不规范性和多样性给临床数据的应用带来了困难和挑战,因此临床术语标准化工作成为一个重要的研究方向.传统机器学习标准化算法无法结合上下文捕获到隐藏的深层语义,随着计算机算力性能的大幅提升及神经网络被广泛应用于医疗信息处理领域,深度学习可以克服传统机器学习方法的缺点,被应用于临床术语标准化工作中.本文基于深度学习神经网络提出一种基于无监督与有监督学习融合的候选集生成方法,把候选集生成问题转换为文本相似度计算问题,运用对比学习,结合无监督学习场景ESimCSE-unsup模型和有监督学习场景SimCSE-sup模型,通过迁移学习将ESimCSE-unsup与SimCSE-sup融合形成ESim-SimCSE模型.选取SimCSEsup、SimCSE-unsup和ESimCSE-unsup 3种模型与ESim-SimCSE进行对比.实验结果显示,在CHIP-CDN2019数据集上相同召回范围下,ESim-SimCSE模型均优于其他模型,其中top k=20下,ESim-SimCSE模型计算F1得分为0.8891,比SimCSE-unsup提高了0.0459,比ESimCSE-unsup提高了0.0175,比SimCSE-sup提高了0.0107.

序列模式挖掘算法研究

数据挖掘领域一个活跃的研究分支就是序列模式的发现,即在序列数据库中找出所有的频繁子序列。目前的序列模式挖掘方法主要分为两类,一类是候选集生成-测试方法;另一类是模式扩展方法。先介绍序列模式挖掘中的基本概念,然后描述几个重要算法,最后给出性能分析。

发现频繁情节的改进算法

在事件序列的数据挖掘中,一个重要的步骤就是发现频繁情节.一旦发现频繁情节就能导出描述该序列行为的情节规则.基于逐级(level-wise)搜索算法WINEPI,提出了一种发现频繁情节的改进算法.该算法通过一个新的引理,帮助进一步确定下一级中感兴趣的情节组合,从而获得了较高质量的候选集,缩短了执行时间.对实际数据和仿真数据的实验结果表明,本算法是有效的.

基于混合神经网络模型的企业行业分类

针对人工行业分类效率低下、准确性不高等问题,提出一种基于混合神经网络的行业分类模型。该分类模型采用RoBERTa预训练语言模型对企业经营范围文本特征进行提取,构建基于GRU的候选集生成网络生成行业类别候选集,通过外部知识嵌入补充额外信息,并将外部知识特征与经营范围特征进行融合,完成企业行业分类。通过在所构建的企业数据集上进行验证可知,其准确率达到83.78%,实验结果证明了该模型可以获得更加丰富的特征,相比其他方法取得了更好的行业分类效果。

基于XLNet-BiGRU-Attention的行业分类方法

企业所属行业对于国民经济统计、市场监督管理等领域具有重要作用。在现如今庞大的行业规模下,人工进行企业行业分类不但效率低下,而且可靠性不高。在行业划分规范中,企业所属行业由企业的经营范围描述而得。针对传统词向量加机器学习的方法难以有效融合企业经营范围上下文语义信息等问题,提出了一种XLNet-BiGRU-Attention的行业分类方法。该方法首先通过XLNet网络从企业经营范围文本中获取具有上下文特征信息的语义表征向量,其次构建基于双向门限循环神经网络和注意力机制的候选集生成网络来进一步提取企业经营范围上下文相关特征,再次通过构建键值对嵌入网络来进一步挖掘企业其他标签对于行业分类的提升效果,最后将融合后的特征向量输入到分类器完成企业行业分类。相较于其他基线分类方法,该方法能够取得更好的行业分类效果。消融实验结果表明:该方法所构建的候选集生成网络和键值对嵌入网络能够提升行业分类的性能。