基于双向语言模型的社交媒体药物不良反应识别

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F_(1)值为82.2%。

融合双向语言模型的半监督属性识别方法研究

属性级情感分析是细粒度的情感分类任务,属性识别是属性情感分析任务中的重要步骤,作为典型的序列化标记问题处理。近年来,不依赖人工特征的神经网络模型在分词等序列化标记任务中表现出了很好的性能。为此,论文提出一种融合双向语言模型的半监督序列化标记网络模型(ST-BiLM),首先利用卷积神经网络(CNN)训练出单词具有形态特征的字符级向量,然后组合具有语义特征的词向量作为模型的输入,再利用ST-BiLM模型来进行实体属性识别。实验结果表明,模型在SemEval2014 Task4和Twitter不同领域的数据集上都达到了很好的结果,F1值分别为88.27%,83.15%和86.36%。

基于双向预训练语言模型的文本情感分类

针对Word2vec和GloVe等词嵌入方法无法学习相同词汇在不同上下文中的一词多义,以及单向语言模型的特征融合能力较弱的问题,提出一种基于双向预训练语言模型的文本情感分类方法。在大型通用语料库上利用双向Transformer语言模型进行无监督的训练,得到预训练语言模型。在预训练语言模型的输出层上添加一层softmax网络,并在文本情感分类的任务语料上微调模型,利用该模型进行文本情感分类。实验结果表明,该方法在SST-2和Yelp14数据集上分类的准确率分别提高了1.8%和1.4%,有效地提高了情感分类准确率。

住院病案首页辅助分析模型的构建及效果验证

目的构建住院病案首页的人工智能初筛模型并应用于分析,旨在为改善住院病案首页质量提供参考。方法随机抽取某院2020年1月1日-2021年8月31日期间出院病案5000份作为模型构建对象,按照7:3的比例将所有住院病案首页分为训练集(n=3500)和测试集(n=1500)。基于双向丰富语义的预训练语言模型(BERT)机制构建的BERT-迭代膨胀卷积神经网络(IDCNN)-多头注意力机制(MHA)-随机条件场(CRF)构建住院病案首页辅助分析模型,并对两个集合的住院病案首页进行分析。同时由病案室质控医师对训练集及测试集的住院病案首页进行初级质控,而后由5年工作经验以上的主治医师以上职称对住院病案首页信息进行复核质控,记录人工质控结果。最后将模型与人工分析结果进行一致性检验,验证BIMC模型的分析效果。结果训练集及验证集中BIMC模型与人工评估结果的符合率分别为93.00%(3255/3500)和90.73%(1361/1500);两个集合中R-CNN模型与人工评估结果具有较高的一致性[Kappa=0.921(训练)/0.915(验证),P均<0.001]。结论构建的BIMC模型对于住院病案首页分析效果与人工分析一致性较高,运用于住院病案首页分析的可行性较好,但仍需要进一步纳入更多住院病案首页提升模型对错误信息的识别准确性。

基于ELMo-GCN的核电领域命名实体识别

在核电领域的知识管理过程中,需要使用命名实体识别技术抽取高质量语义实体,以进行核电领域文本的智能分析和处理。在现有研究的基础上,通过增强网络对上下文信息的提取能力,提升模型对嵌套命名实体的识别准确率。经实验验证,所提方法较现有方法在准确率与召回率指标上提升显著,与BiFlaG网络对比,准确率提高9.52%,召回率提高8.51%,F_(1)值提高9.02%。所提方法对嵌套命名实体识别优于BiFlaG等网络。