基于GAN和MS-ResNet的房颤自动检测模型

房颤是一种常见的心律失常疾病,针对现有研究工作大多依赖于单尺度信号段而忽略了不同尺度下潜在的互补信息和数据不平衡问题导致诊断性能下降的问题,提出了一种新颖的基于生成对抗网络(generative adversarial network, GAN)和多尺度残差网络(multiscale residual net, MS-ResNet)的房颤自动检测模型,该网络使用GAN合成具有高形态相似性的单导联心电数据来解决数据的隐私和不平衡问题。同时,设计了MS-ResNet特征提取策略,从不同尺度提取不同大小信号段的特征,从而有效地捕捉P波消失和RR间期不规则特征。该模型联合这两种策略不仅为房颤自动检测生成高质量心电图(electrocardiogram,ECG)数据,还可以利用多尺度网格提取不同波之间的时序特征。在PhysioNet Challenge2017公开ECG数据集上以及平衡后的数据集上评估了MS-ResNet的性能,并将其与现有的房颤分类模型进行了比较。实验结果表明,MS-ResNet在平衡后的数据集上平均F1值和精确率分别达到0.914 1和91.56%,与不平衡数据集相比,F1提高了4.5%,精确率提高了3.5%。

医学领域知识融合研究进展

医学领域知识融合旨在将分散在各个知识图谱或不同数据源中的医学知识进行整合,形成一个更全面的知识图谱,在提高知识质量、扩大规模、提高医学知识利用率和共享性等方面具有促进作用。围绕知识融合的问题和解决方案,首先系统地梳理了医学领域知识融合的定义、评价指标及数据集;分类讨论了知识融合过程中存在的问题与挑战;然后从问题、技术两个维度,综述了目前知识融合中实体对齐、实体链接任务各方法的优势与不足;详细讨论和总结了医学领域知识融合每一类问题的相关解决方案;最后,总结并展望了医学领域知识融合的发展方向。

融入三维语义特征的常识推理问答方法

现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,提出一种融入三维语义特征的常识推理问答方法。首先提出知识图谱节点的关系层级、实体层级、三元组层级三维语义特征量化指标;其次,通过注意力机制动态计算关系层级、实体层级、三元组层级三种维度的语义特征对不同实体节点间的重要性;最后,通过图神经网络进行多层聚合迭代嵌入三维语义特征,获得更多的外推知识表示,更新知识图谱子图节点表示,提升答案预测精度。与QA-GNN常识问答推理方法相比,所提方法在CommonsenseQA数据集上的验证集和测试集的准确率分别提高了1.70个百分点和0.74个百分点,在OpenBookQA数据集上使用AristoRoBERTa数据处理方法的准确率提高了1.13个百分点。实验结果表明,所提出的融入三维语义特征的常识推理问答方法能够有效提高常识问答任务准确率。

基于组合相似度动态聚类和词熵的网络话题在线检测

[研究目的]为实现网络热点话题的在线检测,提升增量式聚类算法的聚类效果,提出了基于组合相似度的动态聚类算法,同时通过计算词熵实现主题词提取和演化跟踪。[研究方法]通过CIFG-BiLSTM-CRF模型实现文本的命名实体识别,计算文本与话题的实体相似度,再取文本词向量与话题中心余弦相似度的最大值作为词向量相似度,二者结合判断文本所属话题。在聚类过程中利用时间窗口策略实现话题中心和成员文本的动态更新。同时,计算文本词熵,生成话题的词熵和列表,实现话题主题词提取和演化跟踪。实验以新冠疫情新闻为数据实现话题在线检测,并展示了话题主题词的演化和跟踪过程。[研究结论]实验表明,与传统相似度计算方法相比,组合相似度能够获得更好的聚类效果,聚类过程中提取出的话题主题词也正确地反映了原始数据的热点话题内容。

基于RoBERTa-Span-Attack的标签指针网络军事命名实体识别

军事领域文本中存在大量军事实体信息,准确识别这些信息是军事文本信息提取和构建军事知识图谱的基础性任务。首先,提出了一种基于RoBERTa预训练模型、跨度和对抗训练的标签指针网络的融合深度模型(RoBERTa-Span-Attack),用于中文军事命名实体识别;然后,采用了一种基于Span的标签指针网络,同时完成实体的起止位置和类别的识别任务;最后,在模型训练过程中加入对抗训练策略,通过添加一些扰动来生成对抗样本进行训练。在军事领域数据集上的实验结果表明:所提出的军事领域命名实体识别模型相较于BERT-CRF、BERT-Softmax和BERT-Span,在识别准确度上具有更优的效果。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

知识图谱技术在预测与健康管理中的应用现状与研究展望

随着预测与健康管理(PHM)技术的不断发展以及设备智能化、信息化程度的不断提高,预测与健康管理的领域知识与日俱增。知识图谱技术因其强大的知识组织、管理、表示能力以及支持的数据/知识驱动相关方法,受到领域内学者广泛关注。面向预测与健康管理领域,对知识图谱的概念、关键技术、领域应用以及挑战与展望进行了综述。首先,介绍了领域知识图谱的定义和组成要素;其次,讨论了领域知识图谱的构建方法,简要归纳了领域内常用的构建方式和技术;然后,结合领域内知识特点,详细介绍了领域内知识图谱的应用情况;最后,分析了与领域融合的知识图谱研究中存在的挑战以及未来的发展方向。综述旨在帮助研究者加深对知识图谱及其在预测与健康管理领域应用的了解,以促进知识图谱在该领域应用中的进一步发展和创新。

管道式对话系统研究进展及其在医疗领域应用

随着人工智能技术的快速发展,任务型对话系统成为人机交互领域的热点研究方向。管道式方法是其一种经典的设计框架,在任务型对话系统的研究和应用中扮演着重要角色。对管道式任务型对话系统的研究进展进行了综述,并重点探讨了其在医疗领域的应用。首先介绍管道式对话系统各模块的基本原理、评价指标以及常用的数据集。然后,梳理了近年来深度学习技术在管道式对话系统研究中取得的重要进展,并进一步归纳了所用模型的优缺点。接着,重点关注了管道式对话系统在医疗领域的应用,并讨论了医疗对话系统的需求和挑战。最后,总结并展望了未来的研究方向和发展趋势。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

融合知识的文博领域低资源命名实体识别方法研究

文物数据的实体嵌套问题明显,实体边界不唯一,且文博领域已标注数据极度缺乏,导致该领域命名实体识别性能较低。针对这些问题,构建一个可用于文物命名实体识别的数据集FewRlicsData,提出一种融合知识的文博领域低资源命名实体识别方法RelicsNER。该方法将类别描述信息的语义知识融入文物文本中,使用基于跨度的方式进行解码,用于改善实体嵌套问题,并采用边界平滑的方式缓解跨度识别模型的过度自信问题。与基线模型相比,该方法在FewRlicsData数据集上的F1值有所提升,在文博领域命名实体识别任务中取得较好的性能。在公开数据集OntoNotes 4.0上的实验结果证明该方法具有较好的泛化性,同时在数据集OntoNotes 4.0和MSRA上进行小规模数据实验,性能均高于基线模型,说明所提方法适用于低资源场景。

融合选择注意力的小样本知识图谱补全模型

在面对实体对关系复杂或目标邻域稀疏等情况时,现有的小样本知识图谱补全模型普遍存在关系表示学习能力不足以及忽略实体对相对位置和交互作用的问题。基于此,提出一种基于选择注意力机制和交互感知的小样本知识图谱补全模型(SAIA)。首先,通过在聚合邻域信息过程中引入选择注意机制,帮助邻域编码器聚焦更重要的邻居以减少噪声邻居的不良影响;其次,在关系表示学习阶段,利用背景知识图谱中与任务关系相关的信息学习更加准确的关系表示;最后,为了挖掘知识图谱实体之间的交互信息和位置信息,设计了一个实体对公共交互率指标(CIR)来衡量实体对三阶路径内的关联程度,然后结合实体语义信息共同预测新的事实。实验结果表明该方法优于目前最先进的小样本知识图谱补全模型。与基准模型最优的结果相比,SAIA在NELL-one和Wiki-one数据集上的5-shot链接预测中,平均倒数排名(MRR)、Hits@10、Hits@5以及Hits@1等性能评价指标分别提高了0.038、0.011、0.028和0.052以及0.034、0.037、0.029和0.027,验证了所提模型的有效性和可行性。

基于BERT的两次注意力机制远程监督关系抽取

针对词向量语义信息不完整以及文本特征抽取时的一词多义问题,提出基于BERT(Bidirectional Encoder Representation from Transformer)的两次注意力加权算法(TARE)。首先,在词向量编码阶段,通过构建Q、K、V矩阵使用自注意力机制动态编码算法,为当前词的词向量捕获文本前后词语义信息;其次,在模型输出句子级特征向量后,利用定位信息符提取全连接层对应参数,构建关系注意力矩阵;最后,运用句子级注意力机制算法为每个句子级特征向量添加不同的注意力分数,提高句子级特征的抗噪能力。实验结果表明:在NYT-10m数据集上,与基于对比学习框架的CIL(Contrastive Instance Learning)算法相比,TARE的F1值提升了4.0个百分点,按置信度降序排列后前100、200和300条数据精准率Precision@N的平均值(P@M)提升了11.3个百分点;在NYT-10d数据集上,与基于注意力机制的PCNN-ATT(Piecewise Convolutional Neural Network algorithm based on ATTention mechanism)算法相比,精准率与召回率曲线下的面积(AUC)提升了4.8个百分点,P@M值提升了2.1个百分点。在主流的远程监督关系抽取(DSER)任务中,TARE有效地提升了模型对数据特征的学习能力。

基于混合特征提取与跨模态特征预测融合的情感识别模型

为从多模态情感分析中有效挖掘单模态表征信息,并实现多模态信息充分融合,提出一种基于混合特征与跨模态预测融合的情感识别模型(H-MGFCT)。首先,利用Mel频率倒谱系数(MFCC)和Gammatone频率倒谱系数(GFCC)及其一阶动态特征融合得到混合特征参数提取算法(H-MGFCC),解决了语音情感特征丢失的问题;其次,利用基于注意力权重的跨模态预测模型,筛选出与语音特征相关性更高的文本特征;随后,加入对比学习的跨模态注意力机制模型对相关性高的文本特征和语音模态情感特征进行跨模态信息融合;最后,将含有文本−语音的跨模态信息特征与筛选出的相关性低的文本特征相融合,以起到信息补充的作用。实验结果表明,该模型在公开IEMOCAP(Interactive EMotional dyadic MOtion CAPture)、CMU-MOSI(CMU-Multimodal Opinion Emotion Intensity)、CMU-MOSEI(CMU-Multimodal Opinion Sentiment Emotion Intensity)数据集上与加权决策层融合的语音文本情感识别(DLFT)模型相比,准确率分别提高了2.83、2.64和3.05个百分点,验证了该模型情感识别的有效性。

基于三维空间旋转平移的自适应知识表示方法

现有知识图谱表示学习研究中普遍存在忽视特定关系的语义空间、难以建模非单射复杂关系或多种关系模式等问题,尤其是在不可交换的组合以及子关系两种关系模式上表现不佳。针对该问题,在对实体自适应投影的基础上,利用罗德里格斯旋转公式将旋转操作从二维空间拓展到三维空间并进行平移优化,提出一种新的具有强表征能力的模型ATR3DKRL。通过理论推导可以证明该模型能够建模非单射复杂关系以及多种关系模式。在多个通用数据集上的实验结果表明,该模型可以有效提高链接预测精度,在数据集DB100K与FB15K-237中四个指标上领先现有基线模型,其中在DB100K上评价指标MRR和H@1相较于基线模型RotatE分别大幅提高了3.3%以及6.5%。

基于社交媒体数据的城市洪涝灾害信息智能提取与分析

近年来,由于气候变化导致极端降雨引起的城市内涝灾害事件频发,给我国城市水安全和可持续发展带来威胁,准确掌握受灾区域的舆论主体和公众情绪,对提高应急管理部门内涝灾害的态势感知能力具有重要意义。在当今智能网络时代,人们通过社交媒体反映问题和建议的诉求日益凸显,社交媒体已逐渐成为反映民众情感和社会舆情的主要载体,为获取自然灾害信息提供了新的途径。如何从社交媒体中快速提取城市洪涝灾害信息,并对自然灾害信息进行主题分类和情感分析,准确掌握区域灾情的主题类别和民众舆论倾向,是目前亟待解决的关键技术问题。以新浪微博为例,阐述了洪涝灾害数据的获取与预处理方法,构建了基于FastText的城市洪涝灾害信息主题分类和情感分析模型,以准确掌握受灾区域的主题类别和舆论导向。以2021年郑州“7.20”特大暴雨期间洪涝灾害为例的研究结果表明,本文方法实现了对社交媒体中城市洪涝灾害数据的智能提取与分析,主题分类模型对预设八种类别数据的分类预测F1值达到0.80以上,且情感分析模型基本能够准确预测情感标记为“负面”的数据,这表明本文构建的基于FastText的城市洪涝灾害信息主题分类和情感分析模型能够满足支撑城市应急管理部门动态掌握洪涝灾害发展态势及公众情绪的需求,对防涝减灾调度、安抚民众情绪和实时定点救援等工作具有重要的指导意义。

AMFRel:一种中文电子病历实体关系联合抽取方法

中文电子病历实体关系抽取是构建医疗知识图谱,服务下游子任务的重要基础。目前,中文电子病例进行实体关系抽取仍存在因医疗文本关系复杂、实体密度大而造成医疗名词识别不准确的问题。针对这一问题,提出了基于对抗学习与多特征融合的中文电子病历实体关系联合抽取模型AMFRel(adversarial learning and multi-feature fusion for relation triple extraction),提取电子病历的文本和词性特征,得到融合词性信息的编码向量;利用编码向量联合对抗训练产生的扰动生成对抗样本,抽取句子主语;利用信息融合模块丰富文本结构特征,并根据特定的关系信息抽取出相应的宾语,得到医疗文本的三元组。采用CHIP2020关系抽取数据集和糖尿病数据集进行实验验证,结果显示:AMFRel在CHIP2020关系抽取数据集上的Precision为63.922%,Recall为57.279%,F1值为60.418%;在糖尿病数据集上的Precision、Recall和F1值分别为83.914%,67.021%和74.522%,证明了该模型的三元组抽取性能优于其他基线模型。

自动飞行员复诵指令生成方法研究

为了提高效率,降低培训成本并推广使用计算机来取代管制模拟机中的飞行员席位,采用集成学习的策略来生成飞行员复诵指令。选用5个大规模预训练语言模型进行微调,并使用K折交叉验证来筛选出性能较好的4个模型作为基础模型来构建集成学习模型。所构建的集成学习模型在管制指令数据集上取得在本领域中的最优效果。在通用的ROUGE(recall-oriented understudy for gisting evaluation)评价标准中,取得R_(OUGE-1)=0.998,R_(OUGE-2)=0.995,R_(OUGE-L)=0.998的最新效果。其中,R_(OUGE-1)关注参考文本与生成文本之间单个单词的匹配度,R_(OUGE-2)则关注两个连续单词的匹配度,R_(OUGE-L)则关注最长公共子序列的匹配度。为了克服通用指标在本领域的局限性,更准确地评估模型性能,针对生成的复诵指令提出一套基于关键词的评价标准。该评价指标准基于管制文本分词后的结果计算各个关键词指标来评估模型的效果。在基于关键词的评价标准下,所构建模型取得整体准确率为0.987的最优效果,对航空器呼号的复诵准确率达到0.998。

汽车故障知识图谱构建及应用研究

知识图谱技术对汽车高效的故障诊断具有重要的意义,现有汽车故障知识图谱构建存在着实体识别模型效果不佳、无法解决嵌套实体等问题。针对上述问题,通过采用全词掩码的预训练语义模型、加入对抗训练和改进嵌套实体识别模型的方式提高实体识别模型效果,提出了一种改进的嵌套实体识别模型。实验结果表明,所提模型F1值(F_(1))、精确率(P)和召回率(R)相比基线模型分别提高了3.56%、4.08%、3.05%,相比其他模型也有不同程度的提高,验证了所提模型对汽车维修领域实体识别具有显著效果。同时,基于构建的汽车故障知识图谱,实现了汽车故障知识智能问答原型系统,展示了知识图谱技术在汽车故障诊断与维护领域的应用前景。

基于SSA-CNN的航空器着陆跑道占用时间预测

国内外相关研究表明,航空器着陆跑道占用时间(aircraft arrive runway occupation time,AROT)是影响机场跑道容量的重要因素,对跑道占用时间的准确预测有利于更准确地评估跑道容量。由于着陆过程的动态性和复杂性,采用注重数据特征提取的卷积神经网络(convolutional neural networks,CNN)对AROT进行预测,针对CNN容易陷入局部最优等缺点,采用麻雀搜索算法(sparrow search algorithm,SSA)对CNN相关参数进行优化。数据采用航空器快速存取记录器(quick access recorder,QAR)的记录作为数据源,涵盖机场数目为34个。根据QAR数据分析AROT影响因素,构建了SSA-CNN预测模型。对QAR数据分析表明AROT与滑行距离、落地气温、跑道入口速度、快速脱离道数量、脱离速度关联性较强,与航空器重量、风速、风向、脱离道角度等影响因素关联性较低。根据影响因素的关联性采用CNN预测模型均方误差为18.35,而优化后的SSA-CNN预测模型均方误差为17.31,预测结果可以为机场评估跑道容量提供参考。

基于词-主题-文本异质网络的短文本分类方法

针对现有分类方法未考虑长距离词的语义相关性和文本间潜在主题共享的问题,提出一种基于词-主题-文本异质网络(WTDHN)的短文本分类方法。通过Word2vec训练词的上下文语义向量;构建词相关性矩阵以充足的词共现信息增强短文本各级别语义学;构建以词、主题和文本为节点的异质网络,并采用图卷积学习节点之间的高阶邻域信息,丰富短文本语义。相较于基准分类模型,该方法在五个公开短文本数据集上的分类准确率平均提高1.56%。