基于Attention-BiLSTM网络的车辆换道意图识别

针对换道意图识别方法仅考虑车辆历史状态信息,未充分利用车辆连续性和时序性特征的问题,提出了一种基于Attention-BiLSTM网络的换道意图识别方法。首先,分析行驶车辆之间的交互行为,采用双向长短期记忆网络学习换道意图特征编码信息;其次,通过引入模拟人脑推理行为的注意力机制进行网络权重自适应分配,提高网络捕捉重要状态信息能力;最后,利用HighD车辆轨迹数据集对模型进行训练和评估。试验结果表明:所提出的Attention-BiLSTM模型与LSTM模型相比,其准确率和F1分数分别提高了13.2%和10.5%,有效提升网络对周围车辆换道意图的识别性能。

一种基于Interactive KeyPoints的目标检测算法

目标检测是计算机视觉中的研究热点,小目标检测精度低一直是难点。论文采用关键点的预测方式和回归方法,建立一种基于交互关键点(Interactive KeyPoints)的无锚检测模型(ITKP)。该模型采用自适应采样方法获取一组表示对象的空间范围和具有重大语义意义的局部区域的关键点集后,通过自注意力(self-attention)机制建立关键点之间的联系以更好地匹配关键点和实现细粒度的定位。另外使用自注意力层代替卷积层来获取特征的全局上下文信息,设计了一个交互的特征金字塔,实现了更精确的识别和定位。论文提出的检测模型计算复杂度低,在基于关键点检测的无锚检测方法中,检测性能和小目标检测效果有较大的提升。同时保持实时的检测速度,为嵌入式或边缘设备的应用提供理论支持。

局部注意力引导下的全局池化残差分类网络

大部分注意力机制虽然能增强图像特征,但没有考虑局部特征的关联性影响特征整体的问题。针对以上问题,本文提出局部注意力引导下的全局池化残差分类网络(MSLENet)。MSLENet的基线网络为ResNet34,首先改变首层结构,保留图像重要信息;其次提出多分割局部增强注意力机制(MSLE)模块,MSLE模块将图像整体分割成多个小图像,增强每个小图像的局部特征,通过特征组交互的方式将局部重要特征引导到全局特征中;最后提出池化残差(PR)模块来处理ResNet残差结构丢失信息的问题,提高各层之间的信息利用率。实验结果表明,MSLENet通过增强局部特征的关联性,在多个数据集上均有良好的效果,有效地提高了网络的表达能力。

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。

一种融合注意力机制与3D双流卷积网络的动态头势识别方法

头势能够传递丰富的情绪和意图信息,属于重要的人机交互方式之一。然而,目前基于穿戴式传感器的头势识别方法虽然具有较高的识别率,但缺乏经济性和便捷性,而基于机器视觉的方法普遍存在准确率低、泛化性差、算力成本较高的问题,因此目前的头势识别方法仍难以部署于移动机器人。针对以上问题,提出了一种融合注意力机制与3D双流卷积的动态头势识别方法。该方法从动态头势视频帧中提取RGB信号和光流特征,在注意力机制的启发下,从通道域和空间域进行动作特征提取和增强,从而对关键特征进行准确提取,然后对特征进行融合与分类。实验结果表明,所提方法能够有效提取头势中关键的通道域和空间域信息,可显著提高头势识别的准确率及泛化能力,可在有限算力下实现较高的准确率与实时性。其后,将所提方法应用于助老机器人,在实际示范应用中进行了验证,结果表明本方法适于移动机器人等算力受限的移动机载计算平台。

基于门控循环单元和Transformer的车辆轨迹预测方法

为增强自动驾驶车辆对动态环境的理解能力及其道路行驶安全性,提出基于门控循环单元(GRU)和Transformer的车辆轨迹预测模型STGTF,使用GRU提取车辆的历史轨迹特征,通过双层多头注意力(MHA)机制提取车辆的时空交互特征,生成预测轨迹。试验结果表明,预测结果的均方根误差(RMSE)平均降低7.3%,STGTF在短期预测和长期预测方面均有不同程度的提升,验证了模型的有效性。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于复合跨模态交互网络的时序多模态情感分析

针对多模态情感分析中存在的不同模态间语义特征差异性导致模态融合不充分、交互性弱等问题,通过研究分析不同模态之间存在的潜在关联性,搭建一种基于复合跨模态交互网络的时序多模态情感分析(CCIN-SA)模型。该模型首先使用双向门控循环单元和多头注意力机制提取具有上下文语义信息的文本、视觉和语音模态时序特征;然后,设计跨模态注意力交互层,利用辅助模态的低阶信号不断强化目标模态,使得目标模态学习到辅助模态的信息,捕获模态间的潜在适应性;再将增强后的特征输入到复合特征融合层,通过条件向量进一步捕获不同模态间的相似性,增强重要特征的关联程度,挖掘模态间更深层次的交互性;最后,利用多头注意力机制将复合跨模态强化后的特征与低阶信号做拼接融合,提高模态内部重要特征的权重,保留初始模态独有的特征信息,将得到的多模态融合特征进行最终的情感分类任务。在CMU-MOSI和CMUMOSEI数据集上进行模型评估,结果表明,CCIN-SA模型相比其他现有模型在准确率和F1指标上均有提高,能够有效挖掘不同模态间的关联性,做出更加准确的情感判断。

多源知识融合的方面级情感分析模型

方面级情感分析(ABSA)是一项细粒度情感分析任务,其目的是针对评论语句中出现的特定方面给出对应的情感极性。现有的基于深度学习的ABSA方法大多侧重于评论语句语义和句法的挖掘,往往忽略了评论语句可能涉及的概念知识和情感程度信息。针对此问题,提出一种融合多源知识的神经网络模型,通过句法依赖揭示句子的结构框架、词共现捕捉单词之间的语义联系、情感网络和概念图谱的嵌入为模型提供情感和背景知识,共同实现评论语句上下文与评价方面的增强表示,并通过双交互注意力模式实现评论语句上下文与评价方面的协调优化。通过在4个公开数据集上的实验验证,该模型在ABSA任务中,准确率分别达到了75.00%、77.90%、81.55%、90.10%,与基准模型相比均有所提高。研究成果不仅验证了多源知识融合在ABSA任务中的有效性,也为未来的研究提供了新的思路和方法。

基于多通道的语义信息融合交互方法

提出一种基于多通道的语义信息融合交互方法,使用不同的网络结构来提取原始语音信息、图像信息以及行为信息的语义特征,通过隐马尔可夫模型加强不同特征之间的交互,使用注意力机制建立语义信息融合,捕获了深层语义特征。在IEMOCAP数据集上验证了所提方法的有效性。

基于会话的独立邻域矩阵偏好交互推荐

通过合并输入和输出邻域矩阵可以使一些工作生成全局和局部偏好,并直接对这2个偏好建模来构建会话表示,从而实现改进。然而,一个会话的输入矩阵和输出矩阵并没有很强的相关性,它们的连接可能会为构建2个偏好引入噪声。其次,全局偏好和局部偏好可以相互促进,且邻域会话的协同信息可能有助于提高推荐性能。因此,一种基于会话的偏好交互推荐被提出,它来自独立的输入邻域矩阵和输出邻域矩阵框架,包括2个并行模块:输入会话表示编码器(ISE)和输出会话表示编码器(OSE)。ISE通过GNN和并行协同注意力机制对具有输入信息的会话表示进行建模。OSE通过GNN和并行协同注意力机制对具有输出信息的会话表示进行建模。最后,引入一种融合门控机制来平衡ISE和OSE产生的会话表示的重要性。结果表明,在Yoochoose和Diginetica数据集上,提出的模型明显优于其他先进的方法。

基于平行交互注意力网络的中文电子病历实体及关系联合抽取

基于电子病历构建医学知识图谱对医疗技术的发展具有重要意义,实体和关系抽取是构建知识图谱的关键技术。该文针对目前实体关系联合抽取中存在的特征交互不充分的问题,提出了一种平行交互注意力网络(PIAN)以充分挖掘实体与关系的相关性,在多个标准的医学和通用数据集上取得最优结果;当前中文医学实体及关系标注数据集较少,该文基于中文电子病历构建了实体和关系抽取数据集(CEMRIE),与医学专家共同制定了语料标注规范,并基于该文所提出的模型实验得出基准结果。

基于句法依赖增强图的方面级情感分析

方面级情感分析旨在分析句子中特定方面的情感极性,现有研究侧重于利用图神经网络建模上下文与方面的依赖信息,忽略了对上下文中情感词及其词性的挖掘和利用。为此,提出一种基于句法依赖的增强图(syntactic dependency enhancement graph, SDEG)模型,在原始句法依赖图上引入情感知识和词性信息,增强情感词权重和相关词性单词在上下文中的作用。使用双向长短期记忆网络和卷积神经网络捕捉句子的重点语义信息,通过图卷积神经网络建模句法依赖增强图,通过交互注意力机制生成特定方面的上下文语义和语法表示以进行情感极性分类。在多个公共基准数据集上的实验结果表明,所提模型在性能上有明显提升。

基于偏置交叉注意力的点云配准算法

点云配准对机器视觉、人工智能等领域的发展起到了重要作用。针对传统点云配准算法与现有深度学习点云配准算法精度低和鲁棒性差的问题,提出一种基于偏置交叉注意力的点云配准网络模型OCADGCNN。该模型在动态图卷积神经网络(DGCNN)中插入偏置注意力模块用于提取全局特征向量,充分利用点云的局部结构信息和空间语义信息以减少信息损失;在特征提取中加入残差连接以提高网络性能;使用交互注意力模块实现全局特征之间的信息交换,以增强相关信息,抑制非重叠区域信息的干扰。实验结果显示,OCADGCNN模型在无噪和少量噪声的ModleNet40数据集中配准效果均优于ICP、PointNetLK、PCRNet、OMNet和DOPNet等配准方法,配准精度较高。在未知类别的实验中,OCADGCNN模型泛化能力较高,通用性良好,在点云完整度降低的情况下能够较好地处理低重叠度点云。

基于动态图注意力的车辆轨迹预测研究

针对目前轨迹预测研究中交互建模方法使用的图注意力网络(GAT)为静态注意力,无法有效捕捉复杂道路场景中车辆间交互的问题,提出了一种基于编码器-解码器架构的动态图注意力网络(ED-DGAT)预测高速公路环境中运动车辆的未来轨迹。编码模块使用动态图注意力机制学习场景中车辆间的空间交互,采用状态简化动态图注意力网络建模解码阶段车辆运动的相互依赖,最后使用NGSIM数据集评估所提出的模型,并与长短时记忆(LSTM)、联合社交池化与长短时记忆(S-LSTM)、联合卷积社交池化与长短时记忆(CS-LSTM)算法模型进行对比分析,结果表明,预测轨迹的均方根误差(RMSE)降低了25%,且模型的推理速度为CS-LSTM模型的2.61倍。

融合交互注意力网络的实体和关系联合抽取模型

实体关系三元组的抽取效果直接影响后期知识图谱构建的质量,而传统流水线式和联合式抽取的模型,并没有对句子级别和关系级别的语义特征进行有效建模,从而导致模型性能的缺失。为此,提出一种融合句子级别和关系级别的交互注意力网络的实体和关系联合抽取模型RSIAN,该模型通过交互注意力网络来学习句子级别和关系级别的高阶语义关联,增强句子和关系之间的交互,辅助模型进行抽取决策。在构建的中文旅游数据集(TDDS)的Precision、Recall和F1值分别为0.872、0.760和0.812,其性能均优于其他对比模型;为了进一步验证该模型在英文联合抽取上的性能,在公开英文数据集NYT和Webnlg上进行实验,该模型的F1值相比基线模型RSAN模型分别提高了0.014和0.013,并且该模型在重叠三元组的分析实验也均取得了优于基线模型的性能且更稳定。

基于视觉的神经网络三维动态手势识别方法综述

动态手势识别作为一种重要的人机交互手段而受到广泛关注,其中基于视觉的识别方式因其使用便利性和低成本的优势成为新一代人机交互的首选技术。以人工神经网络为中心,综述了基于视觉的手势识别方法研究进展,分析了不同类型人工神经网络在手势识别中的发展现状,调研并归纳总结了待识别数据和训练数据集的类型及特点;此外,通过开展性能对比实验,客观评估了不同类型的人工神经网络,并对结果进行了分析。最后,对调研内容进行了总结,对该领域面临的挑战和存在的问题进行了阐述,对动态手势识别技术的发展趋势进行了展望。

三分支坐标注意力机制的研究

各类注意力机制模块被表明嵌入深度学习网络中能更充分地提取特征信息.这些机制在通道或空间特征提取方面、两者交互方面仍有优化的空间.本文提出了一种复合型三分支注意力机制(Triplet Coordinate Attention,TCA),该机制基于三分支注意力机制(Triplet Attention,简称TA),引入坐标注意力机制(Coordinate Attention,简称CA)更好地提取空间交互注意力和通道空间交互注意力.TCA机制的参数量和运算量均不大,能够嵌入各种主干网络中.本文在图像分类数据集miniImageNet、目标检测数据集VOC2007和2012上做了大量对比实验,结果表明,网络模型嵌入TCA能进一步提升精度.特别是,较CA和TA在MobileNetV2图像分类任务中Top-1准确率分别提高了1.01%,1.62%;在MobileNetV3+SSDLite目标检测任务上AP50精度分别提高0.5%、2.0%.

面向YSU-Ⅱ下肢康复机器人语音交互系统的指令文本校对模型

针对YSU-Ⅱ下肢康复机器人语音交互系统存在指令误识的问题,构建了基于双向门控循环单元的Seq2Seq模型来检测并纠正指令文本中的错误字符,提出一种基于指令上下文和关键字的注意力机制(CK Attention),用于捕获指令文本的上下文语义和关键字信息,以提升模型的文本校对能力。面向康复机器人的训练任务自行建立了语料库,并采用5次5折交叉验证法在该语料库上开展了相关实验,以客观评估模型性能。实验结果表明,所建模型适用于指令文本校对任务,CK Attention机制能够有效提升模型的文本校对性能,其检错F_(1)值和纠错F_(1)值分别达到97.72%和93.89%,对常用指令文本的校对时长在0.156 s~0.391 s之间。

融合实体语义及结构信息的知识图谱推理

目前,图注意力网络(GAT)通过引入注意力机制对目标实体的邻域实体赋予不同权重并进行信息聚合,使得它更关注实体的局部邻域,忽略了图结构中实体和关系之间的拓扑结构;而且在多头注意力后将输出嵌入向量简单拼接或平均,导致注意力头之间相互独立,未能捕捉不同注意力头的重要语义信息。针对GAT应用于知识图谱(KG)推理任务时未充分挖掘实体结构信息和语义信息的问题,提出融合实体语义及结构信息的知识图谱推理(FESSI)模型。首先,使用TransE将实体和关系表示为同一空间的嵌入向量。其次,提出交互注意力机制,将GAT中多头注意力重新融合成多个混合注意力,增强注意力头之间的交互性,以提取目标实体更丰富的语义信息;同时,利用关系图卷积网络(R-GCN)提取实体的结构信息,并通过权重矩阵学习GAT和R-GCN的输出特征向量。最后,使用ConvKB作为解码器进行评分。在知识图谱数据集Kinship、NELL-995和FB15K-237上的实验结果表明,FESSI模型的效果优于多数对比模型,在3个数据集的平均倒数排名(MRR)指标上的结果分别为0.964、0.565和0.562。