融合多层感知注意力的电极微观图像分割方法

针对氮氧传感器电极微观图像存在的物质边缘模糊、伪影、灰度不均等问题,将U-Net作为基础模型,提出融合多层感知注意力的电极微观图像语义分割方法。首先对U-Net编码层的不同尺度输出特征图使用3×3卷积进行降维,利用双线性插值统一特征尺度,以实现多尺度特征融合,增强特征信息提取能力并补偿编码下采样中的特征损失;其次通过加入空间金字塔池化来提取多尺度信息并通过1×1卷积减小计算量,同时提出多层感知注意力模块,以捕获主干特征图和增强语义信息特征图的空间位置与通道依赖关系;最后计算不同语义信息特征图的相似度关系,结合交叉熵损失提出具有捕获空间相似性能力的损失函数,在训练过程中对关键信息进行监督,辅助主干特征图学习空间位置信息,增强分割性能。实验结果表明,该方法的类别平均像素准确率为96.75%,平均交并比为94.04%,微观F1分数为96.92%,浮点运算次数为7.78×10~9,网络所含参数量为8.08×10~6。相对U-Net、Seg Net等模型,该方法在提高少量模型复杂度的情况下,能有效改善边缘模糊及物质伪影问题,捕获空间位置与通道信息,保留图像细节特征,提高分割准确率。

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理(NLP)的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型(PLM)对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络(GCN),提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络(AE-GCN)模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络(EMC-GCN)模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC-GCN模型提升了0.42、0.31和2.01个百分点。可见所提模型相较于EMC-GCN模型在精确率和有效性方面有较大改进。

基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法

针对实验室场景理解时存在背景复杂、光照多变等问题,利用RGB信息与深度信息在场景理解中具有互补性的特点,提出了一种感知注意力和轻量空间金字塔融合的网络模型(Perception Attention and Lightweight Spatial Fusion Network,PLFNet)。在该模型的感知注意力模块中,利用RGB图像与深度图像在网络中的权重不同,以加权的方式实现深度信息对RGB信息的多级辅助;在轻量空间金字塔池化模块中,通过增加级联的空洞空间卷积,不但有效地聚集了多尺度特征,而且比传统空间金字塔池化模块的参数量减少了约92%,使RGB信息和深度信息的融合更充分。在两个室内场景公开数据集上的实验结果表明,该模型的表现均优于经典算法。消融实验结果表明,本文模型添加感知注意力模块和轻量空间金字塔池化模块后,平均交并比分别提高了4.3%和3.5%。最后,利用场景较复杂的生物实验室数据集进行测试,结果表明本文模型可以有效地实现对生物实验室的场景理解。

位置感知注意力及其在行人重识别中的应用

行人重识别领域的众多工作都表明,采用多分支神经网络搭配注意力模块是一种实现高性能特征嵌入的有效方式。传统方案主要关注于多分支网络结构的设计,而在注意力机制的设计上存在明显不足,如当前注意力机制缺乏对特征位置信息的有效挖掘和利用。为此,该文在多尺度特征金字塔分支(Feature Pyramid Branch, FPB)网络的框架下,分析了不同注意力模块的引入对系统性能的影响;在此基础上,讨论了两种在注意力机制中融入位置信息的方法,提出了一种新的位置感知注意力模块,该模块具有即插即用的优点,便于融入各种主干网络。在多个流行行人重识别标准数据集上的实验表明,融入位置感知注意力模块的FPB网络相比于原FPB网络,仅需增加0.29 M参数就可以显著提升最终的模型识别准确率:rank-1在Market1501上提高0.7百分点,在DukeMTMC上提高1.5百分点,在CUHK03-Labeled上提高2.4百分点,在CUHK03-Detected上提高3.8百分点。

基于感知注意力的深度交叉网络推荐模型

推荐系统中融合低、高阶特征组合对预测的点击通过率至关重要。本文设计一种基于感知注意力的深度交叉网络推荐模型(Attention Deep Cross IO-awre Factorization Machine,ADCIOFM)。传统推荐模型通过注意力因子分解机和深度交叉网络分别对低、高阶特征进行提取,然而注意力因子分解机对低阶组合特征的提取容易忽略隐藏的字段信息,深度交叉网络挖掘用户兴趣的多样性偏弱。因此,本文通过融入感知辅助矩阵来增强注意力机制估计低阶组合特征权重的表示能力。通过融入多头注意力机制,对不同子空间的特征深度进行提取,以解决深度交叉网络挖掘用户兴趣多样性的不足。最后,将低、高阶组合特征进行有效融合共同进行推荐。通过在Criteo、Movielens-100K这2个数据集上进行实验对比,以AUC指标进行评估,相较于基准模型有着0.0087和0.0159的提升。

基于梯度可感知通道注意力模块的红外小目标检测前去噪网络

红外图像去噪在军事及民用领域应用广泛。现有基于深度学习的图像去噪方法主要为可见光图像设计,此类方法容易过度平滑图像细节,从而导致弱小目标丢失,为后续的检测任务带来困难。为了在去除噪声的同时保留好红外图像中的目标信息,本文提出了一种基于梯度可感知通道注意力模块的红外弱小目标检测前去噪网络。该网络首先采用编码器-解码器结构来去除图像中的加性噪声,然后通过梯度可感知通道注意力模块对图像高频区域进行自适应增强,有效保持红外弱小目标的响应强度。此外,本文提出了领域第一个包含3981张含噪声的红外图像数据集。实验结果表明,该网络能够在有效去除加性噪声的同时避免过度平滑,很好地保留了红外图像中的目标信息,最终实现了在含噪声环境下的高鲁棒性红外弱小目标检测。

结合类型感知注意力的少样本知识图谱补全

【目的】现有少样本知识图谱补全方法在处理复杂关系时不能很好地区分邻居重要性,导致实体预测性能不佳。考虑充分利用实体邻居信息,提高少样本知识图谱补全方法的性能。【方法】通过类型感知邻居编码器学习实体邻居中包含的隐含类型信息,得到类型感知注意力,增强实体表示;利用Transformer编码器捕获任务关系的不同含义;通过联合匹配原型网络聚合参考集得到参考集表示并进行实体预测。【结果】在NELL和Wiki两个公共数据集上进行实体预测任务,实验结果表明,MRR指标分别较Baseline方法提高了1.6和1.2个百分点。【局限】未对与实体相关性较低的邻居进行筛选,使类型感知注意力权重的分配受到噪声影响。【结论】本文方法能够通过学习更丰富的实体邻居信息来有效提高少样本知识图谱补全的性能。

注意力感知的多尺度语义视杯盘分割

为了解决编码器-解码器网络结构在目标提取中抑制无关语义、跨越语义鸿沟等问题,以获取更高精度,采用UNet作为提取特征的主干网络;为了减轻浅层特征与深层特征语义的差异,设计一种融合注意力感知的多尺度语义池化模块(Channel-Spatial-Pyramid,CSP),替代早期层中的跳跃链接。CSP模块从空间与通道两个层面强调更有意义的语义信息,通过4个不同池化核的并行分支提取不同尺度特征,聚合所有分支结果与后期层特征拼接。实验结果表明,CSP-Net在彩色眼底图像视盘分割中的Dice指数可达99.6%,视杯分割结果的Dice指数为92.1%,相比现有算法均有提高。所提出的CSP-Net对于眼底图像中的微小目标提取的有效性及抗干扰性较高,可为青光眼筛查与诊断临床提借鉴。

基于关系图卷积神经网络与双注意力的方面级情感分析

现有基于句法依存树的方面级情感分析模型大多只关注了句子的句法依赖结构,忽视了单词间的位置语义关系,同时现有模型只关注图卷积神经网络最后一层的输出,不能从不同的图卷积层学习。针对这个问题,提出了一种基于关系图卷积神经网络与双注意力的方面级情感分析模型。通过关系感知注意力抽取文本的位置语义关系,并与句法依存树结合,获取文本中丰富的结构信息,使用图卷积神经网络提取方面词的深层表示,使用双注意力机制融合不同图卷积层的输出,结合方面词的深层表示和上下文信息进行情感分类。在semval14和twitter数据集上的实验结果表明,与基准实验相比,关系图卷积网络和双注意力结构可以有效地提高模型的整体性能。

眼动跟踪实现的跨设备分布式注意力感知界面

为了提高用户在跨设备交互环境下的输入操作效率,减小视觉注意力在不同设备间切换时产生的认知负荷,提出基于眼动跟踪的跨设备注意力感知界面技术.首先提取设备屏幕边缘,结合屏幕几何特征和颜色直方图进行不同设备的识别,基于支持头部运动的瞳孔-反光点向量模型计算注视点坐标数据,并根据驻留时间和多设备协同机制识别目标感兴趣区;然后建立分布式感知用户界面的任务管理模型,控制任务的分发、中断与继续以及评估,并利用产生式规则驱动用户界面的转换,提出界面设计的指导原则;最后设计与开发了一个面向跨设备阅读的感知界面原型系统,包括最后阅读位置提示、单词词义与例句自动注释等功能.用户测试结果表明,原型系统感知用户注意力在不同设备之间切换的准确率达到94%,并有效地提高了用户阅读理解水平、阅读效率以及主观满意度.

一种改进HRNetV2和聚合注意力的场景解析方法

智能化环境和服务的重要基础在于能够对环境进行视觉建模,使其具有视觉识别和理解能力。为此,提出一种用于智能服务机器人的场景解析深度网络模型Shuffle-HRNet以实现自主移动和服务。设计一种Shuffle模块并引入HRNetV2网络,实现不同通道之间的信息交互,降低模型参数量并提高计算效率;提出一种聚合注意力感知模块,使网络关注每个通道中不同的有效特征信息、抑制不相关特征;在SmartLib数据集上对Shuffle-HRNet和主流分割方法进行了对比和消融实验。实验结果表明,Shuffle-HRNet能够对内部环境实现场景解析和准确分割。相比其他方法,Shuffle-HRNet具有更高的分割效率和更低的参数量,可部署于机器人以实现室内场景自主移动进而提供多元化服务。

民族服装图像描述生成的局部属性注意网络

针对民族服装图像属性信息复杂、类间相似度高且语义属性与视觉信息关联性低,导致图像描述生成结果不准确的问题,提出民族服装图像描述生成的局部属性注意网络.首先构建包含55个类别、30000幅图像,约3600 MB的民族服装图像描述生成数据集;然后定义民族服装208种局部关键属性词汇和30089条文本信息,通过局部属性学习模块进行视觉特征提取和文本信息嵌入,并采用多实例学习得到局部属性;最后基于双层长短期记忆网络定义包含语义、视觉、门控注意力的注意力感知模块,将局部属性、基于属性的视觉特征和文本编码信息进行融合,优化得到民族服装图像描述生成结果.在构建的民族服装描述生成数据集上的实验结果表明,所提出的网络能够生成包含民族类别、服装风格等关键属性的图像描述,较已有方法在精确性指标BLEU和语义丰富程度指标CIDEr上分别提升1.4%和2.2%.

基于2.5D网络和尺度注意力感知的肝脏与肿瘤分割

深度学习技术已被广泛应用在肝脏与肿瘤的分割任务中。但是,现有的3D网络模型大都忽略了医学图像横断面的像素距离过大的问题,直接使用3D卷积操作难以学习到准确的三维空间信息。此外,肿瘤形状大小高度可变的特点使得分割肿瘤更具挑战性。针对第一个问题,本文提出改进后的2.5D ResNet34对肝脏和肿瘤特征进行编码,提高模型对三维空间信息的建模能力。同时,利用DSC损失函数来提高模型对整体结构的分割能力。针对第二个问题,本文提出尺度注意力感知模块,通过建模不同尺度特征下的局部和全局三维空间信息,以有效地整合低级上下文信息和高级区域语义信息,从而实现精准的肝脏和肿瘤分割。本文所提出的方法在Liver Tumor Segmentation (LiTS)数据集上测试了肝脏与肿瘤的分割性能,其中肝脏分割的DSC为96.4%,肿瘤分割的DSC为72.3%,并与近三年的模型相比,本文提出的方法在肝脏和肿瘤分割中表现最好。

基于时间感知Transformer的交通流预测方法

作为智能交通系统的关键一环,交通流预测面临着长时预测不准的难题,其主要挑战在于交通流数据本身具有复杂的时空关联。近年来,Transformer的提出使得时序数据预测的研究取得了巨大进展,但将Transformer应用于交通流预测仍然存在以下两个问题:1)静态的注意力机制难以捕获交通流随时间动态变化的时空依赖关系;2)采用自回归的预测方式会引发严重的误差累积现象。针对以上问题,提出了一种基于时间感知Transformer的交通流预测模型。首先,设计了一种新的时间感知注意力机制,可以根据时间特征定制注意力计算方案,从而更精准地反映时空依赖关系;其次,在Transformer的训练阶段舍弃了Teacher Forcing机制,并采用非自回归的预测方式来避免误差累积问题;最后,在两个真实交通数据集上进行实验,实验结果表明,所提方法可以有效捕获交通流的时空依赖,相比最优的基线方法,长时预测性能提升了2.09%~4.01%。

基于时间和关系感知的图协同过滤跨域序列推荐

跨域序列推荐旨在从给定的某用户在不同领域中的历史交互序列中挖掘其偏好,预测其在多个领域中最可能与之交互的下一个项目,以缓解数据稀疏对用户意图捕捉和预测的影响.受协同过滤思想启发,提出一种基于时间和关系感知的图协同过滤跨域序列推荐(timeandrelation-awaregraph collaborative filtering for cross-domain sequential recommendation,TRaGCF)算法,充分挖掘用户高阶行为模式同时利用跨域用户行为模式双向迁移,解决序列推荐中的数据稀疏问题.首先,为获得用户行为序列中项目间复杂的时序依赖关系,提出时间感知图注意力(time-aware graph attention,Ta-GAT)学习项目的域间序列级表示;其次,通过域内用户-项目交互二部图挖掘用户的行为偏好,提出关系感知图注意力(relation-aware graph attention,Ra-GAT)学习项目协同表示和用户协同偏好表示,为用户偏好特征的跨域迁移提供基础;最后为同步提高2个领域中的推荐效果,提出用户偏好特征双向迁移模块(user preference feature bi-directional transfer module,PBT),实现迁移用户域间共有偏好,保留用户域内特有偏好.在Amazon Movie-Book和Food-Kitchen数据集上验证了算法的正确性和有效性.实验结果表明,在跨域序列推荐场景下考虑项目间深层复杂的关联关系对挖掘用户意图十分必要;实验还验证了在跨域迁移用户偏好过程中保留域内用户特有偏好对全面用户画像的重要性.

一种基于SAM-MSFF网络的低照度目标检测方法

由于低照度图像具有对比度低、细节丢失严重、噪声大等缺点,现有的目标检测算法对低照度图像的检测效果不理想.为此,本文提出一种结合空间感知注意力机制和多尺度特征融合(Spatial-aware Attention Mechanism and Multi-Scale Feature Fusion,SAM-MSFF)的低照度目标检测方法 .该方法首先通过多尺度交互内存金字塔融合多尺度特征,增强低照度图像特征中的有效信息,并设置内存向量存储样本的特征,捕获样本之间的潜在关联性;然后,引入空间感知注意力机制获取特征在空间域的长距离上下文信息和局部信息,从而增强低照度图像中的目标特征,抑制背景信息和噪声的干扰;最后,利用多感受野增强模块扩张特征的感受野,对具有不同感受野的特征进行分组重加权计算,使检测网络根据输入的多尺度信息自适应地调整感受野的大小.在ExDark数据集上进行实验,本文方法的平均精度(mean Average Precision,mAP)达到77.04%,比现有的主流目标检测方法提高2.6%~14.34%.

基于Transformer和CNN交错混合的肺结节分割网络

针对肺结节尺寸多样、形状异质化高等问题,提出基于Transformer和卷积神经网络(CNN)交错混合(IMTC)的肺结节分割网络,该网络是一个对称的层次连接网络,具有很强的多尺度特征提取能力。该网络通过集成2种方案分别解决肺结节多尺寸与形状异质化问题:(1)采用感知注意力模块(inception attention module,IAM),通过并联多个不同大小的卷积核来增加浅层网络的感受野组合,以此捕获更为丰富的浅层特征;(2)为获取更具表示能力的高级语义特征,利用由Transformer和CNN组成的基本骨干网络交错提取结节特征,使得全局特征与局部特征充分融合,从而提高结节特征表示的泛化能力和鲁棒性。实验结果表明:本文模型可以准确分割直径较小以及边缘复杂的肺结节,在LUNA16公开数据集上分割性能良好,Dice和IOU分别达到86.15%和76.10%。

基于霍克斯过程和图神经网络的会话推荐

针对传统会话推荐系统(Session-Based Recommendation System, SBRS)往往忽略了项目点击量之间的交互,以及遗漏了会话内项目之间的相对顺序的问题,本文提出了一种基于霍克斯过程和图神经网络(Hawkes Process and Graph Neural Network, HPGNN)的会话推荐方法。该方法提出了包含图神经位置感知层和图神经霍克斯层的双流结构,分别学习用户的长期和短期偏好。图神经位置感知层通过门控图神经网络(Gated Graph Neural Network, GGNN)来捕捉各个节点之间的交互关系,得到会话中每个项目的隐向量表示,并引入逐次递减的残差网络,有效地将之前的编码信息与当前网络融合,然后通过位置感知注意力网络来捕捉项目节点在会话中的位置信息,用于学习用户的长期偏好表示。图神经霍克斯层通过将霍克斯过程和GGNN相结合来捕捉连续时间的项目点击量之间的关系,用于更准确的表示用户的短期偏好。最后将两者进行线性组合,来更好地描述用户意图。实验结果表明,提出的HPGNN在Diginetica和Yoochoose1/64两个基准会话推荐数据集上的推荐性能均优于其他会话推荐模型。

aLMGAN-信用卡欺诈检测方法

针对信用卡交易数据的不平衡重叠问题,提出一种基于生成对抗网络的端到端一类分类方法。提出一种基于PCA和T_SNE的混合数据降维方法,对清洗后的数据进行特征降维;将降维后的数据送入所提出的基于LSTM和aMLP的生成对抗网络(aLMGAN),提出一种基于闵可夫斯基距离(Minkowski distance)的损失函数(Min-loss)代替原始生成对抗网络中的交叉熵损失函数,对正常交易数据进行单类稳定训练,形成一种特殊特征模式,区分不属于该特征的异常数据。通过使用kaggle上两个真实的公共信用卡交易数据集进行实验,验证了aLMGAN算法的有效性。

基于多级残差信息蒸馏的真实图像去噪方法

深度神经网络对真实图像有较强的去噪能力,可以学习含噪图像和干净图像之间复杂的非线性映射关系。然而,过多的卷积操作导致计算成本增加并占据大量内存,限制了去噪技术在低运算能力设备中的应用,现有去噪算法容易损坏细节信息,恢复图像存在边缘过度平滑、纹理缺失、含有残留噪声等问题。针对这些问题,构造一种多级残差信息蒸馏模块。通过对特征通道进行分割,保留部分特征用于后续多级融合,并进一步通过深度提取单元提取细化后的特征信息;引入对比度感知通道注意力机制对不同通道的特征分配权重;使用多级跳跃连接充分融合不同阶段提取到的上下文信息。构建1个轻量级的多级残差信息蒸馏网络,采用块间复杂度低的编码-解码结构,编码部分为含噪图像特征提取模块,解码部分为干净图像恢复模块。为了加快训练速度,采用混合图像尺寸的渐进式训练方法。实验结果表明,该方法在SSID和DND真实图像数据集上的峰值信噪比分别为39.43 dB和39.49 dB,与其他网络相比提升了0.17~15.77 dB和0.02~7.06 dB,而模型参数量仅为6.92×106,所提模型在提高去噪性能的同时具有较少的参数量。