基于连续尺度特征融合与VAE注意力机制网络的高光谱图像分类方法探析

本文提出了基于连续尺度特征融合与变分自编码器(Variational Auto Encoder,VAE)注意力机制网络(Continuous Scale Feature Fusion-VAE Attention Mechanism Network,CSFF-VAEAMN)的高光谱图像分类方法,该方法采用连续尺度特征融合块来捕捉连续层级特征,使模型可以充分利用不同层级的特征关系,同时应用VAE注意力机制在加权时生成更连贯的特征表示,以提高模型在交界区域的分类能力。通过在两个公开数据集上与其他现有方法进行对比实验,本文所提方法被证明在各项性能指标上均优于其他方法。

基于注意力机制特征融合的中文命名实体识别

命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中,Transformer编码器更加关注全局语义,对位置和方向信息不敏感,而双向长短期记忆(BiLSTM)网络可以提取文本中的方向信息,但缺少全局语义信息。为同时获得全局语义信息和方向信息,提出使用注意力机制动态融合Transformer编码器和BiLSTM的模型。使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进,利用改进的Transformer编码器提取全局语义信息,并采用BiLSTM捕获方向信息。结合注意力机制动态调整权重,深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码,实现实体标注序列预测。此外,针对Word2Vec等传统词向量方法无法表示词的多义性问题,使用RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入,获得更多的上下文语义信息和词汇信息,增强实体识别效果。实验结果表明,该方法在中文命名实体识别数据集Resume和Weibo上F1值分别达到96.68%和71.29%,相比ID-CNN、BiLSTM、CAN-NER等方法,具有较优的识别效果。

一种多尺度特征融合的多模态三维点云配准模型

针对三维点云配准中现有描述符提取方法可能导致点云结构信息不显著以及点云数据细节丢失的问题,提出了一种多尺度特征融合的多模态三维点云配准模型(Multi-scale Feature Fusion,MSFNet)。首先,在编码器中采用基于稀疏卷积的通道注意力模块(Channel Attention Module Based On Sparse Convolution,SCCAM)使得该模型能够自适应地关注点云的特征结构;然后,利用多尺度空间点云编码结构(Multi-scale Spatial Point Cloud Encoding,MSPCE)提取并有效融合不同尺度下的点云特征,从而增加点云描述符的感受野;最后,利用多模态特征融合模块对编码器提取的点云特征与图片特征进行融合,并将其送入解码器进行监督训练,以生成最终的点云描述符。采用特征匹配召回率(Feature-Match Recall,FMR)作为评价指标,在数据集3DMatch上进行实验。实验结果表明MSFNet网络其召回率精度达到了98.4%,与IMFNet(Interpretable Multimodal Fusion)网络相比,提升了0.8%。

结合密集注意力的自适应特征融合图像去雾网络

目前,大多数图像去雾算法忽视图像的局部细节信息,无法充分利用不同层次的特征,导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象,针对这一问题,提出结合密集注意力的自适应特征融合图像去雾网络.该网络以编码器-解码器结构为基本框架,中间嵌入特征增强部分与特征融合部分,通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块,使网络可以关注图像的局部细节信息,同时增强特征的重复利用,有效防止梯度消失;在特征融合部分构建自适应特征融合模块融合低级与高级特征,防止因网络加深而造成浅层特征退化.实验结果表明,所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异,在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889,在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788,有效解决了颜色失真、对比度下降和雾霾残留等问题.

基于文本特征能量编码的多模态语声情感识别

能量是情感表达重要的特征之一,说话时不同的文字有着各自的能量值,反映了说话者不同的情感状态。而把语声转录成文本的过程中,每个文字表达的能量信息并不包含在内,在提取文本特征的时候导致能量信息丢失。故对于文本模态,该文提出并设计了一种能量编码,将语声信号的每个词、每个停顿的能量值添加到转录文本中,使文本特征包含能量信息,并通过DC-BERT模型获取话语级文本特征。对于语声模态,利用OpenSMILE工具箱,提取语声中的浅层声学特征,采用随机森林算法,选取情感特征重要度靠前的1000维特征作为新的特征集。通过Transformer Encoder网络从新的特征集中提取深层特征,并将浅层特征和深层特征融合,形成多层次的语声情感特征。最后,利用基于自注意力机制的双向长短时记忆神经网络进行情感分类。结果表明,该文提出的方法在IEMOCAP四类情感分类中的加权准确率达到了76.49%。

基于注意力机制和多尺度特征融合的道路裂缝检测

针对复杂背景下细小裂缝难以检测和裂缝检测出现断裂的问题,提出一种基于注意力机制和多尺度特征融合的道路裂缝检测方法EAFNet。在编码阶段设计边缘细化模块,更好提取裂缝细节特征;在网络中间部分设计基于注意力机制的多尺度特征融合模块对裂缝进行准确定位;在解码器部分设计融合优化模块,更好提取裂缝特征和定位裂缝位置。在公开数据集CRACK500训练集上进行训练并在两个道路裂缝数据集上进行测试,与现有的部分检测方法相比,该算法在分割精度和泛化性上都有提升,该算法对于细小裂缝的分割更为精细且有效解决了裂缝检测的断裂问题。

基于深层特征融合的论文推荐方法研究

随着论文出版数量的不断增加,从海量论文中检索相关研究的论文难度逐渐加大。针对此问题,提出了一种基于深层特征融合的论文推荐模型。该模型利用论文的标题和摘要组合文本信息,论文之间的引用和论文标签信息,通过两个并行的融合多头注意力机制的自编码器学习其潜藏因子,然后通过论文潜藏因子加权融合结合矩阵分解实现个性化论文推荐。实验结果表明,所提出的方法相较于最先进的基线模型有一定改进。

融合时序和空间特征的车辆异常轨迹检测方法

针对基于序列建模的车辆异常轨迹检测方法轨迹空间特征提取不够充分而降低了检测效果这一问题,提出融合时序和空间特征的车辆异常轨迹检测方法,充分提取轨迹的时间与空间特征以提升异常轨迹检测精度。采用融合自注意力机制的堆叠序列自编码器,从网格化后的映射轨迹中提取轨迹时序特征;引入全连接神经网络,提取轨迹偏转量和行驶距离等空间特征;融合轨迹的时间和空间特征,进行异常轨迹检测以提升检测效果。实验表明,提出的方法在真实出租车数据集上的异常轨迹检测准确率优于92%,F1评分优于80%,与XGBoost、IBAT、ATDC和ATD-RNN方法相比,检测性能提升较为明显。

基于Transformer的时序多模态融合特征的异常网络流量检测方法

针对当前卷积和循环神经网络相结合的模型无法有效表征网络流量的问题,提出一种基于Tansformer的时序多模态融合特征的异常网络流量检测方法。首先,以会话为单位切分网络流量,将会话中流量记录的统计特征分组。其次,利用多模态注意力编码器计算特征分组的融合特征,进而利用注意力机制对一个会话的所有流量记录并行建模,挖掘流量记录的时序多模态融合特征。最后,利用全连接层和softmax层对该特征进行线性变换和概率计算。在CIC-ToN-IoT数据集上的实验结果表明该方法切实可行,相较于对比方法,在取得较高的准确率和精度的同时,保持了最低的误报率。

残差注意力与多特征融合的图像去模糊

动态场景下的非均匀盲去模糊是一个极具挑战性的计算机视觉问题。虽然基于深度学习的去模糊算法已经取得很大进展,但仍存在去模糊不彻底和细节丢失等问题。针对这些问题,提出了一种基于残差注意力和多特征融合的去模糊网络。与现有的单分支网络结构不同,所提网络由两个独立的特征提取子网组成。主干网络采用基于U-Net结构的编码器-解码器网络来获取不同层级的图像特征,并使用残差注意力模块对特征进行筛选,从而自适应地学习图像的轮廓特征和空间结构特征。另外,为了补偿主干网络中下采样操作和上采样操作造成的信息损失,进一步利用具有大感受野的深层次加权残差密集子网来提取特征图的细节信息。最后,使用多特征融合模块逐步融合原分辨率模糊图像以及主干网络和加权残差密集子网生成的特征信息,使得网络能够以整体的方式自适应地学习更有效的特征来复原模糊图像。为了评估网络的去模糊效果,在基准数据集GoPro数据集和HIDE数据集上进行了测试,结果表明所提方法能够有效复原模糊图像。与现有方法相比,提出的去模糊算法在视觉效果上和客观评价指标上均取得了很好的去模糊效果。

基于卷积与自注意力的红外与可见光图像融合

由于卷积运算过于关注图像的局部特征,在对源图像进行融合时容易造成融合图像的全局语义信息丢失。为了解决该问题,提出一种基于卷积与自注意力的红外与可见光图像融合模型。该模型在使用卷积模块提取图像局部特征的同时,还使用自注意力来提取图像全局特征。此外,由于简单运算无法满足不同层次特征的融合,提出使用嵌入式块残差融合模块来实现多层次特征融合。实验结果表明,相比无监督深度融合算法,所提的方法在主观评价与6项客观指标上的结果具有一定优势。其中,互信息、标准差和视觉保真度分别提升了61.33%、9.96%和19.46%。

融合Transformer和DeepLabv3+的电力线语义分割网络

为解决目前语义分割算法在电力线分割领域存在预测速度缓慢和分割精度不高的双重问题,提出一种电力线分割网络STDC-DeepLabv3+。首先,为提升网络预测速度,在编码器部分采用Swin Transformer V2设计轻量化的主干特征提取网络;其次,为提高分割精度,针对电力线的细长结构以及贯穿整幅图片的特点,提出动态蛇形空间金字塔池化(DSASPP)模块,同时,在解码器部分设计多尺度特征融合模块,使网络更好地利用不同层次的语义信息提取电力线特征,减少网络对电力线的漏分割现象;最后,引入坐标注意力(CA)机制减少背景干扰,进一步提升分割的准确率。实验结果表明,改进后的算法平均交并比(MIoU)和平均像素精度(MPA)分别达到了84.18%和92.85%,与现有分割算法相比,分割精度和预测速度均有所提升,预测速度与DeepLabv3+相比提升了93.92%。

基于混合过滤编码的神经中文生成式摘要

在神经生成式摘要任务中,由于输入文档与参考摘要之间不存在显式的对齐关系,通常会导致重复生成相同单词的问题以及生成的摘要与输入文档语义不相关、准确性低的问题.为更好解决该问题,提出了混合过滤编码网络(HFEN)并在HFEN中集成混合过滤编码机制(HFEM)、注意力机制、指针生成器.HFEM分为管道过滤编码机制(PFEM)、特征融合过滤编码机制(FFFEM).其中,FFFEM具体通过添加特征融合层实现.在中文摘要领域基准数据集(LCSTS)上的实验结果表明:HFEN相较于基线模型生成了准确性更高、重复单词更少的摘要,ROUGE指标有较大提升.

基于加权融合特征与Ostu分割的红外弱小目标检测算法

为提高红外弱小目标在复杂背景干扰与低信噪比条件下的检测精度与效率,基于局部加权融合特征与分类二维Ostu分割,提出红外弱小目标检测算法。利用红外弱小目标与背景的灰度差异,基于Top-Hat算子设计红外背景过滤机制,使弱小目标从背景中凸显出来,使用图像的熵值定义局部加权融合特征,完成弱小目标的粗定位。采用分形理论计算粗定位区域内所有像素的分维值,构建像素分维像模型完成弱小目标的细定位,并通过特征分类二维Ostu分割机制实现红外弱小目标的精确检测。测试结果表明,与现有红外弱小目标检测算法相比,该算法具有更高的检测精度与更短的检测耗时。

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error, MSE)和边缘误差e_(edge).

一种基于评论的多特征融合深度协同推荐算法

在基于评论的推荐算法中,文本特征通常会在训练中发生损失,导致最后的特征交互不足,影响推荐效果。为了获取包含更多信息的文本特征,得到更准确的预测值,文章提出一种基于评论的多特征融合深度协同推荐算法。该算法首先对评论文本进行预处理,然后通过由卷积文本网络和双向GRU网络构成的C&G模块进行多特征提取,同时引入注意力机制,最后在融合层进行融合预测。在Amazon Digital Music数据集上的实验结果表明,该算法的准确度较高,推荐效果较好。

混合扩张卷积和注意力机制的路面裂缝检测

针对复杂背景下路面裂缝检测困难的问题,提出一种基于混合扩张卷积和空间-通道注意力机制的路面裂缝检测算法。基于改进的U-Net网络,在编码阶段,使用空间-通道注意力机制增强裂缝特征,抑制非裂缝特征;在网络中间部分,使用混合扩张卷积实现在不增加额外模块的前提下增大网络的感受野;在解码阶段,融合多层次和多尺度特征使最终预测结果更接近路面真实情况。实验结果表明,所提算法能够快速准确地对路面裂缝进行检测,具有较强的鲁棒性。

基于AM⁃CNN算法下多特征融合实现文本分析

为了解决在线教育中教师如何实时了解到学生的情绪变化,使得授课效果最大化,提出一种基于课程评价文本的自动文本分析系统。该系统首先将非结构的文本数据转化为深度学习框架可识别的结构化数据,利用卷积神经网络和注意力机制联合构建深度学习网络模型,将结构化数据分别通过全局注意力机制、位置注意力机制与词性注意力机制进行预处理;然后通过卷积神经网络对预处理后的数据特征进行进一步提取与融合;最后对结构化数据集进行训练和预测。利用中国大学MOOC网上《大数据技术原理与应用》的课程评价文本进行预测,结果显示出模型的可行性。同时,为了证明模型的有效性和迁移能力,将课程评价文本以及SemEval数据集对提出的AM⁃CNN网络模型进行验证,结果显示相比于传统模型,AM⁃CNN模型在精准率、召回率、F1测度和准确率方面均取得明显的提升。

基于改进Swin Transformer的遥感图像语义分割方法

在高分辨率的遥感图像中提取出准确的地物信息对城市规划以及土地资源利用有重要作用。然而,遥感图像具有目标物体之间尺度差异大,背景复杂等特点,易导致提取结果不准确,特别是对小尺度地物的提取精度较低。为了解决这些问题,提出一种新型双编码结构,充分获取全局语义信息以及空间细节信息,分阶段融合不同尺度的特征信息,增强特征表示能力。构造了特征加强模块(FEM),以减少下采样中细节信息的丢失,关注更多小尺度特征。为了更好地细化特征信息,融合了通道注意力和内核注意力后进行上采样,能够将局部特征与对应的全局空间依赖关系整合,提升目标物体的分割精度。在Potsdam数据集和Vaihingen数据集上的mIoU分别为86.1%和82.4%,与流行的语义分割模型进行对比分析,结果表明,该方法能够有效解决遥感图像中小尺度物体分割不准确的问题,适合处理遥感图像语义分割任务。

实体类别增强的汽车领域嵌套命名实体识别

针对中文汽车领域实体抽取任务中对嵌套实体、长实体识别效果差的问题,提出一种实体类别增强的嵌套实体抽取(ECE-NER)模型。首先,基于特征融合编码,提高模型对领域实体边界的感知能力;然后,尾词识别模块利用多层感知机得到实体尾词集合;最后,前向边界识别模块基于义原构造的实体类别特征和自注意力机制得到实体类别增强的候选尾词表征,融合领域实体类别特征,利用双仿射编码器计算特定尾词和实体类型的实体跨度概率,从而确定命名实体。在某汽车企业生产线故障数据集、汽车工业故障抽取评测数据集CCL2022和中文医学文本数据集CHIP2020上进行模型验证。实验结果表明,所提模型在前两个数据集上的实体识别F1值比序列标注模型(BERT+BiLSTM+CRF)、基于跨度的实体抽取模型(PURE(Princeton University Relation Extraction)、SpERT(Span-based Entity and Relation Transformer))分别提高了4.1、1.8、1.6个百分点和9.0、5.4、7.3个百分点;在第一个数据集和第三个数据集中嵌套实体识别F1值与PURE、SpERT模型相比提高了13.3、8.3个百分点和21.7、9.3个百分点,验证了所提模型在嵌套实体识别上的有效性。