基于复合跨模态交互网络的时序多模态情感分析

针对多模态情感分析中存在的不同模态间语义特征差异性导致模态融合不充分、交互性弱等问题,通过研究分析不同模态之间存在的潜在关联性,搭建一种基于复合跨模态交互网络的时序多模态情感分析(CCIN-SA)模型。该模型首先使用双向门控循环单元和多头注意力机制提取具有上下文语义信息的文本、视觉和语音模态时序特征;然后,设计跨模态注意力交互层,利用辅助模态的低阶信号不断强化目标模态,使得目标模态学习到辅助模态的信息,捕获模态间的潜在适应性;再将增强后的特征输入到复合特征融合层,通过条件向量进一步捕获不同模态间的相似性,增强重要特征的关联程度,挖掘模态间更深层次的交互性;最后,利用多头注意力机制将复合跨模态强化后的特征与低阶信号做拼接融合,提高模态内部重要特征的权重,保留初始模态独有的特征信息,将得到的多模态融合特征进行最终的情感分类任务。在CMU-MOSI和CMUMOSEI数据集上进行模型评估,结果表明,CCIN-SA模型相比其他现有模型在准确率和F1指标上均有提高,能够有效挖掘不同模态间的关联性,做出更加准确的情感判断。

基于CNN跨层融合结构的边缘检测算法

传统边缘检测算法难以处理复杂的图像,而现有基于深度的边缘检测模型,其检测结果往往存在边缘定位错误和信息丢失等现象.针对此类问题,提出一种基于RCF的高精度的边缘检测算法RCF-CLF.首先,引入HDC结构设计用于避免因叠加相同膨胀卷积而引起的网格效应;其次,设计了一种特征增强结构,旨在融合多尺度信息、扩大感受野;然后,设计了跨层融合结构,将高层信息和低层信息融合,用于提取准确的边缘信息;最后,引入注意力机制CBAM,通过聚焦物体边缘区域,抑制非边缘区域,从而提高网络对边缘信息的提取能力.本文在BSDS500和BIPED数据集上评估所提出的方法,与RCF算法相比,在BIPED数据集上,主要指标ODS、OIS和AP分别达到了0.893、0.901和0.945,提高了近5个百分点,在BSDS500数据集上,主要指标也有所提升.此外,与其他同类算法相比,本文算法也具有一定的优势,可以实现更加准确的边缘定位.

对比特征增强的高架库小目标检测方法

针对高架库区场景下安全帽检测中目标特征信息少、分类精度低等问题,提出小目标对比特征增强网络。首先提出快速空间金字塔池化跨层融合模块,减少空间维度上的目标信息丢失。然后提出小目标对比特征增强模块,使用双路并行空洞卷积获取不同感受野,利用通道注意力获取特征图在通道维度上更为精准的特征信息,采用浅层特征图减去深层特征图的方法削弱浅层特征图中大目标信息,以增强小目标特征信息表达。加入高效通道注意力解耦检测头,通过将检测头解耦为分类和回归分支,分别学习目标的语义信息和位置信息。实验结果表明,在TT100K数据集上,所提方法的mAP@0.5比基准网络YOLOv5提高了6.4个百分点,比YOLOv7提高了1.9个百分点。在自建高架库数据集上,所提方法的mAP@0.5相比基准网络提高了4.9个百分点,其中安全帽的mAP@0.5相比基准网络提高了6.9个百分点。

基于改进YOLOv5s的车脸检测算法

针对车检站中车辆检测的实际需求,提出一种改进YOLOv5s的轻量级车脸检测算法。使用ShuffleNetV2网络作为Backbone,在保证模型检测精度的同时实现模型的轻量化与实时性;将通道-空间注意力(SA-Net)与跨通道注意力(Triplet)相结合,提出一种跨通道-空间注意力模块(SA-Triplet attention, STA),提高模型的检测精度;提出一种基于STA注意力模块的跨层特征融合模块(SA-Triplet attention feature fusion, STA-FF),进一步提高模型的检测精度。在自建车脸检测数据集Car-Data上进行实验,所提模型的平均检测精度达到了94.3%,检测速度达到了105.60 FPS,模型参数量为12.36 M。

基于位置感知和跨层特征融合的航拍小目标检测算法

针对航拍图像目标尺度小、背景复杂、漏检和误检严重,提出了一种基于位置感知和跨层特征融合的航拍小目标检测算法DC-YOLOv8s。DC-YOLOv8s新增小目标检测层,增强对小目标尺度的敏感性,提高检测精度。为了减少特征信息的丢失,设计了跨层特征融合模块,充分融合小目标浅层语义信息和深层语义信息,丰富特征表示。改进C 2f结构,结合可变性卷积设计了基于位置感知融入残差的感受野注意力模块,适应航拍小目标形状的变化,快速提取感受野特征,降低漏检和误检率。最后使用基于注意力机制的动态检测头在尺度感知、空间感知、任务感知方面提高复杂场景下小目标的定位性能。实验表明,在VisDrone2019数据集上,DC-YOLOv8s在P、R、mAP上相较于YOLOv8s分别提高了7.2%、7.5%、9.1%,显著提高了小目标检测的性能,FPS为71帧,满足实时性要求。在VOC2007+2012上进行模型泛化性实验验证,效果优于其他经典算法。

基于RCF的细化边缘检测模型

边缘检测是图像处理和计算机视觉中的基本问题。针对基于深度学习的边缘检测技术(如RCF网络)存在生成的边缘线模糊粗糙及边缘信息不全等问题,本文提出一种基于RCF网络的细化边缘检测模型RED。该模型在RCF模型的基础上,去除主干网络中部分下采样,并在主干网络中引入CA注意力模块和混合扩张卷积;在深监督模块改变压缩层的数量和参数,采用平滑压缩的方式进行特征降维;在最后的融合模块,采用跨层交叉融合的方式来融合高低层间的信息。改进后的模型在扩充后的BSDS500数据集上进行了训练和测试,通过在BSDS500基准上进行评估得到数据集最优尺度(ODS)和单图最优尺度(OIS),分别为0.809和0.832。实验结果表明,该模型提取的边缘轮廓更加清晰细致,提取到的边缘信息也更加全面丰富。

基于改进YOLOv5的眼睛及瞳孔检测算法

针对眼睛图像易受光照干扰导致的眼睛部位和瞳孔部位检测不准确及误检漏检的问题,提出基于改进YOLOv5的眼睛及瞳孔检测算法。首先,进行图像预处理,对比了三种图像增强方法,决定运用效果较好的CLAHE(限制对比度自适应直方图均衡化)方法进行图像增强,提高对比度;其次,在YOLOv5网络中引入Swin Transformer模块代替骨干网络的最后一个C3模块和三个预测头中的三个C3模块,提高网络的特征提取能力,提升眼睛部位的检测精度;最后,在YOLOv5网络中通过引入多尺度特征跨层融合机制的方法,增加两个目标预测头,降低网络对眼睛部位和瞳孔部位的漏检率。该文从ELSE标准数据集中的Data setXVIII中选取了受光照程度不同的眼睛数据集2 400张,其中,1 600张为训练集,800张为测试集。实验结果表明,改进后的YOLOv5网络能检测出眼睛整体部位及完整的瞳孔部位,检测置信度也较高,mAP提高了3.2百分点,Recall提高了2.7百分点,且具有较好的实时性。

结合跨层特征融合网络和非局部的识别方法

在以往的方法中,针对于图像识别,主要目标是提取出足够多的具有区分度的局部关键特征。由于细粒度图像分类是对同属于一个大类下面的具体小类别的细分,所以不同的细类之间差别很小,要想提高准确率,更需要找到具有辨别力度的局部区域。论文使用了目标-导航网络,来筛选出前k个最具有判别力的局部区域块,然后针对于筛选出来的k个不同的区域块,利用非局部模块的思想,捕捉不同局部区域之间的联系,更加充分地利用了图像信息,以此来提高精度。与此同时,在残差网络中,使用了卷积注意模块捕捉不同通道注意力特征之间的联系,且在最后的全连接层处改进了网络架构,使用跨层特征融合的方法来代替了简单的级联。考虑到在细粒度识别中,图像的标注需要耗费非常多的人力物力,所以论文中提出的方法,是自监督的。

基于上下文感知跨层特征融合的光场图像显著性检测

光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完整以及背景难抑制的问题,因此该文提出一种基于上下文感知跨层特征融合的光场图像显著性检测网络。首先,构建跨层特征融合模块自适应地从输入特征中选择互补分量,减少特征差异,避免特征不准确整合,以更有效地融合相邻层特征和信息性系数;同时利用跨层特征融合模块构建了并行级联反馈解码器(PCFD),采用多级反馈机制重复迭代细化特征,避免特征丢失及高层上下文特征被稀释;最后构建全局上下文模块(GCM)产生多尺度特征以利用丰富的全局上下文信息,以此获取不同显著区域之间的关联并减轻高级特征的稀释。在最新光场数据集上的实验结果表明,该文方法在定量和定性上均优于所比较的方法,并且能够精确地从前/背景相似的场景中检测出完整的显著对象、获得清晰的显著图。

基于MFCF-UNet的CT图像肝肿瘤分割

针对现有算法对肝肿瘤边界分割不精准的问题,提出一种基于多尺度上下文融合和跨层融合的U-Net改进模型。在编码阶段末端设计了编码器融合模块(Encoder Fusion Module,EFM),从空间维度上自适应融合不同尺度的编码层特征;在解码阶段末端设计了解码器融合模块(Decoder Fusion Module,DFM),从通道维度上自适应整合不同尺度的解码层特征;为了去除跳跃连接特征背景噪声和解决跳跃连接带来的语义差距问题,设计了跨层融合模块(Cross-layer Fusion Module,CFM)。在LiTS2017数据集上进行了训练和测试,实验结果表明,该方法可以更准确地分割肿瘤边界,提高了肝脏肿瘤的分割精度。

基于加权感受野和跨层融合的遥感小目标检测

针对遥感图像中小目标特征易丢失、易受背景噪声影响和定位难的问题,本文对YOLOX-S目标检测模型进行改进。使用二维离散余弦变换对CBAM注意力模块进行改进并加入到主干网络当中,提高网络对小目标的关注度;其次提出一种加权多重感受野空间金字塔池化模块,提升模型对多尺度目标尤其是小尺度目标的感知能力;采用跨层特征融合的思想,提出一种跨层注意力融合模块,使深层结构中尽可能保留更多的小目标特征;最后使用EIoU损失加强对小目标的定位能力。由大量实验分析可知,在RSOD数据集上,改进模型的APs值相对于基准模型提高了5.1%,在DIOR数据集上提高了2.4%,参数量仅增加了1.01 M,检测速度达到93.6 fps,满足实时性的检测要求。此外,相对于当前最新的目标检测模型,本文改进模型也具有一定优势。

基于改进YOLOv5的火焰烟雾检测

为更好地实现基于图像的实时火灾预警,结合YOLOv5s提出一种改进的火焰烟雾检测算法。将YOLOv5s颈部原有的路径聚合网络模块替换为双向交叉尺度融合模块,使深层网络可以直接提取浅层特征,增强信息流并提升网络特征融合能力。在YOLOv5s头部添加引入协调注意力的推理层,在不过多增加计算量的前提下加强检测头对网络信息的提取和定位能力,并提高检测精度。采用HSV色域增强、随机旋转、Mosaic等多种数据增强技术调整并扩充训练数据,使用k-means聚类算法获取数据集先验锚框,增强检测模型鲁棒性。实验结果表明,与基于YOLOv5s的火焰烟雾检测算法相比,改进算法的平均精度均值提升了3.2个百分点,检测速度达到243帧/s,并且保持了YOLOv5s的轻量化优势,在遮挡、夜晚、小目标等复杂场景下均具有较好的火焰烟雾检测效果。

跨层交互与多源特征融合的遥感图像语义分割

将数字表面模型提供的高程特征与光谱特征进行融合可以提高遥感图像的语义分割性能。然而,由于多模态数据特征之间存在显著差异,仅使用级联或者相加的方式对数据特征进行融合容易造成特征冗余和过量噪声。针对该问题,提出了一种跨层交互与多源特征自适应融合的语义分割网络CIMFANet。该网络在解码层实现对双模态特征的提取,采用密集的短跳跃连接进行跨层特征交互以防止空间细节信息的丢失,同时引入空洞空间金字塔池化模块提取跨层交互后的多尺度上下文特征。解码层使用多模态融合模块以自适应的方式融合来自双分支和前一层的特征。该方法在ISPRS提供的两个基准数据集上与其他方法进行对比实验。实验表明,该方法在某些地物要素方面具有更高的分割精度。

LSTFormer:基于Swin Transformer的轻量化语义分割网络

针对现有基于Transformer的语义分割网络普遍存在计算复杂度高的问题,提出了一种基于Swin Transformer的轻量化语义分割网络。该网络通过Swin Transformer获取多个尺度的特征图;采用全感知模块和改进的级联融合模块跨层融合不同尺度的特征图,减小不同层级特征图的语义差距;引入单个Swin Transformer block对初分割特征映射进行优化,通过移动窗口自注意力机制提升网络对不同像素点进行分类的能力;训练阶段加入Dice损失函数和交叉熵损失函数,提高网络的分割性能和收敛速度。实验结果表明,LSTFormer在数据集ADE20K和Cityscapes上mIoU分别达到49.47%和81.47%,相较于SETR和Swin-UPerNet等同类网络,LSTFormer在保持相当分割精度的同时具有更低的参数量和计算量。

多尺度特征跨层融合遥感目标检测方法

最近引起广泛关注的基于遥感图像的目标检测是一项基本但具有挑战性的任务。文章提出了一种基于YOLOv5改进的多尺度特征跨层融合遥感目标检测器。首先,引入Explicit Visual Center(EVC)模块解决目标密集分布任务中的漏检问题。其次,在YOLOv5的基础上提出了多尺度特征跨层融合结构(S-160),该结构提高了对各个尺度目标的检测精度,并针对小目标检测引出了新的大尺度特征,以解决遥感图像中超小目标无法识别的问题。最后,在公共遥感数据集DOTA上进行了实验,此数据集上的平均精度(mAP)达到了76.50%。

基于边缘检测的快速纸张检测方法

结合普通纸笔交互方式对纸张检测的实时性和鲁棒性的要求,提出了一种基于边缘检测的快速纸张检测方法。在边缘检测阶段,提出了跨层特征融合的快速纸张边缘检测方法。在HED主干网上添加线性瓶颈逆残差块和融入高效通道注意力的B-ECA块,大幅度减少了参数量,增加了显著特征的权重;分阶段融合各阶段各层特征,保留了更多的边缘特征;对高阶段特征上采样,并与低阶段特征进行跨层特征融合,解决了边缘模糊的问题。在自建的MPDS数据集上进行训练和测试,相较于HED方法,提出的纸张边缘检测方法在ODS和OIS指标上分别提高了8.1%和6.6%,检测速度由22.08 fps提高到了39.02 fps。在纸张提取阶段,提出了基于纸张结构约束的纸张提取方法。依次对纸张边缘进行基于非极大值抑制的边缘细化、直线检测与筛选、结构约束的纸张顶点提取,最终提取出只包含纸张的图像。实验结果表明,在各种复杂桌面环境及遮挡情况下,提出的纸张提取方法均可以快速、准确地提取完整的纸张图像,可以为普通纸笔交互方法提供交互基础。

一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型

当前的显著性目标检测算法在准确性和高效性两方面不能实现良好的平衡,针对这一问题,该文提出了一种新的平衡准确性以及高效性的显著性目标检测深度卷积网络模型。首先,通过将传统的卷积替换为可分解卷积,大幅减少计算量,提高检测效率。其次,为了更好地利用不同尺度的特征,采用了稀疏跨层连接结构及多尺度融合结构来提高模型检测精度。广泛的评价表明,与现有方法相比,所提的算法在效率和精度上都取得了领先的性能。

基于RCF的跨层融合特征的边缘检测

针对当前基于深度学习的边缘检测技术产生的边缘线条杂乱且模糊等问题,提出了一种基于RCF的端到端的跨层融合多尺度特征的边缘检测(CFF)模型。该模型使用RCF作为基线,在主干网络中加入CBAM,采用具有平移不变性的下采样技术,并且去除了主干网络中的部分下采样操作,以保留图像的细节信息,同时使用扩张卷积技术增大模型感受野。此外,采用跨层融合特征图的方式,使得高低层特征能够充分融合。为了平衡各阶段损失和融合损失之间的关系,以及避免出现多尺度特征融合之后低层细节过度丢失的现象,对每个损失添加了一个权重。在伯克利分割数据集(BSDS500)和PASCAL VOL Context数据集上进行了训练,在测试时使用图像金字塔技术提高边缘图像的质量。实验结果表明,CFF模型提取的轮廓比基线网络更加清晰,能够解决边缘模糊问题。在BSDS500基准上进行的评估表明,该模型将最佳数据集规模(ODS)和最佳图像比例(OIS)指标分别提高到0.818和0.839。

跨层融合与多模型投票的动作识别

针对动作特征在卷积神经网络模型传输时的损失问题以及网络模型过拟合的问题,该文提出一种跨层融合模型和多个模型投票的动作识别方法。在预处理阶段,借助排序池化的方法聚集视频中的运动信息,生成近似动态图像。在全连接层前设置对特征信息进行水平翻转结构,构成无融合模型。在无融合模型的基础上添加第2层的输出特征与第5层的输出特征融合结构,构造成跨层融合模型。训练时,对无融合模型和跨层融合模型两种基本模型采用3种数据划分方式以及两种生成近似动态图像顺序进行训练,得到多个不同的分类器。测试时使用多个分类器进行预测,对它们得到的结果进行投票集成,作为最终分类结果。在UCF101数据集上,提出的无融合模型和跨层融合模型的识别方法与动态图像网络模型的方法相比,识别率有较大提高;多模型投票的识别方法能有效缓解模型的过拟合现象,增加算法的鲁棒性,得到更好的平均性能。

基于两层鲁棒性交叉映射的大数据融合算法

对大数据进行融合处理,可以降低能耗,节省存储资源。进行大数据融合时,应针对不同层次的数据选用不同的处理方法,通过二者之间的交叉映射对大数据进行融合处理,而传统的融合方法是通过簇首节点对其余节点的分类信息进行采集实现大数据融合,不能对不同层次的数据进行分开处理,降低了大数据融合的准确性和效率。针对所研究的无线传感器网络数据多条逐层上传的特性,提出一种基于两层鲁棒性交叉映射的大数据融合算法,介绍了鲁棒性很好的最小二乘法和D-S证据理论法的基本理论,建立基于两层鲁棒性交叉映射的大数据融合模型,针对不同层次的数据选用不同的处理方法,通过二者之间的交叉映射对大数据进行融合处理。在Sink节点上引入最小二乘算法,使数据量和能耗大大降低。在监控终端引入D-证据理论算法,通过从Sink节点接收到的数据,构建识别框架,利用证据的逐渐累积增强大数据融合精度。仿真结果表明,所提算法不仅能耗较低,而且数据融合精度高,鲁棒性强。