Fusion of Convolutional Self-Attention and Cross-Dimensional Feature Transformationfor Human Posture Estimation

Human posture estimation is a prominent research topic in the fields of human-com-puter interaction,motion recognition,and other intelligent applications.However,achieving highaccuracy in key point localization,which is crucial for intelligent applications,contradicts the lowdetection accuracy of human posture detection models in practical scenarios.To address this issue,a human pose estimation network called AT-HRNet has been proposed,which combines convolu-tional self-attention and cross-dimensional feature transformation.AT-HRNet captures significantfeature information from various regions in an adaptive manner,aggregating them through convolu-tional operations within the local receptive domain.The residual structures TripNeck and Trip-Block of the high-resolution network are designed to further refine the key point locations,wherethe attention weight is adjusted by a cross-dimensional interaction to obtain more features.To vali-date the effectiveness of this network,AT-HRNet was evaluated using the COCO2017 dataset.Theresults show that AT-HRNet outperforms HRNet by improving 3.2%in mAP,4.0%in AP75,and3.9%in AP^(M).This suggests that AT-HRNet can offer more beneficial solutions for human posture estimation.

Siamese Dense Pixel-Level Fusion Network for Real-Time UAV Tracking

Onboard visual object tracking in unmanned aerial vehicles(UAVs)has attractedmuch interest due to its versatility.Meanwhile,due to high precision,Siamese networks are becoming hot spots in visual object tracking.However,most Siamese trackers fail to balance the tracking accuracy and time within onboard limited computational resources of UAVs.To meet the tracking precision and real-time requirements,this paper proposes a Siamese dense pixel-level network for UAV object tracking named SiamDPL.Specifically,the Siamese network extracts features of the search region and the template region through a parameter-shared backbone network,then performs correlationmatching to obtain the candidate regionwith high similarity.To improve the matching effect of template and search features,this paper designs a dense pixel-level feature fusion module to enhance the matching ability by pixel-wise correlation and enrich the feature diversity by dense connection.An attention module composed of self-attention and channel attention is introduced to learn global context information and selectively emphasize the target feature region in the spatial and channel dimensions.In addition,a target localization module is designed to improve target location accuracy.Compared with other advanced trackers,experiments on two public benchmarks,which are UAV123@10fps and UAV20L fromthe unmanned air vehicle123(UAV123)dataset,show that SiamDPL can achieve superior performance and low complexity with a running speed of 100.1 fps on NVIDIA TITAN RTX.

DB-DCAFN:dual-branch deformable cross-attention fusion network for bacterial segmentation

Sputum smear tests are critical for the diagnosis of respiratory diseases. Automatic segmentation of bacteria from spu-tum smear images is important for improving diagnostic efficiency. However, this remains a challenging task owing to the high interclass similarity among different categories of bacteria and the low contrast of the bacterial edges. To explore more levels of global pattern features to promote the distinguishing ability of bacterial categories and main-tain sufficient local fine-grained features to ensure accurate localization of ambiguous bacteria simultaneously, we propose a novel dual-branch deformable cross-attention fusion network (DB-DCAFN) for accurate bacterial segmen-tation. Specifically, we first designed a dual-branch encoder consisting of multiple convolution and transformer blocks in parallel to simultaneously extract multilevel local and global features. We then designed a sparse and deformable cross-attention module to capture the semantic dependencies between local and global features, which can bridge the semantic gap and fuse features effectively. Furthermore, we designed a feature assignment fusion module to enhance meaningful features using an adaptive feature weighting strategy to obtain more accurate segmentation. We conducted extensive experiments to evaluate the effectiveness of DB-DCAFN on a clinical dataset comprising three bacterial categories: Acinetobacter baumannii, Klebsiella pneumoniae, and Pseudomonas aeruginosa. The experi-mental results demonstrate that the proposed DB-DCAFN outperforms other state-of-the-art methods and is effective at segmenting bacteria from sputum smear images.

3D Vehicle Detection Algorithm Based onMultimodal Decision-Level Fusion

3D vehicle detection based on LiDAR-camera fusion is becoming an emerging research topic in autonomous driving.The algorithm based on the Camera-LiDAR object candidate fusion method(CLOCs)is currently considered to be a more effective decision-level fusion algorithm,but it does not fully utilize the extracted features of 3D and 2D.Therefore,we proposed a 3D vehicle detection algorithm based onmultimodal decision-level fusion.First,project the anchor point of the 3D detection bounding box into the 2D image,calculate the distance between 2D and 3D anchor points,and use this distance as a new fusion feature to enhance the feature redundancy of the network.Subsequently,add an attention module:squeeze-and-excitation networks,weight each feature channel to enhance the important features of the network,and suppress useless features.The experimental results show that the mean average precision of the algorithm in the KITTI dataset is 82.96%,which outperforms previous state-ofthe-art multimodal fusion-based methods,and the average accuracy in the Easy,Moderate and Hard evaluation indicators reaches 88.96%,82.60%,and 77.31%,respectively,which are higher compared to the original CLOCs model by 1.02%,2.29%,and 0.41%,respectively.Compared with the original CLOCs algorithm,our algorithm has higher accuracy and better performance in 3D vehicle detection.

RF-Net: Unsupervised Low-Light Image Enhancement Based on Retinex and Exposure Fusion

Low-light image enhancement methods have limitations in addressing issues such as color distortion,lack of vibrancy,and uneven light distribution and often require paired training data.To address these issues,we propose a two-stage unsupervised low-light image enhancement algorithm called Retinex and Exposure Fusion Network(RFNet),which can overcome the problems of over-enhancement of the high dynamic range and under-enhancement of the low dynamic range in existing enhancement algorithms.This algorithm can better manage the challenges brought about by complex environments in real-world scenarios by training with unpaired low-light images and regular-light images.In the first stage,we design a multi-scale feature extraction module based on Retinex theory,capable of extracting details and structural information at different scales to generate high-quality illumination and reflection images.In the second stage,an exposure image generator is designed through the camera response mechanism function to acquire exposure images containing more dark features,and the generated images are fused with the original input images to complete the low-light image enhancement.Experiments show the effectiveness and rationality of each module designed in this paper.And the method reconstructs the details of contrast and color distribution,outperforms the current state-of-the-art methods in both qualitative and quantitative metrics,and shows excellent performance in the real world.

结合轻量化与多尺度融合的交通标志检测算法

交通标志检测在自动驾驶领域具有重要的应用价值,及时准确地检测交通目标对提高驾驶安全性和预防交通事故具有重要意义。针对交通标志尺寸小,易受遮挡,在复杂环境下容易出现漏检、错检等问题,在YOLOv8的结构基础上提出一种结合轻量化与多尺度融合的交通标志检测网络架构M-YOLO,构建M-YOLOs模型来应对高精度需求的检测任务,并调整网络深度得到更轻量化的M-YOLOn模型来解决不同环境下的检测需求。首先针对交通标志目标尺寸小、图像特征流失的问题,通过增加小目标检测层,保留更多的特征信息,提高网络对于小目标的特征学习能力。提出高效多尺度特征金字塔融合网络MPANet,将浅层特征图进行降维与跳跃连接,从而融合更多的图像特征信息。然后提出融合稀疏注意力和空间注意力的BRSA注意力模块,有效提取全局和局部的位置信息,减少复杂背景下对于关键信息的干扰。最后设计两种轻量高效的BBot模块和C2fGhost模块,以提高模型运算速度并减少参数量。实验结果表明,M-YOLO相较于YOLOv8,参数量降低约1/3。在TT100K数据集和GTSDB数据集上,M-YOLOs检测精度分别提升了9.7和2.1个百分点,M-YOLOn检测精度分别提升了14.5和2.6个百分点,在轻量化的同时具备更高的检测效果。M-YOLO架构解决了浅层特征图在特征提取过程中信息丢失的问题,并显著降低模型特征提取过程中冗余的计算开销,在实景采集的数据集上证实效果有效,表明在交通标志检测任务中具有应用价值。

基于器件信息融合的双旋转惯导系统误差调制策略

目前,大型水面和水下载体一般安装两套旋转惯导系统(RINS),两套系统按相同的旋转调制策略独立运行,系统信息仅互为备份,缺乏有效融合。针对两台旋转惯导系统配置,开展基于器件信息深度融合的联合旋转调制策略研究,进一步提高系统精度。不改变单套系统结构和编排的前提下,优化经典的单轴4位置旋转方案,联合设计两套系统惯性测量单元(IMU)的旋转策略和转停时序,确保任一时刻有一台惯导处于转停状态,在时序上对转停状态下的惯性测量单元输出(陀螺仪和加速度计)信息进行融合,减小因惯性测量单元转动与刻度系数误差和安装误差的耦合效应。误差特性的理论分析验证了联合调制策略的优势。仿真结果表明:在典型误差作用下,采用联合旋转调制策略的系统定位误差,由单套旋转惯导系统精度的2.3 n mile/72 h提高到0.7 n mile/72 h。

基于残差卷积网络的多传感器融合永磁同步电机故障诊断

作为工业生产与日常生活的常见设备,永磁同步电机的故障诊断研究具有十分重要的意义。以永磁同步电机的匝间短路、退磁、轴承故障为诊断目标,提出一种新型的多传感器特征融合网络(MSFFN),结合多传感器融合技术与卷积神经网络实现永磁同步电机的可靠故障诊断。网络采用2个带有残差模块的卷积神经网络,对输入的电流信号与振动信号并行提取隐藏特征,并设计一种中间特征融合模块(IFFM)有效融合电流和振动的各层隐藏特征,IFFM基于注意力机制对网络中的电流特征与振动特征进行筛选,自适应关注不同信号的内在相关特征,以实现更好的诊断效果。搭建了故障样机测试平台进行数据采集与实验验证,实验结果表明,提出方法具有更高的诊断准确率,同时在叠加了强噪声的条件下,具备更强的抗干扰能力。

面向城市复杂场景的多尺度监督融合变化检测

城市复杂场景中,地物形状多样,光照和成像角度变化大会导致变化检测结果受到干扰。为解决这些问题,文章提出了一种双上下文多尺度监督融合的网络模型(dual context multi-scale supervised fusion network model,DCMSFNet)。首先,在编码部分使用双上下文增强模块获得地物丰富的全局上下文信息。在解码部分,采用级联的方法组合特征,然后通过自适应注意力模块捕捉不同尺度的变化关系,设计多尺度监督融合模块,增强深度网络融合,获得具有更高辨别能力的变化区域特征,将不同层级的输出结果与主网络的重构变化图融合形成最终的变化检测结果。该模型在LEVIR-CD和SYSU-CD变化检测数据集取得了较好的结果,F1-score分别提高了1.58%和2.17%,可更加精确识别复杂场景的变化区域,进一步减少无关因素引起的误检和漏检,且对目标地物边缘的检测更加平滑。

基于深度学习的三维肿瘤及器官分割

针对三维医学图像中由于肿瘤或器官的形状、尺度差异较大导致分割精度较低的问题,提出一种端到端的三维全卷积分割模型。首先,设计空洞立方集成模块在不同分辨率阶段实现多尺度集成,增强复杂边界上的识别能力;其次,引入跨阶段上下文融合模块融合浅层和深层特征,促进收敛并更准确地定位目标对象;最后,解码器对来自编码器的特征进行拼接以实现分割。在脑肿瘤分割数据集上,平均Dice相似性系数值达到85.37%;在腹部器官分割数据集上,平均Dice相似性系数值达到83.99%。实验结果表明所提模型在三维肿瘤和器官的分割上具有较高精度。

基于双向加权特征融合网络的铸件内部缺陷检测方法

针对X射线无损探伤过程中铸件内部缺陷小、对比度弱、人工识别效率低等问题,提出了一种基于双向加权特征融合网络的铸件内部缺陷检测方法。在YOLOv5网络模型基础上引入改进的坐标注意力模块(NCA),以提高网络对不规则缺陷和小缺陷的学习能力;引入双向特征金字塔网络(BiFPN)代替原有路径聚合网络(PANet),以实现缺陷特征多尺度高效融合,并使用EIoU Loss回归损失函数提高缺陷边界框定位的精度。试验结果表明,本文所提方法对铸件内部小目标、弱对比度缺陷具有良好的检测性能。

一种基于SAM-MSFF网络的低照度目标检测方法

由于低照度图像具有对比度低、细节丢失严重、噪声大等缺点,现有的目标检测算法对低照度图像的检测效果不理想.为此,本文提出一种结合空间感知注意力机制和多尺度特征融合(Spatial-aware Attention Mechanism and Multi-Scale Feature Fusion,SAM-MSFF)的低照度目标检测方法 .该方法首先通过多尺度交互内存金字塔融合多尺度特征,增强低照度图像特征中的有效信息,并设置内存向量存储样本的特征,捕获样本之间的潜在关联性;然后,引入空间感知注意力机制获取特征在空间域的长距离上下文信息和局部信息,从而增强低照度图像中的目标特征,抑制背景信息和噪声的干扰;最后,利用多感受野增强模块扩张特征的感受野,对具有不同感受野的特征进行分组重加权计算,使检测网络根据输入的多尺度信息自适应地调整感受野的大小.在ExDark数据集上进行实验,本文方法的平均精度(mean Average Precision,mAP)达到77.04%,比现有的主流目标检测方法提高2.6%~14.34%.

基于高阶空间交互网络的光伏组件热斑故障检测

针对传统红外热斑故障检测算法由于特征表达能力不佳造成算法易受复杂背景干扰以及对密集目标、小目标故障检测精度低的问题,提出一种基于高阶空间交互的光伏组件热斑故障检测网络。首先,设计高阶空间交互模块,并将其引入YOLOv5主干网络进行全局交互建模,提升网络对密集目标的检测精度;其次,为突出复杂背景下故障目标的关键特征,设计基于协同注意力的特征提取模块重构颈部网络;然后,在颈部网络设计多尺度特征增强融合模块以提高检测网络对不同尺度特征的充分利用;最后,设计自适应特征融合检测头以提高模型对小目标的感知能力。实验结果表明,相较于7种经典检测算法,所提出的算法检测精度最高,精度可达84.3%。

复杂作业场景下的反光衣和安全帽检测方法

针对现有算法在复杂的工地环境中进行反光衣和安全帽检测时存在的无法有效区分目标和背景的微小差异问题,提出了一种改进YOLOX的反光衣和安全帽检测算法。首先,将主干网络中空间金字塔池化中的最大池化替换为平均池化,减少特征图的信息损失和过拟合风险;其次,设计一种带权注意力模块(Weighted Convolutional Block Attention Module,W-CBAM)嵌入特征融合层,通过权重系数提升对特征图空间维度的关注,增强特征图的表达能力;最后,添加自适应特征融合(Adaptively Spatial Feature Fusion,ASFF)模块,解决多尺度特征融合时存在的不一致性问题。在扩充后的公开反光衣安全帽数据集的试验结果表明,所提算法精度高达98.79%,优于原始的YOLOX算法和其他先进算法,同时具有较快的检测速度,满足施工环境检测需求。

基于预训练固定参数和深度特征调制的红外与可见光图像融合网络

为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自然图像分别作为U型网络结构(UNet)的输入和输出,采用自编码器技术完成预训练。所获得编码器模块能有效提取输入图像的多尺度深度特征功能,而解码器模块则能将其重构为与输入图像差异极小的输出图像;在无监督融合训练阶段,将预训练编码器和解码器模块的网络参数保持固定不变,而在两者之间新增包含Transformer结构的融合模块。其中,Transformer结构中的多头自注意力机制能对编码器分别从红外和可见光图像提取到的深度特征权重进行合理分配,从而在多个尺度上将两者融合调制到自然图像深度特征的流型空间上来,进而保证融合特征经解码器重构后所获得融合图像的视觉感知效果。大量实验表明:与当前主流的融合模型(算法)相比,所提PDNet模型在多个客观评价指标方面具有显著优势,而在主观视觉评价上,也更符合人眼视觉感知特点。

基于改进Faster R CNN的光伏组件红外热斑检测算法

光伏故障检测对光伏电站智能运维具有重要意义。针对光伏组件红外图像中热斑目标小、难检测的问题,研究了基于改进Faster R CNN的光伏组件红外热斑故障检测模型。将Swin Transformer作为Faster R CNN模型中的特征提取模块,捕获图像的全局信息,建立特征之间的依赖关系,提高模型的建模能力;进一步利用BiFPN进行特征融合,改善了热斑故障由于目标小和特征不明显容易被模型忽略掉的问题;同时为了抑制光伏红外图像中背景和噪声的干扰,加入轻量级注意力模块CBAM,使模型更加关注重要通道和关键区域,提高对热斑故障检测精度。在自建光伏组件图像数据集上进行实验,热斑故障检测精度高达915,验证了本文模型对光伏组件热斑故障检测的有效性。

硅基OLED微显示器的集中式融合扫描策略

本研究针对数字驱动型硅基OLED(Organic Light-emitting Diode,OLED)微显示器在显示动态图像时引发的视觉感知问题,尤其是动态假轮廓和闪烁现象,提出了一种新的扫描策略——集中式融合扫描。集中式融合扫描策略采用灰度权值重分配和融合子场概念,通过对整数子场数目和权值的重新分配,以及将融合子场固定于调制周期中间位置,改善显示器图像质量。实验结果表明,集中式融合扫描在峰值信噪比方面较传统扫描方法平均提高约13%,均方误差降低了约10%,并且结构相似度评分接近1,显著高于现有扫描方法。集中式融合扫描在JEITA闪烁评估中的表现优于19子场扫描法,闪烁量化值降低了约22%。集中式融合扫描策略在改善数字驱动型硅基OLED微显示器的图像显示质量方面提供了一种有效解决方案,为未来显示技术的研究和创新提供了新的方向。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

基于改进YOLOv5s的跌倒行为检测

为了实现电厂人员跌倒行为的实时检测,防止跌倒昏迷而无法被及时发现并救援的事件发生,针对跌倒行为检测实时性以及特征提取能力不足的问题,提出了一种改进YOLOv5s的跌倒行为检测算法网络:在YOLOv5s模型中引入SKAttention注意力模块,使得网络可以自动地利用对分类有效的感受野捕捉到的信息,这种新的深层结构允许CNN在卷积核心上执行动态选择机制,从而自适应地调整其感受野的大小;同时结合ASFF自适应空间融合,并在其中充分利用不同特征,又在算法中引入权重参数,以多层次功能为基础,实现了水下目标识别精度提升的目标;加入空间金字塔池化结构SPPFCSPC,大幅缩短了推理时间;实验结果表明,相比于原始YOLOv5s,新网络在mAP平均精度均值方面提升了2.1%,查全率提升了16%;改进后的网络在感知细节和空间建模方面更加强大,能够更准确地捕捉到人员跌倒的异常行为,检测效果有了显著提升。