Lightweight Cross-Modal Multispectral Pedestrian Detection Based on Spatial Reweighted Attention Mechanism

Multispectral pedestrian detection technology leverages infrared images to provide reliable information for visible light images, demonstrating significant advantages in low-light conditions and background occlusion scenarios. However, while continuously improving cross-modal feature extraction and fusion, ensuring the model’s detection speed is also a challenging issue. We have devised a deep learning network model for cross-modal pedestrian detection based on Resnet50, aiming to focus on more reliable features and enhance the model’s detection efficiency. This model employs a spatial attention mechanism to reweight the input visible light and infrared image data, enhancing the model’s focus on different spatial positions and sharing the weighted feature data across different modalities, thereby reducing the interference of multi-modal features. Subsequently, lightweight modules with depthwise separable convolution are incorporated to reduce the model’s parameter count and computational load through channel-wise and point-wise convolutions. The network model algorithm proposed in this paper was experimentally validated on the publicly available KAIST dataset and compared with other existing methods. The experimental results demonstrate that our approach achieves favorable performance in various complex environments, affirming the effectiveness of the multispectral pedestrian detection technology proposed in this paper.

Bilateral U-Net semantic segmentation with spatial attention mechanism

Aiming at the problem that the existing models have a poor segmentation effect on imbalanced data sets with small-scale samples,a bilateral U-Net network model with a spatial attention mechanism is designed.The model uses the lightweight MobileNetV2 as the backbone network for feature hierarchical extraction and proposes an Attentive Pyramid Spatial Attention(APSA)module compared to the Attenuated Spatial Pyramid module,which can increase the receptive field and enhance the information,and finally adds the context fusion prediction branch that fuses high-semantic and low-semantic prediction results,and the model effectively improves the segmentation accuracy of small data sets.The experimental results on the CamVid data set show that compared with some existing semantic segmentation networks,the algorithm has a better segmentation effect and segmentation accuracy,and its mIOU reaches 75.85%.Moreover,to verify the generality of the model and the effectiveness of the APSA module,experiments were conducted on the VOC 2012 data set,and the APSA module improved mIOU by about 12.2%.

Improved Blending Attention Mechanism in Visual Question Answering

Visual question answering(VQA)has attracted more and more attention in computer vision and natural language processing.Scholars are committed to studying how to better integrate image features and text features to achieve better results in VQA tasks.Analysis of all features may cause information redundancy and heavy computational burden.Attention mechanism is a wise way to solve this problem.However,using single attention mechanism may cause incomplete concern of features.This paper improves the attention mechanism method and proposes a hybrid attention mechanism that combines the spatial attention mechanism method and the channel attention mechanism method.In the case that the attention mechanism will cause the loss of the original features,a small portion of image features were added as compensation.For the attention mechanism of text features,a selfattention mechanism was introduced,and the internal structural features of sentences were strengthened to improve the overall model.The results show that attention mechanism and feature compensation add 6.1%accuracy to multimodal low-rank bilinear pooling network.

Hybrid 1DCNN-Attention with Enhanced Data Preprocessing for Loan Approval Prediction

In order to reduce the risk of non-performing loans, losses, and improve the loan approval efficiency, it is necessary to establish an intelligent loan risk and approval prediction system. A hybrid deep learning model with 1DCNN-attention network and the enhanced preprocessing techniques is proposed for loan approval prediction. Our proposed model consists of the enhanced data preprocessing and stacking of multiple hybrid modules. Initially, the enhanced data preprocessing techniques using a combination of methods such as standardization, SMOTE oversampling, feature construction, recursive feature elimination (RFE), information value (IV) and principal component analysis (PCA), which not only eliminates the effects of data jitter and non-equilibrium, but also removes redundant features while improving the representation of features. Subsequently, a hybrid module that combines a 1DCNN with an attention mechanism is proposed to extract local and global spatio-temporal features. Finally, the comprehensive experiments conducted validate that the proposed model surpasses state-of-the-art baseline models across various performance metrics, including accuracy, precision, recall, F1 score, and AUC. Our proposed model helps to automate the loan approval process and provides scientific guidance to financial institutions for loan risk control.

面向交通流量预测的时空Graph-CoordAttention网络

交通预测是城市智能交通系统的一个重要研究组成部分,使人们的出行更加效率和安全。由于复杂的时间和空间依赖性,准确预测交通流量仍然是一个巨大的挑战。近年来,图卷积网络(GCN)在交通预测方面表现出巨大的潜力,但基于GCN的模型往往侧重于单独捕捉时间和空间的依赖性,忽视了时间和空间依赖性之间的动态关联性,不能很好地融合它们。此外,以前的方法使用现实世界的静态交通网络来构建空间邻接矩阵,这可能忽略了动态的空间依赖性。为了克服这些局限性,并提高模型的性能,提出了一种新颖的时空Graph-CoordAttention网络(STGCA)。具体来说,提出了时空同步模块,用来建模不同时刻的时空依赖交融关系。然后,提出了一种动态图学习的方案,基于车流量之间数据关联,挖掘出潜在的图信息。在4个公开的数据集上和现有基线模型进行对比实验,STGCA表现了优异的性能。

基于深度学习的Attention U-Net语义分割模型研究

针对当前深度神经网络在处理图像分割过程中普遍存在的处理耗时长、实时性低和分割准确率不高的问题,提出了一种融入注意力机制的U-Net网络对GAN扩充的数据集进行训练的模型,试验结果表明:相较于U-Net++、SegNet和DeepLabV1等传统模型,提出模型的平均损失约为129%,与U-Net++、DeepLabV1模型较为接近;平均精确度约为95.4%,比U-Net++提高了1.7%,比SegNet提高了6%,比DeepLabV1提高了1.7%。

Neural mechanisms of top-down divided and selective spatial attention in visual and auditory perception

Top-down attention mechanisms require the selection of specificobjects or locations;however,the brain mechanism involved when attention is allocated across different modalities is not well understood.The aim of this study was to use functional magnetic resonance imaging to define the neural mechanisms underlyingdivided and selective spatial attention.A concurrent audiovisual stimulus was used,and subjects were prompted to focus on a visual,auditory and audiovisual stimulus in a Posner paradigm.Ourbehavioral results confirmed the better performance of selectiveattention compared to devided attention.We found differences in the activation level of the frontoparietal network,visual/auditorycortex,the putamen and the salience network under differentattention conditions.We further used Granger causality(GC)toexplore effective connectivity differences between tasks.Differences in GC connectivity between visual and auditory selective tasksreflected the visual dominance effect under spatial attention.In addition,our results supported the role of the putamen inredistributing attention and the functional separation of the saliencenetwork.In summary,we explored the audiovisual top-down allocation of attention and observed the differences in neuralmechanisms under endogenous attention modes,which revealedthe differences in cross-modal expression in visual and auditory attention under attentional modulation.

复杂战场环境下改进YOLOv5军事目标识别算法研究

复杂战场环境下军事目标识别技术是提升战场情报获取能力的基础和关键。针对当前军事目标识别技术在复杂战场环境下漏检误检率高、实时性差等问题,提出一种基于改进YOLOv5模型的PB-YOLO军事目标识别算法。将改进的目标识别算法对于陆战场军事单元的识别锚框进行重新聚类,以提升模型对于目标大小适应度,加速模型收敛;采用通道-空间并行注意力机制,增加模型对复杂战场环境下目标特征信息与位置信息关注度;在特征融合网络部分使用BiFPN以提升模型对于特征的融合能力与速度;采用Alpha_IoU损失函数加速模型收敛,解决当真实框与预测框重合时IoU计算退化问题。实验结果表明,在自建军事目标数据集下,改进算法与主流目标识别算法相比,在保证模型空间复杂度的同时,mAP值达到了90.17%。消融实验对比结果表明,改进后网络较原模型精度提升11.57%,具有较好的识别性能,能够为战场情报获取提供有效的技术支撑。

基于改进YOLOv5的行人目标检测方法

针对行人检测中对小尺度目标和遮挡的检测困难问题,提出一种基于改进YOLOv5的行人目标检测方法。结合GhostNet将YOLOv5的CSP模块改进为CSPGhost模块,对于相似的特征,将复杂的卷积运算简化成线性运算;在每个CSPGhost模块后面插入通道注意力模块,保证了模型检测速度的同时具有较高的检测精度;优化空间金字塔池化层,在不改变原有效果的前提下,降低算法的时间成本;将边框回归损失函数GIoU优化为考虑了长度损失和宽度损失的EIoU,其回归速度更快,得到的回归结果更好。实验结果表明:基于CSPGhost改进的YOLOv5的行人目标检测方法在COCO数据集上种类平均精度值为55.8%,检测速度达到374帧·s^(-1),对小目标的检测能力更强,对遮挡条件下的目标漏检率更低,检测速度更快,能够达到行人检测的实际应用要求.

基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。

基于混合智能的街景影像知识提取方法

针对街景影像目标的智能化提取难题,本文提出了一种基于混合智能的街景影像知识提取方法(K-CAPSNet)。首先,在现有全景分割网络的基础上,同时关注街景影像的通道信息和空间信息,发展了一种联合注意力机制的全景分割网络,以提高目标分割精度;其次,将人们在生产、生活中形成的街景知识融入街景影像认知过程,借助先验知识设置目标标记阈值,对分割结果进行优化;然后,进一步根据街景影像先验知识验证街景目标之间的拓扑关系并利用深度信息进行空间关系知识挖掘;最后,采用语义模板对街景目标类型、数量及空间关系进行描述和表达。试验表明,相较于基线网络,本文方法在全景分割质量和识别质量方面都有明显提升,较好地实现了对街景影像知识的提取与表达。

基于混合域残差注意力网络的滚动轴承智能故障诊断方法

机械设备正朝着大型化、精密化和自动化的方向发展,机械系统也因此变得越来越复杂。考虑到机械系统可能会发生无特征的灾难性故障,因此机械故障的自动检测是一个巨大的挑战。然而,现有的故障检测方法在对高度复杂的工业系统进行故障类型识别时,误诊率较高,无法给出准确的故障诊断结果。针对这一问题,本文以滚动轴承这一机械设备关键部件作为研究对象,提出一种基于混合域残差注意力网络的故障诊断方法,旨在结合深度卷积神经网络自动学习表示的优点,并配合通道注意力机制和空间注意力机制的关键特征提取能力,提高故障检测性能。实验结果表明,所提出的方法能够准确地检测轴承故障类型,在准确度指标方面优于其他方法。

基于空间传播的多视图三维重建

针对多视图三维重建任务中点云完整性欠佳的问题,提出一种基于空间传播的多视图深度估计网络(SPMVSNet)。引入空间传播思想用于复杂条件下的稠密点云重建,并分别设计基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策略采用由粗糙到精细的深度推理方式,将深度估计视为多标签分类任务,对正则化概率体执行交叉熵损失以约束代价体,从而避免回归方法过拟合和收敛速度过慢的问题。空间感知优化模块从包含高级语义特征表示的特征图中获得引导,在进行置信度检查后采用卷积空间传播网络,通过构建亲和矩阵来细化最终的深度图。同时,为解决大多数方法存在的对不满足多视图一致性的不可靠区域重建质量较低的问题,进一步结合注意力机制设计具有样本自适应能力的动态特征提取网络,用于增强模型的局部感知能力。实验结果表明,在DTU数据集上,SP-MVSNet的重建完整性相比于CVP-MVSNet提升32.8%,整体质量提升11.4%。在Tanks and Temples基准和Blended MVS数据集上,SP-MVSNet的表现也优于大多数已知方法,取得了良好的三维重建效果。

一种基于SAM-MSFF网络的低照度目标检测方法

由于低照度图像具有对比度低、细节丢失严重、噪声大等缺点,现有的目标检测算法对低照度图像的检测效果不理想.为此,本文提出一种结合空间感知注意力机制和多尺度特征融合(Spatial-aware Attention Mechanism and Multi-Scale Feature Fusion,SAM-MSFF)的低照度目标检测方法 .该方法首先通过多尺度交互内存金字塔融合多尺度特征,增强低照度图像特征中的有效信息,并设置内存向量存储样本的特征,捕获样本之间的潜在关联性;然后,引入空间感知注意力机制获取特征在空间域的长距离上下文信息和局部信息,从而增强低照度图像中的目标特征,抑制背景信息和噪声的干扰;最后,利用多感受野增强模块扩张特征的感受野,对具有不同感受野的特征进行分组重加权计算,使检测网络根据输入的多尺度信息自适应地调整感受野的大小.在ExDark数据集上进行实验,本文方法的平均精度(mean Average Precision,mAP)达到77.04%,比现有的主流目标检测方法提高2.6%~14.34%.

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

基于ASTLSTM的地铁乘客流量短时预测

地铁乘客流量预测是智能交通系统的重要环节,当前大多数预测模型较少对地铁乘客流量进行时空相关性建模,且未考虑空气质量等天气因素带来的影响,存在地铁乘客流量预测准确度不高的问题。针对以上问题,提出基于注意力机制的时空长短期记忆(ASTLSTM)网络的地铁乘客流量短时预测模型。首先,对数据进行预处理;然后,利用注意力机制与图卷积网络(GCN)、卷积神经网络(CNN)相融合,挖掘地铁数据中的时空相关性,并通过长短期记忆网络(LSTM)来提取空气质量数据中的外部特征;最后,通过特征融合得到地铁乘客流量预测结果。实验结果表明,ASTLSTM模型与LSTM、Conv LSTM等典型模型相比,在短期的地铁乘客流量预测上都有较高的准确度。

基于脉冲神经网络的时空交互图像分类

脉冲神经网络作为人工智能发展的重要方向之一,在神经形态工程和类脑计算领域得到了广泛的关注.为解决脉冲神经网络泛化性差、内存和时间消耗较大等问题,本文提出了一种基于脉冲神经网络的时空交互图像分类方法.首先引入时间有效训练算法弥补梯度下降过程中的动能损失;其次融合空间随时间学习算法,提高网络对信息的高效处理能力;最后添加空间注意力机制,增强网络对空间维度上重要特征的捕捉能力.实验结果表明,改进后的方法在CIFAR10、DVS Gesture、CIFAR10-DVS这3个数据集上的训练内存占用分别减少了46.68%、48.52%、10.46%,训练速度分别提升了2.80倍、1.31倍、2.76倍,在保证精度的情况下,网络性能得到有效提升.

基于边缘特征和注意力机制的图像语义分割

在语义分割任务中,编码器的下采样过程会导致分辨率降低,造成图像空间信息细节的丢失,因此在物体边缘会出现分割不连续或者错误分割的现象,进而对整体分割性能产生负面影响.针对上述问题,提出基于边缘特征和注意力机制的图像语义分割模型EASSNet.首先,使用边缘检测算子计算原始图像的边缘图,通过池化下采样和卷积运算提取边缘特征.接着,将边缘特征融合到经过编码器提取的深层语义特征当中,恢复经过下采样的特征图像的空间细节信息,并且通过注意力机制来强化有意义的信息,从而提高物体边缘分割的准确性,进而提升语义分割的整体性能.最后,EASSNet在PASCAL VOC 2012和Cityscapes数据集上的平均交并比分别达到85.9%和76.7%,与当前流行的语义分割网络相比,整体分割性能和物体边缘的分割效果都具有明显优势.

基于多尺度融合和时空特征的网络入侵检测模型

针对入侵检测模型提取特征能力不足,且流量数据中含冗余噪声的问题,提出一种基于多尺度融合和时空特征的ML-PFN入侵检测模型。采用多尺度特征融合技术分别提取数据中浅层特征信息和深层特征信息,使模型学习的特征更加丰富;采用软阈值函数和注意力机制自动选择合适的阈值,减少噪声及不相关信息对模型的干扰;融合时空特征构成多尺度空间特征提取长短时记忆-并行特征网络(MSFE LSTM-parallel feature network, ML-PFN)模型,并应用于网络入侵检测。通过3个公开数据集进行性能评估,实验结果表明,ML-PFN模型对比其它5种分类模型各项指标效果最好,在训练时长适中的同时准确率达到96.45%。

基于ResNet和双注意力机制的赤足图像年龄预测

足迹是人在行走时足部与地面等客体接触时所留下的痕迹,也是犯罪现场嫌疑人最容易遗留的生物特征之一,它隐含着人体的身高、体重、性别和年龄等身份属性信息,利用足迹信息进行人的年龄预测,对指明侦察方向和缩小侦察范围有着极其重要的意义.传统侦查工作中,刑侦专家会依据积累的案件经验,依据现场遗留的足迹进行嫌疑人身份和属性的预测,但这个过程需要大量的领域知识,据此,提出了基于赤足图像的年龄自动预测方法,其由伪彩色变换模块、在线随机几何变换模块、特征提取模块、空间注意力模块和年龄预测模块组成.算法在由1 818幅赤足灰度图像组成的数据集上进行了测试,预测准确率指标Acc_5和Acc_10分别达到了55.5%和83.4%,优于现有的年龄预测方法.