基于EM自注意力残差的图像超分辨率重建网络

基于深度学习的图像超分辨率(SR)重建方法主要通过增加模型的深度来提升图像重建的质量,但同时增加了模型的计算代价,很多网络利用注意力机制来提高特征提取能力,但难以充分学习到不同区域的特征。为此,提出一种基于期望最大化(EM)自注意力残差的图像超分辨率重建网络。该网络通过改进基础残差块,构建特征增强残差块,以更好地复用残差块中所提取的特征。为增加特征信息在空间上的相关性,引入EM自注意力机制,构建EM自注意力残差模块来增强模型中每个模块的特征提取能力,并通过级联EM自注意力残差模块来构建整个模型的特征提取结构。所获得的特征图通过上采样的图像重建模块获得重建的高分辨率图像。将所提方法与主流方法进行实验对比,结果表明:所提方法在5个流行的SR测试集上能够取得较好的主观视觉效果和更优的性能指标。

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.

基于残差注意力网络的地震数据超分辨率方法

地震数据在油气勘探、地质勘探领域发挥着至关重要的作用。精确详细的地震数据有助于对油气勘探做出精确指导,减小勘探的风险,从而产生巨大的社会效益和经济效益。在提升地震数据分辨率方面,现有的方法在面对海量数据时,在高分辨恢复、去噪性能和效率上效果欠佳,难以恢复出细节丰富的地质信息,无法满足实际需求。地震数据能够反映地质构造以及地层的组成,具有局部相关性高、全局相关性低的特点。同时,地震数据高频部分通常蕴含着地质勘探等重要信息,如分层、断层信息等。针对地震数据的特点,文中将地震数据重建问题转化为图像超分辨率问题,提出了采用基于生成对抗网络的地震数据超分辨方法。针对地震数据分布具有局部相关性高、全局相关性低的特点,设计残差注意力模块,挖掘地震数据的内在相关性,通过训练含有相对生成对抗损失函数的生成对抗网络模型,来对地震数据进行超分辨率恢复,以得到更加精确的地震数据。在真实的地震数据集上进行了实验验证,结果表明,所提方法在地震数据超分辨上效果良好,在性能指标PSNR和SSIM上有3%~4%的提升,具有较强的实用性。

基于残差混合注意力机制的脑部CT图像分类卷积神经网络模型

针对阿尔兹海默症、病变(如脑肿瘤)和健康老化的3类脑部CT图像分类问题,本文提出了一种改进的ResNet-10卷积神经网络模型.该模型在网络的残差映射结构中加入残差混合注意力模块,解决了原模型提取的特征分辨性弱的问题,精确捕捉了脑部组织在CT图像中的位置和内容信息;此外,本文设计了全局平均池化层,简化了模型的复杂度,并在其后引入Dropout机制,缓解了过拟合.在训练阶段,该模型建立了标签平滑交叉熵损失函数,使模型在样本数量有限的情况下仍有较强的泛化能力.系列实验证明了改进后的ResNet-10网络模型在分类脑部CT图像时达到97.47%的分类精度.

基于注意力机制的自然场景文本检测算法

针对目前主流场景文本检测算法在进行多尺度特征融合时不能够充分利用高、低层信息造成的文本漏检,以及长文本边界检测错误的问题,本文提出一种应用注意力机制的多尺度特征融合与残差坐标注意力的场景文本检测算法。该算法将注意力特征融合模块嵌入到金字塔中,通过纠正不同尺度特征的不一致性来提取更多的细节信息,以改善文本的漏检;在融合之后,使用残差坐标注意力模块在纵、横两个方向上捕获方向感知和位置敏感信息,细化边界信息,以优化长文本检测的效果。通过在公开数据集ICDAR 2015和Total-Text上的实验结果表明,该算法在F分数上分别达到了85.5%和83.6%,在推理速度上分别达到了22.4 FPS和40 FPS,相较于DBNet网络,在推理速度上略有下降,但在F分数上分别提高3.2%和0.8%。

基于密集残差连接U型网络的噪声图像超分辨率重建

现有的图像超分辨率重建网络难以适用于煤矿井下噪声密集的应用场景,且多数网络通过增加深度提升性能会导致无法有效提取关键特征、高频信息丢失等问题。针对上述问题,提出了一种密集残差连接U型网络,用于对低分辨率噪声图像进行超分辨率重建。在特征提取路径中引入基于密集残差连接的去噪模块,通过密集连接的方式对图像特征进行充分提取,再利用残差学习的特点对低分辨率噪声图像进行有效去噪;在重建路径中引入残差特征注意力蒸馏模块,通过在残差块中融入增强特征注意力块,对不同空间的特征赋予不同的权重,加强网络对于图像关键特征的提取能力,同时减少图像细节特征在残差块中的损失,从而更好地恢复图像细节信息。在煤矿井下图像数据集及公共数据集上进行了对比实验,结果表明:在客观评价指标上,所提网络的结构相似度、图像感知相似度均优于对比网络,且在复杂度及运行速度上有着较好的均衡;在主观视觉效果上,所提网络重建的图像基本消除了原有图像噪声,有效恢复了图像的细节特征。

Residual Attention-BiConvLSTM:一种新的全球电离层TEC

电离层总电子含量(TEC)预测对提高全球卫星导航系统(GNSS)的精度具有重要意义.现有的TEC map预测模型主要通过顺序堆叠时空特征提取单元来实现.这种模型搭建方法会因多个卷积层顺序堆叠而损失细粒度的TEC map的空间特征,导致模型精度不够;还会由于多层堆叠导致梯度消失或梯度爆炸问题.本文借鉴残差注意力(Residual Attention)的思想,在TEC map预测模型中增加了残差注意力模块,提出了Residual Attention-BiConvLSTM模型.该模型中的残差注意力模块能同时提取粗、细粒度空间特征,并对其进行加权.本文在全球TEC map数据上与ConvLSTM、ConvGRU、ED-ConvLSTM和C1PG进行了对比实验.实验结果表明,本文所提出的Residual Attention-BiConvLSTM模型的RMSE、MAE、MAPE和R^(2)在太阳活动高年和年均优于对比模型.本文还在一次磁暴事件中对比了5种模型的预测效果.实验结果表明,大磁暴发生时,本文模型与C1PG相近,优于其他3种对比模型.本文的研究工作为电离层map预测模型搭建提供一个新思路.

基于改进YOLOv8的飞机检测研究

随着无人机技术和航空监控系统的迅速发展,高效准确的飞机检测技术变得日益重要。提出了一种基于改进的YOLOv8模型的飞机检测方法,旨在提高检测的准确性和实时性。首先,引入了反向残差注意力模块(iRMB),通过改进的注意力机制增强模型对飞机特征的学习能力。其次,采用中心化特征金字塔(EVC)模块,优化了特征提取过程,增强了模型对不同尺度飞机的检测能力。此外还采用了改进的距离交并比(MDIoU)作为损失函数,进一步提升了模型的定位精度。在公开数据集Caltech101的飞机类别上的实验结果表明,与现有的飞机检测方法相比,提出的方法在检测精度和召回率方面分别达到98.2%和98.9%,特别是在复杂背景和多尺度目标检测场景中表现更为突出。该研究的成果对于提高航空安全监控系统的效能具有重要意义。

基于料面视频图像分析的高炉异常状态智能感知与识别

智能感知、精准识别高炉(Blast furnace,BF)异常状态对高炉调控优化和稳定运行至关重要,但高炉内部的黑箱状态致使传统检测方法难以直接感知并准确识别多种高炉异常状态.新型工业内窥镜可获取大量料面视频图像,为直接观测炉内运行状态提供了全新的手段.基于此,提出一种基于料面视频图像分析的高炉异常状态智能感知与识别方法.首先,提出基于多尺度纹理模糊C均值(Multi-scale texture fuzzy C-means,MST-FCM)聚类的高温煤气流区域提取方法,准确获取煤气流图像,并提取煤气流图像多元特征;其次,提出基于特征编码的高维特征降维方法,结合自适应K-means++算法,实现煤气流异常状态的粗粒度感知;在此基础上,通过改进雅可比−傅立叶矩(Jacobi-Fourier moments,JFM)提取煤气流图像深层特征变化趋势,进而提出细粒度煤气流异常状态感知方法;最后,基于煤气流异常状态感知结果,结合料面视频图像,提出多级残差通道注意力模块(Multi-level residual channel attention module,MRCAM),建立高炉异常状态识别模型ResVGGNet,实现高炉煤气流异常、塌料和悬料的精准在线识别.实验结果表明,所提方法能准确识别不同的高炉异常状态且识别速度快,可为高炉平稳运行提供重要保障.

多尺度融合的双分支特征提取人群计数算法

人群计数在公共安全管理、公共空间设计以及其他视觉任务如行为分析、拥塞分析等方面具有重要的应用。然而复杂的背景和人头尺度大小不一导致人群计数的效果并不理想。针对静态图像中尺度变化和背景干扰问题,提出了一种基于双分支中间特征提取的人群计数网络——DBFE_MFNet。该网络沿用编码-解码器结构,在编码阶段使用VGG19卷积神经网络的前16层,为了更好融合多尺度信息,将VGG19卷积神经网络的前16层的后4层卷积替换成空洞率为2的膨胀卷积,解码部分采用抑制背景干扰的残差卷积注意力模块(residual convolutional attention module,RCAM),在编码-解码器结构中间插入双分支中间特征提取模块(dual branch intermediate feature extraction module,DBFE),分支1采用金字塔结构并融合位置注意力模块提取多尺度上下文信息,分支2沿用金字塔结构融合双通道注意力机制使模型关注不同大小人头信息,最后使用1×1卷积生成密度图。实验方面,在ShanghaiTech PartA、ShanghaiTech PartB、Mall数据集上进行了算法对比实验,DBFE_MFNet模型在上述数据集的平均绝对误差和均方根误差分别为63.2、7.1、1.80和99.2、11.8、2.28,经对比实验分析,DBFE_MFNet模型具有不错的计数性能和稳定性能;在ShanghaiTech PartB进行了消融实验,实验验证了模型各模块的有效性。

基于空谱分组卷积密集网络的高光谱图像分类

针对高光谱图像分类在特征提取过程中高分辨率信息丢失,导致分类精度下降的问题,提出一种基于空谱分组卷积密集网络的高光谱图像分类方法。设计光谱-空间三维分组卷积密集模块,对光谱与空间特征进行分步提取,利用分组卷积构造的密集网络能减少数据固有信息冗余,使高分辨率的特征进行重用,避免细节特征信息丢失;设计光谱残差注意力模块,该模块通过结合空-谱特征计算注意力权重,对提取到的光谱特征进行权重重分配,对光谱信息富有的区域进行增强。实验结果表明,相比于若干最优的深度网络方法,所提高光谱图像分类方法具有更好的分类性能。

融合多分辨率表征的实时烟雾分割算法

针对烟雾分割领域缺乏应用于实际监控系统的实时烟雾分割算法的现况,提出高准确率的实时烟雾分割算法.该算法利用轻量化的多分辨率卷积模块并行提取特征图,在获得丰富语义信息的同时满足实时分割的需求.提出烟雾前景增强模块,使得烟雾像素点融合前景增强表征、避免背景信息干扰,分割准确率得以提高.提出残差注意力模块,从通道、空间维度增强重要特征信息,抑制无效信息.该算法在自建数据集上平均交并比为91.27%,每张图片预测时间为39.06 ms,网络权重为74.66 MB;在公开数据集上的对比结果表明,该算法综合检测性能优于其他烟雾检测算法.该算法分割准确率高、检测速度快且模型轻量化,可以应用于实际视频监控系统.

基于改进TResNet的下水道缺陷识别算法

同一张下水道图像可能同时反映多种类型的下水道缺陷,所以应对下水道图像进行多标签缺陷预测。为了进一步解决城市下水道复杂场景中缺陷的多标签自动分类问题,本文提出了一种两阶段的下水道缺陷类型识别方法。第一阶段,使用二分类卷积神经网络(CNN)模型检测下水道图像是否存在缺陷;第二阶段,使用改进TResNet模型对下水道图像具体缺陷类型进行多标签分类,该模型在TResNet基础上引入了捕获空间相关类别信息的特定类别残差注意力(CSRA)模块,从而提升了网络的多标签识别能力。考虑到不同类型缺陷造成的经济影响程度不同,使用加权缺陷类别经济影响指数的F 2-CIW指标以及标准F 1分数指标来评价模型的性能。实验结果表明,在下水道数据集Sewer-ML Dataset上,本文方法的F 1-Normal和F 2-CIW指标取得了90.41%和53.57%的测试得分,相比其它方法具有更好的缺陷识别性能。

一种浅层非对称结构的视网膜血管分割网络

针对传统视网膜血管分割网络随着网络深度加深导致微小特征信息丢失,网络分割灵敏度低的问题,提出了一种有别于传统对称编码-解码模块的非对称视网膜血管分割结构;网络权重参数量为7.2 MB,以残差注意力模块和多尺度空洞卷积模块作为基础特征提取模块,特征图的最大通道层数只有64层,特征图尺寸减半和反卷积操作都只有两次,能够减少特征图尺寸变化带来的信息丢失现象;文章所提方法在DRIVE和CHASE-DB1数据集上进行测试的准确性分别为96.85%和97.39%,灵敏度分别为84.03%和86.50%,特异性分别为98.08%和98.12%,AUC分别为98.63%和98.99%。

基于改进Faster R-CNN的光伏电池内部缺陷检测

光伏电池近红外图像中复杂异构背景使内部缺陷检测成为一项极具挑战性的问题,为此,提出了一种基于深度学习的目标检测框架-残差通道注意力Faster R-CNN(residual-channel-attention-faster R-CNN,RCA-Faster R-CNN),该网络通过卷积层-池化层提取图像特征,再送入新颖的残差通道注意力RCA模块进行复杂背景特征抑制和缺陷特征突出,进而区域推荐网络推荐出更加精确的包含缺陷的候选框,最后利用分类与定位网络实现高精度的缺陷分类和位置估计。实验结果表明,RCA-Faster R-CNN的缺陷检测精度提升到了83.29%,证明了所提方法的有效性。