引入上下文信息和Attention Gate的GUS-YOLO遥感目标检测算法

目前基于通用YOLO系列的遥感目标检测算法存在并未充分利用图像的全局上下文信息,在特征融合金字塔部分并未充分考虑缩小融合特征之间的语义鸿沟、抑制冗余信息干扰的缺点。在结合YOLO算法优点的基础上提出GUS-YOLO算法,其拥有一个能够充分利用全局上下文信息的骨干网络Global Backbone。除此之外,该算法在融合特征金字塔自顶向下的结构中引入Attention Gate模块,可以突出必要的特征信息,抑制冗余信息。另外,为Attention Gate模块设计了最佳的网络结构,提出了网络的特征融合结构U-Net。最后,为克服ReLU函数可能导致模型梯度不再更新的问题,该算法将Attention Gate模块的激活函数升级为可学习的SMU激活函数,提高模型鲁棒性。在NWPU VHR-10遥感数据集上,该算法相较于YOLOV7算法取得宽松指标mAP^(0.50)1.64个百分点和严格指标mAP^(0.75)9.39个百分点的性能提升。相较于目前主流的七种检测算法,该算法取得较好的检测性能。

大模型时代:电力视觉技术新起点

随着无人机、巡检机器人和远程监控系统在输电、变电、配电、安监等电力场景中的广泛应用,利用电力视觉技术完成对海量巡检图像的自动处理,能够进一步提升电力系统智能化运维水平,对我国源网荷储一体化进程的快速推进具有至关重要的作用。随着通用视觉大模型的兴起,电力视觉技术正处于从传统深度学习时代向大模型时代跨越的重要节点。该文首先综述了电力视觉技术和通用视觉大模型的最新研究进展,结合视觉大模型在多种公共场景的应用先例,探讨视觉大模型在电力视觉领域将面临的3重能力边界问题。从初步探索通用视觉大模型的潜力,到逐步构建电力视觉大模型的过程,提出4种模型应用范式以突破视觉大模型能力边界。最后分析了视觉大模型对电力视觉研究者的影响,并对大模型浪潮下电力视觉技术的发展方向进行了展望。

无人机多光谱影像的小麦倒伏信息多特征融合检测研究

为探究多特征融合方法在作物倒伏领域快速精准识别中的适用性,利用无人机获取多田块冠层尺度的不同倒伏率麦田多光谱数据,对原始倒伏图像进行图像拼接、辐射校正、几何校正等预处理,并利用重归一化差值植被指数和阴影指数分别剔除土壤和阴影背景,提取小麦倒伏DSM模型和植被指数分别与多光谱图像进行多特征图像主成分变换融合,筛选差异性较大的纹理特征,采用支持向量机(SVM)、人工神经网络(ANN)和最大似然法(MLC)监督分类模型对多光谱和DSM融合图像、多光谱和归一化植被指数(NDVI)融合图像、多光谱图像和纹理特征图像进行监督分类,并采用总体精度(OA)、 Kappa系数和提取误差综合评价各监督模型的分类性能和倒伏提取精度。分类结果表明:各监督分类方法在不同倒伏区域提取结果建模效果趋势一致,SVM和ANN整体提取精度高于MLC,在高倒伏区域,多光谱与NDVI融合图像的SVM监督模型(OA:92.63%, Kappa系数:0.85,提取误差:1.11%)提取效果最好;在中倒伏区域,多光谱与DSM融合图像的SVM监督模型(OA:90.35%, Kappa系数:0.79,提取误差:9.34%)提取效果最好;在低倒伏区域,均值纹理特征图像的ANN监督模型(OA:91.05%, Kappa系数:0.82,提取误差:8.20%)提取结果较好。本研究将DSM模型、植被指数、纹理特征与多光谱图像进行融合对比,并对多特征融合方法能否高精度有效提取小麦倒伏信息进行了探究,结果表明无人机多光谱遥感结合特征融合技术能有效提取小麦倒伏面积,提取效果优于单特征小麦倒伏图像。本研究结果可为助力小麦倒伏灾情调查数据的精确获取方法提供参考。

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

基于改进YOLOv3的水稻叶部病害检测

为了解决水稻小病斑检测不准确的问题,提出一种基于改进YOLOv3的水稻叶部病害检测方法Rice-YOLOv3。首先,采用K-means++聚类算法,计算新的锚框尺寸,使锚框尺寸与数据集相匹配;其次,采用激活函数Mish替换YOLOv3主干网络中的Leaky Relu激活函数,利用该激活函数的平滑特性,提升网络的检测准确率,同时将CSPNet与DarkNet53中的残差模块相结合,在避免出现梯度信息重复的同时,增加神经网络的学习能力,提升检测精度和速率;最后,在FPN层分别引入注意力机制ECA和CBAM模块,解决特征层堆叠处的特征提取问题,提高对小病斑的检测能力。在训练过程中,采用COCO数据集预训练网络模型,得到预训练权重,改善训练效果。结果表明:在测试集下,Rice-YOLOv3检测水稻叶部3种病害的平均精度均值(mAP)达92.94%,其中,稻瘟病、褐斑病、白叶枯病的m AP值分别达93.34%、89.68%、95.80%,相较于YOLOv3,Rice-YOLOv3检测的m AP提高了6.05个百分点,速率提升了2.8帧/s,对稻瘟病和褐斑病的小病斑的检测能力明显增强,可以检测出原始网络模型漏检的小病斑;与Faster-RCNN、YOLOv5等模型对比,Rice-YOLOv3提高了对相似病害和微小病害的识别能力,并在原始的基础上提高了检测速率。

基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法

高质量矿井影像为矿山安全生产提供保障,也有利于提高后续图像分析技术的性能。矿井影像受低照度环境的影响,易出现亮度低,照度不均,颜色失真,细节信息丢失严重等问题。针对上述问题,提出一种基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法。基于生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的充分增强;基于特征表示学习理论搭建特征编码器,将图像解耦为亮度分量和反射分量,避免图像增强过程中亮度与颜色特征相互影响从而导致颜色失真问题;设计CEM-Transformer Encoder通过捕获全局上下文关系和提取局部区域特征,能够充分提升整体图像亮度并消除局部区域照度不均;在反射分量增强过程中,使用结合CEM-Cross-Transformer Encoder的跳跃连接将低级特征与深层网络处特征进行自适应融合,能够有效避免细节特征丢失,并在编码网络中添加ECA-Net,提高浅层网络的特征提取效率。制作矿井低照度图像数据集为矿井低照度图像增强任务提供数据资源。试验显示,在矿井低照度图像数据集和公共数据集中,与5种先进的低照度图像增强算法相比,该算法增强图像的质量指标PSNR、SSIM、VIF平均提高了16.564%,10.998%,16.226%和14.438%,10.888%,14.948%,证明该算法能够有效提升整体图像亮度,消除照度不均,避免颜色失真和细节丢失,实现矿井低照度图像增强。

一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法

受煤矿井下粉尘、水雾和低照度环境影响,对皮带运输系统的监测图像精准识别极为困难。针对现有去尘雾方法的图像处理结果和效率欠佳的问题,提出一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法。首先利用阈值分割结合伽马变换修正通道差,解决因低照度环境影响导致的尘雾浓度较大区域与其他区域间像素值差异不明显的问题,修正后通过引导尘雾图像做引导滤波得到更加符合实际情况的全局大气光强;然后为解决暗通道先验在尘雾浓度较大区域失效问题,引入亮通道先验进行补充,使用通道分量来辅助暗通道及亮通道透射率融合,避免因多次分割而导致的边缘像素归属问题;最后将去雾后RGB图像转至HSV空间,对亮度分量进行直方图均衡化并将均衡化前后的亮度分量进行加权融合,采用客观指标评价,选择最优聚合权值进行聚合,同时考虑去雾过程中饱和度损失和亮度分量与饱和度分量间的相关性提出饱和度自适应矫正函数,对图像饱和度进行矫正,色调分量保持不变,随后将图像转回至RGB空间,得到亮度适中、信息保留丰富和色彩鲜艳的图像;为验证所提方法的有效性,采用主观视觉、客观指标和目标检测精度及置信度进行算法对比,实验结果表明所提方法在上述4个指标上均优于被对比算法,其图像细节保留丰富,图像视觉观感更佳。

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

基于改进Deformable-DETR的水下图像目标检测方法

针对由于水下复杂环境造成的目标检测效果较差、检测精度较低的问题,基于Deformable-DETR算法提出一种改进的水下目标检测算法Deformable-DETR-DA。使用空间注意力模块结合标准Transformer块设计了一个用于增加模型深度的深度特征金字塔(deep feature pyramid networks,DFPN)模块,将其嵌入到模型中提高模型对深层纹理信息的提取能力。使用注意力引导的方式对原模型中编码器部分进行改进,加强了对特征信息的聚合能力,提高了模型在复杂环境下的检测能力。针对URPC数据集,模型各交并比尺度的平均准确度(average precision,AP)为39.5%,相比原模型提升1%,与一些DETR(detection transformer)类的模型相比,不同目标尺度的平均准确度均有1%~4%左右的提高,表明改进的模型能够很好解决复杂环境的水下目标检测的问题。本文提出的模型可作为其他水下目标检测模型设计的参考。

双能量CT非线性融合和噪声优化的虚拟单能量图像技术在喉鳞状细胞癌中的应用

目的:探讨双能量CT线性融合图像(linear blending imaging,LBI)、非线性融合图像(nonlinear blending image,NBI)和噪声优化的虚拟单能量图像(noise-optimized virtual monoenergetic image,VMI+)技术在喉鳞状细胞癌中的应用价值。方法:回顾性分析2019年6月至2022年3月61例经病理证实为喉鳞状细胞癌患者的双能量CT资料。双能量图像采用LBI[融合系数为1(80 kV)和0.6(M0.6)]、NBI和VMI+(40 keV、55 keV)技术重建。比较5组图像的客观图像质量[对比噪声比(contrast-tonoise ratio,CNR)、肿瘤CT值、噪声]和主观图像质量(肿瘤边界评分和整体图像质量评分)。结果:40 keV的CNR、肿瘤CT值和肿瘤边界评分均明显高于80 kV、M0.6、NBI和55 keV,差异均有统计学意义(均P<0.05)。NBI的整体图像质量评分明显高于80 kV、M0.6、40 keV和55 keV,差异均有统计学意义(均P<0.05)。NBI的噪声明显低于80 kV、40 keV和55 keV,差异均有统计学意义(均P<0.05)。结论:在喉鳞状细胞癌的双能量CT中,采用VMI+技术(40 keV)能提供更好的CNR、肿瘤CT值和肿瘤边界,采用NBI技术能提供更低的噪声和更好的整体图像质量。

基于计算机视觉的岩石裂隙识别表征与软件研制

岩石裂隙特征是评判岩体结构及其完整性的核心指标,也是评估岩石工程安全稳定性的重要因素。针对岩石裂隙识别,采用深度学习方法,通过引入混合注意力机制对Unet模型进行了改进,有效提高了岩石裂隙识别的精度。针对交叉岩石裂隙的分离与特征提取,提出了一种基于迹线方向判定的裂隙分离与表征算法,依据裂隙分离的结果形式,采用重合追踪法或断裂追踪法分离交叉裂隙骨架,继而使用微分累加法、方框法、线性回归法求得裂隙的长度、宽度及倾角等几何特征指标。基于提出的算法,研制了一套具有图形用户界面的岩石裂隙图像智能识别与表征软件系统,实现了从深度学习模型参数选择、模型训练、裂隙识别、量化分析到结果可视化的完整功能。最后对岩石裂隙识别与分离表征算法的性能进行了评判,结果表明,改进Unet模型对复杂分布的裂隙识别效果最好,其总体识别性能要优于其他网络;骨架分离算法对常见类型交叉裂隙能够取得预期结果,表征算法对分离裂隙与交叉裂隙的表征精度高,对实际岩石裂隙图像的应用效果较好。研究成果可为基于计算机视觉的岩石工程试验与岩体结构检测技术研发提供参考依据。

智能行车记录仪图像去雾系统的FPGA设计

雾霾天气下,交通道路能见度低,导致所采集到的视频画面退化、图像信息模糊,同时考虑传统系统处理实时性不高等问题,基于ZYNQ平台设计了一种图像去雾系统,并应用于智能行车记录仪系统中.首先,针对传统暗通道去雾算法在天空区域存在失真等问题,提出了一种分割天空区域的策略来修正图像复原参数;然后,针对计算全局大气光值时,需对整幅图像的像素排序消耗大量资源的问题,利用现场可编程门阵列(FPGA)并行运算的优势,提出一种帧迭代方法优化求取大气光值,同时优化了引导滤波的硬件设计;最后,将双路高清多媒体接口(HDMI)资源中,一路作为视频输入,另一路作为视频处理输出,搭建实时交通图像视频处理试验平台.试验结果表明,系统针对雾霾天气下的交通视频具有较好的去雾效果,尤其是可以解决天空区域去雾的失真问题.在对分辨率为1280像素×720像素的交通视频去雾时,可以达到30帧/s的处理速度,满足实时性要求.

多区域注意力的细粒度图像分类网络

目前细粒度图像分类的难点在于如何精准定位图像中高度可辨的局部区域以及其他辅助判别特征。提出一种多区域注意力的细粒度图像分类网络来解决这个问题。首先使用Inception-V3对图像特征进行提取,通过重复使用注意力擦除的方法使模型关注次要特征;然后通过背景去除以及上采样的方法获取图像更精准的局部图像,对提取到的局部特征进行位置统计,并以矩形框的方式获取图像整体,减少细节信息丢失;最后对局部与整体图像进行更加细致的学习。此外,设计联合损失函数,通过动态平衡难易样本和缩小类内差距的方法改善模型的识别效果。实验结果表明,该方法在公开的细粒度图像数据集CUB-200-2011、Stanford-Cars和FGVC-Aircraft上的准确率分别达到89.2%、94.8%、94.0%,相较于对比方法性能更优。

基于迁移学习的苹果落叶病识别与应用

为解决现有卷积神经网络苹果叶片病害识别模型泛化能力弱,模型体积较大等问题,该研究提出一种基于改进MobileNetV3苹果落叶病识别模型。以健康叶片和常见苹果落叶病为研究对象,包括斑点落叶病、灰斑病、褐斑病、锈病4种,每种病害2级,共9类特征,通过改进网络的注意力模块、全连接层及算子,结合迁移学习的训练方式,构建苹果落叶病识别模型。在扩充前后的数据集上对比不同的学习方式、学习率和注意力模块等对模型的影响,验证模型的识别性能。试验结果表明:采用迁移学习的方式,在训练50轮达曲线收敛,比全新学习的准确率增加6.74~10.79个百分点;使用引入的ET(efficient channel attention-tanh)注意力模块,网络损失曲线更加平滑,模型的参数量更少,模型体积减小了48%,提高了模型的泛化能力;在扩充数据集上,学习率为0.000 1时,结合迁移学习的训练方式,改进MobileNetV3(ET3-MobileNetV3)苹果落叶病识别模型,平均准确率能达到95.62%,模型体积6.29 MB。将模型部署到喷药设备上,可实现基于苹果叶片病害识别的变量喷施,该研究可为苹果叶片病害的检测与果园的现代化管理提供参考。

3D smart mA调控技术对不同BMI患者图像采集时间质量及辐射剂量的影响

目的:分析3D智能管电流(3D smart mA)调控技术对不同体质量指数(BMI)患者图像采集时间、质量及辐射剂量的影响。方法:择取的180例行胸部CT扫描患者选自西安交通大学第一附属医院2021年6月至2022年12月期间所收治,按照BMI将患者分为三组,A组(18.5 kg/m^(2)≤BMI≤23.9kg/m^(2),n=75)、B组(23.9kg/m^(2)0.05);两位医师对肺部不同层面图像质量(IQS)评分进行评价,Kappa一致性非常好(Kappa值=0.768、0.812、0.861);三组肺部不同层面IQS评分对比,差异无统计学意义(P>0.05);三组肺部不同层面CT对比,差异有统计学意义,且随着BMI增加而下降(P<0.05),三组肺部不同层面图像标准差(SD)值对比,差异无统计学意义(P>0.05);三组容积CT剂量指数(CTDIvol)对比,差异无统计学意义(P>0.05);A组DLP、ED均低于B、C组,B组DLP、ED低于C组(P<0.05)。结论:不同BMI患者应用3D smart mA调控技术,在保证图像质量的前提下,可有效降低辐射剂量。

基于深度主动学习与CBAM的细粒度菊花表型识别

针对菊花种类繁多,花型差别细微,准确标注比较困难的问题,基于深度主动学习与混合注意力机制模块(Convolutional block attention module,CBAM),提出了一种标号数据不足情况下的菊花表型智能识别方法和框架。首先,通过主动学习策略基于最优标号和次优标号法(Best vs second-best,BvSB)在未标记菊花样本中选取信息量较大的样本进行标记,并将标记后的样本放入训练样本中;其次,使用深度卷积神经网络ResNet50作为本文的主干网络训练标记样本,引入混合注意力机制模块CBAM,使模型能够更为准确地提取细粒度图像中的高层语义信息;最后,用更新后的训练样本继续训练分类模型,直到模型达到迭代次数后停止。实验结果表明,该方法在少量菊花标记样本下,精确率、召回率和F1值分别达到93.66%、93.15%和93.41%。本文方法可为标号数据不足情况下的菊花等花卉智能化识别提供技术支撑。

基于改进YOLOv5的草莓病害智能识别终端设计

为实现低成本、便捷、高效的草莓病害识别与检测,提升草莓种植与生产效益,在YOLOv5模型基础上,引入高效通道注意力(Efficient Channel Attention, ECA)机制,研究构建一种草莓病害识别模型,应用嵌入式与软件工程技术研发草莓病害识别终端设备。终端设备应用系统由图像采集、图像检测、检测结果展示和数据传输等模块组成,实现草莓图像实时采集和病害实时识别检测等功能。基于草莓病害检测数据集对系统开展测试,结果表明,该系统可以有效识别草莓白粉菌果病、角斑病、叶斑病等病害。与YOLOv5相比,AP0.5∶0.95、AP0.5、AP0.75、APM、APL都有比较大幅度提升。系统具有高效、便捷、实时等优点,可广泛应用于草莓生产领域,从而有效提升草莓病害识别与检测效率。

基于形色筛选的苹果园羽化害虫粘连图像分割方法

针对苹果园害虫识别过程中的粘连问题,提出了一种基于形色筛选的害虫粘连图像分割方法。首先,采集苹果园害虫图像,聚焦于羽化害虫。害虫在羽化过程中已完成大部分生长发育,其外部形态、颜色、纹理更为稳定显著。因此,基于不同种类害虫的形色特征信息分析,来获取害虫HSV分割阈值和模板轮廓。其次,利用形状因子判定分割粘连区域,通过颜色分割法和轮廓定位分割法来实现非种间与种间粘连害虫的分割。最后,对采集的苹果园害虫图像进行了试验分析,采用基于形色筛选的分割法对单个害虫进行分割,结果表明,本文方法的平均分割率、平均分割错误率和平均分割有效率分别为101%、3.14%和96.86%,分割效果优于传统图像分割方法。此外,通过预定义的颜色阈值,本文方法实现了棉铃虫、桃蛀螟与玉米螟的精准分类,平均分类准确率分别为97.77%、96.75%与96.83%。同时,以Mask R-CNN模型作为识别模型,平均识别精度作为评价指标,分别对已用本文方法和未用本文方法分割的害虫图像进行识别试验。结果表明,已用本文方法分割的棉铃虫、桃蛀螟和玉米螟害虫图像平均识别精度分别为96.55%、94.80%与95.51%,平均识别精度分别提高16.42、16.59、16.46个百分点。这表明该方法可为果园害虫精准识别提供理论和方法基础。

浮选泡沫图像特征提取方法研究进展

机器视觉作为设备操作人员的工具,在泡沫浮选设备的监测中得到了广泛的应用。利用泡沫图像数据集建立预测识别模型,以初级泡沫特征参数为输入,以品位和回收率等浮选指标为输出。根据是否需要手动提取浮选泡沫图像特征,可以将特征提取算法划分为两大类别:一种是基于颜色、形态特征等的传统手动特征提取方法,另一种是基于深度神经网络的自动特征提取方法。本文总结并归纳了近年来浮选泡沫图像特征提取算法领域的研究进展,分析了各种方法的优势和不足,对当前难以人工识别泡沫状态及实现浮选自动化提升浮选效率,具有一定的指导价值。

基于频率响应与图像特征提取的动车组变压器绕组状态诊断方法研究

动车组变压器是保障高速铁路稳定运行的核心设备,频率响应法是目前检测变压器绕组状态的有效方法。为提升车载变压器绕组状态诊断的准确性,结合暂态信号与频率响应法提出基于频率响应与图像特征提取的动车组变压器绕组状态诊断方法。搭建试验车载变压器绕组故障模拟平台,获取不同故障类型和故障位置的频响曲线,利用类Gram矩阵结合幅频和相频曲线信息,再利用密度分层法转换为伪彩色图,提取对应的灰度共生矩阵和灰度差分矩阵特征值,根据鹈鹕优化支持向量机方法对绕组故障进行诊断。试验结果表明:车载变压器绕组故障发生时,伪彩色图能够反映出故障信息,有利于图像分析和特征提取,采用基于频率响应与图像特征提取的动车组变压器绕组状态诊断方法能够识别车载变压器绕组的典型故障类型和位置。