基于迁移学习与残差网络的快递包裹X光图像识别

针对快递包裹违禁物品识别存在种类繁多、依赖人力和X光图像获取难度大等问题,为提高快递包裹违禁物品识别的效率和准确度,本研究提出一种迁移学习与残差网络相结合的快递包裹X光图像识别方法(TL-ResNet18)。首先构建了相似度高的源领域数据集和目标领域数据集;其次,选用ResNet18作为预训练模型,调整初始化参数结构,并将ResNet18学习到的内容作为初始化参数迁移到目标领域,实现快递包裹X光图像分类;最后,将相同数据集作为三种模型的输入并对结果进行对比。实验结果表明,TL-ResNet18模型的局部微调和全局微调的识别准确率分别为93.5%、95.0%,相比于ResNet18模型提高了7%、8.5%,且精确度、召回率和F1值都优于ResNet18模型,该方法性能更优,且不受小型数据集对深层网络训练的限制,有利于快递包裹X光图像识别的智能化发展。

一种面向机器视觉感知的暗光图像增强网络

低光照等恶劣环境下的目标检测一直都是难点,低光照和多雾因素往往会导致图像出现可视度低、噪声大等情况,严重干扰目标检测的检测精度。针对上述问题,提出了一个面向机器视觉感知的低光图像增强网络MVP-Net,并与YOLOv3目标检测网络整合,构建了端到端的增强检测框架MVP-YOLO。MVP-Net采用了逆映射网络技术,将常规RGB图像转换为伪RAW图像特征空间,并提出了伪ISP增强网络DOISP进行图像增强。MVP-Net旨在发挥RAW图像在目标检测中的潜在优势,同时克服其在直接应用时所面临的限制。模型在多个真实场景暗光数据上取得了优于先前工作效果并且能够适应多种不同架构的检测器。其端到端检测框mAP(50%)指标达到了78.3%,比YOLO检测器提高了1.85%。

基于增量学习的安检X光图像违禁品检测

针对开放域的安检X光图像违禁品检测难题,在YOLOv8系列模型基础上,从模型结构、训练策略和损失函数三个角度创新性地融入增量学习算法。通过设计一种新颖的蒸馏损失函数,促使新模型从旧模型中保留旧类别信息的同时,学习新类别知识,抵抗灾难性遗忘。通过在PIDray和CLCXray两个公开的安检X光图像数据集上进行实验,其结果表明:增量训练后的YOLOv8系列模型在新类别数据上的平均识别精度均超过了70%,而在旧类别数据上的平均识别精度仅降低约10%,并且具有更高的训练效率。

暗光图像增强技术在矿用小型终端中的应用

目前矿山行业所使用的图像采集终端为手机、照相机、摄像机等小型图像记录设备,在暗光低照环境下采集的图像存在清晰度低、亮度低、图像失真和大量噪点等问题。为满足在矿山等低照度环境下采集到彩色清晰的图像的需求,通过开发低照图像去噪和低照图像增强算法软件、研究摄像头驱动、设计小型化大通光量摄像头模组,论文创新性的提出了应用于矿用手持终端的暗光成像技术,以及在相同的低照环境下与传统手持记录设备实验对比,得出本文所设计的暗光成像技术能有效抑制图像失真、图像噪点大问题,图像清晰度和亮度显著提高。

一种自适应去噪保真的无监督暗光图像增强模型

暗光环境下成像往往受到低照度和成像噪声等多种因素干扰,所得图片的视觉质量往往较低。当前各类暗光增强方法多侧重于改善可视度,却常忽略了保持增强结果真实感这一同样重要的目标。为解决该问题,提出了一种自适应去噪保真的无监督暗光图像增强方法,旨在高效便捷地实现改善图像可视度和去噪保真两个目标。模型由暗光增强阶段和去噪保真阶段组成。在暗光增强阶段,构建无监督图像分解模块和光照增强模块,实现改善可视度的目标;在去噪保真阶段,基于前一阶段所得的光照分布来自动构造成对训练数据,驱动去噪模块抑制原本昏暗处的噪声并保持原本明亮处的细节,实现增强结果保真的目标。实验结果表明,相比其他暗光增强方法,所提方法在改善可视度和去噪保真之间能够取得良好的均衡。该模型无须事先采集或准备“昏暗-明亮”成对图像来进行训练,且具有较小的模型尺寸和较快的计算速度,实用性良好。

面向安检X光图像的违禁物品语义分割与识别研究

针对安检X光图像中违禁物品大小不一、物品摆放随意且存在重叠遮挡的技术难题,提出了一种改进的HRNet多尺度特征融合网络模型,实现图像中违禁物品的自动分割与识别。在编码阶段,利用HRNet网络中的多分辨率并行网络架构,提取多尺度特征,解决安检X光图像违禁物品尺度多样化的问题。在解码阶段,提出一种多层级特征聚合模块,采用数据相关上采样方法减少信息丢失,并聚合编码阶段提取的特征,以对物品进行更完整表征。在网络整体架构中,嵌入基于注意力机制的去遮挡模块加强模型的边缘感知能力,缓解安检X光图像中物品重叠遮挡严重的问题,提高模型的分割识别精度。通过在PIDray安检图像公开数据集进行实验,结果表明,在Easy、Hard、Hidden 3个验证子集上分别取得了73.15%、69.47%、58.33%的平均交并比,相比原始HRNet模型,分别提升了0.49%、1.17%、5.69%,总体平均交并比提升约2.45%。

基于FG-YOLOv7-tiny算法的耐张线夹X光图像压接缺陷检测

为保证输电线路的安全可靠运行,电力巡检的重要任务是耐张线夹压接缺陷检测。为此,提出了快速幽灵YOLOv7-tiny(faster neural networks ghost convolution-you only look once version 7-tiny,FG-YOLOv7-tiny)算法进行耐张线夹压接缺陷检测。首先,构建包含5类常见压接缺陷的耐张线夹X光图像数据集;其次,使用快速神经网络(faster neural networks,FasterNet)替代YOLOv7-tiny的高效聚合网络(efficient layer aggregation networks,ELAN)以减小模型大小;最后,使用幽灵空间金字塔池化交叉阶段部分连接网络(ghost spatial pyramid pooling cross stage partial connection networks,GhostSPPCSPC)替换YOLOv7-tiny使用的空间金字塔池化交叉阶段部分连接网络以提升检测精度。实验结果表明,FG-YOLOv7-tiny算法的精度、平均精度均值分别达到91.30%、94.28%,相比于原始YOLOv7-tiny算法分别提升了3.99%、1.59%;模型大小为22.25 MB;检测速度达到172.41帧/s,能满足实时检测的要求。因此,FG-YOLOv7-tiny算法提升了检测精度,可实现耐张线夹压接缺陷的有效检测,并满足边缘设备部署的要求。

MIRNet-Plus:基于丰富特征学习的低光图像增强改进方法

图像增强是一种基础的计算机视觉任务,从低光图像中恢复出高质量的明亮图像是业界正在攻克的问题.近年来,以卷积神经网络(CNN)为主导的图像恢复技术取得了重大进展.对于低光图像增强,本方法使用双重选择核融合(Double SKFF)方法,通过增强中间层不同分辨率信息的交流能力以获得更多上下文信息以及空间信息;同时设计了一个深度注意模块(Depthwise Attention Module,DWM),用来共享张量中的特征信息,对原有特征进行补充,获取更加丰富的特征信息.同时本方法还引入了多颜色空间神经修饰块,用来在3种不同的颜色空间(Lab,RGB,HSV)中联合训练,以期望获得更好的图像增强结果.本文提出的MIRNet-Plus在原有的基础方法上PSNR获得了5.3%的提高,由23.73dB提升到24.98dB.

基于非局部均值滤波的结构光图像去噪

采用一种改进的自适应非局部均值滤波结合小波去噪的方法对结构光图像进行滤波处理。首先针对椒盐噪声,采用一种有效的自适应检测窗口确认噪声点,噪声像素被其相邻的三个像素的组合所取代,然后使用基于椒盐噪声特征的非局部均值滤波来重构噪声点的灰度值。进一步地针对高斯噪声,对图像进行小波变换,并对高频部分进行方向性中值滤波,最终经小波逆变换进行重构,得到去噪后的结构光条纹图像。实验结果显示,与传统方法进行比较,改进的方法能够有效地滤除结构光图像中的噪声,并保持了结构光条纹图像的细节信息。

基于稠密高分辨率并联网络的安检X光图像分割

针对安检X光图像检测中违禁物品尺度差异大、杂乱无章且存在重叠遮挡现象的技术难题,对高分辨率网络(high-resolution network, HRNet)模型进行改进,同时融合去遮挡单元,提出了一种新的多尺度特征融合网络结构,实现安检X光图像中的违禁物品语义分割。在编码阶段,基于HRNet的多分支并联网络结构,设计了一种单分支内稠密连接的方式,增强深、浅层的信息融合,提取多尺度特征,解决安检X光图像违禁物品尺度多样化的问题。在网络整体架构中,融入基于注意力机制的去遮挡单元,加强模型的边缘感知能力,有效抑制安检X光图像中物品重叠遮挡对分割精度的影响。在PIDray安检图像公开数据集的Easy、Hard、Hidden三个验证子集上验证了所提方法的有效性。结果表明:该模型分别取得了74.69%、69.92%、56.77%的平均交并比,相比原始HRNet模型,分别提升了2.03、1.62、4.13百分点,总体平均交并比提升约2.59百分点。

基于YOLOv3的X光图像违禁品目标检测

基于人类视觉的X光图像违禁品检测往往受限于工作强度和复杂人流环境,给安检工作带来巨大挑战。使用人工智能方法对违禁品进行自动检测与判别,对辅助安检工作具有重要的现实意义。提出基于YOLOv3的X光图像违禁品目标检测模型,在传统YOLOv3的基础上增加了一个检测尺度,实现实时的X光图像违禁品的自动判别,即不仅能够辨别出违禁品的种类,还能对违禁品在图像中所处的位置进行标定。实验结果表明,改进后的YOLOv3在Precision、Recall、mAP和F1四个模型评价指标上均取得提高,其中mAP值达到96.2%,对于安检X光图像违禁品目标具有良好的检测效果。

基于图像处理的轮胎X光图像缺陷检测

在图像处理的基础上使用深度学习方法对轮胎X光图像缺陷进行自动检测。轮胎X光图像具有高分辨率、形状狭长、缺陷目标较小的特点,通过将每张X光图像按照640×640像素进行切割,对切割出的每个区域进行标注,把存在缺陷的区域划分到训练集,对训练集进行直方图均衡化以增强图像前景与背景的对比度,进而继续对训练集进行数据增强以提高模型的泛化能力,最后在Faster R-CNN深度学习缺陷检测模型上训练出最优权重。在模型推理阶段,完整的X光图像会被送入模型,缺陷范围被框出,重组为原始X光图像;若某个缺陷具有多个选框,则将所有邻近的选框合成为一个选框。该方法能够有效降低小缺陷目标的漏检率,提高检测的准确率,间接解决了原始X光图像特征丢失的问题。

基于改进YOLO-v5模型的子午线轮胎X光图像病疵自动检测方法

由山东科技大学申请的专利(公布号CN115690029A,公布日期2023-02-03)“基于改进YOLO-v5模型的子午线轮胎X光图像病疵自动检测方法”,公开了一种基于改进YOLO-v5模型的子午线轮胎X光图像病疵自动检测方法,包括如下步骤:(1)采集子午线轮胎X光图像进行分割处理.

基于轮胎X光图像样本重采样图像缺陷检测

针对生成对抗网络轮胎X光图像缺陷检测,训练阶段生成器会丢失部分图像特征,并且难以确定样本的潜在空间维度,导致部分不必要的图像特征重建。为了解决这些问题,构建了样本重采样生成对抗网络SRGAN(Sample Resampling Generate Adversarial Networks),生成器以VQ-VAE为基本框架,利用注意力特征融合模块(Atten-tion Feature Fusion,AFF)搭建了新的跳连层,并在SRGAN的生成器中加入了转换损失函数LVQ。最后,使用自制的轮胎X光图像数据集对SRGAN和已经提出的部分生成对抗网络模型进行训练和测试,并将得到的AUC值进行对比,进一步证明了SRGAN具有更好的图像缺陷检测能力。

基于卷积神经网络的安检X光图像违禁品多标签识别

在安全检查工作中,违禁品的检测与识别仍然过度依赖于安检员的视觉经验。如何自动判别出X光图像中存在的常见违禁品,进而辅助安检员进行决策,成为安检领域的一个亟待解决的问题。基于深度学习技术研究安检X光图像中的违禁品多标签识别方法。通过引入multi-hot向量标注法对安检X光数据集进行标注,迁移训练Darknet-53卷积神经网络实现对X光图像中违禁品的类别判定。实验结果表明,安检X光图像违禁品多标签识别平均精度达到了98%以上,满足现实安检场景下的应用需求。

改进YOLOv7的X光图像危险品检测算法

针对X光安检图像在危险品检测时背景复杂、遮挡严重、尺度多变等问题,对YOLOv7算法进行了改进,在提高检测精度的同时使网络更加轻量化。首先构建PS-ELAN模块替换原主干网络中的ELAN模块,减少网络计算量和内存占用,同时提升网络的特征提取能力。其次将无参注意力机制SimAM与可变形卷积DCNv2融合至颈部网络的下采样阶段,提高网络对X光图像危险品关键特征的捕捉能力。最后引入Dynamic Head模块,增强检测头的尺度感知、空间感知和任务感知,提高网络的检测性能。实验结果表明,改进后的算法在自制数据集和CLCXray数据集上的平均精度均值(mean average precision,mAP)比原YOLOv7模型分别提高了4.7个百分点和1.2个百分点,参数量和计算量分别下降了16.2%和23.1%。改进后的算法提高了检测能力,同时更为轻量化,可在实际安检中起到很好的辅助作用。

融合上下文感知注意力的低光图像去雾网络

现有的低光去雾算法因受图像光照强度低、光照不均匀等影响,其去雾后的图像存在细节丢失、色彩失真等现象。针对上述问题,提出一种融合上下文感知注意力的低光图像去雾网络(ACANet)。首先,在基准网络中引入层内上下文感知注意力模块,分别从通道维度和空间维度结合全局视角辨识和加权同一尺度下的重要特征,使网络突破局部视野的约束,更加高效地提取图像纹理信息;其次,引入层间上下文感知注意力模块,通过投影操作将高级特征映射到信号子空间,以实现不同层之间多尺度特征信息的高效融合,进一步提升对图像细节的重建;最后,引入CIEDE2000色偏损失函数,通过CIELAB色彩空间对图像色调进行约束,并与L2损失一起联合优化网络,使网络准确地学习图像色彩,以解决图像的严重色偏问题。实验结果表明,所提算法在多个数据集上的客观指标均优于现有去雾算法,其峰值信噪比指标较基准网络提高了8.8%,且主观去雾效果更彻底,恢复图像细节更丰富,色彩还原度更好,更接近于真实图像。

基于神经批采样的轮胎X光图像异常检测研究

轮胎缺陷检测对轮胎定级有重要参考意义,研究高性能的轮胎异常检测方法尤为重要。本文以强化学习算法为基础,提出一个以损失值异常变化作为判断异常特征的图像自动分类算法。该方法首先通过大量的正向样本输入来降低数据在经过梯度更新之后的损失值,从而与少量异常样本输入时的损失值形成明显差异,再引入神经批采样器,放大异常样本与正向样本之间的损失轮廓差异并为空间变分编码器提供训练批次,然后将训练结果作为异常分类器的输入,最后完成异常检测的分类与定位工作,经过对比研究发现本文提出的异常检测算法在轮胎缺陷样本集上性能明显优于其他传统图像异常检测方法。

基于Markov随机场模型的数字X光图像自适应增强算法

为明确X光图像纹理粗细和组织分布状况,强化呈现身体结构信息,降低模糊图像对医生诊断病情结果的错误判断,提出一种基于Markov随机场模型的数字X光图像自适应增强算法.该算法首先统计X光图像全部范围内相同亮度像素,利用直方图均衡化法将原始图像变换成灰度级分布影像,消除光线干扰;然后分析组织属性,通过灰度共生矩阵提取X光图像的纹理特征,获取图像纹理粗细和布局结构的灰度信息;最后通过映射函数和对数函数计算平均亮度,用Markov随机场模型调整图像明暗度,补充纹理细小部位亮度,再用随机场函数划分光滑图像,采取二次重构,以保证图像锐化增强效果平衡.仿真实验结果表明,该算法能提升图像的内部信息清晰度.

基于YOLO-MCA的X光图像检测算法

YOLO算法直接用于X光图像检测时存在提取特征不明显问题,特别是违禁物与安全物存在折叠交叉时,容易导致漏检、多检现象。为此本文提出一种YOLO-MCA算法,该算法在YOLOv5基础上,增加了一个多卷积融合坐标注意力机制分支模块,该模块通过多支路连通的方式增大感受野,注重位置信息提取,增强提取有效特征能力,可改善物体折叠交叉导致的漏检、多检问题。在PIDray_OD数据集上的实验结果表明,所提出的YOLO-MCA算法的mAP@0.5∶0.95达到72.9%,比原模型算法的精度更高;FPS达到87,满足实时检测需求。