改进YOLACT的服装图像实例分割方法

针对服装图像实例分割精度与速度较低的问题,提出一种基于改进YOLACT的服装图像实例分割方法。以YOLACT为基础模型,首先在ResNet101网络中采用深度可分离卷积代替传统卷积,减少模型计算量和模型参数,加快模型速度;然后,在模板生成网络后引入高效通道注意力模块,优化输出特征,捕获服装图像的跨通道交互信息,加强对掩膜分支的特征提取能力;最后,训练过程采用LeakyReLU激活函数,避免反向传播时权值信息得不到及时更新,提升模型对服装图像负值特征信息的提取能力。结果表明:与原模型相比,所提方法能有效减少模型参数量,在提升速度的同时提高了精度,其速度提升了4.82帧/s,平均精度提升了5.4%。

基于SwinS-YOLACT的番茄采摘机器人实时实例分割算法研究

在设施番茄种植环境中,果实重叠遮挡等情况会影响识别精度。因此,本文提出了一种基于YOLACT的实例分割模型,提高识别精度。首先,对果实重叠遮挡的类别进行细分并增加该类数据集,从而接近真实采摘场景,并在采摘决策中改善重叠遮挡对识别精度的影响;其次,采用Simple Cope-Paste数据增强方法提高了模型的泛化能力,降低了环境因素对实例分割效果的干扰;然后,在YOLACT基础上,引用多尺度特征提取技术克服了单一尺度特征提取的局限性,并降低了模型复杂度;最后,引入Swin Transformer中的Swin-S注意力机制,优化了模型对于番茄实例分割的细节特征提取效果。实验结果表明,本文模型能够一定程度上缓解分割结果中出现的漏检、误检问题,其目标检测平均精度为93.9%,相比于YOLACT、YOLO v8-x、Mask R-CNN、InstaBoost分别提升10.4、4.5、16.3、3.9个百分点;平均分割精度为80.6%,相比于上述模型分别提升4.8、1.5、7.3、4.3个百分点;推理速度为25.6 f/s。该模型综合性能有较强的鲁棒性,兼顾了精度与速度,可为番茄采摘机器人完成视觉任务提供参考。

基于改进YOLACT的油茶叶片炭疽病感染严重程度分级模型

[目的/意义]炭疽病(anthracnose)作为油茶生长过程中重要的病害,其严重程度的精准判定对于精准施药和科学管理具有重大意义。本研究提出了一种改进YOLACT(You Only Look At CoefficienTs)分级模型Camellia-YOLACT,旨在实现对油茶叶片炭疽病感染严重程度的自动、高效判定。[方法]首先在YOLACT主干网络部分使用Swin-Transformer来进行特征提取。Transformer架构的自注意力机制拥有全局感受野及移位窗口等特性,有效地增强了模型的特征提取能力;引入加权双向特征金字塔网络,融合不同尺度的特征信息,加强模型对不同尺度目标的检测能力,提高模型的检测精度;在激活函数的选择上,采用非线性能力更强的HardSwish激活函数替换原模型的ReLu激活函数。由于HardSwish在负值区域不是完全截断,对于输入数据中的噪声具有更高的鲁棒性,自然环境下的图像有着复杂的背景和前景信息,HardSwish的鲁棒性有助于模型更好地处理这些情况,进一步提升精度。[结果和讨论]采用迁移学习方式在油茶炭疽病感染严重程度分级数据集上进行实验验证。消融实验结果表明,本研究提出的Camellia-YOLACT模型的mAP75为86.8%,较改进前提升5.7%;mAPall为78.3%,较改进前提升2.5%;mAR为91.6%,较改进前提升7.9%。对比实验结果表明,Camellia-YOLACT在精度和速度方面表现均好于SOLO(Segmenting Objects by Locations),与Mask R-CNN算法相比,其检测速度提升了2倍。在室外的36组分级实验中进一步验证了Camellia-YOLACT模型的性能,其对油茶炭疽病严重程度的分级正确率达到了94.4%,K值平均绝对误差为1.09%。[结论]本研究提出的Camellia-YOLACT模型在油茶叶片和炭疽病病斑分割上具有较高的精度,能够实现对油茶炭疽病严重程度的自动分级,为油茶病害的精准防治提供技术支持,进一步推动油茶炭疽病诊断的自动化和智能化。

基于改进YOLACT的果树叶墙区域实时检测方法

为了解决果园因农药过量使用导致的环境污染与农药浪费问题,提出了一种基于改进YOLACT的果树叶墙区域(Leaf wall area,LWA)实时检测方法,用于计算深度彩色双目相机采集视频中的叶墙区域距离及密度,为果园农药智慧喷施作业中农药喷洒剂量与喷洒距离的实时调整提供依据。首先,使用ConvNeXt主干网络改进了YOLACT模型,并引入NAM通道注意力机制对模型进行了优化;其次,提出了基于深度学习的果树叶墙密度检测方法;最后,通过阈值法排除深度图像中的干扰信息,简化了果树叶墙平均距离计算方法的处理流程。实验结果表明,改进YOLACT模型分割的APall为91.6%,相较于原始模型上升3.0个百分点,与YOLACT++、Mask R CNN和QueryInst模型相比分别高2.9、1.2、4.1个百分点;叶墙密度估计算法在叶墙顶部、中部和底部的均方根误差(Root mean square error,RMSE)分别为1.49%、0.82%、2.20%;叶墙区域实时检测方法的处理速度可达29.96 f/s。

基于SwinT-YOLACT的玉米果穗实时实例分割

玉米果穗的表型参数是玉米生长状态的重要表征,生长状况的好坏直接影响玉米产量和质量。为方便无人巡检机器人视觉系统高通量、自动化获取玉米表型参数,该研究基于YOLACT(you only look at coefficients)提出一种高精度-速度平衡的玉米果穗分割模型SwinT-YOLACT。首先使用Swin-Transformer作为模型主干特征提取网络,以提高模型的特征提取能力;然后在特征金字塔网络之前引入有效通道注意力机制,剔除冗余特征信息,以加强对关键特征的融合;最后使用平滑性更好的Mish激活函数替换模型原始激活函数Relu,使模型在保持原有速度的同时进一步提升精度。基于自建玉米果穗数据集训练和测试该模型,试验结果表明,SwinT-YOLACT的掩膜均值平均精度为79.43%,推理速度为35.44帧/s,相较于原始YOLACT和其改进算法YOLACT++,掩膜均值平均精度分别提升了3.51和3.38个百分点;相较于YOLACT、YOLACT++和Mask R-CNN模型,推理速度分别提升了3.39、2.58和28.64帧/s。该模型对玉米果穗有较为优秀的分割效果,适于部署在无人巡检机器人视觉系统上,为玉米生长状态监测提供技术支撑。

基于改进YOLACT的堆垛图像快速分割方法研究

针对堆叠密集的堆垛货箱出现的漏检情况以及难以分割出每个货箱的精确边缘而造成的难以准确抓取的问题,对深度学习实例分割算法YOLACT进行了相应的改进;使用工业相机采集货箱的堆垛图像,利用Labelme标注图像制作数据集,并且通过数据增强方法扩充数据集;为了提高模型的分割准确率,分别对掩码真值和YOLACT中的原型掩码输出分支(Protonet)的预测掩码使用Canny边缘检测算子,并取二者的二值交叉熵损失作为损失函数加入到原网络中训练;使用训练好的最优模型对测试集图像数据进行试验;结果表明,改进后的模型预测掩码mAP_(0.5:0.95)可以达到0.543,比原模型提高2.2%,同时货箱边缘的分割精度也得到了一定的提升,模型推理速度可达10.2帧/秒,可以满足精度要求和生产节拍要求。

基于改进YOLACT++的成熟芦笋检测-判别-定位方法

为解决芦笋采收机器人选择性采收过程中成熟芦笋的判别和采摘手准确定位难题,提出了一种改进YOLACT++(You only look at coefficients)算法,利用该方法对成熟芦笋进行检测判别并定位采收切割。通过引入CBAM(Convolutional block attention module)注意力机制以及SPP(Spatial pyramid pooling)结构改进传统的YOLACT++主干网络,提高了特征提取的有效性;设计了适用于芦笋目标检测的锚框长宽比以保证覆盖到不同姿态的芦笋,以提高网络检测速度和准确率。利用生成的芦笋掩膜分段计算芦笋长度和基部直径,来判定成熟芦笋,并通过空间位姿向量计算成熟芦笋基部区域切割点位置。采收机器人田间试验结果表明,经过训练的改进YOLACT++模型的检测准确率为95.22%,掩膜平均准确率为95.60%,640像素×480像素图像检测耗时53.65 ms,成熟芦笋判别准确率为95.24%,在X、Y、Z方向的切割点定位误差小于2.89 mm,滚转角和俯仰角误差最大为7.17°;与Mask R-CNN、SOLO和YOLACT++模型相比,掩膜平均准确率分别提高2.28、9.33、21.41个百分点,最大定位误差分别降低1.07、1.41、1.92 mm,最大角度误差分别降低1.81°、2.46°和3.81°。使用该方法试制的芦笋采收机器人,采收成功率为96.15%,单根芦笋采收总耗时仅为12.15 s。本研究提出的检测-判别-定位方法在保证响应速度的前提下具有较高的检测精度和定位精度,为优化改进基于机器视觉的芦笋采收机器人提供了技术支持。

基于YOLACT与Transformer相结合的实例分割算法研究

为提高单阶段实例分割的检测精度和改善小目标漏检、错检情况,提出一种基于YOLACT改进的YOLACTR算法。该算法首先利用CNN与Transformer相结合,设计一种新的头部预测网络,对特征进一步提取,并使用双向注意力来关联同一实例的掩码信息并区分不同实例之间的掩码特征,注重特征点周围的关联信息,使得检测框的预测更加准确;然后利用多级上采样和设计的CS注意力模块结合形成掩码分支,使其融入多种不同尺度信息,并利用CS注意力来关注不同的尺度信息。在MS COCO数据上,YOLACTR算法与YOLACT算法相比,其边框和掩码检测精度分别提升了7.4%和2.9%,在小目标检测上分别提升了18.9%和13.5%。实验表明,YOLACTR算法可以在多目标复杂场景下,提升检测和分割精度以及分类的准确度,改善小目标和重叠目标漏检、错检的问题。

复杂环境基于YOLACT电缆识别与定位

目前,电力公司的电缆维护都是人工完成的。人工维护不仅工作量大、效率低,而且存在很大的安全问题。随着机器视觉的快速发展和机器人技术在各行各业的广泛应用,将机器人和视觉技术应用于电缆的自动维护已成为一种必然趋势。本文提出了一种基于YOLACT模型的双目电缆识别与定位方法,该方法首先利用改进的YOLACT网络对复杂环境下的密集电缆进行识别和分割,然后对电缆分割图像进行边缘优化与提取,最后利用得到的电缆边缘特征对双目图像中的相同目标进行匹配,从而实现复杂环境下对电缆的识别与定位。与传统的YOLACT模型相比,本文提出的电缆候选框相关度计算方法可以很好地解决识别密集电缆时出现的漏检和误检问题,提高了电缆识别的准确率。

基于改进YOLACT的金属滚动接触疲劳缺陷检测模型

滚动接触疲劳试验是获取金属材料力学性能的重要手段,针对在高速、光照变化的实验环境下,无法在线、准确地评估金属滚子试件表面失效状态的问题,提出了一种基于改进YOLACT的金属滚动接触疲劳缺陷检测模型。首先,针对疲劳缺陷误识别和分割掩码精度低的问题,引入基于自注意力机制的特征提取网络,增强疲劳缺陷特征的内部相关性和长距离学习能力;然后,设计了一种基于增强局部连接的信息传播链路AtRFP进行双向特征融合,平衡深层特征与浅层特征之间的信息差,对疲劳缺陷进行特征细化。实验结果表明,采用改进的YOLACT模型,试件表面疲劳缺陷的平均精度(AP)、dice系数和分割相对误差分别为74.5%、91.2%和3.98%,较原始YOLACT提升了6.0%、2.5%和降低了33.9%。两阶段模型Mask R-CNN的AP和dice系数为73.1%和91.5%,虽然所提模型的dice系数略有下降,但检测速度达到23.6帧/秒,比Mask R-CNN提升了247%,能够更好地满足金属滚动接触疲劳在线检测要求,为金属材料力学性能的精确获取提供技术支撑。

基于VG G-19与改进的YOLACT模型的服装图像风格迁移

服装的风格设计对提升服装整体美感与客户满意度具有重要作用。以青花瓷图像、敦煌壁画以及杨柳青年画为风格图,以服装图像为内容图,利用VG G-19网络模型提取内容图像和风格图像的特征,并引入像素均值损失函数,在内容图像的亮度通道上进行风格迁移;在图像分割模型YOLACT中引入ResNe t-B、ResNe t-C以及ResNe t-D变体,将激活函数ReLU替换为Swish,引入基于Sof t-NMS的候选框筛选算法;通过基于全向梯度的风格化边缘提取算法增强服装的边缘效果,利用去噪卷积神经网络对风格化图像去噪。实验结果显示:所生成的风格化图像达到了全局色彩信息更为协调的观感,图像分割精度得到提升,图像的边缘信息得到增强,噪点消除明显,清晰度依然维持,所提出的一系列方法可以辅助服装风格设计,拓宽了风格迁移的应用范围。

FIR-YOLACT:Fusion of ICIoU and Res2Net for YOLACT on Real-Time Vehicle Instance Segmentation

Autonomous driving technology has made a lot of outstanding achievements with deep learning,and the vehicle detection and classification algorithm has become one of the critical technologies of autonomous driving systems.The vehicle instance segmentation can perform instance-level semantic parsing of vehicle information,which is more accurate and reliable than object detection.However,the existing instance segmentation algorithms still have the problems of poor mask prediction accuracy and low detection speed.Therefore,this paper proposes an advanced real-time instance segmentation model named FIR-YOLACT,which fuses the ICIoU(Improved Complete Intersection over Union)and Res2Net for the YOLACT algorithm.Specifically,the ICIoU function can effectively solve the degradation problem of the original CIoU loss function,and improve the training convergence speed and detection accuracy.The Res2Net module fused with the ECA(Efficient Channel Attention)Net is added to the model’s backbone network,which improves the multi-scale detection capability and mask prediction accuracy.Furthermore,the Cluster NMS(Non-Maximum Suppression)algorithm is introduced in the model’s bounding box regression to enhance the performance of detecting similarly occluded objects.The experimental results demonstrate the superiority of FIR-YOLACT to the based methods and the effectiveness of all components.The processing speed reaches 28 FPS,which meets the demands of real-time vehicle instance segmentation.

基于轻量化Yolact的遥感图像检测研究

基于深度学习的遥感图像检测在农业生产、军事打击等领域都有所应用。但深度学习模型有计算复杂度高和参数量大的问题,而实际部署深度模型的边缘设备计算性能有限。文章以高分辨率遥感图像作为研究对象,对单阶段的实例分割网络算法进行改进,在Yolact(You Only Look At CoefficienTs)网络的基础上提出一种融入注意力机制和可变形卷积的轻量级实例分割算法。使用NWPU VHR-10遥感图像数据集对所提算法进行性能评估,实验结果表明,该算法能在保持性能的情况下减少计算复杂度和参数量。

基于YOLACT++的秀丽隐杆线虫显微图像分割方法

在分割网络提取特征的过程中,会存在低层特征缺失中缺失语义信息的现象,数据集中存在的一些噪声对分割给结果也会产生一定的干扰。为了提高分割网络对特征图的理解,解决在低层特征中缺失的语义信息,论文在YOLACT++的基础上引入了Attention机制,通过对数据的一些预处理,然后结合对损失函数的改进,对分割结果进行进一步的优化。由实验数据比较,论文的方法相比于传统的分割算法的MIOU提高了16%,相比于原始的YOLACT++的方法,该方法分割的MIOU提高了3.2%。

基于多尺度特征注意Yolact网络的堆叠工件分拣算法

针对非结构化场景中存在的多工件堆叠遮挡等问题,提出了基于多尺度特征注意Yolact网络的堆叠工件识别定位算法;所提算法首先在Yolact网络的掩码模板生成分支中加入多尺度融合与特征注意机制,提升网络预测堆叠工件掩码的质量,并设计了基于膨胀编码的目标检测模块,增强网络对不同尺度堆叠工件的适应能力,构建了多尺度特征注意Yolact网络;其次,利用构建的多尺度特征注意Yolact网络预测堆叠工件的掩码与边界框,并对堆叠工件掩码进行最小外接矩形生成,根据掩码边界框与掩码的最小外接矩形确定目标工件的抓取点与旋转角度;最后,基于堆叠工件识别定位算法研发了视觉机器人工件分拣系统;实验结果表明,所提模型在边界框回归、掩码预测两项任务上的识别精度均有提升,机器人工件分拣系统进行堆叠工件分拣作业的成功率达到97.5%。

基于改进YOLACT实例分割网络的人耳关键生理曲线提取

在人耳形状聚类、3D人耳建模、个人定制耳机等相关工作中,获取人耳的一些关键生理曲线和关键点的准确位置非常重要.传统的边缘提取方法对光照和姿势变化非常敏感.本文提出了一种基于ResNeSt和筛选模板策略的改进YOLACT实例分割网络,分别从定位和分割两方面对原始YOLACT算法进行改进,通过标注人耳数据集,训练改进的YOLACT模型,并在预测阶段使用改进的筛选模板策略,可以准确地分割人耳的不同区域并提取关键的生理曲线.相较于其他方法,本文方法在测试图像集上显示出更好的分割精度,且对人耳姿态变化时具有一定的鲁棒性.

基于YOLACT的行道树靶标点云分割方法

针对复杂城区环境下行道树靶标点云检测难度较大,导致基于激光雷达(LiDAR)的果园对靶施药技术难以推广的问题,提出基于YOLACT的行道树靶标点云分割方法,为行道树对靶施药提供基础数据。首先,应用移动激光扫描(MLS)技术采集街道一侧的三维点云数据;然后,提取深度、回波强度和回波次数信息,建立由二维LiDAR扫描线组成的三通道街道图像;最后,使用图像实例分割算法YOLACT建立行道树靶标分割模型,从街道图像中分割出每一棵行道树靶标。实验采集了一段300 m长街道两侧的点云数据,通过无损图像转换、切片、翻转扩充等处理得到1948张像素720×720的街道点云图像,按照6∶2∶2的比例划分出训练集、验证集和测试集,用来训练和测试行道树靶标分割模型。在386张测试图像上,令检测框与真值框的交并比阈值为0.5~0.9,以0.05为步长增加,得到的平均精确率为0.973,平均召回率为0.985,平均F1分数为0.979,平均每条LiDAR扫描线的处理时间是12.903 ms。实验结果表明,提出的方法能够快速准确分割出行道树靶标,为行道树对靶施药提供实时数据。

基于YOLACT++的槟榔检测算法研究

设计了一个基于YOLACT++深度学习算法的槟榔检测模型。针对传送带上采集的槟榔图片分割精度低和预测框不精确造成槟榔分级准确率低的问题。在模型主干网络中引入改进Res2Net模块,改善槟榔掩模分割精度。在模型边界框回归损失中引入CIoU损失函数,提高预测框的检测精度。结果表明,改进模型的掩模mAP相较YOLACT++、Mask R-CNN、SOLOv2分别高出5.20%,4.09%,2.37%。预测框mAP相较YOLACT++、Mask R-CNN分别高出5.41%,4.90%。相较于模型改进前分级准确率提升2.12%。

改进的YOLACT算法在垃圾实时分类检测的技术研究

针对垃圾目标分类检测中物体重叠检测效果差的问题,文中设计一种改进YOLACT图像分割模型,并应用于垃圾实时检测中。根据COCO数据集制作适用于垃圾分类的数据集,通过YOLACT图像分割模型进行训练和评估监测,改进YOLACT的主干网络模块;使用Swish激活函数调整Resnet进入层模块和下采样模块以提升图像特征,同时改进YOLACT结构的检测模块;再使用Pointrend方法对检测出的分割结果与特征图像进行多层感知机(MLP)迭代融合,渲染深化边缘点特征,以融合得到的新掩码层取代原输出的掩码层。最后,进行改进YOLACT算法、SOLO算法、Mask-RCNN算法比较和消融实验。结果表明,改进YOLACT算法可提升精度、速度及垃圾图像分割的边缘效果,能够解决一部分垃圾重叠检测问题,在垃圾实时检测方面有较好的应用价值。

基于Res2Net-YOLACT和融合特征的室内跌倒检测算法

为了加强对老年人的监护、降低跌倒带来的安全风险,提出了一种新的基于Res2Net-YOLACT和融合特征的室内跌倒检测算法。首先,通过融入Res2Net模块的YOLACT网络来提取视频图像序列中的人体轮廓;然后,利用两级判断的方法做出跌倒决策,其中一级判别通过运动速度特征粗略判断是否发生异常状态,二级通过融合人体形状特征和深度特征的模型结构对人体姿势进行判别;最后,当检测出跌倒且发生时间大于阈值时,发出跌倒报警。实验结果表明,该跌倒检测算法可以在复杂的场景下很好地提取到人体轮廓,对光照的鲁棒性较好,并且检测速度可达每秒28帧,能满足实时检测要求。此外,融入手工特征后的算法分类性能表现更优,分类准确率达98.65%,比卷积神经网络(CNN)特征算法提升了1.03个百分点。