复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络(ResNeSt)设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络(Feature Pyramid Networks,FPN),构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器(Graphics Processing Unit,GPU)上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法(Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN)、SOLO算法、掩膜区域卷积神经网络算法(Mask Region Convolutional Neural Network,Mask R-CNN)和全卷积实例感知语义分割算法(Fully Convolutional Instance-aware Semantic Segmentation,FCIS)提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。

基于改进YOLOv5s模型的自然场景中绿色柑橘果实检测

针对未成熟柑橘果实智能检测存在精度低、模型大的问题,该研究提出了一种基于YOLOv5s改进的绿色柑橘检测算法模型YOLO-GC,实现对复杂自然环境中果实的实时准确检测。首先,针对YOLOv5s网络模型较大且难以部署的问题,以轻量级GhostNet网络替换原始的骨干网络,同时为减小模型轻量化后精度下降的影响和提高对绿色柑橘特征的关注度,嵌入全局注意力机制(global attention mechanism,GAM)增强网络在复杂环境下对果实特征的提取能力;其次,为了改善密集与小目标果实的检测效果,引入BiFPN(bi-directional feature pyramid network)架构进行多尺度的加权特征融合;最后,为减少果实与枝叶遮挡、重叠造成的漏检,采用GIoU(generalized intersection over union)损失函数结合Soft-NMS(soft-non-maximum suppression)算法优化边界框回归机制。试验结果表明:相较于YOLOv5s,YOLO-GC的权重模型内存减小了53.9%,参数量减少了55.2%,平均精度AP_(0.5)提升了1.2个百分点,平均推理时长减少46.2%。YOLO-GC模型的综合检测性能优于YOLOv8等7种常用网络模型,在安卓手机APP中检测准确率达到97.2%,推理时长减少了85.8%。研究表明,该研究模型为复杂环境中绿色果实检测及模型部署应用提供了技术支撑。

一种基于GhostNet的绿色类圆果实识别方法

为实现果园实际环境中绿色类圆果实的识别,研究了基于单阶段目标检测网络的绿色类圆果实识别方法。本研究对比4种不同轻量化卷积网络模型,以GhostNet作为本研究网络的主干特征提取网络,将提取到的特征信息利用复杂双向多尺度融合网络进行融合,最后以改进后的YOLO_Head作为预测头,建立适合本研究的目标检测网络。结果表明,在果园背景下本研究构建的目标检测网络对绿色类圆果实的均值平均精度达到96.8%,每张图片检测所用的时间为37 ms,网络内存占用大小为11.8 M,实现了对绿色类圆果实的快速、准确识别,能够为早期果树的产量预估、病虫害识别提供技术支撑。

基于优化Transformer网络的绿色目标果实高效检测模型

果园环境中,检测目标果实易受复杂背景、果实姿态和颜色等因素影响,为提高绿色目标果实检测的精度与效率,满足果园智能测产和自动化采摘要求,本研究针对不同光照环境和果实姿态,提出一种适于样本数量不足的绿色目标果实高效检测模型。该模型采用优化Transformer结构,首先借助卷积神经网络(Convolutional Neural Network,CNN)网络提取图像特征;然后输入编码-解码器生成一组目标果实预测框,最后通过前馈神经网络(Feed-forward Network,FFN)结构预测检测结果。在训练过程中,引入重采样法扩充样本数量,解决样本数量不足问题;引入迁移学习,加速网络收敛。分别制作苹果、柿子数据集用于模型训练。试验结果表明,经迁移学习后该模型训练效率大幅提高;与流行的目标检测模型相比,优化后的模型在检测绿色柿子与绿色苹果时,精度分别为93.27%和91.35%。该方法可为其他果蔬绿色目标检测提供理论借鉴。

优化FCOS网络复杂果园环境下绿色苹果检测模型

目标果实的精准识别是实现果园测产和机器自动采摘的基本保障。然而受复杂的非结构化果园环境、绿色苹果与枝叶背景颜色接近等因素的影响,制约着可见光谱范围下目标果实的检测精度,给机器视觉识别带来极大挑战。针对复杂果园环境下的不同光照环境和果实姿态,提出一种优化的一阶全卷积(FCOS)神经网络绿色苹果识别模型。首先,新模型在FCOS的基础上融合了卷积神经网络(CNN)的特征提取能力,消除了对锚框的依赖,以单阶段、全卷积、无锚框的方式预测果实置信度与边框偏移,在保证检测精度的前提下提升了模型的识别速度;其次,增加了自底向上的特征融合架构,为模型提供了更加准确的定位信息,进一步优化绿色苹果的检测效果;最后根据FCOS末端三个输出分支设计整体损失函数,完成模型训练。为尽可能模拟真实果园环境,分别采集不同光照环境、光照角度、遮挡类型、摄像距离的绿色苹果图像,制作数据集并用以模型训练。挑选最优训练模型在包含不同场景的验证集上进行评估,结果为:在检测效果方面,平均精度为85.6%,与目前最先进的检测模型Faster R-CNN,SSD,RetinaNet,FSAF相比,分别高出0.9,10.5,2.5,1.9个百分点;在模型设计方面,FCOS的模型参数量与整个检测流程所需的计算量分别为32.0 M和47.5 GFLOPs(10亿次浮点运算),与Faster R-CNN相比,分别降低了9.5 M和12.5 GFLOPs。对比表明,在可见光谱范围下,对复杂果园环境中绿色苹果,提出的新模型具有更高的检测精度和识别效率,为苹果果园测产和自动化采摘提供理论和技术支撑;也可为其他果蔬的球形绿色目标果实识别提供借鉴。

基于核优化密度聚类的绿色苹果分割算法

苹果的可见光谱目标的高效、精准识别是实现果园测产或机器自动采摘作业的关键,由于绿色目标果实与枝叶背景颜色较为相近,因此绿色苹果的识别成为新的挑战。再由于果园实际复杂环境因素影响,如光照、阴雨、枝叶遮挡、目标重叠等情况,现有的目标果实识别方案难以满足测产或自动采摘的实时、精准作业需求。为更好地实现果园自然环境中绿色目标果实识别问题,提出一种新的核密度估计优化的聚类分割算法(kernel density clustering,KDC)。新算法首先利用简单的迭代聚类(simple linear iterative cluster,SLIC)算法将目标图像分割成不规则块,集结小区域内近似像素点组成超像素区域,计算单元由像素点转变为超像素区域,有效降低数据复杂度,且SLIC算法简化图像数据时可有效避免目标果实轮廓模糊;基于超像素构造R-B区域均值和G-B区域均值的二维特征分量,建立针对聚类分析的青苹果颜色特征空间。然后借助密度峰值聚类中心计算绿色苹果图像每个数据点的局部密度和局部差异度,为解决分割边界模糊问题,在计算过程中利用核密度估计计算局部密度,确保局部密度在不同复杂场景中的清晰准确表达,以更精准找出被低密度区域分割的高密度区域,实现任意形状的聚类。最后以局部密度和距离构造寻找聚类中心的决策图,该研究采用双排序算法实现聚类中心的自动选择,完成目标果实的高效分割。新算法通过SLIC算法获得图像的超像素区域表示,数据点的局部密度通过核密度估计得到,大幅降低算法的计算量,实现目标图像的高效、精准分割。为更好地验证新算法性能,实验采集多光照、阴雨等环境下的遮挡、重叠等复杂目标图像,以分割效率、分割有效性、假阳性、假阴性等指标进行评价,通过对比k-means聚类算法、meanshift聚类算法、FCM算法和DPCA算法,该研究提出的新算法分割性能均最优。