基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术,已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色,会导致图像分割精度不高等问题。该研究提出一种基于混合Transformer编码器的“RGB+深度”(RGBD)双模态语义分割模型DFST(depth-fusion semantic transformer),试验在真实温室光照情况下获得深度图像,对深度图像做HHA编码并结合彩色图像输入模型进行训练,经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取,利用轻量化的多层感知机解码器对特征图进行解码,最终实现图像分割。试验结果表明,DFST模型在测试集的平均交并比可达96.99%,对比不引入深度图像的模型,其平均交并比提高了1.37个百分点;DFST模型对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型Shape Conv,其平均交并比提高了2.43个百分点。结果证明,深度信息有助于提高彩色图像的语义分割精度,可以明显提高复杂场景语义分割的准确性和鲁棒性,同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能,可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。

自然环境中的红色番茄图像识别方法研究

针对机器人采摘过程中因对自然环境中的光照变化、土壤及枝叶等背景和果实间重叠等实际情况造成的红色番茄识别不准确的难题,提出了一种基于圆拟合算法的番茄图像识别方法。使用照相机采集番茄图像,在Matlab软件平台中选择三原色(red,green,blue,RGB)彩色空间进行实验;利用红-绿(red-green,R-G)色差分量对番茄图像进行预处理,然后分别采用边缘检测算法、阈值分割和分水岭分割方法对果实目标和背景进行分割,最终选用阈值分割中的最大类间方差法进行图像分割,并基于反向传播人工神经网络(back propagation-artificial neural network,BP-ANN)和圆拟合算法进行番茄果实的识别,最终得到红色番茄果实的轮廓、质心和半径,即定位果实目标。对红色番茄图像的识别结果进行统计,圆拟合算法的识别率高达90.07%。此算法不仅对单个果实的识别率高,还较好地解决了复杂环境下多个果实重叠的识别问题,为后续的机器人采摘工作打下了良好的理论基础。

基于互信息最佳阈值迭代的图像分割方法研究

阈值分割是一种重要的图像分割方法,是图像检测与识别的重要预处理步骤之一.依据分割图像与原图像之间的内在联系,提出一种互信息和阈值迭代相结合的番茄图像自动优化分割方法(MI-OPT).分割实验表明:对成熟期果实与背景的颜色差异不大或表面色彩不一致的番茄图像,MI-OPT分割方法效果较好.

基于GhostNet的机器人对番茄叶片目标检测算法

为了在农业机器人上部署面向番茄叶片图像的识别和检测系统,实现准确和快速检测的双重要求,在YOLOv4和YOLOv4(tiny)目标检测算法的基础上,设计了基于GhostNet模块的YOLOv4-Ghost Net和YOLOv4(tiny)-GhostNet两种检测算法,其中,YOLOv4(tiny)属于YOLOv4的轻量级检测算法,进一步提升机器人对番茄叶片图像的识别检测精度和检测速度。实验结果表明,引入Ghost Net模块的深度学习检测算法,在实现模型参数量减少的情况下,保证了网络模型的特征提取和表达能力。YOLOv4(tiny)-G hostNet的平均检测率为95.44%,相比于YOLOv4、YOLOv4-GhostNet和YOLOv4(tiny),平均检测率分别提高了2.21、13.99、10.21个百分点。同时YOLOv4(tiny)-GhostNet的模型参数量不足YOLOv4的1/13,模型参数明显的缩减,极大地提高了检测算法的优势。

基于核相互子空间法的番茄叶部病害快速识别模型

近年来,基于叶片图像的番茄病害识别研究受到广泛关注。本研究利用番茄叶部病害图像中病斑的颜色和纹理的差异,通过提取番茄病害叶片图像的颜色矩(CM)、颜色聚合向量(CCV)和方向梯度直方图(HOG)等颜色纹理特征,引入核相互子空间法(KMSM),建立了番茄叶部病害快速识别模型(CCHK⁃MSM)。该模型首先通过高斯核函数,将从不同类别叶部病害图像数据中抽取的颜色及纹理特征映射到高维空间;然后对映射的高维空间进行主成分分析,建立非线性病害特征空间;最后基于非线性特征空间最小正则角对病害进行识别。本研究分别以公共农业病虫害数据集PlantVillage中的9种番茄病害类和1类健康番茄叶片图像,以及实际场景下采集的3种叶部病虫害图像数据集开展算法验证试验。基于PlantVillage的试验结果表明,当每类样本集数量为350张时,本研究所提出的CCHKMSM模型识别率达到100%,模型训练时间为0.1540 s,平均识别时间为0.013 s;同时,在样本数量150张到1000张的测试区间内,模型平均识别率为99.14%。该识别率高于其他典型的机器学习模型,与基于深度学习的识别方法相当。基于实际复杂场景下采集病害图像集的实验中,通过对原始图像切割分块后,对各病害的平均识别率为96.21%。试验结果表明,本研究提出的CCHKMSM模型识别准确率高且计算量小,其训练时间和测试时间都远低于深度学习等方法。该方法对系统要求低,具有在手持设备、边缘计算终端等低配置感知系统中的应用潜力。