卷积协同注意力模型下的作物幼苗与杂草识别

在农作物的杂草防治中,部分杂草与作物幼苗的形态相似且颜色相近,导致杂草不易被快速准确识别。针对田间作物幼苗与杂草识别精度不高的问题,提出了一种卷积协同注意力模型(CCA-ViT)。该模型以视觉Transformer模型为基础,采用跨尺度金字塔架构,加强图像浅层信息与深层语义的交互。为提高相似作物与杂草的特征判别能力,在特征提取网络中构建了卷积协同注意力机制,优先关注叶片的纹理和边缘细小特征,获取局部信息注意力权重后协同全局特征进行建模。并在全局建模前引入可移动位置编码捕获感受野的同时降低模型的复杂度。将该模型用于识别小麦、玉米等6种作物幼苗与雀麦、猪殃殃等6种杂草上,识别准确率比同类规模的视觉Transformer模型提高了1.91百分点,达到了97.81%。同时该模型用于田间小麦和玉米幼苗的实际预测准确率也能达到80%以上。体现出该模型可用于复杂背景下具有纹理细小特征的作物幼苗与杂草的识别,能够对形态相似、颜色相近的作物幼苗与杂草进行有效区分。

基于深度可分离卷积的实时农业图像逐像素分类研究

【目的】为了提高作物和杂草的识别准确率和实时性,以苗期甜菜田间彩色图像为研究对象,提出了基于深度可分离卷积的实时农业图像逐像素分类方法。【方法】本研究使用由农业机器人采集的苗期甜菜田间彩色图像,通过人工逐像素标注方法将彩色图像中各个像素点标注为作物、杂草、土壤3个类别,并将单一类别的标注信息分别置于3个不同的图像通道,构成用于训练和测试的数据集。首先,建立以编码器-解码器为基础的深度可分离卷积神经网络模型,将编码器部分和解码器部分进行多尺度合并,由编码器部分决定像素位置,解码器部分获得像素分类;然后,为了解决分类类别覆盖率不平衡的问题,通过单通道标注信息训练,提高了低覆盖率分类类别的准确率,再将多个训练结果输出,实现对图像中的土壤、杂草、作物的识别;为了控制网络参数规模,采用宽度乘数控制点卷积核的个数,同时在不同分辨率输入条件下对网络模型进一步测试,以讨论网络模型的实时性。最后,使用随机数据增强技术扩充数据集,数据集中的80%用于网络参数的训练,20%用于测试网络性能。【结果】(1)通过与已有逐像素分类方法比较,本文方法获得较高的分类准确率。其中,SegNet方法逐像素分类的平均准确率为90.06%,U-Net方法平均准确率为92.06%,三通道标记训练的本文网络平均准确率为92.70%,单通道标记训练的本文网络平均准确率达94.99%。(2)通过计算不同方法单一类别逐像素分类的各项指标,论证了本文提出的单通道标注信息训练方法在处理分类类别覆盖率不平衡和训练样本较少情况下的优势。对杂草逐像素分类的准确率,SegNet方法为18.39%,U-Net方法为18.33%,三通道标记训练的本文网络为22.87%,单通道标记训练的本文网络准确率达41.94%。(3)通过宽度乘数可以有效控制网络模型的参数规模,当宽度乘数为1时,参数尺寸为676.8万,当宽度乘数为0.1时,参数尺寸降低到7.72万,是原始网络参数规模的1.14%,对土壤、杂草、作物的逐像素分类准确率分别仅降低2.81%、2.78%、3.7%,按照识别精度需求参数规模还可以进一步减小。(4)在输入分辨率和宽度乘数的共同作用下,讨论了网络的实时处理能力。采用GPU硬件加速对3个类别同时识别的速率可达20 fps,对单一类别识别速率达60 fps。可满足农业除草系统和作物监测系统实时在线运行。【结论】本文所提出的基于深度可分离卷积的逐像素分类方法,能对农业图像中的土壤、杂草、作物实施有效逐像素分类,同时该方法能对单一类别逐像素分类进行实时处理,满足实际系统的应用需求。