Crop pest image recognition based on the improved ViT method Author links open overlay panel

The crop pests and diseases in agriculture is one of the most important reason for the reduction of bulk grain and oil crops and the decline of fruit and vegetable crop quality,which threaten macroeconomic stability and sustainable development.However,the recognition method based on manual and instruments has been unable to meet the needs of scientific research and production due to its strong subjectivity and low efficiency.The recognition method based on pattern recognition and deep learning can automatically fit image features,and use features to classify and predict images.This study introduced the improved Vision Transformer(ViT)method for crop pest image recognition.Among them,the region with the most obvious features can be effectively selected by block partition.The self-attention mechanism of the transformer can better excavate the special solution that is not an obvious lesion area.In the experiment,data with 7 classes of examples are used for verification.It can be illustrated from results that this method has high accuracy and can give full play to the advantages of image processing and recognition technology,accurately judge the crop diseases and pests category,provide method reference for agricultural diseases and pests identification research,and further optimize the crop diseases and pests control work for agricultural workers in need.

基于改进YOLOv7的油茶果实成熟度检测

为确保油茶果实处于最佳成熟度进行采摘,提高油茶果实的出油率及茶油品质,该研究针对自然环境下油茶果实多被遮挡的问题,以原始YOLOv7模型为基础进行改进,提出一种油茶果实成熟度检测方法。首先,在主干网络中引入十字交叉注意力机制(criss-cross attention,CCA)加强对被枝叶遮挡果实成熟度特征的提取能力;其次,使用基于距离和交并比的非极大值抑制(distance-iou non-maximum suppression,DIoU-NMS)算法代替传统非极大值抑制(nonmaximum suppression,NMS)算法,从而加强模型对相互遮挡果实的检测能力;最后,以训练集中3 098张油茶果实图像训练改进的YOLOv7模型,验证集中442张图像用于在训练过程中评估模型,并对测试集中885张图像进行测试。改进后的YOLOv7模型在测试集下的精确率P为93.52%,召回率R为90.25%,F1分数为91.86%,平均精度均值mAP为94.60%,平均检测时间为0.77 s,模型权重大小为82.6 M。与Faster R-CNN、EfficientDet、YOLOv3、YOLOv5l和原始YOLOv7模型相比,平均精度均值mAP分别提升7.51、5.89、4.21、4.21和2.91个百分点。试验证明,改进的YOLOv7模型为实现油茶果实的智能化采摘提供理论依据。

图像处理与识别在果蔬成熟度监测中的研究及应用

目的 分析了果蔬成熟度自动监测对发展智慧农业的重要意义,对图像处理与识别技术在监测果蔬成熟度领域的研究与应用现状进行综述、总结与展望,以期为我国发展果蔬成熟度在线或自动检测识别技术提供参考。方法 对图像处理与识别在监测果蔬成熟度中的原理、优势进行分析,对特征提取、深度学习中的神经网络在该领域中的应用研究进展进行综述。结果 采用以图像处理和识别为核心的计算机视觉检测技术对果蔬的颜色、纹理等外部特征进行成熟度检测具有优势,结合神经网络对果蔬成熟度进行检测的识别率高,可在采摘、运输等场景对果蔬成熟度进行监测。结论 图像处理与识别技术在果蔬成熟度监测领域有望得到突破,将催生更多新的应用场景。

一种基于柔性机械手和视觉识别的水果分拣机设计

随着农业现代化的发展,水果分拣机对于促进农业装备智能化发展具有重要意义。本文提出了一种基于柔性机械手和计算机视觉识别技术的水果分拣机设计方案。该方案设计了一种具有自适应性且对水果损伤小的柔性机械手,结合计算机视觉技术,可以高效准确地进行水果特征识别和分拣。本文介绍了分拣机的总体方案设计、各模块设计、视觉识别与处理流程,并通过实验验证了本方案的有效性。

基于YOLO v5-Lite的自然环境木瓜成熟度检测方法

利用深度学习实现视觉检测技术对自然环境下树上木瓜成熟度的识别,从而监测木瓜生长期成熟度有重要意义。针对目前木瓜的成熟度主要以人工判断为主,缺乏对木瓜成熟度快速、准确的自动检测方法问题,本研究基于轻量化YOLO v5-Lite模型,对自然环境下木瓜成熟度检测方法进行研究,通过采集的1386幅木瓜图像,训练得到最优权值模型。实验结果表明,该模型对木瓜检测mAP为92.4%,与目前主流的轻量化目标检测算法YOLO v5s、YOLO v4-tiny以及两阶段检测算法Faster R-CNN相比,其mAP分别提高1.1、5.1、4.7个百分点;此外,在保证检测精度的前提下,检测时间为7 ms,且模型内存占用量仅为11.3 MB。同时,该模型对不同拍摄距离、不同遮挡情况、不同光照情况下的果实均能实现准确识别,能够快速有效地识别出复杂背景下木瓜果实的成熟度,具有较强的鲁棒性,可以为木瓜果园的产量估计和采摘机器的定位检测提供技术支持。

基于视觉的采摘机器人采摘定位与导航方法

自主导航与采摘定位作为采摘机器人的关键任务,可有效减轻人工劳动强度,提高作业精度与作业效率。该文阐述和分析基于视觉的采摘机器人采摘定位与自主导航方法,主要涉及视觉导航的可行驶区域检测、果实目标识别及采摘点定位,并根据国内外的研究现状,对机器视觉的最新发展和未来发展趋势进行展望。

基于光谱成像技术的烤箱食品成熟度识别研究

烤箱食品成熟度识别是烤箱智能化重要的一环,目前家电行业内的成熟度识别一般使用探针、氧传感等方法,但这些方法都有各自的局限性。光谱成像作为一种光学传感类技术,具有信息量大、检测范围广、不与目标接触等优点。为了研究光谱成像在烤箱中的应用前景,从原理上论证了其可行性,从实验上通过数据分析进行特征提取后,搭建了机器视觉模型与机器学习分类模型,完成了烤箱中常见的三大类食材,共计1293组光谱数据的采集、分析与测试,结果表明光谱成像技术可以实现烤箱内食材的定位,并准确地完成成熟度识别,交叉验证准确率平均达91.3%。

自然场景下成熟水果的计算机视觉识别

研究在自然场景下成熟水果的识别技术。比较 HSI颜色空间转换的几种方法 :球体法、柱体法和双锥体法等。球形 HSI颜色转换系统在本研究中产生较少的奇异数据 ,被采用。将图像的 RGB值转换成色调、饱和度和亮度值 ,并将色调和饱和度结合产生融合图像 ,以消除地表、天空等背景的影响。利用 Otsu算法自动获取分割阈值 ,提取目标区域。将提取的区域形态特征进一步分割图像 ,去除与颜色类似的枯叶和其他背景 ,提取成熟水果区域 。

基于机器视觉的自然环境中成熟荔枝识别

研究了自然场景下成熟荔枝的识别技术。通过分析荔枝彩色图像的颜色和灰度特征,选取YCbCr颜色模型进行处理,对其Cr分量图进行阈值分割去除复杂背景,并采用形态学和连通区域标注法消除分割后的随机噪声;然后结合一维随机信号直方图分析法与模糊C均值聚类法(FCM)对处理后的荔枝图像进行聚类和分割,实现荔枝果实和果梗的识别。不同光照条件下的识别实验结果表明,算法均能有效分割出果实和果梗,综合识别率达到95.5%。

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。

基于机器视觉自然场景下成熟柑橘识别

采用2R-G-B色差分量,通过Ostu自适应阈值算法进行图像分割,利用形态运算消除分割后随机噪声,并对分割区域进行标记,利用区域面积和区域最小外接矩形长宽比参数进一步去除背景区域。对于多果重叠问题,利用T=Sqrt(S×I)形成新的图像提取边界,再结合形态学运算实现分割。最后利用优化的圆形Hough变换提取目标图像的形心坐标及半径,恢复遮挡果形。经验证有95%果实能正确识别。

荔枝采摘机械手果实识别与定位技术

针对采摘机械手在自然环境下对荔枝的识别和精确定位问题进行研究.通过分析自然环境成熟荔枝的颜色特征,选取HSV颜色模型进行阀值分割,去除荔枝图像的复杂背景,并利用模糊C-均值聚类法(FCM)对图像中荔枝果实和果梗进行分割,试验结果表明:有效识别果实和果梗的正确率为93.3%.通过计算果实"质心"与果梗的距离最大值确定荔枝采摘点,利用基于色调空间的彩色图像匹配法和极限约束法进行果梗采摘点的立体匹配,实现了采摘点的空间定位,定位试验结果表明:定位坐标中深度值误差小于3 cm,深度值误差率小于5.64%,能满足实际作业中荔枝采摘机械手的定位精度要求.

改进类圆随机Hough变换及其在油茶果实遮挡识别中的应用

为将目标油茶果实从树枝、树叶等外界遮挡中分离出来,以利于油茶采摘机器视觉的图像形态学识别,该文提出了一种改进的类圆随机Hough变换算法,在算法中添加了边缘预检测、快速定位圆心点等模块以提高算法的识别率。仿真结果表明,改进算法对遮挡果实的识别率较其他Hough遮挡识别算法有所提高,最高达到90.70%,识别时间为1.3s。该研究为采摘机器人的后续采摘工作打下了基础。

红外传感器与机器视觉融合的果树害虫识别及计数方法

为了解决果园环境中单一的害虫监测技术存在的缺陷,该研究将红外传感器和机器视觉识别技术进行融合,从两个角度对目标害虫进行识别计数。选取梨小食心虫、苹小卷叶蛾、桃蛀螟、干扰物进行试验,通过实验室人工随机散落试验样本,获得其红外传感器以及机器视觉图像的识别结果,构造融合计数计算公式,通过计算得到害虫计数结果。结果显示:梨小食心虫、苹小卷叶蛾、桃蛀螟、干扰物的红外分类阈值分别为2.25、9.06、17.88、28.38,其红外识别范围分别为(0,5]、(5,13]、(13,23]、(23,32];梨小食心虫、苹小卷叶蛾、桃蛀螟、干扰物的红外识别准确率分别为92%、78%、80%、88%,图像识别准确率分别为92%、88%、92%、90%,融合计数精度分别为98%、92%、94%、96%。可见,将红外传感器和图像识别技术相融合能够提高果树性诱害虫的识别准确率,为果园害虫的合理防治提供参考。

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划。实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性。

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。

基于颜色信息和形状特征的棉桃识别方法

为了给机械手自动采摘棉桃提供运动参数,提出了一种棉桃识别方法,可以从背景环境中准确识别棉桃,获取棉桃准确的位置信息。通过对棉花不同部分颜色数据的分析,建立了基于色差信息的识别模型,为进一步提高识别准确性,利用形状特征建立动态Freeman编码方法去除噪声。实验结果表明这种方法具有良好的棉桃识别效果,识别率达到85%。

水果按表面颜色分级的方法

为提高水果商品品质,提出了一种基于水果表面颜色的分级方法.将完成图像分割的水果图像转换为HIS颜色模型,提取其H分量的面积加权直方图并对其进行了主成分分析,以红色水果样本组和橙色水果样本组的前M个主成分均值作为这两个样本组的样本中心点建立分级模型.分别计算待测样本与这两个样本中心点的马氏距离值,当待测样本到红色水果样本组样本中心点的马氏距离值小于其到橙色水果样本组样本中心点的马氏距离值时,将其分级到红色水果样本组,否则分级到橙色水果样本组.对800幅脐橙图像进行了分类试验,发现采用水果图像H分量面积加权直方图的前两个主成分分量进行分析即可实现水果分级,总的分级误差仅为1.75%.

基于椭圆傅里叶描述子的香蕉形状识别

为实现香蕉形状的识别,文章提出了一种基于计算机视觉和椭圆傅里叶描述子的形状识别方法。先由专家挑选果指果形为弯、微弯、末端直和直的香蕉共107枚,再获取预处理后图像的边界链码并提取其椭圆傅里叶系数,通过比较原形状和重建形状来选取合适的系数个数,然后用主成分分析对非负系数进行降维,最后进行模糊C均值聚类。研究结果表明,可以将该机器识别方法应用于香蕉形状的识别,为实现香蕉及其深加工产品的增值提供了一种技术手段,并为进一步实现香蕉果把和果穗的形状识别奠定了基础。

田间果蔬采摘机器人视觉传感器设计与试验

针对田间果蔬采摘机器视觉识别与定位的需求,设计嵌入式采摘视觉传感器,内嵌130万像素CMOS图像传感器和开放性MCU,配置亮度处理模块和室外光自适应控制专家库,解决室外光变化影响视觉检测的难题。用主从传感器构造双目视觉系统,配置图像分割和测距算法,进行采摘目标的识别与定位。经试验和测试,在采摘臂长范围内,对成熟西红柿的识别有效率为96%,位置误差±12 mm。