机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。

苹果采摘机器人夜间图像降噪算法

苹果采摘机器人图像处理系统采集到的实时夜间图像含有大量的噪声,影响采摘效率。通过差影法对夜间图像进行噪声分析,判定其噪声类型为以高斯噪声为主,并伴有部分椒盐噪声的混合噪声。针对高斯噪声去除难题,将独立成分分析(independent component analysis,ICA)理论引入夜间图像降噪,并尝试采用粒子群优化算法(particle swarm optimization,PSO)对ICA进行优化,建立基于PSO优化的ICA降噪算法(PSO-ICA),以期最大限度地降低夜间图像的噪声污染。利用标准Lenna图像和自然光下的苹果图像,进行仿真试验,结果表明PSO-ICA方法降噪效果最为理想。然后对白炽灯、荧光灯、LED灯3种不同的人工光源下采集到10个样本点的夜间图像进行验证试验,结果表明,从视觉效果评价,在3种人工光源环境下,PSO-ICA降噪方法得到低噪图像均表现为噪点明显减少;从相对峰值信噪比(relative peak signal-to-noise ratio,RPSNR)看,在3种人工光源下的平均值,PSO-ICA得到的低噪图像,分别比原始图像、均值滤波降噪和ICA降噪得到的图像的相对峰值信噪比提高21.28%、12.41%、5.53%;从运行时间看,PSO-ICA方法较ICA方法的运行时间平均减少了49.60%。PSO-ICA方法用于夜间图像降噪有着独到的优势,为实现苹果采摘机器人的夜间作业打下坚实的基础。

苹果夜视图像小波变换与独立成分分析融合降噪方法

对不同人工光源辅助下采集到的夜视苹果图像,通过噪声分析,判定苹果夜视图像的噪声以高斯噪声为主,并混有部分椒盐噪声。针对高斯噪声去除难题,将小波变换(Wavelet transform,WT)与独立成分分析(Independent component analysis,ICA)理论引入夜视图像的处理系统,为了最大程度地降低噪声污染,提出WT-ICA融合降噪方法。通过仿真实验,结果表明融合降噪效果较为理想。为了更好地评价夜视图像的降噪效果,以自然光下的图像为参照基准,提出相对峰值信噪比(Relative peak signal-to-noise ratio,RPSNR)的概念。对所采集到的不同的夜视图像进行多次重复实验,结果表明,从视觉上看WT-ICA降噪方法得到的低噪图像噪点明显减少;从RPSNR看,WTICA得到的低噪图像,分别比原始图像、小波软阈值降噪、ICA降噪方法平均提高29.94%、8.09%、7.54%;白炽灯下的图像处理后的RPSNR最高,适合作为人工光源。WT-ICA融合降噪方法通过连续处理,排除夜视图像的噪声干扰,得到的低噪图像更利于进一步识别,从而为实现苹果采摘机器人的全天候作业打下基础。

应用模糊回归模型预测玉米蚜的种群动态

在研究昆虫生态,对害虫的发生进行预测时,并不要求预测得到十分精确的数值,且也难以得到,只要预测出害虫的发生趋势即可,模糊理论对处理此类问题有独特优势。提出应用模糊回归技术,针对山东宁阳1989-2004年的历史资料,建立玉米蚜的种群动态预测模糊回归模型。同时与利用多元线性回归模型分析预测的结果进行比较,从比较看出用模糊回归模型进行预测有更高的准确性和更好的适用性,证明了新模型的有效性。

基于熵权的灰色关联度分析天敌对棉铃虫的控制作用

天敌对棉铃虫(Helicoverpa armigera(Hbner))的控制作用存在时空上的序列性和阶段性。根据群落种群的发展规律,将天敌对棉铃虫的控制作用分为4个时期,然后利用基于熵权的灰色关联度分析,得到天敌与棉铃虫的动态关联度,以及天敌之间的关联系数。实例分析表明所得到的结果更加客观,可广泛用于昆虫生态研究。

基于因子分析与神经网络组合的害虫测报研究

害虫的发生是非线性动态系统,影响害虫发生的预测因子众多,且存在一定相关性,用神经网络进行预测时,不利于设计与计算。结合因子分析与神经网络的原理,建立基于因子分析与神经网络组合的害虫预测模型,通过因子分析对预测因子进行降维处理,然后将降维后的数据作为网络的输入,经训练后仿真输出预测结果。通过对山东郓城县二代棉铃虫预测的实例分析,证明新模型的预测精度没有降低,网络的收敛速度加快,预测值的误差减小。说明这一模型在农作物的病虫害预测方面有着广阔的应用前景。

图像分割的新理论和新方法

图像分割是是计算机视觉研究中的一个经典难题，已成为图像理解领域关注的一个热点．本文对近年来图像分割方法的研究现状与新进展进行了归纳总结．首先，简单介绍了图像分割的传统方法，包括基于区域的、基于边缘的和两者结合的图像分割方法．然后，分别从数学形态学、模糊集、神经网络、支持向量机、免疫算法、图论和粒度计算等方面对图像分割方法进行了重点讨论，并对应用每一种理论的最新研究进展作了评述．最后，对图像分割方法的发展趋势进行了展望．

苹果采摘机器人快速跟踪识别重叠果实

为解决采摘机器人在运动状态下对重叠果实的识别问题,减少采摘过程处理的时间,对重叠果实的快速跟踪识别进行了研究。首先,对采集到的第1幅图像进行分割并去噪,之后通过计算圆内的点到轮廓边缘最小距离的极大值确定圆心的位置,计算圆心到轮廓边缘距离的最小值确定半径,通过圆心与半径截取后续匹配的模板,经试验证明该算法能较准确地找到重叠果实的圆心与半径。然后,确定连续采集的10幅图像的圆心,根据每幅图像圆心的位置对机器人的运动路径进行拟合、预判、综合半径与预判路径确定下一次图像处理的范围。最后,采用快速归一化互相关匹配对重叠果实进行匹配识别。试验证明,经过改进后的算法匹配识别时间与原算法相比,在没有进行预判的情况下匹配识别的时间为0.185 s,经过预判之后,匹配时间为0.133 s,减少了28.1%,采摘机器人的实时性得到了提高,能够满足实际需求。该研究可为苹果等类球形重叠果实的动态识别提供参考。

苹果采摘机器人夜间识别方法

提出了一种适用于苹果采摘机器人夜间识别的方法。在图像采集阶段,通过对比不同光源的照明效果,选用白炽灯作为照明光源并采用2盏白炽灯从不同角度照明的方式削弱图像中的阴影。在图像分割阶段,对比白天图像的分割方法,提出改进R-G色差分割法。此外针对夜间图像中的高亮反光区,采用二次分割的方法提取出水果表面的高亮反光区以此对分割后的图像进行修补,以得到完整的分割结果。经统计不考虑果实的遮挡和粘连,夜间苹果正确识别率达到83.7%。

苹果采摘机器人夜间图像边缘保持的Retinex增强算法

为了提高采摘机器人的适用性和工作效率,保证成熟苹果果实的及时采摘,需要机器人具有夜间连续识别、采摘作业的能力。针对夜间苹果图像的特点,该文提出一种基于引导滤波的具有边缘保持特性的Retinex图像增强算法。利用颜色特征分量采用具有边缘保持功能的引导滤波来估计出照度分量;进而利用单尺度Retinex算法对图像进行对数变换获得仅包含物体本身特性的反射分量图像;分别对照度分量和反射分量图像增强后,再合成为新的夜间苹果的增强图像。文中选取30幅荧光灯辅助照明下采集到的夜间苹果图像进行试验的结果显示,该文增强算法处理后的30幅图像的平均灰度值,分别比原始图像、直方图均衡算法、同态滤波算法和双边滤波Retinex算法处理后的图像平均提高230.34%、251.16%、14.56%、7.75%,标准差平均提高36.90%、-23.95%、53.37%、28.00%,信息熵平均提高65.88%、99.68%、66.85%、17.53%,平均梯度提高161.70%、64.71%、139.89%、17.70%。且该文算法较双边滤波Retinex方法的运行时间平均减少74.56%。表明该文算法在夜间图像增强效果和运行时间效率上有明显的提高,为后续夜间图像的分割和目标识别提供了保障。

农业机器人自主导航改进自适应滤波控制器研究

为提高导航精度与控制精度,对农业机器人的自主导航控制进行研究。结合Sage-Husa自适应滤波与强跟踪卡尔曼滤波两种算法优点,利用严格收敛判据,设计了改进的自适应卡尔曼滤波算法。新算法保证了系统的实时性和稳定性,且具有更好的滤波精度。利用变结构切换方法来阻止PID控制器积分饱和现象,有效解决了控制器过饱和问题。将改进的自适应滤波算法与变结构PID控制器相结合,可提高导航系统的稳定性和精度。对所提理论进行仿真与试验,结果表明该方法大幅度提高了滤波器抑制发散的能力和导航的控制精度。

基于IPSO-UKF的水草清理作业船组合导航定位方法

在河蟹养殖水草清理过程中,为降低养殖户劳动强度和提高导航定位精度,研究结合DGPS和视觉导航的优点,设计一种用免疫粒子群算法(IPSO)来优化无迹卡尔曼滤波(UKF)的组合导航定位方法,并应用于水草清理作业船。首先通过建立组合导航模型,得到系统的状态方程和量测方程;为解决UKF对导航模型滤波存在的发散问题,再通过粒子群算法(PSO)优化UKF,并引入免疫算法避免PSO的早熟现象;最后得到滤波后新的位置坐标。为获取视觉信息,对采集的图像采用相应的图像处理技术确定导航路径。导航实验结果表明,所提方法相比DGPS导航和组合导航,纬度误差分别下降22.69%、9.14%,工作时间分别减少4.77%、4.32%,进一步提高了作业船工作效率。

基于PLS的Elman神经网络算法研究

针对特征变量多的小样本，结合偏最小二乘（Partial Least Squares,PLS）法则原理与Elman神经网络结构性质，提出基于PLS的Elman神经网络算法（PLSElman）.新算法通过PLS对高维小样本进行特征降维时，顾及了与因变量的相关程度，所得到的数据进行网络训练和仿真，明显的简化了网络结构，且可得较精确的网络模型.通过实例分析，结果表明新算法提高了网络的收敛速度、预测的精准率，证明新算法提高网络处理问题的效率.同时为便于验证新算法的有效性，与基于主成分分析（Principal Component Analys，PCA）的Elman神经网络算法（PCAElman）进行了比较，PLSElman算法有明显的优越性.

基于熵组合预测模型的害虫种群动态研究

在农业害虫种群动态的研究中,单一预测模型很难达到理想的预测精度。组合预测模型是将不同的预测模型进行适当的优化组合,以综合利用各单项模型的预测信息,以提高预测精度,然而组合预测模型的核心问题是所综合的模型权重的确定。运用信息熵理论,根据测度不确定性的函数确定组合模型的权值,建立了基于信息熵的组合预测模型,以期在研究昆虫生态中应用。将新建立的预测模型在玉米蚜种群动态研究中进行仿真实验,验证了新模型的有效性。

基于极值的重叠苹果识别方法研究

针对采摘机器人对重叠果实无法识别采摘问题,提出了一种基于极值的重叠苹果识别定位方法。首先,利用色差法对图像进行分割;然后采用OTSU分割和孔洞填充提取轮廓;最后利用一种快速计算圆内的点到边缘最小距离的算法找到局部极大值,从而确定圆心和半径。实验表明:这种方法对提取的苹果轮廓较完整的情况定位效果较好,且实时性高,具有较强的实用性。

基于超像素特征的苹果采摘机器人果实分割方法

针对苹果采摘机器人在自然环境下对着色不均匀果实的识别分割问题,提出了基于超像素特征的苹果采摘机器人果实分割方法。首先,采用简单线性迭代聚类算法将图像分割成内部像素颜色较为一致的若干超像素单元;然后,提取每个超像素的纹理和颜色特征,并采用支持向量机将超像素分为果实和背景两个类别;最后,根据超像素之间的邻接关系对分类结果进行进一步修正。实验表明,该方法能够对大部分超像素单元进行正确分类,平均每幅图像被错误分类的超像素约为2.28个。与采用像素级特征的色差法和采用邻域像素特征的果实分割方法相比,采用超像素特征的果实分割方法具有更好的分割效果。在进行邻接关系修正前,该方法图像分割准确率达0.9214,召回率达0.8565,平均识别分割一幅图像耗时0.6087 s,基本满足实时性需求。

基于优化Transformer网络的绿色目标果实高效检测模型

果园环境中,检测目标果实易受复杂背景、果实姿态和颜色等因素影响,为提高绿色目标果实检测的精度与效率,满足果园智能测产和自动化采摘要求,本研究针对不同光照环境和果实姿态,提出一种适于样本数量不足的绿色目标果实高效检测模型。该模型采用优化Transformer结构,首先借助卷积神经网络(Convolutional Neural Network,CNN)网络提取图像特征;然后输入编码-解码器生成一组目标果实预测框,最后通过前馈神经网络(Feed-forward Network,FFN)结构预测检测结果。在训练过程中,引入重采样法扩充样本数量,解决样本数量不足问题;引入迁移学习,加速网络收敛。分别制作苹果、柿子数据集用于模型训练。试验结果表明,经迁移学习后该模型训练效率大幅提高;与流行的目标检测模型相比,优化后的模型在检测绿色柿子与绿色苹果时,精度分别为93.27%和91.35%。该方法可为其他果蔬绿色目标检测提供理论借鉴。

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络(ResNeSt)设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络(Feature Pyramid Networks,FPN),构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器(Graphics Processing Unit,GPU)上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法(Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN)、SOLO算法、掩膜区域卷积神经网络算法(Mask Region Convolutional Neural Network,Mask R-CNN)和全卷积实例感知语义分割算法(Fully Convolutional Instance-aware Semantic Segmentation,FCIS)提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。

优化FCOS网络复杂果园环境下绿色苹果检测模型

目标果实的精准识别是实现果园测产和机器自动采摘的基本保障。然而受复杂的非结构化果园环境、绿色苹果与枝叶背景颜色接近等因素的影响,制约着可见光谱范围下目标果实的检测精度,给机器视觉识别带来极大挑战。针对复杂果园环境下的不同光照环境和果实姿态,提出一种优化的一阶全卷积(FCOS)神经网络绿色苹果识别模型。首先,新模型在FCOS的基础上融合了卷积神经网络(CNN)的特征提取能力,消除了对锚框的依赖,以单阶段、全卷积、无锚框的方式预测果实置信度与边框偏移,在保证检测精度的前提下提升了模型的识别速度;其次,增加了自底向上的特征融合架构,为模型提供了更加准确的定位信息,进一步优化绿色苹果的检测效果;最后根据FCOS末端三个输出分支设计整体损失函数,完成模型训练。为尽可能模拟真实果园环境,分别采集不同光照环境、光照角度、遮挡类型、摄像距离的绿色苹果图像,制作数据集并用以模型训练。挑选最优训练模型在包含不同场景的验证集上进行评估,结果为:在检测效果方面,平均精度为85.6%,与目前最先进的检测模型Faster R-CNN,SSD,RetinaNet,FSAF相比,分别高出0.9,10.5,2.5,1.9个百分点;在模型设计方面,FCOS的模型参数量与整个检测流程所需的计算量分别为32.0 M和47.5 GFLOPs(10亿次浮点运算),与Faster R-CNN相比,分别降低了9.5 M和12.5 GFLOPs。对比表明,在可见光谱范围下,对复杂果园环境中绿色苹果,提出的新模型具有更高的检测精度和识别效率,为苹果果园测产和自动化采摘提供理论和技术支撑;也可为其他果蔬的球形绿色目标果实识别提供借鉴。

基于核优化密度聚类的绿色苹果分割算法

苹果的可见光谱目标的高效、精准识别是实现果园测产或机器自动采摘作业的关键,由于绿色目标果实与枝叶背景颜色较为相近,因此绿色苹果的识别成为新的挑战。再由于果园实际复杂环境因素影响,如光照、阴雨、枝叶遮挡、目标重叠等情况,现有的目标果实识别方案难以满足测产或自动采摘的实时、精准作业需求。为更好地实现果园自然环境中绿色目标果实识别问题,提出一种新的核密度估计优化的聚类分割算法(kernel density clustering,KDC)。新算法首先利用简单的迭代聚类(simple linear iterative cluster,SLIC)算法将目标图像分割成不规则块,集结小区域内近似像素点组成超像素区域,计算单元由像素点转变为超像素区域,有效降低数据复杂度,且SLIC算法简化图像数据时可有效避免目标果实轮廓模糊;基于超像素构造R-B区域均值和G-B区域均值的二维特征分量,建立针对聚类分析的青苹果颜色特征空间。然后借助密度峰值聚类中心计算绿色苹果图像每个数据点的局部密度和局部差异度,为解决分割边界模糊问题,在计算过程中利用核密度估计计算局部密度,确保局部密度在不同复杂场景中的清晰准确表达,以更精准找出被低密度区域分割的高密度区域,实现任意形状的聚类。最后以局部密度和距离构造寻找聚类中心的决策图,该研究采用双排序算法实现聚类中心的自动选择,完成目标果实的高效分割。新算法通过SLIC算法获得图像的超像素区域表示,数据点的局部密度通过核密度估计得到,大幅降低算法的计算量,实现目标图像的高效、精准分割。为更好地验证新算法性能,实验采集多光照、阴雨等环境下的遮挡、重叠等复杂目标图像,以分割效率、分割有效性、假阳性、假阴性等指标进行评价,通过对比k-means聚类算法、meanshift聚类算法、FCM算法和DPCA算法,该研究提出的新算法分割性能均最优。