基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块(ICNet)中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6 s。

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest,ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素,深度误差±4 mm,成功定位采摘点后采摘成功率为98.15%。与现有的同类方法相比,采摘点图像坐标定位精度提高76.80个百分点,采摘成功率提高15.17个百分点,采摘效率提高31.18个百分点,满足非结构化种植环境中番茄串采摘需求。

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域(Region of Interest,ROI);融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。

番茄串收机械臂运动规划方法与试验

番茄串的采收环境复杂,果实体积相对较大,机械臂采收运动路径规划不仅要考虑如何采摘,还需要考虑采摘后如何避开障碍,并从复杂环境中提取出番茄串。为此,该研究以温室栽培的番茄串采摘为对象,提出了基于空间分割的实时运动路径规划算法。首先通过聚类拟合环境中的枝条,简化空间障碍物;然后分割采摘空间,筛选可行采摘空间,并引入评价函数选取最优采摘空间,指导机械臂以合理有效的姿态完成采摘;最后在采摘任务的基础上加入实时避障子任务,引导机械臂躲避障碍完成任务,保证采摘番茄串任务安全无损。在以上研究的基础上,通过大量采收试验验证算法的有效性。试验结果表明:通过基于空间分割的实时运动路径规划算法,采收机器人的单串番茄采摘时间为12.51 s,且采摘成功率接近100%。与目前主流的采样算法RRT*-connect相比,单串番茄的采摘时间降低了31.23%,大幅提高了采摘效率。

包装透气性对串番茄保鲜效果的影响

以串番茄为研究对象,对塑料包装盒设置了1孔、2孔、3孔、4孔4种透气性处理(透气孔面积与容积之比分别为1/350、2/350、3/350和4/350),研究了在12和16℃的货架温度下串番茄的保鲜效果。结果表明,在12℃条件下2孔和16℃条件下3孔处理的包装盒内,空气相对湿度在货架中后期均稳定在93%~95%,串番茄果枝新鲜度较好,果实未出现明显的失水萎蔫状态,可溶性固形物含量稳定;货架期间,各处理串番茄的可滴定酸含量逐渐下降,中后期的固酸比高于初期。总之,12℃条件下2孔和16℃条件下3孔的包装盒对串番茄保鲜效果较好。

2022年山西农谷番茄小镇温室串番茄果实数据集

串番茄果实的快速、高精度识别,是提升番茄采摘机器人采摘效率、可靠运行的关键技术之一。构建串番茄实时准确检测识别模型,需要有大量的串番茄图像数据进行深度的学习训练。2022年7–8月期间,在山西省晋中市太谷区范村镇格子头村山西农谷番茄小镇对玻璃温室中的串番茄进行数据采集,分别在晴天、阴天,在不同时间段,从不同光位,使用不同型号手机对串番茄进行了多角度、多方位拍摄,经过整理筛查共选出3665张图像,其大小为5.31 GB。使用Label Img工具对选出的图像标注了成熟(mature)、未成熟(raw)、成熟被遮挡(cover)三类标签,并存储为支持yolo格式的TXT文档,其大小为0.8 MB。按训练集:验证集:测试集为8:1:1的比例对所有图像随机分类,使用yolo工具训练并测试串番茄数据集,测试结果的各项性能指标均有不同程度的提升,保证了串番茄数据集的真实有效。本数据集还适用于构建串番茄不同成熟度的卷积神经网络模型,以进一步精准实现串番茄产量预测及成熟度采摘判定等研究。

串番茄主要株型性状的遗传研究

【目的】通过对串番茄主要株型性状的遗传分析,探索叶片角度的遗传规律,为选育株型紧凑的串番茄品种提供理论依据。【方法】通过对筛选出的串番茄自交系进行多代杂交回交,应用主基因+多基因6个世代联合分离分析方法,分析叶片夹角、株幅、披垂值的遗传模型。【结果】串番茄的叶片夹角、株幅的遗传受1对加性主基因+加性-显性多基因(D-2)控制,叶片夹角的主基因加性效应为6.51,多基因加性效应为15.01,势能比值为0.914,显性度为0,主基因遗传率在B1、B2及F2群体中分别为45.61%、37.29%及47.71%;株幅的主基因加性效应为3.08,多基因的加性效应为3.58,显性效应为-1.59,势能比为-0.44,显性度为0,主基因遗传率在B1、B2及F2群体中分别为23.30%、20.73%及36.11%。披垂值的遗传受1对负向完全显性主基因+加性-显性多基因(D-4)控制,主基因加性效应为8.18,显性效应为-8.18,多基因加性效应为3.12,显性效应为19.07,势能比为6.09,显性度为-1,多基因遗传率在B1、B2及F2群体中分别为69.15%、68.5%和49.57%。【结论】对173×101组合的夹角和株幅性状改良以主基因为主,可在早期世代选择;对披垂值性状的改良应在晚代选择。

串番茄与普通番茄果实贮藏期间几种与果实品质相关指标的变化比较

随着贮藏时间的延长,串番茄果实硬度、果肉硬度和有机酸含量均下降,糖酸比升高,风味由酸变甜,但这些指标的变化幅度均小于普通番茄。贮藏前、中期,两种番茄果实的还原糖含量变化较一致;贮藏末期,普通番茄的还原糖含量急剧下降,而串番茄则略有回升。不同品种番茄果实中维生素C(Vc)含量变化差异较大,均呈先升高后下降的趋势。普通番茄及串番茄品种‘ST03’的Vc含量变化幅度较小,而串番茄品种‘ST02’和‘ST04’变化幅度较大。

串番茄果实货架期间与耐贮性有关的生理特性的变化

串番茄品种随着货架期延长,果实硬度、果肉硬度、原果胶含量逐渐下降;可溶性果胶含量逐渐上升;多聚半乳糖醛酸酶(PG)活性呈峰值变化,变化幅度小于普通番茄。

不同保果方式对串番茄品种果穗整齐度及产量的影响

研究了花序电动振动辅助授粉、PCPA蘸花处理及自然授粉对串番茄ST 02、ST 03、ST 04的果穗整齐度和产量的影响。结果表明,电动振动辅助授粉和蘸花处理较自然授粉明显提高了果穗的整齐度和产量,且蘸花处理的产量最高,操作最为便捷。

串番茄花序及果穗生长发育特性研究

采用新育成的串番茄新品种ST01、ST04、ST06和普通番茄品种沈农大红,对花序及果穗特性进行了研究。结果表明,串番茄的开花速率、坐果速率、转红速率均比对照高,并且差异达到极显著水平;同时串番茄品种之间的开花速率和坐果速率也有一定的差异,均以ST01最快,其次是ST04和ST06。而串番茄品种之间转红速率差异不显著。

串番茄新品种浦红10号的选育

浦红10号是上海市农业科学院园艺研究所新育成的适合保护地栽培的串番茄(Truss tomato)一代杂种,植株无限生长型,长势中等,第一花序着生于第7节位,单穗5～6个果,且排列整齐,果实的大小、形状和颜色整齐一致。果实深红色,圆形,果皮光滑无棱沟,果肉硬。单果重130 g,可溶性固形物含量4.6%,番茄红素含量9.67 mg/100 g,在品质、抗病性、耐贮运以及货架寿命等诸方面都优于普通番茄的对照品种浦红7号、接近进口的同类对照品种,可以在大型温室和连栋大棚内长季节栽培推广。

串番茄新品种红星302的选育

红星302是以抗病、耐低温弱光材料01-61为母本,以01-23为父本育成的串番茄一代杂种,无限生长类型,果实串收,果色亮红,果实椭圆形,酸甜适口,品质佳,VC含量为364mg·kg^-1,可滴定酸0.44%,可溶性糖4.25%,平均单果质量30.79g,硬度为11.40×10^5Pa。单株结果数约为53个,产量4900kg·(667m^2)^-1左右,高抗蕨叶病毒病、青枯病,适宜河北地区冬季日光温室和早春保护地栽培。

串番茄采摘点的识别方法

为适应番茄果实成串采收、提高农业机器人工作效率和保证果实采摘质量,提出基于提取串番茄果实串连通区域边界的采摘点识别方法。通过图像增强处理获取边界清晰的串番茄图像后,采用多尺度形态学边缘提取法提取串番茄图像边缘;再利用8邻域法对区域填充果实空隙后的边缘图进行边界提取,填充串番茄边界图,获得目标连通区域;计算目标连通区域的最小外接矩形和质心,过质心的垂线与最小外接矩形的交点即可作为串番茄采摘点的参考点。串番茄果实串采摘点识别法对垂直向下的串番茄采摘点识别效果较好,为实际番茄采摘机器人作业提供参考。

番茄果实串采摘末端执行器设计与运动仿真

为解决单果采摘效率低、果实易损伤等问题,设计了用于番茄果实串采摘的具有夹持与切割功能的末端执行器系统。夹持系统采用平行夹爪气缸结构,切割机构采用钢丝软轴带动圆形锯片的切割方式,并对末端执行器进行了静力学和运动学的分析与仿真。试验结果表明:末端执行器采摘时,夹持果梗动作需要0.5s,切割果梗动作约需7s,切割机构回到初始位置需5.5s,完成番茄果实串采摘动作共需13s,夹持机构行程12mm,切割机构行程40mm,末端执行器能够符合番茄果实串采摘要求。

串番茄采摘末端执行器的设计与夹持实验

基于串番茄生长特性和采摘要求,设计了一种适应于采摘成串番茄的末端执行器。基于螺旋理论,建立了夹持接触力学模型,分析了夹持的力封闭性;同时,建立了稳定夹持模型,对夹指的可靠夹持力进行了分析,得出夹持力F≥8.24N。制作了物理样机,并对直径为3~8mm的串番茄母枝进行了负重干扰性能的夹持实验,实验结果表明:夹指所能承受的动态负重随母枝直径的增大而增大,最小动态负重为1.015kg,完全满足采摘串番茄时的夹持能力需求。

日光温室串番茄长季节栽培技术

甘肃省中部沿黄灌区及河西走廊冬季光热资源丰富,年日照时数约3000 h,日照率70%左右,是日光温室设施栽培的最佳地区之一。串番茄(truss tomato),又名穗番茄(cluster tomato),是一种整串收获上市的番茄新品种,其特点是持续结果能力强、果肉硬、货架期长、果形好、色泽艳丽、整串采收。日光温室串番茄长季节栽培经济效益好但难度较大,经在河西走廊的武威市等地3 a多点试验,自12月上旬采收上市直到来年5月拉秧,其产量高、经济效益显著,深受种植者欢迎。

串番茄早春季节日光温室栽培品比试验

对7个串番茄品种进行早春栽培品比试验。试验结果表明,从植株生长状况、开花结果习性、果实商品性、抗病抗寒性以及产量进行综合评价,初步认为,曼西娜可作为天津地区串番茄早春季节栽培用品种。

番茄新品种哈串珠203的选育

哈串珠203是以R2233为母本、以H2477为父本配制成的小型串番茄一代杂种。无限生长类型,生长势强,植株颜色深绿,单总状花序,普通叶形,花黄色,红果,圆形,单果质量15～22g,果实成串生长,每串可留10～12个果。未成熟果有绿肩,成熟果为红色。果实硬度较好,耐裂果。生育期为115d(天)左右,果味酸甜,口感好。抗枯萎病,耐病毒病。一般产量在3600kg·(667m2)-1左右,适合黑龙江省早春或保护地长季节栽培。

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。