立体视觉匹配模型在采摘机器人中的应用

农业果蔬生产过程中,采摘环节耗时费力,这促使采摘机器人技术进入快速发展阶段。基于全面综述相关研究,探讨立体视觉匹配模型在采摘机器人中的应用现状、研究方法、最新进展以及未来发展方向。未来的研究应关注算法优化和硬件升级,以提高采摘机器人的性能和效率。

基于立体视觉匹配的采摘机器人目标定位方法

为了解决采摘机器人目标定位偏差大的缺陷,提出基于立体视觉匹配的采摘机器人目标定位方法。引入立体视觉模型获取目标图像,采用线性平滑滤波模板消除目标图像的噪声;应用Bouguet算法立体校正左、右图像对;应用Sobel算子检测采摘目标边缘,确定目标的采摘中心点,通过立体匹配确定左、右图像中采摘目标的对应关系,完成采摘中心点的正确匹配,实现采摘机器人目标精准定位。测试结果显示,应用提出方法获得的采摘中心点匹配精度更高,采摘机器人目标定位误差最小值为1.0%,降低了目标定位偏差,应用性能较佳。

基于嵌入式立体视觉的智能机器人障碍检测方法

针对嵌入式智能机器人移动过程中障碍物检测问题,提出了一种采用双激光扫描线辅助的双目立体视觉三维重建方法。该方法可以根据场景需要自适应地改变激光器的扫描角度和频率,动态地调整特征点的密度信息,使得DSP处理器在处理多任务时,能够有效解决特征匹配算法中关键场景深度信息不够的问题。在室内走廊行走测试实验中,该系统能成功检测到门的状态,并精确计算出门套及门槛的尺寸大小,该方法能有效提升嵌入式处理时效,距离误差小于5%。

基于粗-精立体匹配的激光焊接机器人三维视觉定位研究

激光焊接机器人在开展焊接任务时,难以找到最佳特征匹配点,导致目标三维视觉定位精度下降,直接影响焊接效果。为了提升激光焊接机器人目标定位精度,提出基于粗-精立体匹配的激光焊接机器人三维视觉定位方法。通过机器人搭载的摄像机获取目标图像,并对目标图像实施轮廓增强处理。根据轮廓增强结果提取目标特征点,结合粗-精立体匹配寻找最佳特征匹配点,建立激光焊接机器人目标的三维视觉定位模型,实现目标的三维视觉定位。实验结果表明,使用该方法进行激光焊接机器人目标定位时的时间短、效果好。

基于深度卷积CNN的采摘机器人动态避障方法研究

种植园环境除了静态障碍物外,还存在较多动态障碍物,干扰采摘机器人行动。为了提升采摘机器人动态避障能力,引入深度卷积CNN,提出一种新的避障方法。以立体视觉系统实时感知外界环境,获取深度图像;利用深度卷积CNN提取深度图像特征,识别动态障碍物,根据机器人与障碍物之间的相对速度进行适当调整,以保持安全距离,控制机器人移出碰撞区域,实现动态避障。实验结果表明:所研究的采摘机器人和障碍物未发生碰撞行为,且每一次相遇时采摘机器人与动态障碍物之间的实际距离均大于1m安全距离限值。由此证明,研究方法具有有效性。

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划。实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性。

双目立体视觉技术在果蔬采摘机器人中的应用

采用双目立体视觉技术获取温室内果蔬的三维位置信息,用于指导果蔬采摘机器人进行自动化采摘作业.试验以植株上成熟的番茄作为研究对象,利用立体摄像机获取不同距离的成熟番茄的立体图像对,通过对图像进行灰度图像处理,将彩色图像转换为灰度图像.然后根据灰度图像对中像素点的相关性进行立体匹配,计算像素点的位置信息而获得一幅深度图像.最后对照番茄形心在深度图像中的位置,获取番茄的三维位置信息.试验结果表明,立体摄像机与番茄的距离小于1 000 mm时,番茄的距离误差为±20 mm.

双目立体视觉在果树采摘机器人中的应用

果树采摘机器人是未来智能农业机械化的发展方向,具有广阔的应用前景。为此,针对果树采摘机器人作业环境的复杂性与定位目标的特殊性,从双目定位的几何模型出发,归纳了双目定位的基本过程,总结了立体视觉的摄像机标定问题,提出变焦距双目视觉定位果实的研究方向,并对双目图像的匹配问题进行了分析。

挖掘机器人双目视觉系统标定方法与立体匹配

在挖掘机器人视觉系统实现中,摄像机标定、特征提取、立体匹配是关键环节,而立体匹配又是视觉系统中最复杂、最重要的步骤。首先分析了通用双目立体视觉模型及平行双目立体视觉模型,对挖掘机器人平行双目立体视觉系统测量方法及参数标定进行了研究。结合基于特征的匹配方法,通过对左、右图像角点的提取,实现了基于极线几何约束的特征点匹配。通过对铲斗图像匹配实验,验证了该方法能满足挖掘机器人视觉系统要求。

变电站机器人双目视觉导航立体匹配方法

变电站巡检机器人双目视觉导航系统,依靠视觉导航,巡检机器人可有效地完成变电站设备自主巡检任务,提高设备巡检的效率。双目视觉基于Kruppa方程分步自标定方法实现摄像机参数的标定,使用快速主成分分析法提取图像特征信息。双目视觉的关键点在于获取物体的三维信息,采用基于特征点与区域匹配方法实现立体匹配;依靠立体匹配所得到深度信息,可计算出物体三维坐标,实现障碍物的检测,指导定位导航。

一种基于双目视觉和Halcon的高效机器人手眼标定方法

针对机器人在标定过程中追求快速、简捷、高效的特点,提出一种基于双目视觉和Halcon的高效机器人手眼标定方法。基于张正友棋盘格标定法和OpenCV中亚像素角点检测算法完成对双目相机内外参数的获取,对比运用不同的立体匹配算法和三维重建生成具有三维坐标的立体空间点云,从而得到相机坐标系下目标的位置坐标,之后取机器人坐标下的10组末端位置坐标以及相机坐标系下对应的10组位置坐标后,借助Halcon视觉软件的vector_to_hom_mat3d算子求解出相机和机器人坐标系的转换矩阵,完成机器人手眼标定。经过实验验证,该标定方法平均误差为3.58 mm,满足一般机器人工作要求,并且相比传统的手眼标定无需借助复杂的标定工具,且计算过程简捷高效。

基于双目立体视觉的采摘机器人设计

采用双目立体视觉技术,实现了水果采摘机器人自主移动行走、避障、成熟果实定位识别的功能。研究表明:所设计的视觉图像自动识别采摘机器人结构较为简单,运行过程中性能稳定、效率高、稳定性好,能够克服果园复杂地形的影响。

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,mAP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。

立体视觉实时检测柔性机器人6—DOF位姿和运动轨迹

讨论了 CCD在大射电望远镜 5 0 m模型动态位姿测量中的具体应用。首先 ,CCD摄像机连续采集包含馈源舱的图像 ;其次 ,采用双模并行处理法实现馈源舱三个目标点的动态跟踪 ,并根据双目法得到三个目标点的坐标。最后 ,通过小波技术对测量结果滤波和平滑处理 ,然后预估插值 ,获得控制时刻三个目标点的坐标 ,从而可确定馈源舱的位姿和运动轨迹。

基于计算机双目立体视觉的排爆机器人自动抓取的研究和实现

研究和开发一个双目视觉系统用于智能排爆机器人的自动控制。该系统利用计算机双目视觉原理,采用Matlab 7作为运算引擎,调用机器视觉软件eVision 6.2进行立体匹配,实时捕获图像,进行摄像机标定、图像预处理和匹配,确定可疑目标物的坐标,把图像实时显示在控制台,并通过xPC目标系统实现该机器人实时控制系统,自动控制手臂靠近并准确抓取可疑目标物。排爆机器人的抓取实验表明,该双目立体视觉系统在精度上能满足排爆要求。

移动机器人双目立体视觉测量系统研究

研究了一种用于移动机器人进行三维感知的被动双目立体视觉测量系统。首先建立了该系统的数学模型,然后针对其双通道图像同时采集和大数据量快速处理的需要,采用了基于多媒体DSP芯片DM642硬件系统构架,并应用了一种基于SUSAN角点特征的区域匹配算法。实验表明该系统测量速度快、精度高。

基于立体视觉的机器人特征跟踪方法

采用动态跟踪方法实现自主移动机器人的特征跟踪和实时定位,首先利用Harris算子对t时刻与t+1时刻机器人周围场景的左右摄像机序列图像进行特征提取,并对提取出的图像特征点进行初步匹配,最后采用相邻帧间动态比较,获得左右相机前后序列的匹配特征,实现特征跟踪,进行机器人的实时定位。经过实验室内和实验室外环境的验证,该动态跟踪方法实时性较强、精度较高、有较好的定位能力,可以满足机器人的定位需求。

基于双目立体视觉的地面军用机器人障碍物检测

针对地面军用机器人未知环境下障碍物检测的需求,进行了基于双目视觉的障碍物检测算法研究,在对双目立体视觉系统标定的基础上,对光照下的障碍物进行了立体匹配与三维重建,并获得了障碍物的位置和距离信息,最终实现了障碍物检测.首先,采用改进的张氏标定算法对单目和双目摄像机分别进行了标定,标定结果误差小于0.5像素,减小了标定误差,满足了系统要求;然后,为了满足在光照下匹配精度与实时性要求,采用基于区域的改进局部立体匹配算法对真实场景中的障碍物图像进行了的立体匹配,获得了障碍物及场景立体匹配左右视差图;最后,根据双目摄像机标定获得的内外参数,在本立体匹配算法获得的左右视差图基础上,对阳光照射下的障碍物和场景进行空间点三维重建实验,并获得了障碍物的位置和距离信息.实验结果表明,该障碍物检测方法的平均误差为2.34%,运行时间为226 ms,与传统局部立体匹配算法相比,该方法匹配精度高,实时性强,能够满足军用机器人障碍物检测精度和实时性要求.

基于极大似然估计的全景立体视觉机器人自定位方法

针对室内环境下移动机器人的自主定位问题,研究了一种基于极大似然估计算法的全景立体视觉机器人自主定位方法。通过分析双曲面折反射式全景成像系统原理,利用全景视觉具有探测范围广、能够获取环境信息丰富的特点,提出了一种同向垂直基线的全景立体深度信息测量算法。在三边定位算法的基础上推广,提出了基于多路标的极大似然定位算法,采用最小二乘估计法,计算机器人定位的几何超定方程组,设计了完备的定位算法,实现机器人的绝对坐标解算。该方法能够应用于大范围环境的全局定位,实验结果验证了该算法的可靠性和准确性。