工业机械臂辅助机器视觉的工件识别与定位

传统的工业机器人系统由于缺乏感知判断能力,很难适应目标种类和位置的变化,而现代工业需要生产不同种类和规格的产品。为此,以多品种小批量生产的零件为背景提出了一种机械臂辅助机器视觉系统,该系统能够实现对工件的图像采集并进行预处理,通过改进的Canny轮廓的提取算法与基于Hausdorff距离的模版匹配完成对不同种类工件进行识别和定位。最后经实验的验证该系统的定位精度在0.35 mm内,基本满足了在实际生产中对小批量生产、不同形状且没有固定夹具的目标工件的抓取、搬运与检测等要求。

基于机器视觉的飞机故障检查系统

针对当前飞机维修检查工作以人工目视检查为主、效率低且存在人为因素影响的情况,设计一套基于图像识别与机器深度学习的飞机部件表面无损检测系统。收集并整理了某航空公司一线飞机维修员拍摄的飞机机身及发动机部件图片,对图片集进行预处理,包括通道提取、Sobel滤波处理及二值化;最后用Blob分析对处理后的图像进行特征提取与系统分析。系统运行速度快、准确率高且可连续自动识别图像。利用机器视觉技术对飞机部件表面进行无损检测不仅可以提高生产效率,同时可以去除人为因素对航空器飞行安全的影响,使得飞机的飞行安全得到进一步提升。实践证明,该系统性能稳定可靠,具有极高的推广应用价值。

基于机器视觉与光谱融合的柑橘品质无损检测分级系统设计与试验

针对柑橘果径、着色率和内部糖度3项关键品质指标,基于双锥滚子式果杯传输线设计了一套柑橘综合品质无损检测分级系统,该系统主要包括喂料部分、机器视觉检测模块、近红外光谱检测模块和分级执行部分.机器视觉检测模块采用单相机拍摄不断翻滚的柑橘视频来获取大量不同姿态的柑橘图像,并进行轮廓提取,以单个柑橘所有帧图像的最小外接圆直径的平均值计算果径,以每一帧图像得到的其二维黄色占比的平均值作为全表面着色率.在近红外光谱检测模块中设计了透射式光路,采集柑橘透射率光谱,并按在线检测时柑橘出现的两种高频姿态建立了混合姿态糖度检测模型,对比不同预处理方法下的建模结果,选取应用效果较优的多元散射校正(MSC)后建立的偏最小二乘法(PLS)模型.在线试验结果表明:果径检测的最大绝对误差为-1.42 mm,着色率检测的最大绝对误差为0.048,糖度检测结果的相关系数为0.817,均方根误差为0.658%.内外品质的联合检测分级按判别树决策方法确定了3种品质的联合分级方式,在分选速度为5个/s时,综合分级的平均准确率可达到91.16%,该检测分级系统整体结构简单,对于类球形水果具有较强的适用性,在产业化应用上有很大的潜力.

基于深度学习与机器视觉的起重机吊装安全监测方法

随着我国经济的快速发展,各类大型工程层出不穷,对起重机吊装作业的需求不断增加。然而,吊装作业过程中依然存在众多的安全隐患,极易造成人员伤亡等安全事故。因此,该文提出一种基于深度学习和机器视觉的起重机吊装安全监测方法。将深度学习与机器视觉相结合对监控图像中的被吊物和工人进行识别和定位,同时可自主判断工人是否佩戴安全帽。根据监测模型的识别和定位信息,获得工人与被吊物之间的空间关系,为起重机吊装过程提供安全预警信息。为了提高所提方法的实用性和便携性,开发一个起重机吊装安全智能监测系统,不仅可以实时显示监控图像的识别结果,而且能够输出场景的语义描述、发出安全预警信号。

基于计算机视觉的采摘机器人作业优化研究

为进一步提高我国采摘机器人智能化作业水平及采摘效率,基于计算机视觉应用技术展开优化研究。以采摘机器人结构组成为设计基点,运用视觉控制核心理念建立采摘机器人视觉识别处理与控制数学模型,实施相适应的采摘路径规划和系统采摘状态输出设计。同时,进行视觉采摘验证试验,结果表明:基于计算机视觉的采摘机器人系统优化正确可行,整机综合采摘效率可达94.61%,系统识别准确率与控制精度分别相对提升了6.12%和5.25%,机器人采摘成功率可提升至95.98%。因此,将计算机视觉处理技术有效应用至采摘机器人设计改进,对于类似农业采摘与收获装备开发研究可提供创新及借鉴思路,推广价值良好。

采摘机器人机械臂运动控制与目标抓取研究——基于嵌入式和机器视觉技术

首先,从整体方案、视觉定位系统和运动控制系统完成了对采摘机器人机械臂控制系统的设计;然后,基于图像处理技术设计了目标物体识别与抓取策略;最后,基于RRT算法研究了对采摘机器臂运动轨迹的控制方法,实现了对采摘机器人机械臂运动控制与目标抓取系统。采摘试验结果表明:系统对苹果的识别和定位准确度比较高,采摘成功率达到了100%,对采摘机器人自主采摘的实现具有一定的现实意义。

基于机器视觉的芒果检测与分级研究

为了提高贵妃芒果检测与分级的准确率和效率,首先用标定好的工业相机对芒果进行拍照,然后使用HALCON对芒果图像进行灰度化和图像分割预处理,接着提取芒果面积、果形指数、成熟度、缺陷面积和缺陷个数5个特征参数并归一化,把它们分别作为GMM、MLP、SVM和KNN分类器的输入向量,并以芒果的4个等级作为分类器的输出向量,最后以每级120个训练样本,60个测试样本分别对4种分类器进行训练和测试。结果表明4种分类器的平均准确率依次为92.5%、93.75%、98.75%和98%,准确率较高,有一定的实际应用价值。

基于PSO-BP神经网络的分拣机器人视觉反馈跟踪

针对分拣机器人视觉反馈跟踪精度差、耗时较长的问题,研究基于粒子群算法-反向传播(particle swarm optimization-back propagation,PSO-BP)神经网络的分拣机器人视觉反馈跟踪方法,以提升视觉反馈跟踪效果。依据分拣机器人的视觉反馈信息,建立分拣机器人运动学模型,并求解分拣机器人机械臂输出位置和输入位置的误差函数;利用PSO算法优化BP神经网络的权值与偏置;在权值与偏置优化后的BP神经网络内,输入误差函数,预测分拣机器人视觉反馈跟踪控制量;利用预测视觉反馈跟踪控制量,在线调整增量式比例-积分-微分(proportional-integral-derivative,PID)的参数,输出高精度的分拣机器人视觉反馈跟踪控制量,实现分拣机器人视觉反馈跟踪。实验结果表明,该方法可有效视觉反馈跟踪分拣机器人机械臂的关节角;存在干扰情况下,在运行时间为10 s左右时,阶跃响应趋于稳定;有干扰情况下,视觉反馈跟踪的平均误差为0.09 cm,耗时平均值为0.10 ms;无干扰情况下,平均误差为0.03 cm,耗时平均值为0.04 ms。

基于机器视觉的智能物流搬运机器人的设计与研究

第七届全国大学生工程训练综合能力竞赛智能+赛道基于机器视觉的智能物流搬运机器人,对OpenMV4视觉模块进行研究,应用该模块进行二维码、不同颜色物料等多种目标的识别,信息经过模块上STM32F427微控制器的处理,与Arduino Mega 2560板通信,机器人识别场地上的三个区域,用PID算法驱动麦克纳姆轮机器人的四个直流电机旋转并且定位机器人,通过PCA9685模块的I2C通信协议,发送PWM脉冲信号给机械臂上的四个关节舵机,使智能物流搬运机器人对场地上的物料进行自动搬运。实验证明其可以较为精确地完成各项搬运任务。

车顶焊缝涂胶机器人智能视觉系统设计与实现

车顶焊缝是车身密封性最重要、最常用,也是最薄弱的一环,同时也是车身密封性检测中重要组成部分。为了提高车顶焊缝的涂胶质量,必须对其进行准确的检测与涂胶控制。为了使焊接机器人能与车顶焊缝同时实现涂胶,以激光跟踪仪为主要测量仪器,针对车顶焊缝涂胶的需求,设计了一套基于激光跟踪仪的视觉系统,并在此基础上提出了一种基于圆心检测的涂胶策略。该系统能在焊枪扫描过程中实时识别目标对象,通过对目标对象的距离、旋转角度和圆心等参数进行测量,实现对涂胶路径的实时控制。

基于机器视觉的变速器齿轮表面缺陷检测研究

针对人工检测变速器齿轮表面缺陷存在可靠性差、效率低、不能满足批量生产的问题,开展齿轮表面缺陷自动检测的研究。以汽车变速器齿轮为检测对象,首先搭建机器视觉齿轮表面缺陷检测系统,采集齿轮缺陷图像样本,对采集的齿轮图像进行去噪、增强等预处理;然后采用改进的Scharr边缘检测算法提取齿轮边缘;最后获取感兴趣区域的坐标信息,寻找齿轮外圆的边缘点,计算齿轮的边缘点之间的距离,从而实现齿轮缺陷的精确定位。实验结果表明:该系统可准确检测出齿轮表面缺陷所在位置,可靠性和稳定性良好,检测效率高,为机器视觉齿轮缺陷检测技术的应用提供了思路。

机器视觉技术在奶牛精准化管理中的应用研究进展

近年来,随着我国奶牛养殖规模不断扩大,对奶牛场管理提出了更高的要求,通过传统的人工方式识别奶牛和统计奶牛数据已完全不能满足现代化、规模化牧场的需求。监测奶牛的行为变化有助于提高牧场的管理决策水平,而基于机器视觉技术可为奶牛养殖过程中的个体识别、健康监测、疾病预防等提供新的解决方案。本文主要从奶牛个体识别、体况评估、行为识别与监测3个方面进行综述,总结了目前机器视觉技术在奶牛精细化管理领域的研究成果以及存在的问题,旨在为现代化牧场的精准化管理和智能化发展提供新方法和新思路。

基于机器视觉的木窗双端铣削加工尺寸测量方法

木窗是一种以木材或木质复合材料为主要构件的门窗产品,具有良好的生态性能和美观效果,适用于多种建筑形式和风格,其中木窗尺寸是衡量木窗加工是否合格的重要指标。对于传统木窗双端铣削加工中人工测量尺寸方式存在的精度低、效率低等问题,提出一种基于机器视觉的木窗双端铣削加工尺寸测量方法,以期提高尺寸测量精度及加工效率。该方法针对木窗厚度引起的透视效应,提出一种物平面提升法,以消除透视投影带来的误差。首先对木窗图像采取灰度化、平滑去噪、图像增强及轮廓分割等举措,完成图像预处理,提取出木窗内外轮廓区域。对轮廓区域应用Canny算子获取木窗像素级轮廓。通过优化的Zernike矩亚像素边缘提取算法对木窗像素级边缘进行更精确的定位,得到亚像素级轮廓坐标。通过最小二乘法联合RANSAC算法对亚像素轮廓坐标进行拟合,得到拟合轮廓及角点坐标,并使用透视矫正模型计算出木窗尺寸。实验利用3种厚度规格相同但尺寸不同的松木材质矩形木窗,分别测量其内框和外框的边框尺寸及对角线尺寸,并与对应的实际物理尺寸对比,验证了所提木窗尺寸测量方法的检测精度。研究结果表明,所提方法与实际物理尺寸值相比,其绝对误差范围在±0.12 mm之内,相对误差在±0.1%之内,且效率及精度高,可以满足对木窗的在线尺寸检测。

基于机器视觉的葡萄藤结构分割方法研究

葡萄藤结构的精确分割是推理与定位冬季剪枝点位置的重要前提。为精确分割葡萄藤结构,建立自然种植条件下的葡萄藤结构数据集,提出一种基于U-net模型的葡萄藤结构分割方法,通过主干特征提取网络和模型分割性能的对比试验,得出最优的U-net模型结构并验证其在不同疏密程度目标下的分割性能。结果表明,以VGG 16为主干特征提取网络的U-net模型准确率达93.55%、召回率为94.15%、类别平均像素准确率为94.15%、均交并比为88.65%,与传统图像分割方法和对照组模型分割效果相比,其能保证自然种植背景下葡萄藤各结构分割边缘完整,结构之间连接关系正确,可适用于植株间存在遮挡的葡萄藤结构分割任务,为实现智能化葡萄藤冬季剪枝作业奠定基础。

机器视觉技术在大坝表面变形监测中的适用性研究

针对大坝表面变形自动化监测中GNSS系统垂直位移监测精度低、费用昂贵和静力水准仪布设难度大、维修成本高等问题,利用机器视觉技术对大坝表面变形进行监测。室内试验结果表明,相机与标靶距离在100 m范围内,机器视觉的测量精度可达到亚毫米级,且水平和垂直变形位移精度相近。由误差分析可知,标靶与相机的距离与测量精度有明显的相关性,而环境因素是影响远距离监测精度的重要因素,并利用大坝视准线原理优化了机器视觉监测系统。最后以浙江省大力塘水库为试点,对大坝表面变形进行实时监测,结果表明,机器视觉技术完全可满足实际工程需求,且优化后的机器视觉测量技术可明显提高监测数据的精度和稳定性。

注塑件机器视觉缺陷检测的几何矫正方法研究

针对多面体注塑零件在机器视觉缺陷检测中的零件图像几何形变问题,提出了基于几何光学原理的矫正算法。在拍摄定位误差不大于1 mm的条件下,所述方法矫正误差理论上<0.1 mm,可满足注塑零件机器视觉缺陷检测的需要。首先对采集的图像进行预处理获取图像边缘;接着将轮廓线交点确定为零件顶点;根据顶点位置分割零件的不同表面并将其映射在二维平面;然后根据几何光学计算图像中每一个像素点的偏移量;最后使用基于几何光学的方法对图像中的像素点进行逐点矫正。利用一组六面体零件模拟实际工况,在不同的拍摄定位误差状态下进行实验,使用Matlab对矫正算法进行验证。实验结果表明,所述方法误差在0.1 mm以内,与理论分析相吻合,满足注塑零件在机器视觉缺陷检测中零件图像几何矫正精度的需要。

机器人视觉示教技术在装配作业中的仿真研究

工件装配在工业制造中占有重要地位,实现机器人复杂而灵巧的装配动作,对于提升工业制造智能化水平具有重要意义。针对装配作业任务,将视觉示教与机器人技能学习相结合,首先搭建基于Kinect2相机和AR标签的机器人示教系统获取示教数据;接着设计了机器人装配技能学习算法生成新的运动轨迹;最后在Gazebo仿真平台完成了对上述方法的验证。该方法具有效率高、可操作性强等优点,在工业制造领域有着广阔的应用前景,同时对于机器人示教学习相关实践教学和应用研究具有重要意义。

FPN算法在视觉感知机器人抓取控制的应用研究

针对视觉感知机器人对物体抓取的准确性控制,在抓取姿势估计基础上使用密集连接的特征金字塔网络(FPN)作为特征提取器,将语义更强的高级特征图与分辨率更高的低级特征图融合,将机器人物体抓取过程分为两个阶段,第一个阶段生成待抓取区域,第二阶段对抓取区域进行细化以预测抓取姿势。模型在Cornell抓取数据集和Jacquard数据集上训练,验证了所提算法在抓取姿势估计的有效性。设计了两种不同真实场景的物体抓取控制实验,结果表明所提模型能有效提高机器人抓取各种不同尺寸物体的能力。

基于机器视觉的飞机电镀部件曲表面无损检测

[目的]为解决机器视觉在曲表面无损检测中算法复杂的问题,以及克服传统光源在曲表面检测中的局限性,开发了一套基于格栅光源的飞机电镀部件曲表面无损检测系统。[方法]该系统通过格栅光对电镀部件曲表面进行成像,随后进行图像分析,包括图像导入、预处理、Blob分析等步骤。[结果]该系统能够快速、准确地检测出电镀部件曲表面存在的缺陷,检测效率高且稳定可靠。[结论]该系统在飞机制造企业及航空公司飞机维护一线的初步工程应用中取得了良好效果,有望进一步推广。

扑翼机器人机载视觉避障系统设计

扑翼机器人是一种高仿生度的飞行器,它可以执行军事侦察和民用监测任务。在执行这些任务时,避障是一种确保扑翼机器人安全的必要功能。本文设计了一种基于单目视觉的扑翼机器人自主避障系统,其中所有图像的处理计算均使用机载处理器实现。在这个系统中,机载处理器的质量被减至48 g,以便于扑翼机器人可以携带它稳定飞行。该系统的工作流程可以分为以下几步:首先,图像采集模块获取周围环境的视频图像;然后,机载处理器通过处理扑翼机器人第一视角的光流信息来计算方向舵角度和转弯方向;最后,飞控板接收计算结果并控制扑翼机器人避开障碍物。地面站对扑翼机器人飞行过程进行实时监测,实验结果验证了本文所设计的避障系统的有效性。