基于神经网络特征线提取的飞机位姿识别方法研究

为实现复杂情况下的飞机位姿识别,提出了基于神经网络特征线提取的位姿识别新方法。该方法利用3D模型进行图像渲染,通过添加背景形成数据集,为提高算法鲁棒性进行了数据集增强。特征线提取模型采用卷积神经网络提取目标深度特征,利用热力图获取飞机特征线。结合飞机特征线、飞机3D模型以及n线透视方法解算目标位姿。该方法建立的飞机特征线提取模型,在复杂背景下准确率约为91%。叠加了各类噪声后,准确率为84%。飞机位姿通过EPnL算法与非线性优化进行求解。在目标背景复杂的情况下,实验得到的平均预测角度误差约为0.57°,平均预测平移误差约为0.47%。图像叠加各类噪声后,得到的平均预测角度误差约为2.11°,平均预测平移误差约为0.93%。提出的飞机位姿识别方法在复杂背景、各类噪声影响下可以较精准地预测飞机位姿,应用场景更加广泛。

基于轻量级卷积神经网络的零件位姿识别算法

针对目前基于卷积神经网络(CNN)的识别检测算法存在参数量多、计算量大、内存占用大以及资源消耗过多的问题,基于YOLOv3网络结构的优势,提出了一种轻量级的识别检测网络EfficientNet-B0-YOLOv3。该网络不仅可以实现零件的位姿识别,而且可识别出零件的各个面,在具备高识别检测精度的同时,降低了网络的参数量和计算量,而且训练好的网络模型大小只有41.10 MB,可以降低资源消耗,在工业应用中,降低内存占用,更容易嵌入设备进行使用。

基于改进PSO-BP算法的机器人目标位姿识别方法

机器人作业环境复杂,物料分布具有随机性,导致机器人目标位姿的辨识和定位精度低,实时性差,为此提出一种基于改进粒子群算法-BP神经网络(PSO-BP)的机器人目标位姿识别方法。采用改进的中值滤波算法对目标图像预处理,构建多尺度灰度差异算子以及局部图像熵算子,将两者点积运算获取加权局部熵,抑制目标图像中的噪声。通过多视图几何中间帧的关联特征信息,提取机器人目标位姿特征。在BP神经网络训练阶段通过改进的PSO算法优化处理,采用优化后的BP神经网络算法对提取的特征展开训练和识别,最终实现机器人目标位姿识别。实验结果表明,当机器人目标测试样本数量为55个时,所提方法的亮度方差为0.305,当像素识别误差为1.5%时,所提方法获取的机器人目标位姿识别误差为0.11,所提方法能够在像素识别误差下准确识别机器人目标,获取高精度的机器人目标位姿识别结果。

基于去辊道背景实现工件位姿识别

针对工业辊道高干扰环境中识别无序摆放工件时存在的识别准确率低与耗时长等问题,提出一种新型去背景提取工件最小包围轮廓方法(RBEC)去获取辊道上无序摆放工件的角度和位置信息。首先,用滤波后的背景图像与工件图像进行像素相减去除阴影与大部分干扰背景;其次,通过提出的辊道残留去除算法除去图像背景中残留的滚筒边缘;最后,采用形态学闭运算连通只剩工件区域的像素点并通过提取该区域的最小包围轮廓信息获取辊道上的工件角度和位置信息。在实际工业环境中的工件分拣平台上进行实验,其结果可满足位姿识别需求,且RBEC法计算简单,鲁棒性高,相较于SIFT法和SURF法,RBEC法计算时间分别降低88.7%和83.0%,角度误差分别下降了45.9%和44.5%。

基于多频连续波相位差测距的掘进机位姿识别方法

随着矿山生产过程的日趋无人/少人化,采掘装备位姿识别技术对煤矿井下安全生产和机器协同工作具有重要意义。为了解决在空间受限的复杂掘进作业环境下,电磁波频繁反射和散射会造成密集多径和大相位误差问题,采用无源宽带谐波标签生成可利用的谐波信号,建立基于非线性二次谐波反向散射的抗干扰模型,通过上、下行链路的频率分集,抑制矿井密集多径干扰;通过基于距离的几何定位方法,提出连贯发射宽带多频连续波(Coherent Sending Broadband Multifrequency Continuous-Wave,CSMCW)相位差测距算法,来解决大相位误差条件下的测距、定位和识别的准确性难题;并以掘进机为例,研究了基于CSMCW相位差测距的无源掘进机位姿识别方法。为了验证上述理论和算法的可行性,设定了长×宽×高为105 m×4 m×3 m的掘进机仿真实验场景,分别对谐波标签抗干扰性能、CSMCW相位差测距和掘进机位姿识别效果进行了仿真测试。仿真结果表明:采用无源宽带谐波标签,与传统无源标签相比可以获得更大的信干比,具有较强的顽健性,能够有效抑制纳秒级密集多径干扰;与二次相差测距算法、参差频差测距算法相比,基于谐波反向散射抗干扰模型的CSMCW测距算法具有更强的鲁棒性,在低信噪比条件下定位测距可达到厘米级的分辨率,保证了掘进机位姿姿态角的识别;信噪比(SNR)=-5 dB、测量距离为100 m时,基于提出的多频连续波相位差测距的位姿识别方法得到掘进机航向角、俯仰角、横滚角最大误差精度约为2.3°,能够满足未来的应用要求。

基于随机采样一致性的规则棒料位姿识别

获得规则堆放棒料的位姿信息是引导机械手抓取的关键,对获取的规则堆放棒料的三维点云进行滤波处理得到顶层的棒料点云,采用随机采样一致性算法(RANSAC)对滤波后的顶层棒料进行分割,最终得到每根棒料的半径、位置和姿态等信息。仿真实验表明:本方法识别结果的正确性;通过对直径为35. 00 mm,长度为80. 00 mm的规则堆放棒料进行扫描,在选择不同的参数的情况下,对同一根棒料点云进行多次分割,实验结果表明:当迭代次数k=20,距离阈值t=0. 7时,分割结果稳定,耗时160 ms左右;棒料半径的最大误差为0. 47 mm,本方法具有一定的鲁棒性和可行性。该方法能准确识别规则堆放棒料的位置和姿态,能广泛应用于棒类零件的位姿识别与机械手引导抓取。

智能三坐标测量机零件位姿识别中的立体匹配

为提高三坐标测量机零件位姿识别的效率和准确率,提出了一种基于图像质心偏移的立体匹配新方法。将CCD摄像机安装在三坐标测量机的Z轴上,利用三坐标测量机的精确平移特性,构成单摄像机立体视觉系统,在两个不同位置获取被测零件的实时图像,对其进行处理得到图像质心,将图像质心的偏移距离作为约束条件完成立体匹配。该方法避开了极线约束、灰度约束等复杂约束条件,实验表明该方法可以达到较高的匹配精度,实验件的匹配时间为1.818s。

基于四维向量的频域匹配法实现工件位姿识别

针对工业环境下识别无序摆放工件时存在的识别准确率低与配准时间长等问题,提出一种频域的四维向量匹配方法(FDVM)识别无序摆放工件的位姿。首先,用霍夫变换提取图像频谱图的特征直线,并提出最邻像素投影点插值方法获取该特征直线上的特征点集;其次,以该特征点集的灰度强度及灰度变化梯度构建四维向量,形成基于四维向量的旋转角匹配方法;用该方法实现工件的模板图像与无序摆放工件的特征配准,最终获得待配准工件的旋转角度和位置信息。实验结果表明,相较于SIFT法和SURF法,FDVM法计算时间分别降低89.3%和83.9%,角度匹配误差分别下降54.7%和53.6%;FDVM法能有效计算出工件旋转角度和位置,对无序摆放工件可以提升配准效率且实现精确配准。

基于线结构光的焊缝位姿识别研究

为解决机器人在焊接时的焊接角度问题,提出了基于线结构光的焊缝位姿识别的方法。首先搭建了机器人视觉系统并完成标定,然后对采集的焊缝图像通过图像处理提取出了能够表达焊缝信息的特征点,并由几个特征点构建向量表达了焊缝角度信息,接着结合标定参数,计算出焊枪与焊缝之间的角度,得到了焊缝特征点的位姿数据,最后对离散的焊缝特征点进行拟合,得到一条平稳光滑的焊缝轨迹。通过实验分析拟合焊缝与实际焊缝的位置误差,结果表明,该方法能够准确地获取焊缝位姿信息,满足V型焊接件焊接要求。

基于单目视觉的钻杆位姿识别技术研究

钻杆自动装卸技术作为智能钻探装备领域的关键技术,制约着煤矿井下钻探装备的自动化和智能化发展,现有钻杆自动装卸系统主要依靠机械结构和接近开关进行定位,存在定位精度差自动化程度低的问题。针对此问题,提出一种基于单目视觉技术的钻杆位姿识别算法,利用摄像机拍摄含有合作目标的图像,解算摄像机与合作目标之间的相对距离和姿态,通过固定坐标变换,推导钻杆相对于机械手的位姿,引导机械手进行钻杆自动装卸。首先,确定系统总体方案,利用小孔成像原理和张正友标定法建立摄像机成像数学模型,求解摄像机内外参数;然后,使用棋盘格标定板作为被测钻杆的合作目标,根据小孔成像模型和空间成像关系,建立空间任意平面的单目测距模型,计算得到相机光心与合作目标点的距离;最后,通过摄像机成像模型得出合作目标的姿态矩阵,结合摄像机内外参数,经坐标转换求解得到合作目标在世界坐标系中的姿态矩阵,再通过固定坐标变换完成钻杆位姿识别。为验证算法准确性,在室内进行了钻杆位姿识别试验,试验中对每张现场图片进行重复测距与姿态估计,结果显示钻杆距离识别偏差在0.12%之内,钻杆姿态识别偏差在1.08%之内,满足钻杆自动装卸精度要求。试验结果表明,基于单目视觉技术的钻杆位姿识别算法真实有效,利用该算法可实现钻杆定位智能识别,提高钻杆自动装卸精度和钻探装备的智能化水平。

基于扩展卡尔曼滤波的清仓机器人位姿识别方法

煤矿水仓巷道光照强度不均匀且结构化特征明显,传统基于视觉的机器人位姿识别方法识别不准确,而单一的机器人定位技术如自适应蒙特卡洛(AMCL)方法随着清仓机器人的长时间运行,输出的位姿信息存在较大累计误差,易出现煤泥清理不干净、与两侧巷道发生碰撞的情况。针对上述问题,提出了一种基于扩展卡尔曼滤波的多传感器融合清仓机器人位姿识别方法。首先搭建多传感器融合算法框架,建立里程计、惯性测量装置、激光雷达数据采集模型;其次基于扩展卡尔曼滤波原理,以惯性测量装置角度信息建立观测方程,结合里程计位姿信息,得到第1次融合的清仓机器人位姿矩阵,利用激光雷达的位置信息与之前的位姿矩阵进行迭代,得到第2次融合的清仓机器人位姿矩阵;最后采用互补滤波算法对融合后的清仓机器人位姿矩阵进行处理,输出最终的清仓机器人位姿矩阵。实验结果表明:在直线位姿识别中2次的最大位置误差为0.04 m,最大姿态角误差为0.05 rad;在模拟巷道实验中的最大位置误差为0.1 m,最大姿态角误差为0.085 rad;与AMCL方法相比,基于扩展卡尔曼滤波的清仓机器人位姿识别方法在减少清仓机器人运行过程中的累计误差方面表现出显著的有效性。

采用静态数据增强的AGV定位与姿态修正研究

搭载激光雷达的移动机器人(AGV)被大量应用于智能工厂的工件运输,但受障碍物和移动物体的影响,AGV在车间内位姿辨别能力较弱。为了解决定位和姿态识别问题,提出一种全新的点云数据融合位姿辨别策略,利用高精度的静态全站仪整体数据融合激光雷达局部、低精度数据,并提出向量权重匹配法来完成AGV的室内定位。设计一种抽样网格卷积法实现异构数据的快速初步定位;建立自适应搜索全站仪数据的基准区域,将它映射到激光雷达数据的对应区域;最后通过向量权重匹配获取AVG的位姿参数。上述方法在6 m×8 m室内空间进行实验。结果表明:所提方法可达到±7 mm的定位精度与±1.4°的姿态控制识别精度,且能准确补偿激光雷达的扫描误差,提高AGV的位姿识别能力。

基于智能三坐标测量机的零件位姿单目立体视觉识别

为了使三坐标测量机快速准确地识别出被测零件的位姿,提出了一种基于三坐标测量机平动的单目立体视觉识别方法,并对该方法的原理、位姿参数的求解和识别过程进行了研究。根据双目立体视觉原理,以三坐标测量机带动摄像机沿X轴或Y轴平移,在两个不同位置分别拍摄被测零件的一幅图像;利用本文提出的基于边缘图像质心偏移的同名像点匹配方法,实现单摄像机立体视觉测量,得到被测零件上各特征点在摄像机坐标系中的三维坐标;由摄像机标定参数,进一步计算出各特征点在机器坐标系中的三维坐标;再结合各特征点在零件CAD坐标系中的对应坐标,求解出被测零件的位姿参数。组建了识别系统,进行了识别实验,结果显示,识别出的实验件位姿的平移量分别为:txl=32.65mm,tyl=-90.23mm,tzl=13.27mm,旋转角分别为AX=38°,AY=4°,AZ=-5°,整个识别过程用时1.818s。得到的实验数据表明该识别方法是可行的,可满足实时测量要求。

智能坐标测量中零件位姿的单目立体识别

为了使三坐标测量机快速准确地识别出被测零件的位姿,提出了一种基于三坐标测量机平动的单目立体视觉识别方法,对该方法的原理、位姿参数的求解和识别过程进行了研究。根据双目立体视觉原理,以三坐标测量机带动摄像机沿x轴或y轴平移,在两个不同位置分别拍摄被测零件的一幅图像,经过同名像点的匹配实现单摄像机立体视觉测量,得到被测零件上各特征点在摄像机坐标系中的三维坐标;由摄像机标定参数,进一步计算出各特征点在机器坐标系中的三维坐标;再结合各特征点在零件CAD坐标系中的对应坐标,求解出被测零件的位姿参数。进行了识别实验,实验数据表明该识别方法是可行的,满足实时测量要求。

细胞位姿视觉识别的研究

由于环境的非结构化,视觉引导和视觉伺服技术是实现细胞自动注射的重要途径。其中细胞位置和姿态的识别是该技术应用中的重要环节。针对卵细胞浆内精子注射(ICSI)的操作,提出了一种显微镜下细胞位姿的计算方法。首先根据二值图像的区域几何特征,检测出细胞区域,确定细胞的中心位置,然后依据倒置式光学显微镜的成像特点,通过图像中细胞膜区域的定向区域灰度特征,判断细胞的俯仰角是否为零。对俯仰角不为零的情况,通过Hough圆检测识别出细胞膜内轮廓包围的区域中的极体,最后通过空间几何关系计算出细胞的姿态角。实验结果表明,该方法能有效地计算出ICSI过程中细胞位姿调整阶段中的细胞位置和姿态信息。

服务机器人目标同时识别与位姿判定研究

目前机器人尚难以自主建立起目标姿态的概念,通过人机交互方式辅助机器人对目标建模则不失为一种可行方案。提出了一种基于新型目标模型的离线/在线两步目标识别与位姿判定系统。离线阶段采用人机交互方式构建目标模型,在线阶段通过场景图像与目标模型的特征点对应即可自动发现目标,并计算其相对于机器人的位姿。实验证明,该系统能够有效完成对纹理目标的同时识别与位姿判定。

基于机器视觉的机器人作业目标定位

为了满足生产制造过程中物料无序分拣的需要,设计基于机器视觉的机器人作业目标定位系统。利用Qt开发人机交互界面,实现图像采集处理、通信和机器人运动控制功能。对图像进行阈值分割等处理,得到理想工作区域。通过机器人视觉系统标定实现相机像素坐标和机器人基坐标之间的转换,得到机器人坐标系下的工件位姿识别。在机器人目标抓取平台上随机摆放一定数量的工件进行数据采样,结果表明:系统准确度以及速度具有优势。

用于吊具位姿估计的改进SIFT立体匹配方法

针对在传统立体匹配计算中存在的特征匹配耗时过长、错误特征匹配点较多以及位姿估计过程中存在的误差过大等问题,提出了一种结合Harris算子和极限约束改进的立体匹配算法,用于在机械吊具的位姿检测中获取更加精确的特征点。算法增加Harris算子的尺度参数,以弥补现有立体匹配算法中图像尺度不变性的缺乏;同时将SIFT算子替换成新的Harris算子进行角点检测,并引入极限约束条件提高角点定位精度。实验结果表明,经改进算法估计的吊具位姿与实际位姿基本一致,其可行性与实用性得到验证。

蔗芽识别与定向视觉检测方法研究

针对目前甘蔗机械化播种难以满足蔗种蔗芽水平朝向种沟沟壁的种植农艺要求,本文研究蔗芽识别与蔗种位姿调整算法,并设计基于机器视觉的蔗芽识别与蔗种位姿调整系统。基于灰度变换算法对蔗种图像进行增强处理,采用Otsu算法获取蔗芽阈值参数,分割出蔗芽完整轮廓;基于二值图像模式下的几何特征提取蔗芽位置特征参数,利用最小二乘线性拟合法提取蔗种边缘轮廓;根据蔗芽位置与形状特征参数,构建蔗种空间位姿模型。计算蔗芽位姿,由机械手夹持蔗种将其调整到理想位姿。选取80幅蔗种图像作为试验样本,试验结果表明蔗芽位姿识别准确率93.75%,定向成功率94.5%。调整后蔗芽位姿基本贴近水平面,蔗芽水平朝向种沟两侧,满足蔗种自动定向播种农艺要求。本研究可为蔗种机械化定向播种提供解决方案,并为甘蔗种植机的自动定向装置设计提供参考。

基于视觉的囊胚自动注射过程中的囊胚检测及结构识别

为实现囊胚自动注射过程中的囊胚位姿信息获取,研究了一种基于视觉的囊胚检测及其内部结构识别的方法。首先用Hough变换和聚类方法检测圆,实现囊胚的位置定位;然后等扇区划分囊胚区域,统计各扇区灰度特征,判断发育成熟度;最后根据发育成熟囊胚中内细胞团区域平均灰度偏差最大的特点予以识别。实验结果显示,该方法对囊胚的检测和结构识别的正确率分别大于90%和80%,表明其在囊胚检测和内部特征结构识别中的有效性。