基于单目视觉的散堆铆钉识别与定位技术

针对自动送钉过程中散堆铆钉识别与定位困难的问题,提出一种基于单目视觉的识别与定位方法。通过研究铆钉的反射光强获得钉杆的灰度分布规律,以参数化的方式构造了铆钉模板,并提出基于灰度匹配的铆钉识别算法。将单目视觉与激光位移传感器结合获取铆钉的空间位置,同时为解决单目视觉在测量不同深度下的铆钉位置存在原理性误差的问题,研究了一种重复定位拍照的测量方法,使真空吸嘴与钉杆中心的最大位置偏差由7.86 mm降低到0.87 mm。实验表明,灰度匹配算法的铆钉识别准确率在85%以上,并能适应30%~70%的照明亮度变化。使用该方法的机器人抓钉节拍最长为3.32 s,可留有充足的时间将铆钉输送至自动钻铆设备,满足自动钻铆设备的需求。

单级特征图融合坐标注意力的视觉位置识别方法

针对视角和环境变化的场景中现有视觉位置识别方法存在的匹配遗漏和实时性差的问题,提出基于单级特征图融合坐标注意力的视觉位置识别方法。首先通过坐标注意力捕获特征的相对位置信息,然后利用扩张卷积和局部聚合向量网络(NetVLAD)构造多尺度特征融合的编码器,最后基于三元组损失训练网络。经Pitts30k和Nordland数据集验证,在位置识别试验中,与同基线的先进方法Patch-NetVLAD相比,所提出的方法能够获得同等的召回精度且检索速度提高19%。在回环检测试验中,所提出的方法达到了合理平衡鲁棒性和检索速度的目标。

用于焊缝位置识别的视觉模型设计与试验

理论与试验研究用于焊缝位置识别的视觉模型,该模型主要由弹性梯度下降训练法BP神经网络组成。在焊接工艺条件下,使用视觉传感器获取焊接区熔池图像,并选取特定区域进行中值滤波与图像灰度变换处理以增强被测对象的特征。在此基础上,计算和处理熔池特性参量(熔池图像质心差值、质心位移、质心移动速度)以及相对应的焊缝与电弧之间的偏差值,将其输入所设计的神经网络进行网络权值参数训练和推理学习,从而建立基于BP神经网络、具有一定认知和环境适应能力的焊缝位置识别视觉模型。对该模型进行通用性检验,试验结果表明该模型通过熔池特性参量可以较精确地识别焊缝位置。

培养瓶内黄杨苗位置的机器视觉识别方法

根据培养瓶内黄杨组培苗的形态特点,提出从苗瓶底部识别瓶中单株苗位置的方法。200棵苗的实测数据表明,97%的苗株在根块上的生长位置距根块中心在1.5mm之内,该方案是可行的。建立了苗瓶图像采集系统,开发了从瓶底图像中提取根块图像,进行各根块区域标记,进而计算各根块中心的图像处理算法。对60瓶共240棵苗进行了图像识别,并测取根块中心位置计算值与实际苗株中心间的距离,试验结果表明:根块个数的识别成功率为92.05%,计算出的根块中心与实际苗株中心间的平均距离为0.85mm,满足了移苗作业的精度要求。

单目视觉的前车位置识别及安全车距监测

针对自动驾驶中的前车位置识别及安全车距监测问题,提出了基于单目视觉的解决方案:首先,通过图像中前车轮廓与本车道及同向车行道分界线是否相交判断前车是否为监测车辆;其次,根据图像中像素坐标系与空间坐标系的对应关系构建转换模型,计算前方监测车辆与本车的真实车距;最后,根据可跨越的同向车行道分界线在连续图像帧中的位置变化计算本车的行驶速度,并依据交通法规判断本车与前方监测车辆之间是否为安全距离.实验结果表明,该解决方案可以有效地识别前车位置、监测安全车距并降低系统成本.

大规模城市环境下视觉位置识别技术的研究

在大规模城市环境下,因为光照变化、摄像机拍摄角度变化、存在大量移动物体、地表外观变化,使得视觉位置识别变得尤为困难。针对该问题提出一种基于SENet改进的ResNet的视觉位置识别方法PlaceNet。在自建百万级街景数据集上进行训练,在自建数据集和SL数据集上进行测试。结果表明PlaceNet精确度和查询效率比NetVLAD更高。

视觉位置识别中代表地点的标识牌算法

针对视觉位置识别中因检索全局图片而带来大量的时间消耗情况,以及不同地点的视觉图像存在相似和同一地点从不同视角看起来会不尽相同而导致感知混淆的问题.本文提出一种基于显著性算法提取候选对象并生成代表地点的标识牌算法.该方法对在位置识别系统中每个地点其对应的视频序列段上的关键帧使用显著性算法,生成大量的视觉显著的候选对象,并用对这些候选对象有效计算其之间的评价函数,再使用层次聚类算法计算出每一段序列上具有代表性的对象,最后将这些对象组合成具有代表视频序列的标识牌.使用标识牌代表地点的方式,插入位置识别系统中搜索地点对应的大量图像集的前一个步骤中,以此来缩小搜索范围,避免感知混淆所带来的全局搜索不确定的困惑.

基于局部聚合描述符的视点不变视觉位置识别

针对目前视觉位置识别系统无法同时拥有视点不变、条件不变和高效率的性能,提出一种基于视点不变的位置识别系统,采用局部聚合描述符(VLAD)。采用高稳健性的加速稳健特征(SURF)算子进行特征检测,利用梯度直方图描述特征;利用VLAD将每个特征划分到特定的聚类中,使用局部敏感散列(LSH)进行数据降维,将特征随机投影到低维的二进制签名中,计算二进制签名;通过计算二进制图像签名上的汉明距离实现图像比较,识别视觉位置。实验结果表明,所提系统只需要占用很小的内存,就能够稳健适应变化的环境。

相似环境下激光结合视觉的全局定位方法

在室内结构相似或含有多几何结构重复区域的环境中,基于激光的全局定位方法很难实现可靠且高效的结果。针对该问题,本文提出一种基于优化的视觉辅助激光定位的方法,仅利用单帧图像信息和激光(LiDAR)信息进行重定位。首先,利用视觉位置识别和BA(Bundle Adjustment)优化来估计机器人的初始姿态。然后,利用视觉初始位姿缩小搜索空间,提高约束计算速度,并将初始估计和激光约束结合验证。最后通过稀疏姿态优化方法构建目标函数,求解全局位姿。实验结果表明,提出的全局定位方法相比单一激光全局定位具有更高的成功率,并且全局定位时间在室内小场景环境和长走廊环境分别减少了56.81%和89.43%,满足了实时性和鲁棒性要求。

基于深度学习的室内视觉位置识别技术

视觉位置识别技术通过将地点图像与数据库中的图像集进行匹配,根据配对图像标签中的位置信息得到定位结果。现有的视觉位置识别网络都是为了应对室外场景而构建和训练的,在室内场景中的识别性能较差。文中提出了一种基于深度学习的室内视觉位置识别卷积神经网络架构,并在室内场景识别数据集上对网络进行了训练,然后在本地室内数据集上对网络参数进行进一步的微调,较好地解决了室内环境中的位置识别问题。和现有的其它视觉位置识别网络相比,文中训练的网络在实际室内环境测试中最大有30%的识别精度提升。

基于双目视觉的油罐车罐口识别定位方法

为了实现上装鹤管的自动对接,提出一种基于双目视觉的油罐车罐口识别定位方法。首先对双目相机进行系统标定和手眼标定,然后对双目相机采集到的图片进行立体校正消除相机畸变,接着对图像进行预处理并用霍夫圆变换识别出油罐车罐口的圆形图像,最后进行立体匹配获得油罐车罐口的视差图并用三角测量方法计算立体深度信息,结合立体深度信息计算出罐口圆心的三维坐标,完成立体定位。实验结果表明,提出的方法精度达到鹤管自动对接要求,满足在线定位需求。

改进Faster R-CNN的群养猪只圈内位置识别与应用

群养圈栏内猪只的位置分布是反映其健康福利的重要指标。为解决传统人工观察方式存在的人力耗费大、观察时间长和主观性强等问题,实现群养猪只圈内位置的高效准确获取,该研究以三原色(Red Green Blue,RGB)图像为数据源,提出了改进的快速区域卷积神经网络(Faster Region Convolutional Neural Networks,Faster R-CNN)的群养猪只圈内位置识别算法,将时间序列引入候选框区域算法,设计Faster R-CNN和轻量化CNN网络的混合体,将残差网络(Residual Network,ResNet)作为特征提取卷积层,引入PNPoly算法判断猪只在圈内的所处区域。对育成和育肥2个饲养阶段的3个猪圈进行24 h连续98 d的视频录像,从中随机提取图像25000张作为训练集、验证集和测试集,经测试该算法识别准确率可达96.7%,识别速度为每帧0.064s。通过该算法获得了不同猪圈和日龄的猪群位置分布热力图、分布比例和昼夜节律,猪圈饲养面积的增加可使猪群在实体地面的分布比例显著提高(P<0.05)。该方法可为猪只群体行为实时监测提供技术参考。

机器视觉仪表识别方法的研究进展

介绍了机器视觉仪表识别方法的研究进展,具体给出了仪表刻度线、指针的定位、读数识别的原理和方法,并将这些图像处理算法的优劣进行对比,提出要结合仪表特征(多指针多颜色、均匀刻度、非均匀刻度)选择算法进行识别;同时,分析了采集设备中摄像头、光源对后续图像处理过程造成的影响;最后总结仪表识别的研究状况及存在的问题,为实现实验室型高准确度仪表的机器视觉自动化校表给出了一些参考建议。

智能三坐标测量机中零件位置自动识别系统

提出了一种基于机器视觉和 CAD三维模型的零件自动定位方案 ,利用虚拟图像匹配的方法确定零件在工作台上的位置和方向。在 CAD三维模型中 ,针对零件的可能放置方式通过透视成像的方法形成多幅虚拟图像。CCD产生的实际图像与各幅虚拟图像进行匹配。确定零件坐标系与机器坐标系的关系 ,达到定位目的。最后在三坐标测量机平台上实现了该方法 。

基于卷积神经网络的位置识别

传统的移动机器人视觉位置识别算法,多是基于手工提取特征且易受环境影响。文中提出了一种基于卷积神经网络算法,根据深度学习框架Caffe优化了卷积神经网络的结构,从卷积神经网络每一层的输出中提取出图像描述符,进行动态环境中的位置识别。实验结果表明,该算法具有较高的鲁棒性与准确性。

货运索道小车位置的自动识别

货运索道广泛应用在电网工程建设,如果能够实现自动化运行,势必将大大节省劳力,提高货运索道的运行效率及安全程度。货运索道自动化运行的关键问题在于运动小车的位置识别上。针对这一问题,设计出一套基于机器视觉的货运索道运动小车位置自动识别系统,将工业用的机器视觉技术成功地运用于环境变化复杂的野外工作场所,实现了目前常采用的单螺栓运动小车位置的识别。试验结果表示:该套系统可靠性高、环境适应能力强,对货运索道自动化运行技术的发展具有实际的推动作用。

一种基于双目视觉传感器的遮挡目标期望抓取点识别与定位方法

在不确定性较高的室内复杂场景中,机器人常需识别遮挡物体并对其抓取。遮挡问题会导致抓取点预估位置脱离目标,产生位置漂移。针对该问题,本文提出一种基于双目视觉的遮挡目标抓取点识别与定位策略。采用基于期望位置模型的方法估计,以特征检测进行遮挡目标识别,并进行轮廓还原;根据期望抓取点模型,采集目标的期望抓取位置,构建位置模型库。将待检测目标与模型库匹配,提取双目视野中未遮挡区域的期望抓取点。实验表明本方法在复杂环境下具有较高的鲁棒性,抗干扰能力强,对遮挡目标具有较高的定位精度。

融合事件相机的视觉场景识别

目的 传统视觉场景识别(visual place recognition,VPR)算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC(multi-vehicle stereo event camera dataset)和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在RobotCar数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。

双目视觉伺服的4-DOF机械手臂运动控制

为了解决多自由度机械手臂由于目标放置偏离而引起的抓取任务失败问题,给出了一种基于双目立体视觉的目标识别与定位控制方法。以抓取矩形轮廓的目标物体放置于矩形目标位置为控制任务,基于双目视觉目标图像信息,分析了目标特征参数提取、识别、匹配以及目标空间位姿测量的方法。结合四自由度(4-DOF)机械手臂硬件控制系统,运用改进D-H参数法建立了机械手臂正运动学模型,并通过逆运动学方法将目标位姿转化为机械手臂的控制指令,实现对目标抓取和放置的运动控制。实验结果表明,该视觉伺服的机械手臂运动控制系统能够准确、稳定地实现抓取和放置任务,定位精度高,对工业机器人在分拣、装配中的运动控制研究和应用有重要的参考价值。

基于视觉的四旋翼无人机自主降落算法研究

为了使四旋翼无人机实现自主精准的降落在地面起落平台上,以对其进行固定保护、充电续航以及移动运载,设计了一个由正三角形和圆环组成的视觉识别标志,并基于该识别标志提出一种基于视觉的四旋翼无人机自主降落算法。该算法根据无人机的飞行高度设计为两阶段控制,第一阶段通过识别标志的正三角形解算出无人机与识别标志中心的位置参数;第二阶段利用同心圆环及其内部的航向参考线确定无人机与识别标志中心的位置偏差和偏航角,最终完成无人机的姿态调整和自主降落。实验表明,该算法能够准确的提取出标志特征,实时计算出无人机相对于识别标志的位置信息和角度信息,实现精准降落。