抗遮挡的行人多目标跟踪算法

为了解决在复杂场景下行人相互遮挡导致跟踪系统精度降低的问题,提出了基于FairMOT的抗遮挡多目标跟踪算法(multiple obeject tracking algorithm with anti-occlusions,AOMOT)。首先通过轻量化平衡模块,解耦不同层次的语义信息,减少检测任务和重识别任务的语义冲突,降低重识别任务的性能提升对检测任务的影响。其次应用自注意力结构提取行人的外观特征,加强局部窗口下的类内特征的区分度,增强行人身份信息的匹配一致性并减少身份标识的频繁切换。最后优化身份关联算法,挖掘低置信度目标中的被遮挡对象,将其重新纳入目标身份关联并更新其重识别特征。实验结果表明,AOMOT相比原有FairMOT在MOT17数据集中高阶跟踪精度提升1.5百分点,身份F1分数提升3百分点,身份切换数量降低32%。

焊接轨迹跟踪控制中的深度视觉研究进展

建立深度视觉的焊缝跟踪控制系统,能准确快速识别焊缝轨迹,实现焊缝实时跟踪,维持焊炬在整个焊接过程中始终与焊缝精确实时对中,在自动焊接领域应用潜力巨大。总结了传统图像焊缝识别方法和深度图像焊缝识别方法的发展现状,归纳分析了传统图像识别方法、焊接面积预测方法、焊缝图像识别改进算法、多样本训练学习法、神经网络法等方法的关键技术及优缺点。阐述了视觉焊缝跟踪技术的进展,经过图像采集和深度学习处理,实现了机器人运动轨迹的实时偏差修正,可以有效地实时提取初始焊缝,提高了自动焊接质量与效率。建立适用场合广、鲁棒性好、精度高、效率好、安全机制完善的深度视觉焊缝跟踪系统是未来进一步研究的方向。

悬臂式掘进机视觉导航与定向掘进控制技术

煤矿巷道掘进装备位姿测量是国内外目前研究的热点,不同的巷道快速掘进系统均面临定向导航难题。为解决煤矿井下悬臂式掘进机自动定向掘进控制难题,提出一种基于视觉导航的悬臂式掘进机自动定向掘进控制方法,利用单目视觉测量技术,以巷道中激光指向仪的激光点和激光束为特征构建基于门形结构的掘进机机身位姿视觉测量模型,通过空间矩阵变换解算巷道中机身位姿。根据悬臂式掘进机运动特点确定掘进机纠偏控制策略,基于悬臂式掘进机运动学建立掘进机定向掘进运动控制模型,采用backstepping方法,选取合适的Lyapunov函数设计掘进机轨迹跟踪控制器,有效解决掘进机轨迹跟踪控制问题。实验结果表明:悬臂式掘进机机身位姿视觉测量方法可有效实现井下工作环境中悬臂式掘进机机身的位姿测量,得到掘进机机身位置测量误差在±40 mm以内,姿态角角度测量误差在±0.3°以内;轨迹跟踪控制器可实现悬臂式掘进机的自动定向掘进功能,其运动控制精度在±20 mm以内,满足巷道施工的精度要求。该方法中工业相机固定安装于掘进装备机身,且利用激光指向仪点-线特征构建门型三线模型作为位姿测量基准,与相关研究对比,具有不易脱靶、标靶移动少等优点。

大田甘蓝作物行识别与对行喷雾控制系统设计与试验

对行喷雾技术可提高农药的利用率,有利于保护环境和减少农药残留。本文搭建基于机器视觉的大田甘蓝对行喷雾控制系统。通过改进的ExG算法提取颜色信息,采用最大类间方差法和形态学的开闭运算分割作物与背景。提出甘蓝作物行定位与多作物行自适应ROI提取方法,在条带分割的ROI内基于限定阈值垂直投影对特征点集进行采集,通过最小二乘法对特征点集进行线性拟合得到作物行中心线。利用中心线几何关系得到作物行偏移信息,根据对行机构的运动特性建立对行偏移补偿模型,并设计基于PID轨迹追踪算法的对行喷雾控制系统。试验结果表明,实验室作物行识别准确率为95.75%,算法平均耗时为77 ms。在田间试验中,识别算法在时间段09:00—11:00、14:00—16:00内测试效果最佳,识别偏差均值保持在2.32 cm以下。针对不同范围的杂草测试中,算法平均识别成功率为95.56%,说明算法具有较强的鲁棒性。在与其他识别算法对比测试中,本文算法平均耗时最短,识别成功率最高,能够为实时作业提供视觉引导。在对行喷雾控制系统田间试验中,对行准确率达到93.33%,对行控制算法可将对行偏差控制在1.54 cm,满足田间实际应用要求。

基于特定特征识别的运动视觉跟踪系统设计

传统的运动视觉跟踪方法对复杂环境的适应能力较差,存在控制效率低和跟踪精度差的弊端。因此,设计基于特定特征识别的运动视觉跟踪系统,分析了系统的运行原理,系统中的摄像机采集运动目标图像,并将获取的模拟视频信号反馈给PC机中的视频采集卡进行A/D变换,进而产生运动目标的数字视频序列,再采用基于特定特征识别的运动图标检测算法,定位运动目标,完成检测模块的功能。PC机对运动目标图像的检测结构进行控制运算,并将运算结果反馈给下位机控制电路,控制电路将控制信号变化成直流电机的控制电信号,实现控制模块的有效运行。两个直流电机控制云台进行全方位的三维运动,对运动目标进行准确跟踪,实现执行模块的有效运行。软件部分给出了运动目标检测模块中的实现流程,并设计了进行视频数据转换的回调函数代码。实验结果表明,所设计系统能够在复杂环境下准确检测出目标的运动图像,跟踪效率和精度较高。

基于图像处理的多视觉特征融合方法及其应用

针对目前轨面状态仍以人工经验判断、识别效率低等问题,提出一种基于图像处理的多视觉特征融合的轨面辨识方法。首先,对采集的不同状况轨面图像分割出铁轨接触面区域图像,并对接触面区域进行预处理去除噪声干扰;然后,计算接触面区域的灰度均值和方差来描述轨面图像颜色特征,采用灰度共生矩阵提取接触面区域纹理特征;再融合两种特征作为轨面状态判别依据,利用SVM对轨面状态进行识别。最后,通过实验仿真对所提方法进行验证与分析,结果证明了所提方法的有效性。