基于点线的视觉惯性导航系统初始化方法

视觉惯性导航系统在初始化阶段解算出系统初始位姿、惯性测量单元(IMU)零偏以及单目尺度因子,能极大程度上保证系统收敛。为解决视觉惯性导航系统在点特征缺失环境下初始化效果差甚至失败的问题,提出了一种基于点线的视觉惯性导航系统初始化方法。首先,通过几何方法在滑动窗口内构造了一个基于点线的结构,该结构相比于点结构具有更丰富的先验信息;其次,使用从运动中恢复结构(Sf M)的方法,恢复点线结构的运动状态;最后,以松组合的形式对齐结构的运动状态以及IMU预积分结果,求解出IMU零偏、重力加速度、速度和尺度因子等初始量。实验结果表明:在点特征缺失的公共数据集上,相较于基于点特征的初始化方法,所提方法的均方根定位误差减少6%,初始误差显著降低,同时具有更好的建图结果。

空间视觉测量相机地面检测及显示系统

为了给空间视觉测量相机的研制提供测试环境,充分测试空间视觉测量相机的功能及性能,基于相机的工作特点和实际测试需求,设计了空间视觉测量相机的地面检测及显示系统。地面检测及显示系统由一台高性能计算机、一台图像接收设备、图像显示软件和通信软件组成,适用于空间视觉测量相机单机、环境试验等多种情况测试。通信软件采取分布式设计,分为1个中心服务器软件、4个客户端软件;软件采用MFC架构,多线程方式运行,软件间采取TCP/IP协议进行通信。其中中心服务器软件负责与相机之间进行通信,通信协议为RS422;4个客户端软件分别实现对相机的指令控制、遥测数据的显示及监测、自动运行及在轨更新功能验证。经过多次单机测试及超过400 h的环境试验测试,空间视觉测量相机地面检测及显示系统运行稳定,对相机的各项功能及性能均能实现测试覆盖,能够满足相机研制过程中的各项测试及试验需求,提高了相机研制的测试效率。

水果外观品质视觉检测及自动分级控制系统设计

水果外观品质自动分级是提高水果附加值的有效手段,为了提高水果分拣效率,满足水果分拣设备小型化与果园现场分拣需求,依据机器视觉技术,以树莓派为核心控制平台,以梨子为对象设计了小型分拣装置,完成了样机的三维建模,并且调试了样机的运动控制程序和视觉检测程序,基于Socket通信方式建立树莓派和工控机之间的通信,并且将功能集成到用户控制界面,完成样机的控制系统设计。最后对样机进行实物搭建,以梨子为分级对象开展实验,实验结果表明,针对预设水果分拣级别,分拣执行正确率达到90%以上。

车载视觉环视系统实验平台

为了帮助驾驶员更好地感知盲区和障碍物,提升驾驶的安全性与便捷性,提出了一种车载视觉环视系统实验平台。利用安装在车辆前、后、左、右的多台鱼眼相机实时采集车辆周边视频数据,生成以车辆为参考中心的环视鸟瞰图,为驾驶员提供360°无死角的环境视觉信息。最后,通过实物实验验证了所提方法的有效性。

车顶焊缝涂胶机器人智能视觉系统设计与实现

车顶焊缝是车身密封性最重要、最常用,也是最薄弱的一环,同时也是车身密封性检测中重要组成部分。为了提高车顶焊缝的涂胶质量,必须对其进行准确的检测与涂胶控制。为了使焊接机器人能与车顶焊缝同时实现涂胶,以激光跟踪仪为主要测量仪器,针对车顶焊缝涂胶的需求,设计了一套基于激光跟踪仪的视觉系统,并在此基础上提出了一种基于圆心检测的涂胶策略。该系统能在焊枪扫描过程中实时识别目标对象,通过对目标对象的距离、旋转角度和圆心等参数进行测量,实现对涂胶路径的实时控制。

基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

3D机器视觉在充电宝包装系统中的应用研究

为了提高包装机械智能化程度和生产效率,设计并实现了一种基于3D机器视觉的充电宝智能装配和包装控制系统。该系统主要包括自动装配、自动贴标、2D机器视觉质检、3D机器视觉包装和立体仓储等功能模块。对系统的硬件和软件进行了论述,重点对3D相机的编程进行了研究和阐述。通过实验证明,所设计系统的功能实现率均在99%以上。基于3D机器视觉的充电宝智能装配和包装控制系统可以提高包装机械的智能化和柔性化水平,在提高生产效率的同时,大大降低企业人力成本。

机器视觉技术在汽车故障诊断系统中的应用

汽车技术的不断进步使得各种电子控制系统在汽车中的应用越来越广泛,这极大地提高了汽车的性能,但也使其结构更加复杂,出现故障的可能性大幅增加。汽车故障诊断系统可以快速准确地定位车辆故障部位,检测故障原因,在保障行车安全、减少维修成本等方面的作用日益凸显。该文阐述机器视觉技术在汽车故障诊断系统中的具体应用,分析机器视觉技术在汽车故障诊断系统中的应用效果,提出基于机器视觉技术的汽车故障诊断系统优化方向,以增强汽车故障诊断系统的性能。

支持深度学习的视觉数据库管理系统研究进展

计算机视觉因其强大的学习能力,在各种真实场景中得到了广泛应用.随着数据库的发展,利用数据库中成熟的数据管理技术来处理视觉分析应用,已成为一种日益增长的研究趋势.图像、视频和文本等多模态数据的相互融合处理,也促进了视觉分析应用的多样性和准确性.近年来,因深度学习的兴起,支持深度学习的视觉分析应用开始受到广泛关注.然而,传统的数据库管理技术在深度学习场景下面临着复杂视觉分析语义难以表达、应用执行效率低等问题.因此,支持深度学习的视觉数据库管理系统得到了广泛关注.综述了目前视觉数据库管理系统的研究进展:首先,总结了视觉数据库管理系统在不同层面上面临的挑战,包括编程接口、查询优化、执行调度和数据存储;其次,分别探讨了上述4个层面上的相关技术;最后,对视觉数据库管理系统未来的研究方向进行了展望.

一种全局低偏的视觉/惯性/弱定位辅助融合导航系统

以视觉惯性为核心的导航技术在长期运行工况下误差会不断累积,进而产生严重的轨迹偏移。针对该问题,提出一种全局低偏的视觉/惯性/弱定位辅助融合导航系统。该系统以视觉惯性里程计高频率、高局部精度特性为基础,在室内外不同场景中,提供可选的全局信息辅助方案,融合卫星导航原始信息、超声基站测距信息以及视觉靶标定位辅助信息,实现室内外一体化全局低偏导航。搭建数据平台采集现实数据,基于激光点云匹配方法生成轨迹真值,将本文方法与VINS-Mono方法和ORBSLAM3方法进行导航精度评估对比,证明所提出的系统在全天候室内外不同光照环境中鲁棒性最好,在局部和全局都具备最优的导航精度。

数字孪生多模态视觉推理的神经-符号系统

面对数字孪生在多模态视觉数据融合中的异质性和动态性挑战,提出一种结合深度学习与符号智能的方法。该方法通过深度神经网络对视觉数据进行实时解析,并借助符号系统存储的知识和事件响应规则,实现对复杂推理过程的自主管理。为提高系统对物理世界变化的适应性,提出一种融合多模态信息和外部知识的增强推理机制,该机制能有效地整合来自传感器的实时数据和历史知识库中的信息,以支持更加准确和合理的决策制定。以退役锂电池拆解过程为案例验证表明,该方法不仅能够在多模态数据环境中实现高准确率的识别和分析,还能够基于推理机制生成合理且逻辑一致的操作建议,有效提升了拆解效率和安全性。

计算机视觉血液透析感染防控行为监测系统在血液透析中心的临床应用及效果评价

目的探讨计算机视觉血液透析感染防控监测系统在血液透析操作感染防控关键行为规范识别与人工观察的一致性及临床应用效果。方法抽取2022年9月─12月血液透析中心护士血液透析上下机操作198人次为研究对象。将系统实时记录规范动作定为计算机组,人工回顾系统视频规范动作定为人工组;系统使用前后同一护士血液透析上下机操作感控关键行为分为干预前和干预后;验证计算机组和人工组血液透析上下机操作一级指标,二级指标规范识别的一致性,比较系统使用前后同一护士血液透析上下机操作感控关键行为的规范率。结果共观察血液透析上下机操作198人次,2组一级指标:血液透析内瘘/导管上下机操作规范识别一致性较强[内瘘上机kappa值=0.718;内瘘下机kappa值=0.714;导管上机kappa值=0.788;导管下机kappa值=0.712]。二级指标:断开导管一致性较差(kappa值=0.173);戴手套一致性一般(kappa值=0.243);导管连接一致性一般(kappa值=0.305);内瘘/导管消毒一致性中等(kappa值=0.556);手卫生执行一致性中等(kappa值=0.590)。干预后护士血液透析上机规范消毒、待干时间、手卫生、通路评估规范率优于对照组(χ^(2)=8.156,P=0.004;χ^(2)=30.462,P<0.001;χ^(2)=21.023,P<0.001;χ^(2)=23.522,P<0.001);戴手套及连接导管规范率(χ^(2)=1.823,P=0.177;χ^(2)=0.410,P=0.520)比较无统计学差异;干预后护士血液透析下机操作中的规范消毒、手卫生执行规范率优于对照组(χ^(2)=4.444,P=0.035;χ^(2)=17.770,P<0.001);干预前后戴手套、断开导管、待干时间规范率比较无统计学差异(χ^(2)=1.309,P=0.253;χ^(2)=3.220,P=0.073;χ^(2)=2.254,P=0.133)。结论计算机视觉血液透析感染防控行为监测系统记录护士在血液透析上下机操作规范识别与人工观察较为一致,通过该系统能提升护士在血液透析上下机操作感染控制关键行为的规范率,防止血液透析相关感染事件的发生。

一种基于目标检测的动态环境下视觉定位系统

传统的基于同时定位与建图模型的视觉定位方法需要满足目标点静止假设,但大多数小型机器人的实际应用场景为动态,这限制了现有视觉定位算法在小型机器人上的使用。为此,文中使用YOLOv5卷积神经网络对环境中的动态目标进行检测,然后剔除分布在图中的移动特征点,进而改进位姿估计准确性的动态消除方法,并将此方法集成于ORBSLAM2视觉定位系统。改进方案在TUM公共动态数据集上的测试结果表明,基于YOLOv5的检测方法能够快速、准确地识别场景中的动态目标,并显著降低动态环境下位姿估计的绝对误差和相对漂移,是一种有效的动态场景视觉定位方案。

足球机器人全局视觉系统的快速标定方法

足球机器人全局视觉系统为决策系统提供机器人位姿信息,决策系统进行机器人的路径和动作规划;竞赛规则要求视觉系统必须现场安装调试,因此标定过程必须快速有效,且具有较高的精度;针对足球机器人全局视觉系统的特殊应用场景,提出了一种基于两步法简化标定模型的快速有效标定算法;利用近似欧拉角旋转矩阵建立摄像机标定模型,确定需要求取的摄像机内外参数,根据标定模型,对内外参数的求解过程进行了推导;借助场地上现有的一些标志点作为靶标,对模型的内外参数进行分步求取初始值,并利用L-M优化算法对摄像机内外参数进行分步优化求取精确值;通过实验分别从标定误差和机器人动作实现效率两个方面与其他标定算法进行对比,验证了该算法具有较高的标定精度;实验表明,本算法的优点在于不用借助专门的标定靶标,即可快速有效完成相机标定,标定精度可达±1 mm,完全能够满足决策系统的控制精度要求,且标定过程简单易实现。

机器视觉技术在LED贴片控制系统研发中的应用研究

随着科技的飞速发展,机器视觉技术在各行各业的应用逐渐成为关注焦点。在LED贴片控制系统研发领域,机器视觉技术的引入为提高贴片生产效率、确保贴片质量、降低人工操作成本提供了全新的解决方案。传统的LED贴片控制系统往往依赖于人工操作,但由于贴片尺寸小、精度要求高等特点,人工操作容易受到限制,且容易引发质量波动。机器视觉技术的应用通过高精度的图像识别和处理,能够实时准确地捕捉贴片的位置、方向和质量等关键信息,为后续的控制系统提供精准的输入数据。基于此,本文对机器视觉技术在LED贴片控制系统研发中的应用展开了研究。

机器视觉支持下的工业机器人分拣系统设计

为了提升工业机器人分拣系统智能化水平,通过引入机器视觉技术,探索智能化工业机器分拣系统设计,首先,介绍了工业机器人分拣系统中机器视觉技术应用的必要性,讨论了机器视觉在工业机器人分拣系统中所发挥的优势,随后,从硬件设计与软件设计的角度出发,分析了一些必要的硬件装置,组建了完整的硬件架构,探讨了软件程序开发设计内容,最后通过开展模拟仿真实验,结果表明,系统分拣误差符合物流企业生产的需要,能够实现产品智能化分拣与仓储,展现了机器视觉支持下的工业机器人分拣系统的价值。

针对视觉/惯导系统的异常数据检测算法研究

视觉/惯导航系统(VINS)中传感器异常数据的故障检测(FD)方法对提高系统的定位性能和可靠性至关重要。然而,基于视觉/惯导航系统的异常数据检测与排除方法的研究相对较少。提出一种基于传感器测量残差的异常数据检测算法(VINS-ORFD),通过对相机和IMU异常数据进行主动检测并过滤,提升系统可靠性。基于TUM数据集的测试结果表明,该算法不仅可以实现视觉和IMU传感器异常数据快速检测,还能提升至少22.66%的定位精度(RMSE)。

基于机器视觉的玻璃纤维合股纱缺陷检测系统设计

为解决玻璃纤维合股纱制造过程中人工检测效率低和漏检率高的问题,提出一种基于机器视觉的合股纱缺陷检测方法。本文方法结合了传统算法和深度学习算法,使用传统算法对图像进行阈值分割、开运算和轮廓提取来进行预处理,然后通过计算轮廓的矩形度和高度是否在正常范围内,对图像做初步判断;采用YOLOv5深度学习算法,并使用TensorRT框架优化加速,对图像进行二次判断和缺陷定位。以合股纱缺陷检测方法为核心设计了合股纱缺陷检测系统,以Jetson Nano B01作为硬件平台,使用工业相机实时采集合股纱图像,并用继电器控制络纱机和报警灯电路的通断;软件部分包含参数设置和日志查看功能,便于在实际生产过程中调整图像清晰度以及管理检测日志。实验结果表明,本文系统的检测准确率为99.07%,相机采集和检测处理的速度满足实时检测的需求,能够有效地提高检测效率,实现合股纱缺陷的自动化检测。

基于FPGA和机器视觉的多元特征模式水果分拣系统

水果自动分拣系统可以解放重复性人力劳动,提高工作效率,消除主观因素,提高工作科学化客观化。然而,目前水果分拣系统成本较高,尚无法大规模应用。因此,在FPGA平台上设计了基于多元特征机器视觉的低成本边缘式水果分拣系统。根据多元特征识别模式ZWM,定义了多元特征向量集和识别模式向量集等概念,进而建立了水果多元特征识别体系,可实现水果分类和水果分级识别。之后,通过将识别参数转化为舵机控制信息,机械臂可将识别出的水果搬运到指定位置,达到自动智能分拣效果。进而该系统可结合云端平台,通过手机实现分拣的远程控制。所提出的基于多元特征的低成本水果分拣系统,能够实现完成物品分类和分级融合分拣,可推动水果智能分拣系统的发展。

继电保护开关状态机器视觉识别系统解析

文章以继电保护开关为研究对象,对继电保护开关状态机器视觉识别系统进行研究,介绍继电保护开关状态机器视觉识别系统的作用,推动继电保护开关能发挥相应作用,促使相关设备能实现稳定运行,推动相关企业获取经济效益。