基于合成数据集的多目标识别与6-DoF位姿估计

多目标识别及六自由度(6-DoF)位姿估计是实现物料无序堆放状态下机器人自动分拣的关键。近年来,基于深度神经网络的方法在目标识别及位姿估计领域受到广泛关注,但此类方法依赖大量训练样本,而样本的采集及标注费时费力,限制了其实用性。其次,当成像条件差、目标相互遮挡时,现有位姿估计方法无法保证结果的可靠性,进而导致抓取失败。为此,文中提出了一种基于合成数据样本的目标识别、分割及位姿估计方法。首先,以目标对象的3维(3D)几何模型为基础,利用3D图形编程工具生成虚拟场景的多视角RGB-D合成图像,并对生成的RGB图像及深度图像分别进行风格迁移和噪声增强,从而提高合成数据的真实感,以适应真实场景的检测需要;接着,利用合成数据集训练YOLOv7-mask实例分割模型,运用真实数据进行测试,结果验证了该方法的有效性;然后,以分割结果为基础,基于ES6D目标位姿估计模型,提出了一种在线姿态评估方法,以自动滤除严重失真的估计结果;最后,采用基于主动视觉的位姿估计校正策略,引导机械臂运动到新的视角重新检测,以解决因遮挡而导致位姿估计偏差的问题。在自行搭建的6自由度工业机器人视觉分拣系统上进行了实验,结果表明,文中提出的方法能较好地适应复杂环境下工件的识别与6-DoF姿态估计要求。

基于对线控位功能双轴水下操作云台控制系统

由于水下操作环境大多为缓流、浑浊度较高的区域,在这种水域进行测试,必须要克服紊流环境干扰等因素,因此设计基于自动追踪、识别目标的双轴智能水下操作云台控制系统,实现对拍摄目标进行快速锁定及跟踪,完成实时高效的图像采集功能。考虑到双轴水下拍摄云台在追踪目标的过程中存在着一定干扰的实际工况,该文对智能双轴云台采用对线控位功能,解决了云台定位精度不准确,自动追踪目标,智能识别移动物体等功能,为下一步研究提供了可靠的理论基础。

基于机器视觉的无人机自动巡检定位控制技术

为解决无人机巡向角过度偏转的问题,使巡检节点的布局形式更符合实际定位需求,针对基于机器视觉的无人机自动巡检定位控制技术展开研究。根据巡检坐标变换原理,分别求解无人机飞行器的正运动学方程与逆运动学方程,完成基于机器视觉的无人机巡检节点抓取与处理。在此基础上,利用已提取特征点,估算帧间位姿的数值水平,联合相关数据,确定控制主机对于无人机巡检曲线的定位权限,实现基于机器视觉的无人机自动巡检定位控制方法设计。实验结果表明,与基于Cascade R-CNN的检测算法相比,在机器视觉技术的作用下,无人机巡向角偏转程度确实得到了较好控制,能够促使巡检节点布局形式更加符合实际定位需求。

基于视觉定位的机器人智能拆垛系统

针对传统示教再现机器人仅能进行位置确定、轨迹固定的拆垛任务,局限于固定场景的问题,设计了一个基于视觉定位的机器人智能拆垛系统.该系统利用目标像素中心坐标转换求得对应世界坐标.针对眼在手外的安装相机方式,导致目标经图像处理算法求得的旋转角度可能由于相机自身的偏转而产生误差的问题,提出利用相机外参系数补偿目标旋转角度.最后设计拆垛策略,通信引导机器人以由近及远的抓取顺序执行拆垛任务,并无需人工干预自动完成整垛拆卸.经过实验数据表明,该系统可在未知工作场景中对未知位置目标进行抓取,位置误差可达1.1 mm,角度误差可达1.2°,堆垛一层定位时间为1.2 s左右,满足工业场景中对拆垛机器人的精度与效率需求.

掘进机远程控制技术及监测系统研究与应用

综合应用自动化、智能化和信息化等高新技术研制开发了适合煤矿综掘工作面地质与环境条件的掘进机远程控制技术及监测系统,实现了掘进机工作过程的定向、定位和定形的自动化远程控制。实现了掘进机位姿参数在线自动检测、自动定向掘进、断面自动截割成形和截割臂摆速自适应控制,首次在我国井下煤巷掘进工况中实现悬臂式掘进机机身位姿误差的绝对法测量,避免了相对法测量过程中误差积累的问题,保证了高精度定向掘进;在井下实现了远程监控、无线遥控和视频监控,实现了在多尘、振动条件下掘进机工况多角度可视化一键式遥控;在井下环网或地面任何网络接入点,实现了掘进机运行状态参数包括位姿参数等信息的实时监测与显示,并具有远程故障诊断和报警等功能。

巷道掘进机智能化技术研究现状及展望

基于巷道掘进机智能化的目标是结合智能感知技术与自适应作业实现巷道断面自动精确成形,从智能感知和自适应作业2个方面阐述了巷道掘进机智能化关键技术构架,其中智能感知包括位姿感知、成形感知、状态感知,自适应作业包括自适应纠偏、自适应截割、自适应诊断。总结了掘进机位姿检测与纠偏、巷道断面自动成形与自适应截割、掘进机安全运行保障等技术的研究现状:捷联惯导/UWB组合定位技术在井下受限空间中具有较强的适用性,目前掘进机俯仰位姿纠偏及定向行走等均已实现,但仍存在行走控制误差大、纠偏控制准确性差等问题;将大面积煤矸石带避开的截割方法为自适应截割提供了一种新的思路,但是煤矸石带位置的确定及该种方法在实践中的应用效果有待进一步研究;在故障对象确定、故障原因清晰的情况下,常用故障诊断方法具有一定适用性,但由于掘进机故障原因复杂多样,故障间相互影响,难以进行准确有效的故障诊断。指出研究检测精度高、干涉少、跟随适用性优的导航定位方法,实现掘进机机体位姿偏差动态补偿、煤岩特性与最佳截割参数匹配建模及掘进机全状态监测等是巷道掘进机智能化技术突破方向。

基于图像不变矩和神经网络的零件位姿自动识别

零件位置的自动识别是智能三坐标测量机检测系统中极为关键的技术.根据零件可能的放置方式形成零件的多幅虚拟图像,利用CCD摄像机采集零件的实际图像.将图像不变矩理论应用于图像匹配技术中,以虚拟图像的矩不变量及其对应模式进行BP神经网络的训练,将训练好的网络作为分类器,根据实际采集图像的矩不变量进行零件姿态的识别;由采集图像的不变矩计算零件在像平面内的位置和方向,并经坐标转换得到零件在机器坐标系中的位置和方向.实验结果表明本文零件位置自动识别方法是智能且高效的.

机动雷达大型天线自动对接技术的研究

机动雷达大型天线阵面常采用多块天线子阵面吊装拼接的架设方式,架设时受架设效率低、吊装操作存在不确定因素等的制约,使得大型雷达的机动性较差。通过对大型天线阵面自动对接技术的研究,将目前已有的室内大型零部件自动对接技术应用到大型天线装配技术中,以实现机动雷达大型天线的快速装配。主要论述了机动雷达大型天线自动对接的工程原理和所需攻克的关键技术,其中包括数字化自动测量技术、天线位姿自动调节技术和伺服控制技术等;并对其主要功能的实现方法进行了研究。

基于多传感器测量的航天器舱段自动对接位姿调整方法

针对航天器舱段对接通常采用的手工操作方式效率低、精度差和可靠性难以保证的问题,研发了一种基于多传感器测量的舱段自动对接装置,其中舱体位姿的测量和调整是保证对接质量和效率的关键因素。提出了一种基于激光轮廓传感器和CCD图像传感器等多传感器协同测量的舱段六自由度位姿估计和调整方法。首先,采用激光轮廓传感器对舱体进行扫描,获取位姿三维点云信息,并采用改进的最小二乘法对被测舱段位姿进行求解;然后,通过CCD图像传感器获取舱段对接孔位置,通过圆拟合计算角度偏差,求解和拟合的结果将反馈至控制系统进行调姿和对接。采用Gocator 2350激光轮廓传感器及大恒MER-1810-21U3C工业相机进行舱体测量和对接实验,结果表明,舱体位姿调整精度和效率均达到对接要求。该方法结合了激光轮廓传感器的可靠性和机器视觉的灵活性,有效提高了自动对接系统的效率、稳定性和一致性,足以满足未来军用以及民用的需求。

机身自动调姿方法及误差分析

提出了机身自动调姿方法。该调姿方法利用研发的调姿控制平台将激光跟踪仪跟踪测量、托架式自动定位器、精确控制系统和调姿集成软件系统有机结合起来,完成位姿信息采集、位姿解算、轨迹规划、运动学逆解、定位器自动定位,实现机身自动精确调姿。调姿过程中,跟踪仪自动跟踪测量位姿基准点,获得机身实时位姿,从而对调姿轨迹进行及时修正。利用微变换齐次变换矩阵,研究了各误差源与机身调姿误差的关系,对多个定位器误差进行了融合,误差分析为保证调姿精度提供了理论依据。初步工程验证表明:该调姿方法能有效降低机身调姿误差,提高总装精度和效率。

接触网绝缘子自动水冲洗车载体位姿隔离与补偿

绝缘子水冲洗车是接触网重要的维护设备,载体前进中位置和姿态变化对跟踪冲洗效果产生干扰。对于位置变化,使用卡尔曼滤波法对载体位置进行预测;对于姿态变化,使用IMU测量与解算姿态变化,计算对冲洗炮管的影响及补偿量;将载体位置滤波后的值与姿态补偿量融合后,用此结果对冲洗装置偏航角与仰俯角的控制可实现位姿干扰隔离。使用MATLAB验证滤波过程与姿态隔离补偿,表明该补偿方法具有良好的收敛性和较高的精度,可以应用于自动水冲洗车。

飞机大部件自动对接同步调姿方法

提出了飞机大部件自动对接同步调姿方法,实现了大部件调姿基准点的连续自动跟踪测量和位姿连续调整。在此基础上开发了集测量场构建、大部件位姿解算和调整等功能于一体的大部件自动对接集成控制软件,并在ARJ21飞机翼身自动对接现场进行了应用试验,结果证明该方法能有效完成飞机翼身自动对接过程,提高测量和对接效率。

基于双目视觉的机械臂位姿估计及目标自动定位系统

针对以往使用的激光测距和单目摄像机估计技术、单眼照相机位姿估计法受到噪点影响而导致估计精准度低的问题,提出了基于双目视觉的机械臂位姿估计及目标自动定位系统设计。使用高压柜按钮,控制机械臂启停。使用FPGA通信协议芯片,节省信号处理时间。构建双目视觉模型,将操作目标的空间位置信息传递给机械臂,从图像中提取特征点,并求解单应性矩阵,将其转化为同一坐标系。采用基于模板匹配的粗定位目标大致位置,根据目标模板图像,识别物体位姿。利用3×3邻域高斯模板,处理图像数据,剔除噪点区域,由此得到精准位姿估计和定位结果。由实验结果可知,该系统运动坐标估计结果与预期轨迹结果基本一致,具有精准位姿估计及定位效果。

某加注连接器位姿补偿机构设计及优化

针对自动对接和随动过程中连接器对接装置与箭体之间产生的位姿偏差问题,设计了一种连接器位姿补偿机构,并对机构的弹簧参数进行优化设计。验证了该机构满足对接要求的相关技术指标,在此基础上,建立需要优化的设计参数、优化所需目标函数;利用ADAMS/View软件提供的优化计算方法,分析了各设计参数对目标函数的影响,确定一组合理的弹簧设计参数。研究结果表明:该机构能很好地满足自动对接要求,实现对接装置与箭体之间的位姿补偿。

EBZ300(A)型矿用掘进机截割煤(岩)巷自动控制技术研究

为解决掘进机在复杂的工作环境中定位困难、断面质量差、劳动强度高等问题,以PLC自动控制器作为控制核心,分别论述了EBZ300(A)型掘进机截割巷道的位姿自动检测、自动纠偏控制、断面自动成形截割等自动控制技术。应用表明,在自动化控制下掘进机成巷速度快,断面质量好,为矿井巷道高质量掘进提供了可行性技术。

大型风洞部段自动柔顺对接技术研究进展

大型风洞是高速飞行器研制与试验过程中重要的地面模拟实验设备,其试验段与挠性喷管段的自动对接技术是风洞建设和使用中的关键技术。本文分析了国内外在大尺寸部件自动对接领域的研究现状,针对风洞试验段自动对接过程提出了超大尺寸对接部段相对位姿自动检测技术,超高负载试验段位姿高精度调整技术和试验部段柔顺对接技术3个关键技术,分别介绍了3个关键技术目前的研究进展,并对未来的研究问题进行了展望。