基于Kinova机械臂RGBD相机的目标抓取

在轨服务与维护是未来航天技术的重要发展方向.在轨服务如燃料加注、剪切与操作电线、旋拧盖子和拆装阀门等任务,具有负载轻、近距离感知及精准定位和抓取等特点.针对这些应用场景,采用轻量化机械臂Kinova及自带彩色和深度(red,green,blue and depth,RGBD)相机进行感知、定位和抓取,完成地面验证实验,为在轨服务提供理论支持.介绍了机械臂抓取系统的研究背景并描述开发平台及其特点,以及相机标定、彩色相机与深度相机配准原理.利用机器人操作系统(robot operating system,ROS)的坐标变换树得到彩色图像目标像素在世界坐标系的坐标位置.针对特定的抓取对象提出基于色调、饱和度和亮度(hue,saturation and value,HSV)颜色空间图像分割方法,进行目标检测、分割以及空间定位,实验环节机械臂根据视觉定位结果完成目标抓取过程,证明了颜色空间图像分割方法和深度图结合定位的有效性,为在轨服务提供了理论验证.

面向高变倍场景的变电站巡检机器人云台相机对准方法

受导航误差和机械磨损等因素影响,变电站巡检机器人在自主巡检时的停靠位姿偏离预置位姿,导致其云台相机在高倍变焦抓图时出现目标设备不在图像内以及聚焦失败等问题。因此,提出一种面向高变倍场景的变电站巡检机器人云台相机对准方法,使巡检机器人相机能够精确对准到预置位姿,以拍摄与模板图像一致的高质量巡检图像。首先,建立巡检机器人位姿与像素误差之间的关系模型;然后,基于构造的变电站空间布局假设条件,提出机器人相机位姿误差的近似解法;最后,对相机位姿误差进行正交解耦,使用提出的折半对准控制方法校正相机位姿误差。在巡检机器人真型平台上开展相机对准试验,结果表明,相较于仅调整云台姿态的传统相机对准方法,该方法在高变倍巡检场景中表现出更高的巡检覆盖率、准确率以及更低的巡检图像像素误差。

机器人与双目相机的手眼标定方法

为了得到钻头在激光熔覆机器人坐标系下的模型数据需要机器人与双目相机进行手眼标定,针对这一问题提出了一种手眼标定的方法。改变机器人位姿对同一点进行测量,建立机器人DH模型并利用机器人正运动学方程计算出机器人末端坐标系与双目相机坐标系之间的变换矩阵,完成了手眼测量系统标定。基于此标定方法进行了误差测试与激光熔覆实验,对误差产生的原因进行分析并提出了减小误差的方法。实验结果表明,机器人与双目相机的手眼标定方法有效,可用于PDC钻头激光熔覆系统。

足球机器人全局视觉系统的快速标定方法

足球机器人全局视觉系统为决策系统提供机器人位姿信息,决策系统进行机器人的路径和动作规划;竞赛规则要求视觉系统必须现场安装调试,因此标定过程必须快速有效,且具有较高的精度;针对足球机器人全局视觉系统的特殊应用场景,提出了一种基于两步法简化标定模型的快速有效标定算法;利用近似欧拉角旋转矩阵建立摄像机标定模型,确定需要求取的摄像机内外参数,根据标定模型,对内外参数的求解过程进行了推导;借助场地上现有的一些标志点作为靶标,对模型的内外参数进行分步求取初始值,并利用L-M优化算法对摄像机内外参数进行分步优化求取精确值;通过实验分别从标定误差和机器人动作实现效率两个方面与其他标定算法进行对比,验证了该算法具有较高的标定精度;实验表明,本算法的优点在于不用借助专门的标定靶标,即可快速有效完成相机标定,标定精度可达±1 mm,完全能够满足决策系统的控制精度要求,且标定过程简单易实现。

基于机器视觉的电力巡检机器人自动化系统设计

为实现巡检中更低的误检率,设计一种基于机器视觉的电力巡检机器人自动化系统。利用远距离激光雷达配合多种设备,实现机器人的定位导航。根据图像预处理模块能够实现巡检图像的色彩分割、降噪滤波等处理。总控平台模块主要由六部分构成,分别为图像识别单元、核心服务单元等。通过硬件与软件相结合实现机器人的电力巡检功能。实验结果表明,设计的机器人运动指标良好,能够实现高效变电站巡检,同时系统的巡检导航性能良好,巡检误检率较低,说明系统满足设计需求。

基于Maix-Ⅱ Dock摄像头的货运移动机器人的设计与实现

针对两地快速、高效地运输货物的问题,设计了一种货运移动机器人。货运移动机器人由STM32F103RCT6主控板、Maix-Ⅱ Dock(M2 dock)摄像头、OLED屏幕和XL4001可调降压模块等组成。货运移动机器人从地图“GO!”红色区域出发,到达红色“STOP!”区域停车,途中不得撞到路线外红色长方体障碍物。货运移动机器人主控板使用STM32F103RCT6,图像识别部分使用M2 dock摄像头。M2 dock摄像头可以稳定高效地识别红色区域。通过测试,货运移动机器人可以快速且稳定地行驶完全程,并能够处理复杂的路况。该货运移动机器人的理论研究与设计能够应用于多种路况。

隧道高空摄像头清洗机器人的结构设计与轨迹规划分析

阐述公路隧道高空摄像头清洗机器人的设计方案,包括照明灯和监控镜头自动清洁、视频巡检、近距离视频探查、声光警示、温度检测、烟气浓度检测功能。介绍轨道及附件、机器人系统设计要求。

金融机器人设计及应用研究

随着国家人工智能的政策落地,人工智能的发展逐渐加快。机器人作为人工智能产品已经在酒店、餐厅等行业得到应用。金融机器人也已被各大银行研究及应用,机器人具有人机交互智能化、集成化、便利化等优点,未来在银行智能网点上将会迎来一波发展高潮。

激光雷达SLAM下移动机器人双目视觉全局定位

移动机器人在未知环境中执行任务时,需精准感知地图环境和其他物体位置,确定其自身位置。为了提高移动机器人的全局定位精度,提出激光雷达SLAM下移动机器人双目视觉全局定位方法。依据双目视觉系统测距原理,选取双目摄像机中的任意一个相机建立主坐标系,构建双目摄像机模型,结合棋盘图与张正友标定法,标定双目摄像机中参数。在此基础上,计算单帧图像特征点的尺度,完成双目视觉初始化,利用权重函数计算任意一个特征点与线、与面之间的加权值和距离值,估计移动机器人的位置,引入非迭代畸变补偿方法,完成对移动机器人的全局定位。测试结果表明,所提方法的定位结果与实际运动位置之间的最小误差为0.1 m,该方法可以精准定位到移动机器人位置,指导移动机器人更好地执行作业任务。

基于深度相机和二维码的室内移动机器人定位技术

提出一种以ORB_SLAM2为基本框架、使用二维码辅助深度相机的室内移动机器人定位方法。针对现有的视觉SLAM在定位过程中出现的Z轴漂移现象,提出平面运动模型约束,以降低机器人定位结果中的Z轴累计误差;针对视觉SLAM在弱纹理环境中算法退化、容易跟踪失败等问题,在室内环境中张贴二维码并将其数学模型作为定位约束,以提高系统的准确性与鲁棒性。真实环境下的实验结果表明:相比原始算法,所提算法在Z轴精度上提高了42.95%;以ORB_SLAM3的定位结果为真值,所提算法的定位精度提高了4.11%,该算法在室内环境下具有定位优势。

Effective Self-calibration for Camera Parameters and Hand-eye Geometry Based on Two Feature Points Motions

A novel and effective self-calibration approach for robot vision is presented, which can effectively estimate both the camera intrinsic parameters and the hand-eye transformation at the same time. The proposed calibration procedure is based on two arbitrary feature points of the environment, and three pure translational motions and two rotational motions of robot endeffector are needed. New linear solution equations are deduced,and the calibration parameters are finally solved accurately and effectively. The proposed algorithm has been verified by simulated data with different noise and disturbance. Because of the need of fewer feature points and robot motions, the proposed method greatly improves the efficiency and practicality of the calibration procedure.

Active Tracking with Pan-Tilt-Zoom Camera

This paper intends to introduce the active vision system with autonomous robot competition in the background. It presents some characteristics of the human oculomotor system in active machine vision system: smooth pursuit and saccade. Besides, zoom tracking is used to continuous adjustment of a camera's focal length to keep a constant sized image of an object moving along the camera's optical axis. Experiments indicate the technology to be efficient for tracking the ball in the robot competition.

Robot stereo vision calibration method with genetic algorithm and particle swarm optimization

Accurate stereo vision calibration is a preliminary step towards high-precision visual posi- tioning of robot. Combining with the characteristics of genetic algorithm （GA） and particle swarm optimization （PSO）, a three-stage calibration method based on hybrid intelligent optimization is pro- posed for nonlinear camera models in this paper. The motivation is to improve the accuracy of the calibration process. In this approach, the stereo vision calibration is considered as an optimization problem that can be solved by the GA and PSO. The initial linear values can be obtained in the frost stage. Then in the second stage, two cameras＇ parameters are optimized separately. Finally, the in- tegrated optimized calibration of two models is obtained in the third stage. Direct linear transforma- tion （DLT）, GA and PSO are individually used in three stages. It is shown that the results of every stage can correctly find near-optimal solution and it can be used to initialize the next stage. Simula- tion analysis and actual experimental results indicate that this calibration method works more accu- rate and robust in noisy environment compared with traditional calibration methods. The proposed method can fulfill the requirements of robot sophisticated visual operation.

Seam Tracking and Visual Control for Robotic Arc Welding Based on Structured Light Stereovision

A real-time arc welding robot visual control system based on a local network with a multi-level hierarchy is developed in this paper. It consists of an intelligence and human-machine interface level, a motion planning level, a motion control level and a servo control level. The last three levels form a local real-time open robot controller, which realizes motion planning and motion control of a robot. A camera calibration method based on the relative movement of the end-effector connected to a robot is proposed and a method for tracking weld seam based on the structured light stereovision is provided. Combining the parameters of the cameras and laser plane, three groups of position values in Cartesian space are obtained for each feature point in a stripe projected on the weld seam. The accurate three-dimensional position of the edge points in the weld seam can be calculated from the obtained parameters with an information fusion algorithm. By calculating the weld seam parameter from position and image data, the movement parameters of the robot used for tracking can be determined. A swing welding experiment of type V groove weld is successfully conducted, the results of which show that the system has high resolution seam tracking in real-time, and works stably and efficiently.

同步定位与建图技术研究进展

同步定位与建图(SLAM)技术是自主移动机器人的主要技术支撑,成为当今的研究热点。介绍了SLAM技术的发展历程及主要传感器,梳理了基于视觉、激光雷达以及多传感器融合的SLAM技术,并对常见的SLAM算法进行归纳总结,对比分析各实现方案的优缺点。最后探讨了SLAM的技术难题和发展趋势。

基于相机与激光雷达融合的温室机器人行间导航方法

针对温室颠簸不平、枝叶遮挡道路的复杂环境,开展基于相机与激光雷达数据融合的机器人行间导航方法研究。首先,利用改进的U-Net模型实现图像道路区域的准确快速分割;其次,通过融合图像分割结果进行地面点云预分割,减少地面起伏造成的点云倾斜;然后,采用改进的KMeans算法实现作物行点云快速聚类,并将聚类中心作为作物行主干区域点,降低枝叶遮挡对作物行中线提取的影响;最后,采用RANSAC算法拟合两侧作物行方程并计算出导航线。通过实验评估导航线精度,在测试集中94%以上数据帧可以准确实现提取导航线,平均角度误差不高于1.45°,满足温室机器人沿作物行自主导航行驶要求。

基于深度相机的移动机器人视觉跟踪控制研究

基于视觉利用移动机器人进行运动目标跟踪,该文提出一种基于二自由度云台和RGB-D相机的运动目标视觉跟踪及移动机器人路径实时规划、跟踪方法。该方法利用核相关滤波算法在图像中实时追踪目标,控制二自由度云台使深度相机实时对准目标,并根据深度相机得到目标的深度信息,利用坐标转换得到目标相对于机器人的位置信息;其后移动机器人根据目标的位置信息,基于五次多项式进行路径规划;最后采用李雅普诺夫控制律对移动机器人进行轨迹跟踪控制,使得机器人能够平稳地跟踪目标运动。该算法在阿克曼移动机器人上进行了实验,实验结果验证了算法的有效性和实时性。