Rotation Estimation for Mobile Robot Based on Single-axis Gyroscope and Monocular Camera

The rotation matrix estimation problem is a keypoint for mobile robot localization, navigation, and control. Based on the quaternion theory and the epipolar geometry, an extended Kalman filter (EKF) algorithm is proposed to estimate the rotation matrix by using a single-axis gyroscope and the image points correspondence from a monocular camera. The experimental results show that the precision of mobile robot s yaw angle estimated by the proposed EKF algorithm is much better than the results given by the image-only and gyroscope-only method, which demonstrates that our method is a preferable way to estimate the rotation for the autonomous mobile robot applications.

Monocular camera and 3D lidar joint calibration

Joint calibration of sensors is an important prerequisite in intelligent driving scene retrieval and recognition. A simple and efficient solution is proposed for solving the problem of automatic joint calibration registration between the monocular camera and the 16-line lidar. The study is divided into two parts: single-sensor independent calibration and multi-sensor joint registration, in which the selected objective world is used. The system associates the lidar coordinates with the camera coordinates. The lidar and the camera are used to obtain the normal vectors of the calibration plate and the point cloud data representing the calibration plate by the appropriate algorithm. Iterated closest points(ICP) is the method used for the iterative refinement of the registration.

基于融合BEBLID和改进ORB算法的单目视觉里程计研究

为防止FAST算法在纹理丰富的环境下提取的特征点过于密集,通过预设条件使特征点稀疏化,便于后续对极约束恢复相机的位姿;为保证相机摄入的图像帧中纹理较少,特征提取时不会丢失图像信息,提出根据特征点数量调整检测方式,使其自适应提取图像特征,增强对复杂环境的适应性;为提高图像特征的匹配精度,通过融入BEBLID使特征点描述符充分表达。经实验验证,面对复杂的场景,改进算法有较强的环境鲁棒性。改进算法的匹配精度要高于ORB算法,在算法耗时方面相较SIFT算法有量级提升。经轨迹测算后,相比于ORB算法,改进算法在相机运动上更贴合真实轨迹,在位姿精度上有较明显的提升。

可用于狭小空间的单目主动视觉姿态测量方法

在狭小空间智能装配时,需要测量基准面姿态;但现有姿态测量设备尺寸较大或需要附加扫描运动机构,存在装置难以部署等问题,故提出一种适用于狭小空间的基于双线激光的单目主动视觉姿态测量方法。首先提取出线激光中心点进行光平面标定;接着根据中心投影关系,计算出光平面与像平面的转换矩阵;然后提取目标平面线激光中心点像素坐标并转换为相机坐标;最后应用RANSAC算法过滤异常点后使用最小二乘法拟合出物体平面方程,实现目标平面姿态测量。实验结果表明,滚转角测量误差平均值为0.029°,标准差为0.016°;俯仰角测量误差平均值为0.035°,标准差为0.025°。完成了在直径为170 mm、高为520 mm圆柱形腔体内的平面姿态测量,验证了方法的有效性。

基于单目相机和多线激光雷达的联合标定方法研究

目的针对相机和激光雷达之间的外参标定问题,为了减少两者的标定误差,得到更高的标定精度,方法提出一种基于非线性优化的联合标定方法。首先拍摄不同角度的棋盘格标定板图像,采集足够多数据后利用工具包进行相机内参标定,得到单目相机内参;然后在激光点云和图像中检测标定板的角点特征坐标,激光点云下的角点坐标由提取的标定板点云数据和其几何特征获得,通过拟合出的图形由上至下、由左至右确定图形顶点坐标及标定板行列数,可得到各角点坐标;相机角点特征坐标采用FAST角点检测,利用角点灰度信息确定角点坐标;根据点云检测特征点到图像投影误差构建目标函数,将外参求解转化为最小二乘问题;最后通过基于列文伯格-马夸尔特的非线性优化算法,迭代求解得到最优外参。结果最终平均标定投影误差为1.29像素,最大投影误差为2.46像素,最小投影误差为0.70像素,标准差为0.57像素。结论根据标定的外参将点云投影至图像上可知,标定结果较好,并将结果运用到实际场景下视觉和激光雷达融合的SLAM算法中,运动轨迹平滑且与地图保持高度一致,本文方法标定过程简单,不需要棋盘格的真实物理尺寸,满足使用要求。

基于复合标志的四旋翼无人机自主降落系统

四旋翼无人机能否快速、精确地降落在地面充电装置或回收装置上是实现空地机器人协同的关键步骤之一。提出了一种基于视觉的四旋翼无人机在静止平台上自主降落的模型化框架,设计了基于AprilTag的复合标签着陆标志,将视觉测量与无人机自驾仪提供的状态信息利用卡尔曼滤波器进行融合,提高无人机位姿估计精度。利用PID控制器计算无人机的期望加速度,并将其转化为无人机的姿态指令,使得无人机飞行到期望位置。在专用模拟器下,对提出的无人机自主降落系统进行了多次仿真,仿真结果表明,无人机的平均降落误差小于5cm,验证了无人机自主降落系统的有效性和精确性。

基于逆深度滤波的单目稠密建图

稠密地图估计是同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的重要目标。针对经典的深度滤波算法重建精度不高的问题,提出一种基于逆深度滤波的改进单目稠密点云重建方法,在极线搜索阶段通过设置阈值提高效率,通过逆深度高斯滤波器更新后验逆深度概率分布,通过帧内检测剔除外点。实验结果验证改进后的稠密重建算法具有更稠密、更精确的重建效果,且无须GPU加速。

融合结构光的折反射全景单目视觉测距

无人机在大机动运动时视场变化较大,在弱纹理环境下视觉特征易丢失,这降低了视觉距离测量的精度。针对此问题,本文将折反射全景相机与结构光相结合,进一步提出了融合结构光的折反射全景单目视觉测距方法。在本研究中,为了提高测距方法的精度以及处理速度,首先对结构光进行感兴趣区域(ROI)提取,并运用中值滤波对激光条纹图像进行去噪后,再采用改进的Steger算法进行亚像素级别的结构光光条中心坐标提取。其次,运用最小二乘原理对提取的亚像素点进行曲线拟合,得到结构光的曲线方程。最后,通过理论推导求取空间平面参数,建立测距目标函数,进一步求得距离信息。实验结果表明:在不同场景下,所提出测距方法的测距精度均在3%以内,证明了该方法的有效性。满足无人机在大机动运动条件下以及弱纹理场景中稳定可靠的测距需求,进一步提升了无人机环境感知能力。

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化完成在局部约束下的无人机位姿的优化和修正,避免估计位姿的误差累计导致无人机轨迹偏移。模拟矿井灾后复杂环境进行仿真实验,结果表明:基于视觉与激光融合的位姿估计算法的平均相对平移误差和相对旋转误差分别为0.0011 m和0.0008°,1帧数据的平均处理时间低于100 ms,且算法在井下长时间运行时不会出现轨迹漂移问题;相较于仅基于视觉或激光的位姿估计算法,该融合算法的准确性、稳定性均得到了提高,且实时性满足要求。

基于YOLOv5算法的炮管内壁污渍识别与定位技术

为准确评估炮管内壁的清理情况,采用YOLOv5人工神经网络结合机器视觉对清理后的155mm口径炮管内壁的污渍进行实时检测。考虑到污渍主要分为油污与残留的铜渍2种,在检测任务中通过图像识别技术分别对污渍进行种类识别、定位以及对污渍面积判定;利用图像像素信息与外部环境信息,基于单目摄像头采集的视频图像,采用改进并训练后的YOLOv5人工神经网络模型作为识别工具对炮管内壁进行实时图像识别。实验结果表明:该检测系统能较好地完成目标检测任务,对目标定位误差控制在5 cm内,满足炮管内壁自动清理中的内壁污渍定位要求。

Robust and Accurate Monocular Visual Navigation Combining IMU for a Quadrotor

In this paper, we present a multi-sensor fusion based monocular visual navigation system for a quadrotor with limited payload, power and computational resources. Our system is equipped with an inertial measurement unit(IMU), a sonar and a monocular down-looking camera. It is able to work well in GPS-denied and markerless environments. Different from most of the keyframe-based visual navigation systems, our system uses the information from both keyframes and keypoints in each frame. The GPU-based speeded up robust feature(SURF)is employed for feature detection and feature matching. Based on the flight characteristics of quadrotor, we propose a refined preliminary motion estimation algorithm combining IMU data.A multi-level judgment rule is then presented which is beneficial to hovering conditions and reduces the error accumulation effectively. By using the sonar sensor, the metric scale estimation problem has been solved. We also present the novel IMU+3P(IMU with three point correspondences) algorithm for accurate pose estimation. This algorithm transforms the 6-DOF pose estimation problem into a 4-DOF problem and can obtain more accurate results with less computation time. We perform the experiments of monocular visual navigation system in real indoor and outdoor environments. The results demonstrate that the monocular visual navigation system performing in real-time has robust and accurate navigation results of the quadrotor.

可用于双足导航系统的视觉位姿测量研究

以惯性传感器为主、其它传感器为辅的导航方式是室内导航领域的研究热点。文中以双足行人导航系统为研究背景,以足部固定标志物为标靶,设计了基于透视n点(Perspective-n-Point,PnP)问题的视觉位姿测量算法。针对双足行人导航系统中的位姿测量问题进行了仿真和实验,评估了单目相机估算位姿的精确性,实验结果验证了文中方法的有效性。

基于伯特利单目摄像头坡道跟车起步慢问题研究

随着疫情后市场对汽车行业影响,包括芯片资源、单目摄像头独立供货能力等。都是对国内汽车企业带来不断考验,如何在疫情影响下,保证车辆生产以及开发替代产品,满足或者超过国际垄断大牌企业。因此,我们将工作侧重在单目摄像头开发,做好性能和技术指标达到行业领先。伯特利单目摄像头系统诞生,为了更好取代国际巨头4+2-ADAS系统做好铺垫。然而,当前伯特利单目摄像头性能,在验收阶段,发现坡道跟车起步慢问题,已经不能满足不产品和性能要求,若想解决这个问题,就必须对其自身进行不断优化与创新,来满足市场对产品和性能需求。

基于改进YOLOv5m的室内停车位检测

针对现有检测算法在室内停车场景下对目标停车位检测精度不足、检测效率较低的情况,在现有的YO-LOv5m中增加了小目标检测层以增强对小目标样本的检测,并在此基础上引入一种坐标注意力机制来减少冗余信息输入,提升检测精度。同时建立包含8100张地下车位图像的大型室内停车场标注数据集,并在此数据集上进行实验。该方法的平均检测精度(mAP)为98.214%,准确率为97.254%,召回率为96.548%。结果显示该算法大大提高了模型精度、停车位检测性能以及模型检测的实时性,在室内停车场景的停车位检测上具有可行性。

基于单目视觉的网球落点定位研究

在网球比赛中,目前主要依靠专业设备对网球落点进行定位,成本较高且难以在日常训练中普及,提出了一种基于单目视觉的网球落点定位方法,该方法根据重投影误差筛选标定特征点最优组合,得到相机标定参数,以此建立投影模型,结合网球运动轨迹计算出网球落点的位置信息。实验结果表明,该方法相较于基于张正友标定法和Tsai两步法确定的投影模型的落点定位方法,对网球落点定位的平均误差分别降低了9.42%和25.76%。

智能识别与空间定位技术在高速铁路车站的应用研究

针对目前高速铁路车站建筑结构复杂程度上升与智能化管理需求日益增进的情况,提出使用智能识别、空间定位技术和BIM运维技术相结合,应用到高速铁路车站运维管理信息化系统中,以辅助日常运维的应用方案。通过对比不同的图像识别模型和空间定位方法,并参考实际铁路运维场景中的监控相机覆盖范围,提出并验证了一种新的应用图像识别技术的空间定位方法来获取特定设备空间位置,用来提高运维管理数据获取的效率和质量。设计了一套完整的技术路线,包括设备特征采集、特征点选取、摄像头标定、空间坐标转换等关键环节,将检测方法和定位算法集成,得到特定设备设施定位的方法。最后对这套空间定位方法进行了总结和展望,讨论了机器视觉技术在铁路运维领域的多个应用场景。

基于单目摄像头的空中手写系统

目前基于视觉的空中手写系统主要是基于Leap Motion或Kinect等三维传感器。上述传感器体积太大且价格昂贵,不利于和手机、空调、电视等集成,于是开发了一种新的更利于应用推广的基于单目摄像头的空中手写系统。上述系统基于肤色特征从二维视频数据中检测书写手,然后利用书写手结构特点将书写手与手臂分离,通过寻找书写手轮廓到掌心的最远距离定位书写手指尖,记录连续视频帧中指尖位置形成空中手写字符轨迹,最后将字符送入高性能分类器进行识别。实验结果表明书写者可以利用上述系统自由地空中书写,实时前5识别率超过了99%。

非结构化道路条件下单目视觉实时测距研究

为了自动驾驶汽车能够在非道路条件下进行有效的防碰撞,提高智能汽车安全性。论文通过对传感系统中的单目摄像头对前方物体的测距方法进行研究,来提高车辆在非结构化道路上的安全性能。对单目摄像头的标定采用了基于两个灭点的标定方法的数学模型,使用了针孔透视模型来成像以及单帧静态图像测距模型来计算前方物体与本车距离,加强图像的稳定性使用了RANSAC算法,Prescan和Simulink进行仿真试验,最后进行实车在非道路条件下的实时测距试验。试验结果表明:汽车在非结构化道路化的条件下行驶摄像头能进行实时测距。

Monocular Visual-Inertial and Robotic-Arm Calibration in a Unifying Framework

Reliable and accurate calibration for camera,inertial measurement unit(IMU)and robot is a critical prerequisite for visual-inertial based robot pose estimation and surrounding environment perception.However,traditional calibrations suffer inaccuracy and inconsistency.To address these problems,this paper proposes a monocular visual-inertial and robotic-arm calibration in a unifying framework.In our method,the spatial relationship is geometrically correlated between the sensing units and robotic arm.The decoupled estimations on rotation and translation could reduce the coupled errors during the optimization.Additionally,the robotic calibration moving trajectory has been designed in a spiral pattern that enables full excitations on 6 DOF motions repeatably and consistently.The calibration has been evaluated on our developed platform.In the experiments,the calibration achieves the accuracy with rotation and translation RMSEs less than 0.7°and 0.01 m,respectively.The comparisons with state-of-the-art results prove our calibration consistency,accuracy and effectiveness.

改进遗传算法优化的温室移动机器人单目相机标定

目的:针对温室移动机器人领域传统的张正友相机标定方法存在相机内参数的求解可能陷入局部最优解的问题,使用一种基于改进遗传算法的单目相机内参数优化方案。方法:首先使用张正友标定法得到初始的内参值,然后引入改进的遗传算法对内参初始值进行优化,最后将优化后的内参值代入相机成像模型,得到优化后的重投影误差。结果:将本算法优化后的重投影误差与标准算法和张正友标定法得到的进行比较,证明本研究标定的单目像机内部参数更加准确,标定速度和稳定性更好。结论:改进遗传算法平均重投影误差低于标准算法和张正友标定法,且图像主点坐标更接近参考值,能较好地缓解过早收敛和停滞现象,提高了标定精度,在温室移动机器人视觉应用系统中,本方法有较强的的实用价值。