基于点线对应的多摄像机全局位姿估计迭代算法

为了解决工业视觉场景中点和直线段共存情况下的多摄像机位姿估计问题,提出了基于点线特征对应的多摄像机全局位姿估计算法.以正交迭代算法为基础,使用多个固定在平台上的已标定摄像机间的几何约束,以全局方式处理多摄像机的重叠和非重叠视图的点和直线段特征,获得更加稳定精确的位姿估计.该算法先把所有摄像机数据进行统一表达,再把摄像机观测到的全部点特征的目标空间共线性误差和直线段特征的目标空间共面性误差之和作为误差函数,最后经数学推导得到使该误差函数最小化的迭代求解过程.实验结果验证了该算法的有效性以及优越性.

采用多站图像直线特征的飞机姿态估计

在角平分线方向向量法基础上提出了一种新的基于直线特征的飞机姿态多站测量方法。首先,用角平分线方法计算飞机的中轴线及其共面垂线的方向向量,由此得到飞机参考系到经纬仪摄像机参考系的旋转矩阵。然后,提取所有测站经纬仪图像上机翼边缘的直线特征,联合经纬仪俯仰方位角等参数,推导出直线特征的目标空间共面总误差函数,并使用改进的正交迭代方法优化旋转矩阵使总误差最小。最后,分解优化后的旋转矩阵得到飞机的姿态值。仿真实验得到的四站测量精度为0.17°,图像处理速度为32frame/s,比角平分线法有了大幅的提高,另外,算法处理速度能达到实时。这些结果证明了文中方法的有效性和优越性。

多摄像机传递位姿测量系统的软件设计与实现

传统的摄像测量技术用于测量物体三维位姿及其变形时,通常只能应用于可通视的物体之间或处于同一个视场的物体之间。多摄像机接力传递位姿测量通过接力传递的方式,可以实现对大型结构体中不通视物体之间或大视场范围内物体之间的位姿及其变形进行测量。本文首先对多摄像机接力传递位姿测量方法的基本原理进行了阐述;然后,通过对其硬件结构特点进行分析,提出了相应的软件功能模块与程序控制流程;最后,按照经典的"客户机-服务器"模式分别开发设计了分机软件和主机软件,并用VisualC++语言予以实现。经过大量室内、室外及海上实船实验证明,该软件系统操作简单,使用方便,运行稳定可靠,可扩展性较强。

自主空中加油多摄像机近距相对导航与控制

针对伸缩套管方式下自主空中加油(AAR)对接与位置保持过程,提出了一个基于多摄像机系统(MCS)的相对导航与控制方案.该方案中的位姿估计算法通过结合3D-3D位姿估计技术和N点透视技术,能够充分利用多摄像机系统的宽视野和冗余测量信息.使用卡尔曼滤波算法对视觉估计数据进行滤波,并与速度测量数据进行融合,以提高视觉导航算法的精度和鲁棒性.为抑制外部风扰动,设计了一个基于动态对策理论的最优相对轨迹跟踪控制律.仿真结果表明提出的方案能够满足空中加油要求.

一种多目相机的外参数两步联合在线标定方法

相机外参数的标定是计算机视觉和摄影测量领域的研究热点。但是由于实际标定成本和相机安装环境的限制,难以频繁对其进行外参数标定。针对静态多目相机对外参数连续、在线、稳定的标定需求,提出一种多目相机外参数两步联合在线标定方法。该算法通过对共线交会的外参数初值进行稀疏光束法平差,使外参数存在系统噪声的情况下仍获取稳定估计值。外参数标定的实测试验和仿真分析结果表明,该方法对外参数初值系统误差具有鲁棒性强和收敛速度快的优点,解决了多目相机外参数的在线快速标定问题;满足对静态、连续、在线外参数标定有较高需求的实际工程应用,对视觉导航有参考和借鉴意义。

污水排放的远程监视监测系统

本文介绍了由环保部门通过电脑远程监视、监测所属企业污水排放的情况 ,并在电脑上自动记录各项监测的数据 。

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法:根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。

单目视觉的深度与位姿联合预测网络

深度图与相机位姿参数是图像三维场景重建的重要数据,使用两个卷积网络分别预测,不仅效率低并且切断了二者之间的联系。对此提出一种联合预测深度图与相机位姿的卷积神经网络,输入单幅RGB图像,经过共享编码器编码,经两路子网络分别解码输出深度图与相机位姿参数,其中位姿预测子网络也为双路结构,将位置与姿态参数分离,避免两类参数的串扰。该网络的多任务结构通过信息共享可提升预测精度和效率。实验验证了该方法的可行性与优异性。

网络环境下智能监控综述

网络环境下的智能监控在各类技术背景的支持下迅速发展了起来,广泛应用于生产制造、智能安检、图像检索、医疗影像分析等领域.与此同时,对其核心计算机视觉的研究更是处在高新技术研究领域的前沿.现今计算机视觉技术面临着语义信息描述模糊、效率低下等诸多问题.本文旨在研究网络环境下的智能监控技术的基础上,回顾并分析其发展轨迹,梳理各核心技术的内在联系并加以归纳总结,展望其发展趋势,并针对其热点研究之—视觉跟踪,特别是多摄像头协同工作的情况,进行了较为详细的介绍.

远程多摄像机协同跟踪实现方法研究

随着Internet的迅速普及和发展,摄像机进行远程监视的应用越来越多。目前基于Internet的单摄像机远程监视技术已经日臻成熟,而多摄像机实现多视角拍摄、协同跟踪以及定位的摄像机远程控制技术还在研究过程中。文章对摄像机远程控制在制造业远程视频监视系统中的应用进行了需求分析,主要讨论了基于Internet网络的多摄像机协同控制系统的结构设计和其中的关键技术。

基于多目位姿实时监测的多体协同技术研究

多目位姿实时监测系统是一种高精度的数字化测量设备,可用于获取目标物在空间中三维位置信息。本文将多个麦克纳姆移动机器人和多目视觉系统相结合构建智能体集群系统,该系统由定位子系统、通信子系统、控制子系统3部分组成。多目视觉系统作为定位系统通过反光靶球对智能体进行定位,通信子系统将定位信息实时输入控制子系统,控制子系统识别不同的智能体,并将相机坐标系下位姿关系转换到世界坐标系下,再根据不同智能体彼此间的位置关系,设计相应的协同控制算法解算单个智能体所需的姿态控制输入,控制智能体达到指定的位置。测试结果表明,用多目位姿实时监测系统辅助多智能体定位,定位误差小,可令整个智能体集群拥有良好的协同控制性能。

基于颜色不变量的多相机目标匹配方法

针对监控系统中存在复杂光照变化的问题,提出一种基于颜色不变量的多相机目标匹配方法。将人体目标分为头部、躯干和腿部,在导数空间和色度空间中,利用高斯光谱模型提取位于边缘和区域的颜色不变量,通过矩函数得到与平移、旋转和尺度变换无关的矩不变量,用描述子进行目标匹配。实验结果表明,该方法能适应场景中复杂的光照环境变化,以及低分辨率特征不充分等情况,并能获得较高的目标匹配正确率。

车载多摄像头监控终端的设计

提出了在无线网络环境下实现对行驶中车辆进行车内多个摄像头的图像信息、GPS位置等信息的采集的方法.该方案是在PIC单片机的控制下,利用GPRS DTU进行无线通讯,使用CPLD扩展接口与多个摄像头进行连接,最终将位置、图像等传感器信息协调传输到服务器.论述了整个系统的设计过程和传输中错误的判断和处理方法.该方案简单、经济可靠,降低了多摄像头监控系统的成本,并且已经在多条线路中投入使用,产生了显著的经济效益.

基于弱随机相机位姿图像的三维场景恢复

随着深度学习的快速发展,基于多视图的三维场景恢复研究和应用越来越广泛。许多研究者关注通过优化深度学习网络提高三维场景恢复效果,深度学习使用的训练数据集的相机位姿分布具有规范度高的内在特点。然而在实际应用中,普通用户拍摄目标场景时,相机位姿分布具有较大的随机性,难以保证获取到和训练数据集质量等同或接近的目标场景图像数据,从而影响恢复效果。为了缓解这一问题,该文提出了基于弱随机相机位姿图像的三维场景恢复方法,通过给用户提供目标场景拍摄建议,降低所获取目标场景图像相机位姿分布的随机性,提高场景的三维恢复效果。首先,用户在目标场景拍摄指导下,获得同一场景下不同视角的二维图像数据,然后通过SFM(Structure From Motion)恢复场景的三维稀疏点云和相机位姿,最后在MVS(Multi-View Stereo)网络模型中进行三维点云的稠密重建。实验结果表明,相比拍摄建议前,该方法有效降低了所获取目标场景图像相机位姿分布的随机性,三维场景恢复成功率提高了52.95%。

基于一阶径向畸变算法的双目摄像机多位姿标定方法

双目立体视觉中在对物体进行三维测量或精准定位时,需要对摄像机进行标定以获得其内外参数。研究径向畸变摄像机模型,构造了基于一阶径向畸变(RAC)算法的双目摄像机内外参数线性求解公式。考虑侧倾角、旋转角、俯仰角以及透镜的主要畸变因素,修正了传统RAC标定法中只考虑径向畸变、部分参数需要先验值的缺陷。利用标定所得内、外参数进行了多位姿双目摄像机三维重构实验。实验结果表明,该标定方法重投影误差分布在[-0.3,0.3],动态识别结果与实际运行轨迹重合率为96%,对降低双目立体视觉三维测量误差率有积极性影响。

基于关节点遮挡推测的多相机手姿态估计方法

基于视觉的手势交互技术被应用在航天员虚拟训练系统中,其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高,因此航天员在操作过程中易出现手势自遮挡,此时难以准确重建航天员手势操作,进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时,甚至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法,在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计,再依据关节点遮挡预测结果,在决策端将各视角的手姿态估计结果进行融合;并采集双视角手势操作视频样例,设计融合实验进行验证。实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题,避免了传统多相机方法的相机校准和数据特征匹配过程,在保证算法实时性的基础上提高了手姿态估计的精度。

基于场边界线的多摄像机智能监控系统研究

伴随视频监控系统的普及,多摄像机智能视频监控技术得到了广泛的研究和应用。特别是视频监控中的运动目标检测分割、运动目标跟踪和多摄像机协同技术,成为计算机视觉领域研究的热点。单摄像机跟踪常被应用的监控范围限制,当监控场景是一个室外环境或需要一个较大的观测范围时,常需要多摄像机进行多物体跟踪。为了建立一套有效的多摄像机智能监控系统,提出一种基于摄像机视野的重叠区域的协同监控方法,找出重叠区域的边界线即场边界线,旨在解决单摄像机监控范围有限的问题,实现对某一场景进行全景监控。在多摄像机系统中各个摄像机的场边界线在其他摄像机中可见的情况下,给出寻找它们的方法。基于此,可基本确定在多摄像机中的运动目标对应关系,获取多摄像机的拓扑关系。

多摄像机协同的最优人脸采集算法

传统的单摄像机采集技术无法保证人脸图像的质量,直接影响人脸信息的应用价值。为此,提出一种最优人脸图像采集算法。通过估算与姿态变化具有对应关系的夹角,对基于特征点的姿态评估方法进行改进,以提高人脸姿态估计的准确率。采用多个摄像机对同一区域进行同步采集,比较同一时刻每个摄像机采集图像的肤色占有率,选出具有最佳视角的人脸图像,并全方位地判别图像中的人脸姿态变化,给出一组正面的人脸图像。在人脸图像质量评价指标中,增加人脸相似度作为图像质量参考指标,并采用一种由粗到细的评价架构。实验结果表明,该算法可提高主客观评价的一致性及人脸识别时的准确率。

一种基于多摄像头的大场景远程实时监控系统

为了满足对大场景进行监控的需求,设计了一种基于多摄像头的远程实时监控系统.系统主要由视频采集、网络传输、远程图像拼接与显示3个部分组成.视频采集部分以FPGA为处理器,通过控制TW2867视频解码芯片实现4路视频同时采集;网络传输部分通过控制千兆以太网收发芯片RTL8211EG,并采用UDP协议实现了视频数据到上位机的高速传输;上位机接收多摄像头数据后,使用OpenCV及GPU完成了图像的快速拼接和显示.采用千兆交换机构建了8个摄像头的大场景远程实时监控系统,测试结果表明:系统视频传输速率可达912 MB;初始化完成后,全景图像拼接时间只需0.38 s;视频刷新速度可以达到15帧/s.所设计的系统可以扩展连接更多的摄像头,满足了更大场景拼接的需求.

多相机非共视场的非合作圆特征位姿测量方法

以大型光学模块转运时基于视觉的位姿测量为背景,利用目标底部同一平面的两个圆特征,针对大目标近距离对接时的环境限制,提出一种基于距离和角度约束的多相机非共视场位姿检测方法。对接时球头与锥孔正确对接,将两个相机分别固定于球头机构的内部后采集锥孔边缘的圆特征,利用非共视场成像的多相机标定获取两相机位置关系,融合多个相机的位姿信息,利用两圆共面和两相机位置关系约束剔除空间圆位姿解算时的虚假解。实验验证了该方法的精度,在1140mm的工作距离时,圆边缘特征的姿态角误差小于0.5°,圆心的计算误差小于1.0mm,实验结果表明该方法可准确计算位姿,结果可靠有效,在大目标近距离位姿测量时具有明显实用性。