双镜头3D摄像系统的设计与标定

3D摄像系统的内参数以及相互位置关系与视差、立体深度密切相关。在双镜头3D摄像系统数学模型的基础上设计了组合式3D摄像系统,提出了一种基于显像棋盘作为标定靶面的新方法,直接利用液晶显示器生成动态标定靶面,运用标定工具箱对双摄像头内外参数进行标定,并利用标定的参数验证组合式3D摄像系统结构设计的合理性。实验表明,该标定方法方便、快捷,操作过程简单,取得了较高的精度,适合3D摄像系统的标定,标定后的组合式3D摄像系统符合人眼立体视觉。

基于飞行时间法的3D相机研究综述

基于飞行时间法(Time-of-Flight,TOF)的3D相机是一种体积小、误差小、抗干扰能力强、可直接输出深度信息的新型立体成像设备。目前,该类相机已成为测量成像领域的研究热点。本文首先介绍了TOF相机的发展历程及测量原理;随后对TOF相机测量误差来源及类型进行分析;接着将TOF技术与其他主流的三维成像技术进行对比分析;最后对TOF相机的应用与发展趋势进行了阐述。

基于3D深度相机的机器人手眼标定方法研究与应用

针对工业机器人视觉领域中现有手眼标定方法复杂的问题,提出一种基于3D视觉的简便手眼标定方法,即将3D深度相机和矿山爆破机器人相结合,利用3D深度相机能够获取空间点坐标的原理以及3个参考点的几何关系,获取标定板上参考点到相机的坐标转换关系。同时机器人末端法兰盘中心到机器人基坐标系的转换关系已知,可利用TSAI两步法求取相机到机器人末端法兰盘中心的转换关系,继而求得参考点在机器人基坐标系中的位姿。把此手眼标定方法应用到矿山爆破机器人系统中,实验结果表明,最大坐标误差为5.7 mm,最小误差为0 mm,精度满足现场矿山孔洞的定位要求。该文的创新点是利用深度相机的原理和3个点的几何关系求取参考点到相机的转换关系。

一种基于深度摄像机的3D人体步态建模和识别方法

步态识别在反恐、安防、智能监控和现实挖掘等领域具有广泛的应用前景,但现有的二维步态分析方法在面对视角变化、物体携带等复杂应用场景时受到限制。对此,探讨一种以人体点云数据为基础的三维参数化步态建模和识别方法。运用深度摄像机获取人体点云数据,对标准的参数化人体模型进行形体和姿态变形;通过观测步态点云轮廓与标准三维参数人体轮廓之间的距离度量函数,运用改进鲍威尔法进行极小值求解,实现人体点云数据到三维参数化步态模型的估计;以估计的三维人体姿态和形体语义参数作为结构化步态数据,通过具有时序结构的长短时序记忆模型来提取步态时空特征,借助SoftMax分类器进行训练,实现人体步态识别。实验结果表明,基于三维的人体步态识别方法在处理视角可变的步态识别问题上有很好的效果和应用前景。

基于RGBD与MVS三维重建技术的3D打印机逆反馈系统

3D打印技术是利用计算机对目标产品进行设计,并将设计模型转变成实物。然而,在打印过程中,由于多方面原因,常常产生加工误差。基于RGBD与MVS三维重建技术的3D打印机逆反馈系统依靠RGBD深度摄像头以及携带旋转升降机构的3D打印机对在打印零件实现全方位的扫描。采用RGBD与MVS算法进行2次三维重建,将三维重建后的扫描模型与含支撑材料的设计模型进行对比,以实现对在打印零件的加工误差检测,提高3D打印工作的工作效率和可靠性。

基于3D结构光技术的校园卡替代方案研究

校园卡系统作为学校的核心基础设施平台,在校园生活和管理等方面发挥了极其重要的作用。学校致力于建设发展校园卡系统,从而提升学校信息化水平。文章引入3D结构光的概念,利用识别技术作对比(以主流3D摄像识别为例),分别从效率、分辨率、算法难度、精度等方面验证其可行性、能动性、便捷性和应用效果。

基于深度相机的大尺寸船体曲板测量技术研究

文中设计了一种基于深度相机的船体曲板测量系统.该系统将深度相机与伺服驱动结合,使用计算机控制采集过程,获取指定位置的多组小范围点云.采用一种超体素聚类改进的区域生长分割方法从原始点云数据中提取曲板表面点云,通过相机安装的相对位置和伺服系统的返回参数值拼接完整的船体曲板三维点云.使用该系统在3 000 mm×3 000 mm范围测量船体曲板,所得非边缘点云平均误差为0.61 mm,符合预期精度要求.

猪三维点云体尺自动计算模型Pig Back Transformer

[目的/意义]为了提高体尺关键点定位准确率,猪三维点云体尺自动测量方法会采用点云分割,在各个分割后局部点云定位测量关键点,以减少点云之间相互干扰。然而点云分割网络通常需要消耗较大计算资源,且现有测量点定位效果仍有待提升空间。本研究旨在通过设计关键点生成网络从猪体点云中提取出各体尺测量所需关键点。在降低显存资源需求的同时提高测量关键点定位效果,提高体尺测量的效率和精度。[方法]针对猪三维表面点云进行体尺测量,提出了一种定位猪体尺关键点的模型Pig Back Transformer。模型分为两个模块,分别设计了两种改进的Transformer自注意力编码器,第一模块为全局关键点模块,首先设计了一种猪背部边缘点提取算法用于获取边缘点,再使用edge encoder编码器以边缘点集合作为输入,edge encoder的edge attention中加入了边缘点和质点的偏移距离信息;第二模块为关键点生成模块,使用了back attention机制的back encoder,其中加入了与质心和第一模块生成的全局关键点的偏移量,并将偏移量与点云注意力通过按位max pooling操作结合,最后通过生成猪的体尺测量关键点和背脊走向点。最后设计了使用关键点和背脊走向点作为输入的体尺算法。[结果和讨论]对比关键点和背脊走向点生成任务上Pig Back Transformer表现最佳,并对比体尺计算结果与人工测量结果,体长相对误差为0.63%,相对PointNet++、Point Transformer V2、Point Cloud Transforme、OctFormer PointTr等模型有较大提升。[结论] Pig Back Transformer能相对准确地生成猪体尺关键点,提高体尺测量数据准确度,并且通过点云特征定位体尺关键点节省了计算资源,为无接触牲畜体尺测量提供了新思路。

基于TOF相机的备煤仓清理识别定位方法

在传统制造业致力于自动化、智能化升级的时代背景下,针对钢铁行业备煤仓异物清理过程中生产环境复杂、工作周期长、危险性高等特点,提出一种基于TOF相机的备煤仓清理识别定位方法。首先使用TOF相机获取备煤仓下料口深度图像并将其投影为二维图像;其次使用预处理算法对图像进行增强处理得到清晰二值化图像;然后利用斑点检测计算落料口栏杆间隙中心坐标;进而计算异物中心点所在间隙坐标实现异物定位。最后通过实验证明该方法能够准确识别下料口处异物的位置,引导机器人完成对多种异物的抓取清理工作。

基于三维重建的动物体尺获取原型系统

为提高现有动物体尺获取技术的效率和自动化程度,提出双深度摄像头动物实时三维重建系统,进而进行动物体尺获取。基于随机采样一致性算法的圆球标定方法对摄像头外参数进行自动标定,再利用外参数将同步获取的点云数据进行配准达到实时重建,最后采用优化拾取机制后的交互式测量方法得到体尺。选取Xtion PRO作为点云数据采集设备并以猪标本作为重建对象,利用高精度激光扫描仪的重建数据与该系统重建结果进行了对比试验,结果表明圆球标定算法能够全自动快速地获取摄像头外参数,用该参数配准后的数据平均误差在7.50 mm以内,该系统以15帧/s的速度重建猪体全身,获取误差在4%以内的体尺信息,达到农业上动物体尺测量的一般要求,该系统可用于动物体尺测量。

基于消费级深度相机的玉米植株三维重建

根据植物表型分析对植物三维重建的需求,针对植物特征点不易提取而影响三维重建的问题,提出了一种基于深度相机的植物三维重建方法。首先,对深度相机进行内部参数标定和深度畸变矫正,以获取准确的深度信息;然后,固定好相机和转盘的相对位置,精确地计算出在当前深度相机的坐标空间下、转盘旋转一个固定角度θ对应的矩阵T;最后,按旋转角θ等间隔转动转盘,获取一系列点云,并结合矩阵T实现点云拼接,完成三维重建。通过与使用商业软件Skanect的重建结果进行对比,本文重建方法只需要配准一次,还原度更高,效率更好,鲁棒性更强,满足植物形态测量需求。

基于噪声点云的三维场景重建方法

为解决深度相机数据噪声导致的过平滑、细节部分精度不够等问题,提出一种基于点云的三维重建方法。采用基于带概率模型的点云设计全局的位姿估计方法用于模型的表达与聚合;设计基于场景特征的子图划分方法,减少冗余子图,使用基于点云的方法进行位姿图优化,实现子图构建;采用基于GPU加速的FPFH算法,从点云上提取特征点进行匹配,提高闭环检测实时性。实验结果表明,该方法可以显著提高模型的质量,在闭环检测上有更高的鲁棒性。

基于深度相机的大直径救援井三维模型重建研究

大直径钻孔救援是一种有效的矿山灾害应急救援方法,通过向人员被困位置施工大直径救援井,采用提升舱将被困井下的人员通过大直径救援井安全可靠提升至地面。大直径救援井的结构参数及其变化对提升舱的通过性能具有重要影响,实时获取大直径救援井的结构参数是大直径钻孔救援科学操作与决策的基础。为了满足大直径救援井结构参数的监测需求,研制了基于双目结构光原理的Intel RealSense D435i深度相机和ROS操作系统的大直径救援井结构参数检测与三维模型重建系统。针对大直径救援井井筒纹理光滑不明显的问题,对比分析了SIFT、SURF、ORB三种图像特征点提取算法提取大直径救援井井筒图像特征点的效果;采用ICP-PNP混合算法,估计深度相机的位姿,并根据相邻帧之间的运动误差筛选关键帧,优化三维点云模型;最后基于大直径救援井提升过程模拟试验平台进行了大直径救援井三维模型的重建试验。研究结果表明:在大直径救援井井筒纹理结构不明显情况下,相同时间内SURF算法具有更好的特征点提取效果;根据相邻帧之间的运动误差筛选关键帧图像,可以稳定地构建大直径救援井三维模型;对大直径救援井三维点云模型进行截面采样,与实际井筒半径误差在2%以内;基于最小二乘圆法对大直径救援井三维点云模型的采样截面进行圆拟合,与实际井筒半径误差在0.4%以内。重建的大直径救援井三维模型能够准确地反映实际大直径救援井的结构参数,为地面应急救援提升的科学操作和决策提供了保障。

基于飞行时间法的红外相机研究综述

基于飞行时间法(Time-of-Flight,TOF)的红外相机是一种新型的、结构小巧、可提取目标3D数据的立体成像设备;它可以高效实时的捕获运动或静止目标的深度信息和灰度信息,目前已经成为测量成像领域的研究热点;对TOF的发展做了系统的阐述,并且分析了该相机的成像原理,相机标定以及测量误差;归纳了TOF红外相机的特点以及应用情况,阐述了TOF红外相机发展趋势。

基于神经网络和深度相机的工件检测与定位系统

针对工业生产线上环境复杂、干扰多的问题,提出了基于深度学习技术和双目IR结构光深度相机相结合的方法,实现了基于SSD-Mobilenet网络和Intel Realsense D435i相机的工件检测和定位系统,可以对目标工件进行实时类别检测和三维坐标获取。通过一系列实验表明:该系统具有抗干扰能力强、检测帧率快、准确率高、定位精度高等优点,可以快速准确引导机械手工作,具有很大的应用意义和价值。

低成本个性化制造原型系统关键技术

传统制造业一般基于大规模生产方式,个性化产品生产成本较高。利用低成本三维扫描、三维打印技术,提出一套低成本的个性化制造原型系统。该系统首先利用深度相机采集个性化几何数据、对数据去噪配准、生成较高质量的重建网格;上传用户信息,进行个性化产品在线设计;最后利用家用三维打印设备或在线三维打印服务进行制作。为了验证提出的方案,实现了眼镜架个性化设计与制造原型系统。

基于扩展核相关滤波的三维目标跟踪

与传统RGB相机相比,RGB-D相机能够提供场景的深度信息,有利于更好地解决目标跟踪问题。现有的方法通常将深度通道作为常规的颜色通道来处理,这忽略了深度信息包含的场景三维结构。文中提出一种将核相关滤波器(KCF)与场景三维结构相结合的方法,通过将核相关滤波器得到的二维响应反投影到三维空间,再通过均值漂移确定目标在三维空间中的位置。通过目标的三维位置又能计算出目标在图像中的尺度。同时,提出一种机制能够有效处理目标完全遮挡。实验表明文中提出的方法能够有效地跟踪目标的三维位置,同时对于遮挡以及光照变化有较好的鲁棒性。

多深度相机标定下稀疏纹理图像三维超分辨率重构

传统基于学习模型的超分辨率重构方法运行复杂,重构的图像细节模糊,分辨率低.为了解决该种问题,提出多深度相机标定下稀疏纹理图像三维重构算法,给出了三维重构的检测数据序列,采用蓝屏法提取图像轮廓,通过Bundler开源软件包实现多深度相机标定,获取标定好的多视图图片.采用SIFT算法提取图片中的特征点,使用基于PMVS的图片三维重构算法,实现稀疏纹理图像的三维重构.分析实验结果可得,所提方法可改善系数纹理图像的分辨率,具有较高的运行性能和鲁棒性.

基于关键点滤波的深度图提取

基于单帧视频2D/3D转换,深度估计是关键。提出一种在伴有相机移动情况下,基于运动的深度估计新方法,采用关键点滤波获取每帧视频像素级的运动矢量。由于相机的移动会引起伪运动矢量,从而导致深度信息模糊,为解决这一问题,采用鲁棒的RANSAC算法估计相机移动模型。首先,通过无相机移动的运动矢量来估计初始深度图。然后,利用基于同类点的后置滤波修正运动物体边缘像素的深度信息。实验结果表明,在有相机移动情况下,该方法对深度图的估计可以取得较好效果。

全自动深度相机三维扫描系统

提出一个具有兼容性、完整性的3D扫描自拍系统,能够简单、快速地重建出带有丰富细节及纹理信息的人体模型.主要的特点是兼容现有的深度的扫描仪,且建模重建过程只需通过简单的交互即可完成.较之前的做法,其主要贡献是提出了一种基于距离场的模型补洞算法,利用数据驱动方式获得较好的形状参数,能够在不损失模型细节的情况下,自动补出头顶的形状,避免深度相机无法扫描头发的缺陷,使扫描变得更加方便,快捷,也提出了一种针对深度相机的纹理自动贴图算法,利用采集的深度数据驱动,可自动计算纹理坐标,均衡不同图片间光照的差别,从而获得最佳的纹理效果.