基于YOLO的浮体运动测量技术

为解决进行海洋浮体运动测量时测量速度与测量精度无法同时保障的问题,通过将YOLO目标检测算法与双目深度相机相结合,提出了一种基于机器视觉的浮体运动测量系统,通过振动台实验与波浪水槽进行了验证实验.结果表明:该系统可准确稳定地实时追踪与测量快速运动浮体的空间位置,并且适用于真实的波浪运动环境.研究成果为海洋工程实践中的浮体测量问题提供了更加优良的解决方案,进而有助于提升海上人工作业的安全性.

K-nearest neighborhood based integration of time-of-flight cameras and passive stereo for high-accuracy depth maps?

Both time-of-flight(ToF) cameras and passive stereo can provide the depth information for their corresponding captured real scenes, but they have innate limitations. ToF cameras and passive stereo are intrinsically complementary for certain tasks. It is desirable to appropriately leverage all the available information by ToF cameras and passive stereo. Although some fusion methods have been presented recently, they fail to consider ToF reliability detection and ToF based improvement of passive stereo. As a result, this study proposes an approach to integrating ToF cameras and passive stereo to obtain high-accuracy depth maps. The main contributions are:(1) An energy cost function is devised to use data from ToF cameras to boost the stereo matching of passive stereo;(2) A fusion method is used to combine the depth information from both ToF cameras and passive stereo to obtain high-accuracy depth maps. Experiments show that the proposed approach achieves improved results with high accuracy and robustness.

立体显示中立体深度与视差图获取的关系

自由立体显示器的再现立体深度与视差图的视差大小有关系,而视差的大小与获取视差图时相机摆放方式密切相关。本文采用平行结构放置相机,通过设置相机间距使得拍摄到的视差图在相对平移后某一深度物点具有零视差,而另一深度物点具有所期望的视差。视差大小体现了再现立体深度大小,从而得到再现立体深度与相机间距间的定量关系。通过实验验证了推出关系的正确性。该研究结果可用于指导拍摄立体影像时相机的摆放,便于获得适当的视差图以达到最佳的立体显示效果。

双目视觉变焦测距技术

双目视觉测距是根据视差原理,将三维空间求深度信息的问题转化成二维空间求视差。提出一种改进的变焦测距方案,使得传统双目视觉测距系统的测量范围得到更好的延展性,测量精度有了更好的自适应性。提出测距系统的"灵敏度"定义,它是决定系统有效量程和测量精度的重要指标。根据灵敏度函数的具体标定,提出自适应的变焦测距策略,在实际的测量应用测试中已收到较好的效果。

双镜头3D摄像系统的设计与标定

3D摄像系统的内参数以及相互位置关系与视差、立体深度密切相关。在双镜头3D摄像系统数学模型的基础上设计了组合式3D摄像系统,提出了一种基于显像棋盘作为标定靶面的新方法,直接利用液晶显示器生成动态标定靶面,运用标定工具箱对双摄像头内外参数进行标定,并利用标定的参数验证组合式3D摄像系统结构设计的合理性。实验表明,该标定方法方便、快捷,操作过程简单,取得了较高的精度,适合3D摄像系统的标定,标定后的组合式3D摄像系统符合人眼立体视觉。

一种鱼眼镜头成像立体视觉系统的标定方法

鱼眼镜头成像立体视觉系统在微小型机器人视觉导航和近距离大视场物体识别与定位中有着广泛的应用 .尽管鱼眼镜头摄像机具有很大的视场角 (接近 180°) ,但同时也引入严重的图像变形 ,常规的摄像机标定方法无法使用 .该文提出一种标定鱼眼镜头摄像机立体视觉系统的方法 .在鱼眼镜头变形模型的基础上 ,通过考虑鱼眼镜头成像的径向变形、偏心变形和薄棱镜变形 ,建立了鱼眼镜头成像的精确成像模型 ;然后 ,利用非线性迭代算法 ,精确求解摄像机外部参数、内部参数 .实验表明 ,使用该方法得到的立体视觉系统参数满足精确恢复大场景稠密深度图的要求 .

3D电视节目的防眩晕拍摄技术研究

分析了为防止观众晕眩而在3D显示端采取的技术参数,针对显示端的参数限制,分析了摄像空间与显示空间的关系,对重点的摄像参数进行了推导,给出了为防止观众晕眩而需要采取的必要的拍摄技术步骤。

双目立体视觉三维重建技术

使用两台CCD相机采集目标物体的二维图像,并对相机进行标定,产生类似于人类的视差效果。再对二维图像进行立体匹配及深度信息的提取,最终完成目标物体的三维重建。

一种视差法与变焦法融合的深度估计方法

视差法与变焦法是两种基于图像的三维重建方法,由于它们在所需数据集与深度计算方法上的差异,故具有不同的优势和应用场合。通过利用摄像机阵列,在获取多视点数据集的基础上,提出了一种视差法与变焦法融合的深度估计方法。先利用视差法选取候选深度集,然后利用视差法与变焦法结果的带权线性混合函数选取最终深度,从而解决了视差法与变焦法数据集的获取及单一方法对深度不连续区域鲁棒性较低的问题。实验结果表明该方法的可行性与优越性。

基于双目会聚型立体摄像机的目标深度测量

目标物体的三维测量是双目立体视觉的一项重要任务。基于视差的平行摄像机模型是最常见的用于三维重建的双目摄像机模型。一般双目立体摄像机不是严格平行的,所以采用上述方式进行三维重建时需要进行极线校正。提出了一种新的用于三维测量的双目摄像机模型,该模型针对一般常见的非平行的会聚立体摄像机模型。采用该模型进行目标物体的三维测距时,根据摄像机标定得到的相对外参,即可快速得到目标物体的深度信息。同时,本文从分辨率的角度对提出的深度测量方法进行了精度分析。实验结果验证了提出方法的有效性和可靠性。

一种深度相机与双目视觉结合的视差估计技术

对于双目视觉立体匹配算法,先验的视差范围估计是影响算法匹配效果和运行时间的重要因素。在双目视觉系统的实际应用中,匹配视图之间的视差范围通常随场景的变化而不断改变,因此需要对视图间的视差范围进行有效的自动估计。针对此问题,开发了一种双模相机,可分时采集场景的灰度图像和深度图像,该深度图像与灰度图像有相同的空间分辨力。在双目视图匹配过程中,通过引入深度图的信息,可约束每一个待匹配像素的视差范围。对于实验室内采集的普通视图对,本文方法相较以视图间视差最大、最小值为约束的方法,匹配速度提高3倍以上,匹配误差减少2%,有效提高了匹配的可靠性和普适性。

基于TOF与立体匹配相融合的高分辨率深度获取

深度获取在机器人导航、语义感知、操控和远程监控等领域有较高的应用价值。目前已有的深度获取方法包括深度相机(如TOF)和立体匹配算法。然而,深度相机有两个主要问题:易受噪声干扰和所得深度图分辨率较低。立体匹配能够获得高分辨率的深度图,但在弱纹理或重复纹理区域无法提取准确的深度信息。而深度相机却可以在这些区域提供深度信息。基于以上TOF深度相机和立体匹配之间的互补特性,提出了一种将TOF深度相机所得深度图与立体匹配所得深度图相融合的方法获取高分辨率深度图,实现优势互补。文中提出一种新的基于TOF与立体匹配相融合的高分辨率深度图获取方法,通过在弱纹理或重复纹理区域使用TOF深度获取方法和在复杂纹理区域使用立体匹配算法进行深度获取,最终获取高分辨率深度图。实验结果表明,本文的融合算法比单独使用两种方法能产生更好的视差图,而且较其他融合算法在准确度和速度上有所提高。

基于AI和3D扫描技术的VR全息直播系统的设计实现与应用

世界由三维空间构成,但传统摄像机只能拍摄二维画面,为实现全息传输,本文对全息直播系统进行设计与实现,使平面视听跃升为VR全息视听。同时还介绍了3D扫描立体成像技术、VR技术、全息节目采编制作技术、测试与分析、AI与多应用场景。

双目视觉下交通路标的立体匹配算法研究

将亮度信息与结构张量结合起来,形成扩展的结构张量,并计算亮度在x和y方向的方向导数,使得图像的局部结构更加突出。用平行型双目摄像机拍摄目标图像,获得目标的深度信息,计算左右图像的标准视差。根据标准视差比较SURF、PCA和扩展结构张量3种特征匹配算法的匹配精度。通过比较可知,扩展结构张量在双目视觉立体匹配中获得匹配点的准确性更高。

基于双目技术的室内三维测量算法研究

研究了基于双目技术的室内三维测量方法,获取了室内目标的三维信息,用于室内三维测量、三维定位以及提取目标深度信息;该方法基于双目视差三角测量原理,利用张正友棋盘格标定、Bonguet立体矫正算法、基于区域的立体匹配算法BM/SGBM等技术,计算了室内目标的深度信息;经过测量,实验结果满足预期误差,并从标定误差、实验环境误差和算法误差3个方面分析误差原因,为以后提高测量精度、降低误差提供方向。

基于虚拟深度的聚焦型显微光场相机深度测量标定

针对聚焦型显微光场相机在内部光学参数未知的情况下,进行了基于虚拟深度的深度测量标定。首先基于高斯光学建立光场成像模型,推导出虚拟深度与实际深度间的函数关系。然后选择单一角点的标定板,在不同深度位置进行拍摄;该角点在多个宏像素中重复成像,相邻重复像点的间距随深度位置改变而变化;利用图像匹配的方法计算相邻重复像点的距离和虚拟深度值,并与实际深度一一对应进行曲线拟合。根据拟合结果,分析了不同深度位置下,该光场成像系统的深度测量分辨率。最后,通过拍摄已知倾角的倾斜棋盘格标定板,进行深度测量并分析测量误差,在主镜头工作距离靠近镜头方向2 mm(10倍景深)范围内,测量误差小于5.35%。

多目聚焦立体视觉

多目聚焦立体视觉系统,是计算机视觉技术的新应用。具有测算稳定、安全、无干挠的特点。本文分析了测距原理。仿真试验结果证明多目聚焦立体视觉这种测距系统可精确实现复杂场景目标测距定位。

基于立体视觉的目标深度图提取算法研究

随着人类探测领域的扩大,智能移动平台已经在很多领域开始替代人类手工操作。为适应工作环境的复杂多变,使智能移动平台探测环境能更好地进行自主导航和避障,目标深度图的提取变得十分重要。本文为实现基于立体视觉的目标深度图的自动提取算法,讨论了工业相机的标定技术,重点研究了基于窗口的稀疏点特征匹配算法,通过实验,验证该算法能较好地实现立体视觉下的目标深度图自动提取,满足精度要求。

结合同场景立体图对的高质量深度图像重建

目的越来越多的应用依赖于对场景深度图像准确且快速的观测和分析,如机器人导航以及在电影和游戏中对虚拟场景的设计建模等。飞行时间深度相机等直接的深度测量设备可以实时的获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率比较低,无法满足实际应用的需要。通过立体匹配算法对左右立体图对之间进行匹配获得视差从而得到深度图像是计算机视觉的一种经典方法,但是由于左右图像之间遮挡以及无纹理区域的影响,立体匹配算法在这些区域无法匹配得到正确的视差,导致立体匹配算法在实际应用中存在一定的局限性。方法结合飞行时间深度相机等直接的深度测量设备和立体匹配算法的优势,提出一种新的深度图像重建方法。首先结合直接的深度测量设备采集的深度图像来构造自适应局部匹配权值,对左右图像之间的局部窗立体匹配过程进行约束,得到基于立体匹配算法的深度图像;然后基于左右检测原理将采集到的深度图像和匹配得到的深度图像进行有效融合;接着提出一种局部权值滤波算法,来进一步提高深度图像的重建质量。结果实验结果表明,无论在客观指标还是视觉效果上,本文提出的深度图像重建算法较其他立体匹配算法可以得到更好的结果。其中错误率比较实验表明,本文算法较传统的立体匹配算法在深度重建错误率上可以提升10%左右。峰值信噪比实验结果表明,本文算法在峰值信噪比上可以得到10 d B左右的提升。结论提出的深度图像重建方法通过结合高分辨率左右立体图对和初始的低分辨率深度图像,可以有效地重建高质量高分辨率的深度图像。

基于全景环带立体成像系统的深度信息估计

提出了一种基于全景环形透镜(PAL)的全景环带立体成像系统的立体信息提取方法。该成像系统由两组共轴PAL单元构成,其成像圆为两内外相接的圆环,能够实时提取360°水平视场角物体的立体信息。基于该系统的成像原理,针对非单视点成像系统特点建立相机模型对系统进行标定,并验证了标定结果。将尺度不变特征变换(SIFT)算法应用到对应点匹配上,充分利用本系统的共线约束来提高匹配的速度和准确度。应用三角测量原理从捕获的图像中提取有效深度信息。进行立体信息提取实验,给出了结果和误差分析。该系统能有效获取场景深度信息,3m距离范围误差率在±5.2%内,证明了该系统的可行性。