MULTI-EPIPOLAR LINES MATCHING-BASED RAY-SPACE INTERPOLATION FOR FREE VIEWPOINT VIDEO SYSTEM

Ray-space based arbitrary viewpoint rendering without complex object segmentation or model construction is the main technology to realize Free Viewpoint Video(FVV) system for complex scenes. Ray-space interpolation and compression are two key techniques for the solution. In this paper,correlation among multiple epipolar lines in ray-space data is analyzed,and a new method of ray-space interpolation with multi-epipolar lines matching is proposed. Comparing with the pixel-based matching interpolation method and the block-based matching interpolation method,the proposed method can achieve higher Peak Signal to Noise Ratio(PSNR) in interpolating rayspace data and rendering arbitrary viewpoint images.

多目鱼眼视觉SLAM特征点误匹配的剔除优化

为了解决由于鱼眼图像显著失真和明显的视角差异而导致的定位精度下降的问题,提出了一种去除多目鱼眼视觉SLAM系统中误匹配特征点的策略。该策略采用从粗到细的误匹配特征点去除过程,在粗匹配阶段,使用阈值为0.6的匹配算法获得粗匹配阶段的初始点集。在精细去除阶段,采用预校准的多摄像机模型将匹配的特征点转换为同一坐标系,并将其作为承载向量投影到单位球上,利用球上的外极约束去除不匹配的特征点。在去除不匹配的特征点后,在投影球面上建立重投影误差函数,对初始姿态点和映射点进行非线性优化。该策略在24 000张鱼眼图像上进行了测试,结果表明,该剔除策略显著降低了失配率,提高了初始化和定位精度,有效地提高了系统的定位精度和性能效率。

一种改进的视图几何基本矩阵估计法

多视图几何中的基本矩阵估计需要利用准确的对应点,但是图像噪声或光线变化会产生错误匹配,进而严重影响基本矩阵估计的准确度。为提高基本矩阵估计的准确性,文章提出了一种基于对极约束梯度的迭代方法去估计基本矩阵。该方法能在最少的迭代次数下迅速剔除两视图匹配过程中的错误匹配点。然后再加入对应点相关性的约束,可以得到最佳对应点集合用于估计基本矩阵。通过在各类不同场景的图像上实验分析可以发现,该方法相比于其他方法估计基本矩阵误差至少降低20%。

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D(正确估计关节位置的百分比)分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE(关节位置误差的平均值)为16.80 mm,实验结果优于VoxelPose.

基于边缘辅助极线Transformer的多视角场景重建

基于深度学习的多视角立体几何(MVS)旨在通过多个视图重建出稠密的3维场景。然而现有的方法通常设计复杂的2D网络模块来学习代价体聚合的跨视角可见性,忽略了跨视角2维上下文特征在3D深度方向的一致性假设。此外,基于多阶段的深度推断方法仍需要较高的深度采样率,并且在静态或预先设定的范围内采样深度值,容易在物体边界以及光照遮挡等区域产生错误的深度推断。为了缓解这些问题,该文提出一种基于边缘辅助极线Transformer的密集深度推断模型。与现有工作相比,具体改进如下:将深度回归转换为多深度值分类进行求解,在有限的深度采样率和GPU占用下保证了推断精度;设计一种极线Transformer模块提高跨视角代价体聚合的可靠性,并引入边缘检测分支约束边缘特征在极线方向的一致性;为了提高弱纹理区域的精度,设计了基于概率成本体积的动态深度范围采样机制。与主流的方法在公开的数据集上进行了综合对比,实验结果表明所提模型能够在有限的显存占用下重建出稠密准确的3D场景。特别地,相比于Cas-MVSNet,所提模型的显存占用降低了35%,深度采样率降低约50%,DTU数据集的综合误差从0.355降低至0.325。

高分七号与资源三号卫星联合服务机场净空监测

针对机场净空监测DSM生产需求,本文基于高精度控制资料对高分七号(GF-7)卫星影像进行立体匹配,得到DSM数据,但高层、超高层建筑匹配效果不佳,人工立体编辑工作量较大,因此对GF-7与资源三号(ZY-3)卫星影像进行联合区域网平差,采取多视准核线影像匹配、全局优化遮挡检测与视差空洞修补等技术,立体匹配得到高精度DSM数据,有效提取出高层、超高层建筑,为机场净空监测提供了基础空间数据。

基于高分七号卫星影像生产建筑白模

高分七号卫星是我国首颗民用亚米级高分辨率光学传输型立体测绘卫星,在建筑密集地区或地形起伏较大的山区易发生遮挡。建筑基底高程、建筑高度提取是生产建筑白模的关键,构建实景三维场景可实现建筑白模的自动生成与可视化。对高分七号与资源三号卫星影像进行多视准核线影像匹配,以高分七号卫星影像为主,通过全局优化遮挡检测与视差空洞修补等技术生成高精度DSM数据,有效获得建筑顶部高程。基于高分七号卫星影像选取建筑物密集区域进行建筑白模生产实验,为后期实景三维中国建设做好技术支撑。

多目立体视觉测量系统中的快速去伪匹配法

以外极斜率匹配为基础,针对多目立体视觉测量系统的特点,提出了一种可有效解决立体图像对匹配过程中的匹配多义性问题的快速去伪匹配法。

一种高效的图像匹配算法

兼顾算法的精度和效率两个方面,基于图像特征的图像匹配算法,逐渐成为众多学者研究的热点。文中提出了将多分辨率和极线约束与相关法相结合的图像匹配方法。该方法采用金字塔分层和极线约束来弥补相关匹配带来运算量大的不足,克服了图像匹配中精度低和速度慢的缺点。通过实验验证该方法不仅能够有效地缩短匹配时间,还能达到较高的匹配精度。

多视点图像的前景对象自动分割方法

为了将前景对象从多视点图像中自动地分割出来,提出一种基于多视点图像特征分析的对象提取方法.首先采用改进的随机Hough变换提取极线平面图中的直线,并对已检测直线的斜率进行统计分析;然后根据对象在场景中所处的深度,将对应斜率的直线转换到原始图像空间中得到初始轮廓;并利用边缘生长方法缩短断开边缘的间距;最后采用边缘连接方法获得闭合的轮廓曲线.实验结果表明,与基于水平集的主动轮廓模型分割方法相比,文中方法能更加快速、精确地将对象从复杂场景中分割出来.

使用对极几何的多视角分布式视频编码

为了降低多视角分布式视频编码中解码器复杂度,解决视角间边信息的获取精度等问题,将一种新的基于对极几何的视差估计算法用于多视角分布式视频编码系统。提出的系统通过对视角间的冗余信息使用对极几何约束,采用新的视差搜索开始点,限制垂直方向的搜索范围以加快搜索速度。实验结果表明,提出的系统相对于运动JPEG(MJPEG)编码的主要运算绝对差值和(SAD)计算次数减少10倍,相对H.263+减少7倍。同时提出系统相对MJPEG编码有6～7dB增益,相对H.263+有3dB增益。

极线约束下的多分辨率相关匹配算法

针对计算机视觉在几何测量应用中图像匹配特点,提出了将多分辨率和极线约束与相关法相结合的图像匹配方法。该方法采用金字塔分层和极线约束来弥补相关匹配带来运算量大的不足,克服了图像匹配中精度低的缺点。通过计算机视觉在几何测量检测系统中图像匹配的实际应用,验证了该算法具有较高的测量精度、速度及其实用性。

基于三焦点张量点转移的多摄像机协同

针对复杂遮挡环境下多摄像机协同的问题,提出一种基于三焦点张量点转移的多摄像机协同目标定位方法.该方法利用单摄像机视图中头部检测的结果进行对极匹配,然后利用虚拟顶视图和摄像机视图之间的三焦点张量关系进行点转移,确定行人在虚拟顶视图中的位置.该方法的优势在于:不需要标定摄像机参数,不需要假设物体在共同平面上运动,不存在利用对极关系进行点转移时出现的交点退化的问题.与传统方法的实验结果对比表明了该方法的有效性和准确性.

一种新的异源高分辨率光学卫星遥感影像自动匹配算法

提出一种新的异源高分辨率光学卫星遥感影像自动匹配方法。首先利用高分辨率光学遥感影像有理多项式模型(RFM)正解模型,通过迭代计算其反解模型,并将RFM反解模型与投影轨迹法结合提取特征点对应异源影像核线,通过核线检查与对比分析确定同名点搜索范围。然后在搜索范围内利用最小欧式距离准则提取初始同名点,最后采用RANSAC算法和多项式拟合迭代法剔除误匹配点以获取最终的匹配结果。试验结果表明,相对于传统的SIFT算法,本文方法通过对异源影像特征点构建核线几何约束和灰度分析进行匹配,可获取更好的匹配效率和精度。

基于极线几何的改进多约束图像立体匹配

针对计算机视觉和模式识别领域基本而重要的问题——立体匹配,提出了一种基于极线几何、结合特征匹配与区域匹配、视差梯度约束等多约束立体匹配算法,实现图像快速准确匹配。该算法将现有的基于特征和基于窗口匹配两种方法相结合,并加入视差梯度等约束条件,有效弥补了单一匹配算法的不足,同时增强了算法适应性。实验表明,该算法具有更高的求解质量和求解效率,可以满足双目立体视觉系统的需要。

基于多判据的多目视觉手势立体姿态检测系统研究

为了精确识别人手姿态用于机器手控制,文中讨论一种基于计算机视觉的手势立体姿态检测的新方法。该方法利用多目视觉之间的配合,有效地解决了检测识别时手部关键节点互相遮挡的关键问题。采用了自适应阈值分割、harris角点检测、外极线约束等几种合理、有效的点的匹配算法,对不同摄像机拍摄到的手部关键节点进行排序,这样不仅解决了特征点的位置归属问题,也解决了图像与对应点的匹配问题。通过实验表明:对手部关键节点的检测达到了满意的结果。

线阵影像GC^3多视匹配及其扩展模型研究

介绍了GC3线阵影像多视匹配模型,给出了该模型的匹配流程。分析了GC3模型在降低计算量方面的不足,给出了其扩展模型AMMGC。结果表明,GC3模型能够利用多张线阵影像信息,解决相似特征误匹配问题,提高匹配可靠性;AMMGC模型能够综合利用匹配、检查手段,在获取GC3模型等价匹配效果的同时,将匹配计算量平均降低至原先的68.97%。

基于视差图像序列的深度估计算法研究

现有的深度估计算法中,Kim算法不需要全局优化,可以保留精确的目标轮廓,同时仍然确保在少量细节的区域中平滑重建,得到的效果相对较好,但是其在深度扩散算法中时间复杂度太高,不适合广泛应用.针对这一问题,我们对其深度扩散算法进行改进.首先,根据边缘图像的深度范围覆盖整个场景的深度,将深度扩散的方式转变为在边缘深度范围内的快速搜索而非整个区域的全局搜索,明显降低了算法的时间复杂度.另外,根据极平面图像(EPI)的线性结构,将深度扩散沿着斜率的方向对多个视角进行综合考虑扩散,而非只是针对单个视角下的像素点进行,使非边缘平滑区域的扩散更加精准.经过仿真验证,本文的算法在一定程度上优于Kim算法,可以广泛使用.

基于串匹配的多视点视频图像阵列自编码仿真

针对传统多视点视频图像列阵自编码方法编码效率低、响应时间长的问题,提出基于串匹配的多视点视频图像阵列自编码方法。首先根据串匹配算法,组建视点之间相互对应的对极线校正索引表。将其应用于视觉估计中来缩小两视点之间的视差搜索范围,然后将原有的视差搜索二维降到一维,利用拟合三维二次函数确定不同关键点的具体坐标位置以及尺度,同时删除无用的响应点,在得到匹配点后,通过描述子来准确描述特征点,匹配不同的描述子信息,获取符合标准的匹配点集,以达到多视点视频图像阵列自编码的目的。仿真结果表明,所提方法能够有效提升编码效率,且所需响应时间短,能够获取理想的编码效果。

改进的基于对极几何的DMVC空间边信息重建

分布式多视点视频系统中,边信息分为时间边信息和空间边信息,其中,基于对极几何的空间边信息生成算法是目前最有效的方法之一。在基于对极几何的边信息估计过程中,为了更准确快速地确定对极线上的搜索起点,论文通过统计分析相邻视点同一时刻帧内特征点偏移的局部集中性,提出了一种基于空间特征点分布特性的搜索起点确定算法。首先对关键帧图像进行分块,计算每个分块的特征点偏移均值;然后基于空间坐标点深度时域局部连续性,针对当前WZ帧分块,直接利用处于相同位置的关键帧分块的平均偏移值计算初始偏移中心,最后实现空间边信息的重建。实验结果表明,在不增加计算复杂度的前提下,相对于基于中值预测投影点的算法系统总体性能约有0.25～0.8dB的提升。