基于多任务监督学习的室内空间布局估计模型

室内空间布局估计作为当下计算机视觉领域的研究之一,在目标检测、增强现实和机器人导航等任务中发挥着重要的作用。为更加有效地感知室内场景的布局关系,提出了一种基于多任务监督学习的室内空间布局估计方法,端到端地提取出室内场景的空间分割图。针对室内图像的分割特点,设计编码器-解码器的网络结构,并引入多任务监督学习,从而推理出室内空间布局和各区域的语义边缘结果;定义联合损失函数,在模型训练过程中不断优化分割效果;为更好地表达出各区域之间的布局关系,通过各区域的边缘预测结果,对网络模型的输出进行局部精细化处理,以推理出室内场景空间的最终布局。在公共数据集LSUN和Hedau上进行实验,所提方法能够有效地优化室内空间布局估计效果,分别获得7.54%和7.08%的像素误差,总体上优于对比方法。

基于图Transformer的快速布局估计算法

在图像模式识别应用中,针对布局估计任务后处理步骤繁琐、生成算法耗时较长等问题,基于相机成像原理设计了一种快速的布局生成算法,利用图Transformer节点与邻边信息融合的特性,将复杂耗时的后处理步骤转换为平面与线段特征的交叉计算过程。使用Structured3D数据集对整体算法进行测试,结果表明各项评价指标均取得提升,单张图片计算耗时达到87 ms,整体推理速度与主流方法相比提升20%。布局生成算法耗时由单张图片66.31 ms下降至3.18 ms,速度提升了95.21%。

基于分支混合注意力机制的布局估计模型

应用场景理解算法时,现有多任务学习方法存在任务冲突。为此,提出了一种高精度布局估计模型(High Accuracy Layout Model,HALayout),并基于注意力机制设计了一种分支混合注意力模块(Branch Hybrid Attention Module,BHAM)。利用分离融合结构强化模型对不同特征的分辨能力,使算法能够更好地处理特征之间的共性和差异性,提高模型的最终计算精度;使用Structured3D数据集测试HALayout性能,并设计消融实验验证BHAM网络模块有效性。与改进之前算法相比,HALayout各项性能指标均有提升,其中IoU指标提升了2.71%,达到84.11%。

室内场景的布局估计与目标区域提取算法

现有的目标提取方法在应用于复杂的室内场景图像时,容易出现小尺寸物体与平面区域中物体被忽视,以及因遮挡造成大物体提取错误等问题。为此,提出一种针对室内RGB-D场景的无监督布局估计与目标区域提取算法。利用3D点云进行平面分割与分类以完成布局估计,采用2种图像分割方法对RGB-D图像做过分割处理,并利用4种相似度衡量方式进行层次分组。在此基础上,根据布局估计的结果,对不同类别的区域采取不同的边界框匹配策略。实验结果表明,该方法无需预训练即可改善目标区域提取效果,在产生较少目标候选区的情况下提高边界框召回率,加快计算速度。

基于关键点的室内场景布局估计

本文利用单幅RGB图像进行房间布局估计的任务,我们将这个问题转换为房间布局关键点的有序集合的分类判断问题。首先设计一个端到端可训练的编码器/解码器网络来预测房间布局关键点的位置,然后通过房间布局关键的检测并建立关键点的顺序,房屋空间布局由这些排好序的关键点完全指定。

一种由粗至精的室内场景的空间布局估计方法

为有效标注室内场景的布局关系,提出一种由粗至精的空间布局估计方法.首先,采用局部不连续自适应阈值检测场景的长直线段,根据直线段的方向将其分为竖直和水平直线段;基于投票机制和正交准则估计垂直与水平消失点,由这两个消失点等角度间隔地引出成对射线生成场景候选布局.其次,采用VGG-16全卷积神经网络估计相应场景的几何上下文和信息化边界,采用softmax分类器决策其fc7层特征以获取布局类别,融合信息化边界和布局类别生成全局特征以粗选取场景候选布局.接着,基于VGG空间多尺度卷积神经网络估计相应场景的法向图和深度图以提取法向特征和深度特征.然后,利用消失点射线夹角参数化3D盒式布局模型,利用几何积分图聚集候选布局中的直线段成员、几何上下文、法向量和深度等区域级特征,采用割平面法学习结构化模型参数.最后,对候选布局的结构化预测得分进行排序,将得分最高者选取为最终空间布局.Hedau和LSUN数据集实验表明,该方法能获得空间布局的精准区域面划分个数和精确边界位置.

基于改进轻量网络的实时室内场景布局估计

为简化布局估计网络结构,提高输出特征利用率,提出一种基于改进轻量网络的实时布局估计方法。利用轻量级的编码解码网络,端对端直接获得室内场景的主要平面分割图,实现实时的布局估计。针对以往联合学习方法特征利用率不高的问题,引入简化的联合学习模块,使用输出分割图的梯度作为输出边缘,将边缘的损失直接整合到整个网络输出损失中,提高特征利用率并精简联合学习网络。针对数据集正负标签不平衡和布局类型分布不平衡问题,使用分割型语义迁移,使用在LSUN数据集上训练得到的语义分割网络参数初始化所提网络参数,提高网络训练的稳定性。在两个基准数据集上对所提方法的性能进行评估。实验结果表明,在LSUN数据集上所提方法的平均像素误差为7.35%,在Hedau上为8.32%。通过消融实验证明了分层监督、简易学习联合和语义迁移机制对提高准确率的有效性。最终实验表明,所提方法能够实时获得准确的室内场景布局估计。

基于多任务监督学习的实时室内布局估计方法

室内布局估计是计算机视觉领域的研究热点之一,在三维重建、机器人导航和虚拟现实等方面具有广泛的应用。目前室内布局估计的解决方案存在实时性较差、计算量较大等问题。针对这些问题,本文提出了一种基于多任务监督的轻量卷积网络,该网络模型基于编码器-解码器结构,使用室内边缘热图与平面语义分割实现多任务监督学习。此外本文对卷积模块进行了改进,使用1×1卷积替换了1×3、3×1卷积,在保证模型精度的情况下提升了网络的实时性。在公共数据集LSUN上进行实验,结果表明,本文方法具有良好的实时性和准确性。

基于序列对的快速布局方法

对序列对模型的几何特点进行了分析，提出了一种改进的方法，并与已有方法进行了比较。

基于多重语义交互的递归式场景理解框架

传统基于前馈设计的视觉系统已经非常普遍,但其存在的一大缺陷是某个环节出现的错误无法被及时修正,从而影响系统的最终性能。为此,提出了一种简易的交互式框架,其特点在于场景语义的不确定性能够通过不同的视觉分析过程协同工作实现求解和优化。在该框架中,分别使用了3个经典的场景理解算法作为视觉分析模块,不同模块之间利用彼此输出的表面布局、边界、深度、视点和物体类等上下文语义之间的交互以实现各自性能的渐进式提升。提出的方法不需要人为设置约束条件,可根据需求插入新的模块而无须对原有框架和算法进行大的修改,具有良好的可扩展性。基于Geometric Context数据集的实验结果表明,这种基于本征信息交互的反馈式设计通过多次递归后能够有效弥补前馈式系统存在的不足,其中表面布局、边界和视点估计的平均精度提升了5%以上,而物体类的平均检测精度也提升了6%以上,其可成为未来改进视觉系统性能的途径之一。

基于点云的室内结构三维重建综述

室内结构三维重建本质上是一个还原室内布局的多任务问题,可以进一步对墙体细节和家具进行重建和语义分割。主要介绍基于点云数据的室内结构三维重建。首先概述了室内结构三维重建常用的数据集;然后对基于点云的室内结构3维重建的主要方法展开叙述和讨论,并分析总结了3种类型重建方法的优缺点;最后对当前室内结构三维重建研究所面临的困难和挑战进行阐述,并对未来的研究趋势做出展望。可以得出,目前大部分重建模型所针对的场景和完成任务的多样性较为贫乏,利用不同角度的冗余信息共同优化的多任务协调方案在室内结构重建中具有较大潜力。此外,模型对于室内外环境的无缝融合以及实现内外建筑的充分表现仍需要进行改善。

室内空间布局约束下的在线跟踪注册学习方法

移动增强现实和地理信息系统融合正成为空间信息可视化的理想平台。针对现有增强现实跟踪注册技术描述室内空间信息位置不精确、推理空间结构弱和场景理解能力有限等问题,本文提出一种空间布局约束下的在线学习跟踪注册方法,首先使用图像特征匹配算法估计相机相对初始姿态,接着利用端到端编码-解码网络提取室内场景边缘和语义特征信息,生成2D布局假设,然后应用贪心策略细化2D布局假设并提取对应布局关键坐标点信息,最后将语义特征和布局关键坐标点作为约束条件,联合优化空间信息的初始位姿。本文方法在复杂室内场景下,注册虚拟模型最大位置误差为9 cm,最大缩放误差为17%,最大旋转误差为16°。实验结果表明,所提方法能为空间信息注册增添条件约束,实现在室内场景精确注册,并具备较强的场景理解能力。