基于注意力权重机制和引导成本体积激励的三维重建多视图立体网络算法研究

针对基于成本体积金字塔的多视图立体网络在初始构建成本体积时存在深度预测误差大的问题,提出了一种利用注意力权重特征图补充三维卷积的方法。该方法引入注意力机制关注感受野空间特征,计算源视角图像特征金字塔的注意力权重,将其加权到原始特征图中,同时设计引导成本体积激励模块,通过特征图丰富三维卷积。在DTU(Danish Test of Urban Competencies)基准数据集上的结果显示,该方法表现很好,准确度达到了0.291,相较于CVPMVSNET(Cost Volume Pyramid Based Depth Inference for Multi-View Stereo),整体精度提高了6.55%,表明该模型的改进有效。

学龄前儿童弱视筛查情况及Titmus立体视图法在筛查中的应用价值

目的了解学龄前儿童弱视筛查情况,并评价Titmus立体视图法在弱视筛选中的应用价值。方法采用整群随机抽样法抽取学龄前儿童228例,进行弱视筛查,了解视力筛查及立体视锐度检查情况,并以视力检查法为"金标准",评价Titmus立体视图法筛查弱视的效果。结果 5~<6岁年龄组儿童的视力筛查阳性率高于3~<4岁、4~<5岁组(P<0.05)。3~<4岁儿童立体视锐度>100″或立体视盲的检出率高于其他年龄段儿童(P<0.05),4~<5岁检出率高于5~<6岁、≥6岁儿童(P<0.05)。共16例患儿诊断为弱视,Titmus立体视图法筛查弱视的灵敏度、特异度、误诊率、漏诊率、一致率、Youden指数分别为81.3%、100.0%、0、18.75%、98.7%、0.813。Titmus立体视图法与金标准的筛查结果一致性较好(Kappa值=0.892)。结论不同年龄段学龄前儿童的视力及立体视锐度存在差异。Titmus立体视图法在筛查学龄前儿童弱视方面与传统视力检查法效果相当。

基于深度学习的多视图立体重建方法综述

多视图立体重建(Multi-view stereo Reconstruction,MVS Reconstruction)的目标是根据一组已知摄像机参数的多视角图像来重建场景的三维模型,是近年来三维重建的一类主流方法。本文针对最新的近百个基于深度学习的MVS方法做了较为系统的算法评估对比。首先,对现有的基于监督学习的MVS方法,按照特征提取、代价体构建、代价体正则化和深度回归的重建流程对各算法进行梳理,重点对代价体构建和正则化这两阶段的改进策略进行归纳总结,对于无监督的MVS方法,主要分析各算法损失项的设计,并按照其训练方式进行分类;其次,总结了MVS方法常用的实验数据集及其对应的性能评价指标,进一步研究特征金字塔结构、注意力机制、由粗到精等策略的引入对MVS网络性能的影响;此外,介绍了MVS方法的具体应用场景,包括数字孪生、自动驾驶、机器人技术、遗产保护、生物科学等领域;最后,提出关于MVS改进方向的建议,并对多视图三维重建未来的技术难点与研究方向进行探讨。

注意力机制与神经渲染的多视图三维重建算法

针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。

基于自适应空间稀疏化的高效多视图立体匹配

针对多视图立体匹配中构建和聚合匹配代价体时计算复杂度高的问题,现有研究通常采用级联架构或迭代优化方法.然而这些方法仍面临两个亟待解决的挑战:级联架构在精细阶段缩小了深度采样范围,导致深度不连续区域可能陷入低分辨率的错误估计;而迭代优化网络的推理时间随迭代次数线性增长,难以满足实时系统需求.为此,本文提出一种基于自适应空间稀疏化的高效多视图立体匹配网络.我们提出一种稀疏匹配代价体构建方法,通过在完整深度范围内稀疏采样,在降低计算复杂度的同时保持了网络对深度不连续区域的建模能力.同时,我们提出一种稀疏迭代优化方法,在迭代中通过自适应变分Dropout逐步剪枝深度值已收敛的区域,使推理时间随迭代次数亚线性增长.在DTU和Tanks&Temples公共数据集上的实验结果表明,本文方法的推理速度相比CasMVSNet和PatchmatchNet分别快1.2倍和0.35倍,同时点云重建效果优异,边缘伪影显著减少,且泛化能力表现出色.

面向嵌入式平台多视图立体视觉深度感知

针对目前基于神经网络的多视图立体视觉(multi-view stereo,MVS)深度估计算法存在参数量大、内存消耗严重,难以满足当下低算力嵌入式平台的需求.提出基于MVS2D极线注意力机制与MobileNetV3-Small的MVS深度感知网络(Mobile-MVS2D).该网络采用编码器-解码器的结构,使用MobileNetV3-Small网络进行编码特征提取,对源图像与参考图像之间不同特征层的尺度信息耦合采用极线注意力机制,解码阶段引入SE-Net与跳跃连接扩展解码特征细节,提升预测精度.实验结果表明,提出的模型在ScanNet数据集中在深度图的评价指标中展现较高的精度.在与视觉SLAM结合下可以展现出较准确的三维重建效果,具有较好的鲁棒性.在Jeston Xavier NX上推理精度为Float16尺寸为640×480的图片组,仅需0.17 s,GPU消耗仅需1 GB,能够满足低算力嵌入式平台的需求.

自适应聚合和代价自学习的多视图立体重建

近年来,基于卷积神经网络的多视图立体(MVS)重建应用广泛,可依然存在重建结果整体性和完整性不理想问题,对多视图三维重建中的特征提取模块和匹配代价体优化模块进行改进,提出一种自适应聚合和代价自学习的多视图立体重建方法。首先,从输入图像中提取不同尺度图像特征,通过可变性卷积把不同尺度图像特征自适应聚合,以提高特征提取的准确度和丰富度;然后,通过可微分单应性变换构建匹配代价并进行正则化,再通过代价自学习模块进一步优化,进而得出每个像素在不同深度假设平面的概率值;最后,将深度假设平面和概率值加权求和得到最终的深度图。经过在DTU数据集上进行测试,与现有的基准方法MVSNet相比,整体性提高了3.0%,完整性提高了10.7%,得到了质量更优的三维重建结果。

基于混合结构的多视图三维场景重建

基于PatchMatch的多视图高效和高精度三维重建一直是一个挑战性问题。红黑棋盘格模式的传播方式并行计算效率高,但对应的视图选择策略精度较差;基于马尔可夫链的视图选择策略能获取更为准确的匹配结果,但算法并行度较低。为了达成场景重建质量与重建时间的平衡,本文提出了一种基于混合结构的多视图三维重建算法,在第一阶段采用沿行/列并行的传播策略和马尔可夫链式的视图选择策略,得到质量较高的初始深度图,并通过引入多层次处理提升弱纹理区域的重建质量;在第二阶段采用棋盘格式传播方式和基于投票的视图选择策略提高计算效率,缩短重建所需时间。通过在Strecha和ETH3D数据集上进行了大量实验和对比表明,本文算法在不降低计算精度的前提下,计算效率提高2.5倍以上。

结合局部自注意力和深度优化的多视图重建

针对多视图三维重建中存在的内存和时间消耗过大、高分辨率重建完整性差等问题,提出一种基于深度学习的多视图重建网络。网络由特征提取模块、级联的Patchmatch模块和深度图优化模块组成。首先,设计U型的特征提取模块,提取多阶段特征图,并在每个阶段引入相对位置编码的局部自注意力层,捕捉图像中的局部细节和全局上下文,提升网络特征提取性能。其次,设计深度残差网络,通过密集连接和残差结构对特征进行融合,充分利用彩色图像先验知识来约束深度图,提升深度估计的准确性。在公开数据集DTU(Technical University of Denmark)上进行测试,实验结果表明,三维重建质量到了有效的提升,与PatchmatchNet相比在完整性上提升了6.1%,在整体性上提升了2.5%,与其他的SOTA(State-Of-The-Art)方法相比,在完整性和整体性上都得到了较大提升。

立体视图镜在颞骨解剖中的应用研究

目的研究立体视图镜在颞骨解剖教学中的应用价值。方法对5个尸头标本进行颞骨解剖,对重要解剖结构拍摄具有一定视角差的图组,采用AdobePhotoshop7.0图片处理软件将其处理及合成为立体图片,由30名具有不同程度颞骨解剖知识的评估人员观察平面图和利用立体视图镜观察立体图并进行比较。结果制作的55张立体解剖图片均能产生清晰的立体视觉,在对平面图解剖结构的层次关系判断上本专业高、低年资医生及非本专业成员的准确和较准确级别分别达到100%、60%、25%,在对立体图的层次关系判断上均达到100%。结论将立体视图镜运用于颞骨解剖有利于提高人们对颞骨细微解剖结构层次关系的认知度,是一种简便、有效地学习和掌握颞骨解剖知识的方法。

不同质地随机点立体视图检查屈光参差立体视的结果分析

目的探讨不同质地随机点立体视图对屈光参差立体视检查的影响,为研制立体视图提供依据。方法自制能分别产生不规则、方形及圆形点的3种计算机随机点立体视图。检查7～12岁屈光参差儿童61例的3种不同质地立体视图交叉、非交叉视差下限立体视锐度,对所测数值进行随机区组方差分析。结果无论交叉或非交叉视差检查,不规则点图所测下限立体视锐度的平均值均为最大,且与方形、圆形点图差异均有统计学意义P(<0.05)。但方形与圆形点图差异无统计学意义(P>0.05)。结论随机点立体视图点子质地对屈光参差立体视检查结果有影响,其中不规则点检查图的难度相对最大,圆形点和方形点对立体视图间差异无显著性。

多视图立体三维重建中的孔洞修复算法

为了解决多视图立体三维重建算法不能很好地处理弱纹理或无纹理及高光区域的重建问题,提出一种基于可见外壳与多视图三维点云有机融合的多视图立体三维重建孔洞修复算法.该算法以可见外壳及多视图三维点云为输入,首先提取出可见外壳内满足点云稀疏度约束的叶节点,然后利用可见外壳法向量射线约束去除包裹在三维点云外层的叶节点,最后通过加入三维点云曲面曲率约束来消除点云中凹陷区域的影响.实验结果表明,文中算法有效地解决了物体缺乏纹理区域表面的孔洞修复问题,使得最终生成的三维网格模型完整和平滑,具有参数可调、易于实现的特点,对于不同的模型都具有非常好的鲁棒性.

对三视图的DXF图形数据进行特征识别与立体重构

本文介绍了一种对在ＡｕｔｏＣＡＤ环境下绘制的三视图的ＤＸＦ图形数据进行特征识别和立体重构的原理与方法，通过对三视图的ＤＸＦ图形数据的分析，利用三视图的尺寸标注信息，可以将ＤＸＦ文件提供的三视图进行自动分离，按特征建模的要求对各视图的实体进行特征识别和特征分类，采用特征文件作为媒介，利用ＣＳＧ模型，可以将识别的特征在ＡｕｔｏＣＡＤ环境下重构出来；本文的方法不仅能识别ＡｕｔｏＣＡＤ系统设计的零件，产生具有创造意义的特征，并能使ＡｕｔｏＣＡＤ与ＣＡＰＰ／ＣＡＭ进行数据交换。

计算机立体视图绘制技术

随着计算机技术的发展,特别是三维计算机立体图形绘制、显示技术的发展,使逼真地、立体地重现自然成为可能。现在立体显示技术已广泛应用于医学图象、应用科学、可视化工程、虚拟现实和模拟训练教育等方面。确定正确的立体图象投影模型是利用计算机产生逼真图象的关键技术之一,本文介绍了计算机立体显示基本原理及立体观察的几何模型并概述了影响计算机立体图象绘制和显示的几个重要因素。

AutoCAD环境中立体图转化为三视图的方法研究

介绍了在AutoCAD绘图环境下,由三维立体模型生成基本二维三视图的方法。结合具体实例,探讨了用AutoCAD2008中的flatshot命令制作二维视图的步骤和方法。应用该方法可大大减少绘制二维视图的工作量,提高绘图效率,具有一定的工程应用价值。

计算机随机点立体视图和TNO对白内障术后立体视检查的比较

目的:本文旨在通过对比白内障患者术后进行的计算机随机点立体视图和TNO立体视觉检查图的检查结果,评价计算机随机点立体视图的实用性及可行性。方法:选择2011-01/06于我院行双眼白内障超声乳化摘除术,双眼间隔1d,并且联合行折叠式人工晶状体植入术的受试者78例作为研究对象,手术均由同一熟练的超声乳化手术医师完成。患者术后定期随访,于术后3mo由同一医师分别使用计算机随机点立体图和TNO立体视检查图检查立体视觉并比较其结果差异。结果:所有受试者均具有不同程度的立体视,由计算机随机点立体图测得黄斑部位立体视患者14例,黄斑中心凹部位立体视患者26例,眼底周边部位立体视38例;TNO立体视觉检查图分别为11例,24例和43例,黄斑立体视、黄斑中心凹立体视随机点检出率较TNO图高,但是两者差异无统计学意义。使用计算机随机点立体图测得的正常与异常立体视结果为32例、46例,使用TNO立体视检查图测得的正常与异常立体视结果为35例、43例,差异无统计学意义。结论:新型计算机随机点立体视图对白内障术后立体视检查的结果与TNO立体图具有较高的一致性,是一种可靠的测量立体视功能的方法,可以用于白内障患者术后立体视觉功能的检测。

用改变表面位置的方法设计平面立体的视图

用改变表面位置的方法设计平行面立体和垂直面立体的视图,它是基于压缩坐标形成视图的原理[1]。先设定一个视图,在该视图上拟出可见面和不可见面;在另外两个视图上确定各表面的位置,连接各表面的端点重影点,可以设计出立体的另外两个视图,交叉改变各表面的位置,就可以设计出多种形状各不相同的立体的视图。应用此法不仅可设计平面立体的视图,并可设计曲面立体的视图。

结合注意力机制与路径聚合的多视图三维重建

目前基于学习的多视图三维重建研究已经取得了显著成果,但依然存在特征提取不完全和成本代价体之间相关性差的问题,从而导致重建精度不高。针对这一问题,设计了一种级联网络PAA-MVSNet。为了获得输入图像更加完整和准确的特征信息,该模型采用了“自顶向下”的特征提取方法,在不同尺度上进行特征提取,并将这些特征进行拼接,最后输出3个不同尺度的特征层;此外,引入改进的SE注意力模块优化三维代价体正则化过程,增强了代价体成本体积之间的相关性,提高了重建的精度和完整性。在DTU数据集上和基准网络CasMVSNet相比,该模型的准确性误差和完整性误差指标分别降低了5%和1.4%,且相较于其他模型均有不同程度提升。此外Tanks and Temples数据集上的实验结果表明,该模型有很好的泛化性。提出的基于路径聚合的特征提取模块和注意力优化代价体正则化模块均取得了效果,在重建精度上相比于其他模型都有一定的提升,验证了该模型的有效性。