基于改进3D卷积神经网络的代价聚合算法

为了提高立体匹配的准确性与时效性,改善传统代价聚合算法计算复杂及精度不高的问题,论文提出了一种基于改进3D卷积神经网络的代价聚合算法。该方法通过运用3D卷积神经网络对由代价计算得到的代价空间进行聚合,使匹配沿着视差维度和空间维度聚合特征信息,并在此基础上将3D残差网络、3D密集连接网络引入代价聚合的计算中;最后使用视差回归对经过3D卷积处理得到的特征图进行视差精化,获得高精度的视差图。通过在标准数据集KITTI上的测试实验证明了该方法具有较高的精度与时效性。

基于立体图像的多路径特征金字塔网络3D目标检测

3D目标检测是计算机视觉和自动驾驶中一项重要的场景理解任务。当前基于立体图像的3D目标检测方法大多没有充分考虑多个目标之间的尺度存在较大差异,从而尺度小的物体容易被忽略,导致检测精度低。针对这一问题,提出了一种基于立体图像的多路径特征金字塔网络(MpFPN)3D目标检测方法。MpFPN对特征金字塔网络进行了扩展,增加了自底向上的路径、由上至下的路径及输入特征图到输出特征图之间的连接,为联合区域提议网络提供了更高语义信息和更细粒度空间信息的多尺度特征信息。实验结果表明:在3D目标检测KITTI数据集上,无论在场景简单、中等、复杂情况下,所提方法获得的结果都优于比较方法的结果。

基于Java3D的蛋白质相互作用网络成像软件

蛋白质-蛋白质相互作用网络三维呈现对于蛋白质组学的进一步研究有着重要的促进作用。本文利用Java6.0开发工具包,设计了一个蛋白质相互作用网络显示的软件(Protein-Protein Interaction Network Expandor,简称PINE)。PINE从目前三个常用的蛋白质相关数据库中提取信息,经整合后将蛋白质的综合信息呈现给用户。在二维相互作用网络图的基础上,利用Java3D绘制了三维蛋白质相互作用网络图。此外,PINE还引入三维立体双图,增强了网络图的立体层次感。

宏微站3D立体组网设计研究

随着城市和通信应用的大规模发展,传统的宏基站组网已经无法解决4G网络室外连续覆盖、室内深度覆盖不足、业务分布不均以及建设维护成本居高不下等问题.如何利用现有的宏站和微站资源精准规划,有效投资,保障用户感知成为各大运营商关注的问题.结合某运营商组网现状,探索不同网络制式下的宏基站和微基站联合的分层立体组网模式,并研究3D立体组网设计和策略.

基于自适应聚合循环递归的稠密点云重建网络

为了解决弱纹理重建难、资源消耗大和重建时间长等问题,提出了一种基于自适应聚合循环递归卷积的多阶段稠密点云重建网络,即A2R2-MVSNet(adaptive aggregation recurrent recursive multi view stereo net)。该方法首先引入一种基于多尺度循环递归残差的特征提取模块,聚合上下文语义信息,以解决弱纹理或无纹理区域特征提取难的问题。在代价体正则化部分,提出一种残差正则化模块,该模块在略微增加内存消耗的前提下,提高了3D CNN提取和聚合上下文语意的能力。实验结果表明,提出的方法在DTU数据集上的综合指标排名靠前,在重建细节上有着更好的体现,且在BlendedMVS数据集上生成了不错的深度图和点云结果,此外网络还在自采集的大规模高分辨率数据集上进行了泛化测试。归功于由粗到细的多阶段思想和我们提出的模块,网络在生成高准确性和完整性深度图的同时,还能进行高分辨率重建以适用于实际问题。

注意力机制与神经渲染的多视图三维重建算法

针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。

语义增强的多视立体视觉方法

针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。

具有跨尺度Transformer的高效多视图立体网络

现有深度多视图立体(MVS)方法将Transformer引入级联网络,以实现高分辨率深度估计,从而实现高精确度和完整度的三维重建结果。然而,基于Transformer的方法受计算成本的限制,无法扩展到更精细的阶段。为此,提出一种新颖的跨尺度Transformer的MVS网络,在不增加额外计算的情况下处理不同阶段的特征表示。引入一种自适应匹配感知Transformer(AMT),在多个尺度上使用不同的交互式注意力组合。这种组合策略使所提网络能够捕捉图像内部的上下文信息,并增强图像之间的特征关系。此外,设计双特征引导聚合(DFGA),将粗糙的全局语义信息嵌入到更精细的代价体构建中,以进一步增强全局和局部特征的感知。同时,通过设计一种特征度量损失,用于评估变换前后的特征偏差,以减少特征错误匹配对深度估计的影响。实验结果表明,在DTU数据集中,所提网络的完整度和整体度量达到0.264、0.302,在Tanks and temples 2个大场景的重建平均值分别达到64.28、38.03。

融合隐式渲染与显式建模的三维重建方法

针对多视图三维重建易出现纹理缺失、大面积空洞的挑战,提出了融合隐式渲染与显式建模的三维重建方法。首先输入多视图,以增量式运动重建算法恢复相机参数,生成精密稀疏点云;随后,以融合自注意力机制的深度全连接网络预测体渲染密度及RGB颜色;然后,分层采样光线样本点以求解其体渲染积分,以积分结果构建损失函数进行参数优化,体渲染生成三维隐式表达,存储于神经网络中;最后,以显式重建等值面提取算法实现三维重建。以DTU数据集进行实验验证,结果表明:在DTU数据集Scan16与Scan19中,该方法平均整体精度达到0.403 mm,相较于经典显式重建模型,所建模型空洞更小,细节更突出,对实景三维、虚拟现实具有一定的参考价值。

结构光三维传感器测量网相关技术

针对大尺寸复杂物体的全自动、高精度、大数据密度、真彩色三维成像与测量,基于条纹结构光三维传感器,阐述了多节点三维传感器测量网络相关技术。涉及单三维传感器的条纹分析和相位重建、系统标定和三维重建两大关键技术点分析,多节点三维传感器测量网络的构建与优化、多节点三维传感器测量网络的标定、测量三维深度数据与纹理数据的匹配与融合等相关技术。并给出了部分实验原型机及实验结果。

应用神经网络隐式视觉模型进行立体视觉的三维重建

针对传统的基于精确数学模型的立体视觉方法过程繁琐的不足 ,提出一种应用BP神经网络隐式视觉模型进行三维重建的算法 该算法将多个标定平面放置在有效视场内 ,用神经网络模拟立体视觉由两个二维图像重建三维几何的过程 ,经过网络训练建模后 ,无须摄像机标定即可进行三维重建 仿真实验结果证明 ,该算法比较简单 。

基于双目被动立体视觉的三维人脸重构与识别

提出一种基于双目被动视觉的三维人脸识别方法,该方法采用非接触式的人脸信息采集技术,利用图像中弱特征检测方法实现双目视觉中的人脸检测与初步视差估计,运用基于复小波的相位相关技术对人脸表面进行亚像素级小区域匹配,重建人脸三维点云信息.通过可调训练次数的神经网络技术实现多层次人脸曲面重建,并结合人脸2D图像对重构曲面进行仿射归一,继而迭代地进行特征提取与识别过程.实验结果表明,双目视觉方法使人脸信息采集过程友好隐蔽;在对应点匹配中,运用复小波的相位相关算法可获得密集的亚像素精度配准点对,用神经网络方法可正确重建人脸曲面.识别过程对环境以及人脸位姿表情等鲁棒性强.该系统成本十分低廉,适合在许多领域推广应用.

RBF网络在立体视觉系统中的研究

摄像机标定、立体校正以及三维表面重建是立体视觉研究的重要内容。论文充分利用RBF网络的泛函逼近以及插值能力,将其应用于以上三个方面。在摄像机标定过程,通过将标定平面放置在有效视场内的多个位置,得到一组完备的样本,经过RBF网训练后,将立体视觉的几何成像关系存储于网络中;在立体校正过程,利用极线性质,由RBF网络确定图中的一组极线,然后通过求解极值问题来确定极点位置,最后用优化方法解出校正变换矩阵;在三维重建过程,利用摄像机标定中建立的视觉模型,重建出与图像信息相一致的三维表面。与传统方法相比,该算法具有重建速度快,运算精度高,过程简易明了等优点。通过对实际的视觉系统进行实验,证明了该算法的正确性和有效性。

基于BP神经网络的双目视觉系统摄像机标定

利用人工神经网络对复杂非线性映射关系的强大逼近能力,对双目视觉三维测量系统中的摄像机进行隐式标定.通过高精度的数控移动工件台获取密集的样本数据,并在神经网络训练过程中采用贝叶斯正则化方法.实验表明,神经网络具有很好的推广能力,标定后的系统具有很高的三维测量精度.

智能装配视觉系统新的三维重建方法

提出一种新的三维重建方法，对所获得的立体象对进行适当的变换，把空域中的立体匹配问题转换到波数域中来解决；采用基于局部相的立体匹配方法来求解立体匹配这个难题，并用Ｈｏｐｆｉｅｌｄ神经网络来实现立体匹配过程，以便实现并行处理；

基于多尺度特征递归卷积的稠密点云重建网络

针对在三维重建任务中,由于弱纹理区域的光度一致性测量误差较大,使得传统的多视图立体算法难以处理的问题,提出了一种多尺度特征聚合的递归卷积网络(MARDC-MVSNet),用于弱纹理区域的稠密点云重建。为了使输入图像分辨率更高,该方法使用一个轻量级的多尺度聚合模块自适应地提取图像特征,以解决弱纹理甚至无纹理区域的问题。在代价体正则化方面,采用具有递归结构的分层处理网络代替传统的三维卷积神经网络(CNN),极大程度地降低了显存占用,同时实现高分辨率重建。在网络的末端添加一个深度残差网络模块,以原始图像为指导对正则化网络生成的初始深度图进行优化,使深度图表述更准确。实验结果表明,在DTU数据集上取得了优异的结果,该网络在拥有较高深度图估计精度的同时还节约了硬件资源,且能扩展到航拍影像的实际工程之中。

基于双目视觉的三维人脸识别算法

针对传统三维人脸识别算法的复杂性,提出了一种新的三维人脸识别算法。该算法以双目立体视觉系统为基础,通过调整左、右摄像机与人脸的相对位置,完成人脸二维图像的采集,然后利用主动形状模型(Active Shape Model,ASM)技术对采集的二维图像进行特征点自动定位,并结合摄像机的内外参数得出特征点的三维坐标,从而避免了复杂的人脸三维重建;再利用人脸关键特征点的三维信息计算特征点距离矩阵,提取三维人脸几何特征;最后利用反向传播神经网络进行识别。实验结果表明,该算法简捷、快速,且具有较高的正确识别率,是一种经济、实用的三维人脸识别算法。

基于同构RBF网络的视差图像分治重建

提出一种基于同构径向基函数(RBF)网络的视差图像分治重建方法,通过可调域值和边缘检测完成视差图像的区域分割,在每个区域内采用RBF神经网络进行重建,将各个区域进行拼接,得到最终的重建结果。在不同区域运用RBF进行重建时根据各区域结构特征的繁简用不同分辨率的数据进行训练。实验结果表明,该方法可以获得高质量的重建结果。

多视图几何轻量级三维重建算法

针对现有深度学习三维重建网络内存消耗严重、效率低下的问题,提出了高效的多视图几何三维重建网络(high efficiency multi-view stereo network,H-MVSNet)模型,将原始图片序列和预测的粗略深度图融合,进一步提高最终深度图的质量;构建轻量级的特征提取模块和正则化模块,减少提取冗余度;采用由粗到精的策略,建立高效的深度图细化模块,减少计算量。实验表明,H-MVSNet模型在DTU数据集中的精度误差可达0.327 mm,计算一张分辨率为640×480的深度图仅需0.44 s,内存消耗可低至2.46 GB,显著提高了三维重建的精度和准确度。

适应立体匹配任务的端到端深度网络

针对现有立体匹配深度网络中特征提取模块冗余度高以及用于视差计算的3D卷积模块感受野受限问题,提出改进的端到端深度网络.相比现有网络,该网络特征提取模块遵循立体匹配特性,结构更简洁;引入分离3D卷积实现大卷积核3D卷积运算以扩充感受野.在SceneFlow数据集上,从匹配精度和计算开销等方面评估所提出网络.实验结果显示:所提出网络在准确度上达到了先进水平;相比现有同类型模块,所提出特征提取模块在保证结果精度的同时能减少90%的参数量,并减少约25%的训练时间;相比3D卷积,所提出的分离3D卷积将卷积核大小提升至覆盖整个视差维度,搭配群组归一化(group normalization, GN),其端点误差(end-point-error, EPE)较基础方法降低了12%的相对量.