基于多模态融合的开放域三维模型检索算法

为了满足开放域下海量新增模型数据的管理和检索需求,提出开放域三维模型检索算法,可以有效地利用多模态信息的语义一致性.借助无监督算法探寻未知样本间的类别信息,利用该类别信息实现网络模型的参数优化,使得网络模型在开放域条件下具有更好的模型表征性能及检索结果.提出基于Transformer结构的层级化多模态信息融合模型,有效地剔除了多模态间的冗余信息,得到鲁棒性更强的模型表征向量.在数据集ModelNet40上进行实验,通过与其他典型算法的对比实验可知,所提方法在mAP指标上优于所有的对比方法,验证了该方法在检索性能提升上的有效性.

基于不确定相似性度量学习的三维模型草图检索

对于把手绘图像以及三维模型同时映射到一个联合特征嵌入空间和草图噪声给检索性能带来的影响,分析了跨模态匹配和草图噪声。将师生策略和数据不确定学习相结合,构建了一种基于不确定相似性度量学习的三维模型草图检索方法(uncertainty similarity metric learning, USML)。首先利用基于师生策略的三维形状语义相似度度量学习方法代替现有的跨域共享特征嵌入方法以提升检索的效率;然后,受数据不确定学习的启发,采用不确定学习来解决草图中噪声导致的严重过拟合并损害特征学习的问题。在大型公开基准数据集SHREC13和SHREC14上的实验结果验证了方法的有效性。结果表明,与深度点到子空间度量学习(depth point to subspace metric learning, DPSML)、深度相关度量学习(deep correlation metric learning, DCML)及深度相关整体度量学习(deep correlation holistic metric learning, DCHML)等未考虑噪声影响的算法相比,USML对基于抗噪草图的三维形状检索的效率提升至关重要。

面向多类物体草图的三维形状生成统一模型

现有基于草图的三维建模深度神经网络普遍需要针对特定类别单独训练,泛化性差;而多类同时训练容易产生类别混淆及三维模型细节缺失.基于无监督的草图到模型生成框架,提出适用于多类物体统一训练的三维模型生成网络MC-SketchModNet.首先在生成过程中,通过草图类别编码融合草图特征共同输入生成网络,建立草图表达的三维模型与物体类别之间的关联;然后在训练阶段增加监督视角,提供更多草图生成三维模型的约束,消除生成模型的类别歧义性.在ShapeNet的合成草图数据集和手绘草图数据集上的实验结果表明,MC-SketchModNet能够有效地消除生成三维模型的类别混淆现象,获得质量更高、细节更丰富的三维模型,在体素交并比指标上,比多类训练的基线方法SoftRas提升4.91%;该网络中引入的类别编码能够支持生成模型目标类别的交互调控,在草图轮廓语义模糊时进行类别引导的模型生成.

工业设计透视草图三维模型重建方法

针对传统的设计图重建方法需对深度坐标进行计算,解决过程复杂、重建精度低的问题,提出了工业透视草图三维模型重建方法。首先,通过笔画特征分析对草图笔画进行分段处理,找到和输入笔迹相近程度最高的图形,对草图进行规整。然后,将不同几何面片当成三维重建的对象,对其进行扩展,获取面片的法向矢量,以及顶点映射的二维坐标值,得到顶点三维信息,实现三维模型重建。最后,通过计算机工业辅助设计软件上的实验结果表明,采用所提方法可有效实现对工业设计透视草图的三维重建,且重建偏差在1°左右,重建精度较高。

基于手绘草图的三维模型检索

手绘草图检索三维模型是目前活跃的研究领域,针对目前流行的检索技术中采用词袋模型时"硬聚类"带来的区分和表达粒度不足的问题,提出了一种新的检索方法:提取草图和模型渲染的视图集的GALIF(Gabor local line-based feature)特征。采用基于"软聚类"--高斯混合模型的费尔舍编码来取代词袋模型,用一种快速有效的流形排序算法来计算图像之间的相似度从而得到结果。与以往计算特征向量之间的欧式距离等仅考虑数据相似度的方法相比,该方法可以从数据集的底层结构去获取语义关系。实验结果表明,本文的方法具有更好的检索准确度和更快的检索速度。

基于局部多尺度的三维模型草图检索方法

三维模型检索已经成为虚拟现实领域的基本问题,草图是三维模型检索的最好方式,随着各种不同分辨率三维模型数据的快速增长,现有基于草图三维模型检索算法无法有效应用于大规模复杂三维模型数据库的检索.在该文中,为了解决低分辨率三维模型顶点数和面片数较少,不易获取完整光滑几何线图的问题,提出了利用高斯差分方法对三维模型深度缓存投影图像提取三维模型线图,并采用贝塞尔曲线优化线图结果.为了提高检索准确率,提出了一种局部多尺度多方向的特征计算方法,在珈伯多方向滤波的基础上,建立了局部形状金字塔尺度空间结构,配合梯度方向直方图计算局部形状特征描述,并利用词袋方法组织局部形状特征.为了提高检索速度,利用加权索引方法存储归一化后的图像特征向量,实现基于草图的三维模型实时检索过程.该文不仅比较分析了不同参数下方法的执行效果,而且运用多种评价方法,选用3个不同三维模型数据库进行方法测试,实现检索原型系统验证方法的有效性.实验证明,该方法相比于大部分其他方法具有更好的检索效果.

时空信息联合嵌入的端到端三维模型草图检索

现有的基于草图的三维模型检索工作往往将数据视为静态输入,并使用卷积神经网络进行特征提取,忽略了数据的动态属性,造成了有益信息的部分丢失,进而影响了以此为基础的检索效果.为解决这一问题,提出一种基于时空信息联合嵌入的端到端三维模型草图检索算法.首先,将草图表征为动态绘制序列,体现其绘制过程中所包含的时序信息;将三维模型表征为多视图序列,体现视图间的位置关联;然后,构建包含静态空间特征提取和动态时序特征提取的端到端双流网络,结合三元中心度量学习建立跨域数据的联合时空特征嵌入,充分捕捉草图和三维模型所包含的静态、动态特征,缩小跨域数据的差异性,提高检索的准确率;最后,在标准公开数据集SHREC2013和SHREC2014上进行实验,与现有工作相比获得了较高的准确率,验证了所提算法的可行性及有效性.

基于联合特征映射的端到端三维模型草图检索

在草图-三维模型检索任务中,草图具有类内多样性,三维模型具有复杂性,且草图-三维模型之间存在巨大的域间的差异性,这些特点的相互作用使得基于草图的三维模型检索任务变得特别困难.针对这一问题,提出一种基于联合特征映射的端到端三维模型草图检索框架.首先将三维模型转化为一组二维视图,建立跨域数据的共享数据空间;然后通过网络权值共享,建立端到端的三元度量学习网络,实现跨域数据草图和视图的联合特征映射;最后基于联合特征分布,提出4种草图-三维模型相似评价算法来实现草图-三维模型的检索.在大型公共数据集SHREC2013和SHREC2014上的检索精度分别为81.8%和75.6%,比现有算法在7项检索指标PR曲线,NN,FT,ST,E,DCG和MAP上都有所提升,检索性能突出.

一种基于二维草图的三维CAD模型检索方法

提出一种基于二维草图的三维CAD模型检索方法,通过比较三视图草图和CAD模型三视图来实现模型的检索。首先提取模型库中CAD模型的三视投影图,然后利用联合描述子方法对用户绘制提交的二维三视图草图和CAD模型的三视投影图进行相似性评价,实现模型的检索。实验结果表明,文中方法具有较好的检索性能,检索结果能更好地反映用户的检索意图。

基于视点对齐的跨域三维模型检索

以草图为输入的三维模型检索便于用户表达搜索需求,已成为一个研究热点。但草图只是三维模型一个视点下的粗略描述,具有很高的抽象性。而且草图和三维模型之间存在巨大的域间差异,这导致目前的草图检索系统准确率低。为解决这一问题,提出了一个新的基于草图的三维模型检索方法。该方法根据草图的视点对三维模型投影产生一组二维视图,形成一对多且视点对齐的草图视图训练数据对。然后采用Canny算子提取视图的多层次伪草图,减小视图和草图的域差异,并采用样本选择和数据增强缓解训练数据不均衡的问题。接下来用伪草图和草图训练三元组网络(triplet network),将伪草图和草图映射到公共特征嵌入空间。最后用Triplet提取特征和建立索引,实现草图检索。实验结果表明:在大型公共数据集SHREC’13和SHREC’14的检索精度分别是70.0%和63.6%,有效提高了检索准确率。

基于自适应多类中心和半异构网络的三维模型草图检索

草图具有易于构建且不受语言、专业、年龄限制等优势,基于手绘草图的三维模型检索受到越来越多的关注。然而在三维模型草图检索任务中,三维模型具有复杂性,草图具有类内多样性,同时三维模型与草图之间又具有巨大的域间差异性,这些特点的相互作用严重影响检索的准确性。针对以上问题,提出了一种基于自适应多类中心和半异构网络的三维模型草图检索方法。首先,通过异构网络分别提取草图和三维模型的初始特征:设计了基于自适应多类中心的草图特征嵌入子网络以捕捉草图数据的类内多样性,采用了基于多视图特征融合的三维模型特征嵌入子网络适应三维模型的复杂性。然后,以包含丰富语义信息的语义标签为指引,构建同构网络实现草图-三维模型的跨域共享特征嵌入,缩小域间的差异性。在大型公开数据集SHREC2013和SHREC2014上的对比实验表明,该算法获得了和当前最好算法一致的检索性能。

基于Leap Motion的三维模型草图检索

对三维模型检索的需求在搜索领域日益增长,而基于草图的三维模型检索也已然成为最为有效且易用的检索方式。为了更好地提升草图检索的体验,着眼于人机交互的方式并对其加以改进是必由之路。其中,Leap Motion系统可高精度实时检测并跟踪手指的位置和手势信息等,为大屏幕、远距离交互提供了有效途径。文中提出了一种基于Leap Motion的三维模型草图检索系统用于三维模型检索。通过Leap Motion获得的数据将手的运动模拟信息实时地反映到浏览器上,实现草图的绘制和模型的检索。在草图检索部分,提出了一种改进的流形排序方法用于对模型间的相似度进行排序,结合模型语义分类信息的排序约束方法,提高了同类模型的排名分数。实验显示,该方法使得草图检索更加贴近和方便用户,进一步提高了草图检索的易用性以及三维模型检索的准确性。

基于注意力机制的三维模型特征提取

目前在基于视图的三维模型检索技术中,对多视图特征提取的大多方法,关注于视图的全局特征信息而忽略了对视图局部特征信息和多视图之间的相关性的探究。针对此问题提出一种新的特征提取方法,利用深度学习中的卷积神经网络,并结合注意力机制提取特征,以提升其判别性。方法在ModelNet40上进行实验分析,将三维模型的多个视图作为输入,在网络层中加入注意力模块进行特征提取分类,结果表明,该方法在分类准确度方面优于已有的典型算法。

基于哈希自注意力端到端网络的三维模型草图检索

为了提高草图和三维模型视图嵌入特征的聚类性,提出一种结合自注意力和哈希正则化约束的特征提取算法.首先将三维模型渲染得到二维视图集,并通过边缘检测在草图和视图之间建立统一的特征描述空间;然后在共享权重网络中嵌入自注意力层,通过结构信息自相关性编码提高草图和视图的聚类性,避免局部差异性对结果的影响;最后对特征进行哈希编码,并嵌入哈希正则化约束和交叉熵损失函数,避免特征值发散.对基准数据集SHREC13和SHREC14的实验结果表明,该算法在哈希自注意力端到端网络的检索准确率方面优于已有的典型算法,平均准确率性能提高了6%.

多特征混合的流形排序及其在三维模型草图检索中的应用

为了解决现有基于流形排序的三维模型的草图检索方法特征提取过程中特征描述不准确,且需要对检索草图进行人工标注的问题,提出了一种基于改进特征描述符和深度学习的方法用于三维模型草图检索。该方法首先综合考虑了整体形状及局部细节对检索性能的影响,提出用于描述草图和三维模型投影视图的多特征视觉描述符。然后利用深度学习的方法实现草图语义标注。最后在包含7 200幅草图和1 258个三维模型的公开数据集上进行了实验验证。结果表明:本文方法不仅降低了人为标注所带来的干扰,而且显著提高了三维模型检索的准确率。研究结果将为三维影视动画的自动化检索及编辑重用等相关应用提供设计思路与技术支撑。

基于局部编码体素化的三维模型分类与检索

针对体素化的三维模型在分类与检索中表达单一、特征信息不足的问题,提出了一种基于局部编码体素化的三维模型分类与检索算法。首先,设计了一种基于局部编码体素化的三维模型生成方法,该方法通过融合三维模型局部空间结构与尺度信息,对三维模型进行局部特征编码,并生成局部编码体素模型。其次,提出了一种三维空间注意力模块,该模块可计算局部编码体素模型的空间位置权重并增强模型的三维空间特征。最后,进一步构建了一种局部编码体素空间卷积神经网络,可用于提取局部编码体素模型的特征描述符,并实现三维模型的分类与检索。实验结果表明,此算法在刚性三维模型数据集ModelNet40、ModelNet10以及ScanObjectNN上的分类准确率分别达到92.1%、94.8%、82.6%,在刚性三维模型数据集ModelNet40、ShapeNet Core55上的检索准确率分别达到94.7%与88.1%。

三维模型检索中手绘草图轮廓特征的应用研究

为了能够在大量的三维模型中高效地检索出需要的模型,提出了基于手绘草图的轮廓特征实现三维模型检索的方法。首先对输入的草图进行预处理,提取草图平滑的轮廓;然后利用傅立叶变换对提取的草图轮廓进行降维处理,生成具有平移、旋转、比例缩放不变性的特征向量。利用动态时间规整方法计算特征向量的距离,比较手绘草图和3D模型之间的相似性。实验表明该方法具有较好的检索效率和检索效果。

基于改进的Bi-LSTM的三维模型检索方法研究

设计了一种基于改进的双向长短时记忆网络的三维模型检索方法。首先,利用卷积神经网络提取三维模型视图的低级特征;然后,使用改进的双向长短时记忆网络详细地学习视图之间的关系,提高提取的特征的质量;最后,将得到的特征经过全连接层生成三维模型描述符用于检索。检索时通过计算两个模型之间的欧氏距离来计算相似度。该方法的三维模型分类准确率为96.9%,检索mAP为86.8%,实现了优异的性能。

基于手绘草图的三维模型检索

本文提出了一种基于手绘草图的三维模型检索框架。利用固定投影方法获取三维模型的二维视图,提取二维视图的全局特征与形状特征,形成集成特征存入数据库。在给定操作界面中手动绘制二维草图,并提取集成特征。以草图和二维视图的集成特征为基础,计算草图与三维模型之间的相似度。按相似度从大到小依次排序,将相似度最高的前8个模型显示在检索界面中。系统检索的F测度为0.460。

基于内容的三维模型检索综述

对当前基于内容的三维模型检索技术的国际研究现状及进展进行了广泛而深入的综述 .探讨和分析了基于内容的三维模型检索技术的系统框架及其关键方法 ,重点介绍其中的模型坐标标准化、特征提取与索引、相似性匹配、查询方式与用户界面等方面的基本内容 ,并进行了适当分类 .分析总结了现有的基于内容的三维模型检索系统及搜索引擎的典型实例 .最后 ,对现有研究中存在的难点问题及其未来的发展方向进行了展望 .