结合描述性文本的三维模型语义检索方法

为了提高三维模型的检索性能,针对当前三维模型检索系统的语义检索功能无法支持用户的主观性描述文字的问题,提出一种基于内容和描述性文本结合的三维模型语义检索方法。该方法首先为三维模型构造语义树;然后,利用语料统计的方法,计算输入的描述性文本和语义树节点扩充信息的相关程度,将相关度较高的一部分节点的三维模型实例提取出来,得到一个经过语义约束的较小的三维模型集合;最后,使用用户输入的三维模型实例在这个经过语义约束的较小的三维模型集合里进行形状相似性匹配,依据匹配度的大小返回给用户三维模型检索结果。实验中,使用WordNet对一些名词的释义作为描述性文本输入。在普林斯顿大学的PSB三维模型数据集上的实验结果表明,该方法在大多数类别中的查准率—查全率性能好于传统的基于内容的三维模型检索方法。

语义增强图像-文本预训练模型的零样本三维模型分类

目前,基于对比学习的图像-文本预训练模型(CLIP)在零样本3维模型分类任务上表现出了巨大潜力,然而3维模型和文本之间存在巨大的模态鸿沟,影响了分类准确率的进一步提高。针对以上问题,该文提出一种语义增强CLIP的零样本3维模型分类方法。该方法首先将3维模型表示成多视图;然后为了增强零样本学习对未知类别的识别能力,通过视觉语言生成模型获得每张视图及其类别的语义描述性文本,并将其作为视图和类别提示文本之间的语义桥梁,语义描述性文本采用图像字幕和视觉问答两种方式获取;最后微调语义编码器将语义描述性文本具化为类别的语义描述,其拥有丰富的语义信息和较好的可解释性,有效减小了视图和类别提示文本的语义鸿沟。实验表明,该文方法在ModelNet10和ModelNet40数据集上的分类性能优于现有的零样本分类方法。