基于场景图感知的跨模态图像描述模型

针对图像描述方法中对图像文本信息的遗忘及利用不充分问题,提出了基于场景图感知的跨模态交互网络(SGC-Net)。首先,使用场景图作为图像的视觉特征并使用图卷积网络(GCN)进行特征融合,从而使图像的视觉特征和文本特征位于同一特征空间;其次,保存模型生成的文本序列,并添加对应的位置信息作为图像的文本特征,以解决单层长短期记忆(LSTM)网络导致的文本特征丢失的问题;最后,使用自注意力机制提取出重要的图像信息和文本信息后并对它们进行融合,以解决对图像信息过分依赖以及对文本信息利用不足的问题。在Flickr30K和MSCOCO(MicroSoft Common Objects in COntext)数据集上进行实验的结果表明,与Sub-GC相比,SGC-Net在BLEU1(BiLingual Evaluation Understudy with 1-gram)、BLEU4(BiLingual Evaluation Understudy with 4-grams)、METEOR(Metric for Evaluation of Translation with Explicit ORdering)、ROUGE(Recall-Oriented Understudy for Gisting Evaluation)和SPICE(Semantic Propositional Image Caption Evaluation)指标上分别提升了1.1、0.9、0.3、0.7、0.4和0.3、0.1、0.3、0.5、0.6。可见,SGC-Net所使用的方法能够有效提升模型的图像描述性能及生成描述的流畅度。

基于双分支多头注意力的场景图生成方法

针对已有场景图生成模型获取上下文信息有限的问题,提出一种有效的上下文融合模块,即双分支多头注意力(dual-stream multi-head attention, DMA)模块,并将DMA分别用于物体分类阶段和关系分类阶段,基于此提出基于双分支多头注意力的场景图生成网络(dual-stream multi-head attention-based scene graph generation network, DMA-Net)。该网络由目标检测、物体语义解析和关系语义解析3个模块组成。首先,通过目标检测模块定位图像中的物体并提取物体特征;其次,使用物体语义解析模块中的节点双分支多头注意力(object dual-stream multi-head attention, O-DMA)获取融合了节点上下文的特征,该特征经过物体语义解码器获得物体类别标签;最后,通过关系语义解析模块中的边双分支多头注意力(relationship dual-stream multi-head attention, R-DMA)输出融合了边上下文的特征,该特征经过关系语义解码器输出关系类别标签。在公开的视觉基因组(visual genome, VG)数据集上分别计算了DMA-Net针对场景图检测、场景图分类和谓词分类3个子任务的图约束召回率和无图约束召回率,并与主流的场景图生成方法进行比较。实验结果表明,所提出的方法能够充分挖掘场景中的上下文信息,基于上下文增强的特征表示有效提升了场景图生成任务的精度。

基于抽象关系场景图的图像情感识别

图像情感识别是通过分析视觉刺激来预测人类情感的抽象过程。现有方法大多缺乏对对象间关系以及对象与场景间相互作用的关注,并且对象间复杂多样的关系难以得到充分利用,进而导致难以正确对图像情感进行预测。为解决上述问题,提出一种基于抽象关系场景图的图像情感识别方法。首先,构建对象和属性检测器来提取图像中对象及其属性的特征。其次,使用对象特征推理对象间的亲密度和抽象关系特征,进而构建抽象关系场景图。再次,提出抽象关系图卷积网络来推理抽象关系场景图。最后,设计渐进式注意力机制对多个对象特征进行融合,以得到图像的整体对象特征。在FI、EmotionRoI和Twitter I公开数据集上的试验结果表明,该方法的分类准确率优于现有方法。

基于多尺度时空Transformer的视频动态场景图生成模型

为应对动态视频中物体间关系在时间维度上的动态变化,提出一种基于多尺度时空Transformer的视频动态场景图生成模型,在经典的Transformer架构基础上引入了多尺度建模思想,以实现对视频动态细粒度语义的精确建模。首先,在空间维度上保留了传统模型对物体在全局空间相关性的关注;同时还对物体间的相对位置进行了局部空间相关性建模,以便更好地理解人和物之间的交互动态,提供更准确的语义分析结果。其次,在时间维度上,除了保留传统模型对视频中物体短期时间相关性的关注外,还关注了同一对物体在完整视频中的长期时间相关性,通过更全面地建模物体之间的长期关系,生成更准确、连贯的场景图,在一定程度上缓解了由遮挡、重合等引起的场景图生成问题。最后,通过空间编码器与时间编码器的共同作用,更加精准地建模视频动态细粒度语义,克服了传统的单尺度模型的局限性。实验结果显示,在Action Genome基准数据集上,与基线模型STTran相比,在谓词分类、场景图分类与场景图检测三个任务的Recall@10指标上分别提升了5.0、2.8、2.9个百分点。实验结果表明,多尺度建模思想能够更加精确地建模,并有效地提高在视频动态场景图生成任务上的性能。

笔花妙得天然趣 不是寻常梦里人--《庄子》“故事场景图”题画诗刍论

题画诗是一种特殊的文学体裁,名目繁多、内容丰富。《庄子》题画诗共分为两类,“诗画一律”类忠于画面,与画作互融情韵,“诗画异质”类则拓展了画作的意蕴,记录着诗作者与画作者真实而灵动的交流。《庄子》题画诗具有丰富的内容旨趣,是诗人个人志趣的体现,也是一种对《庄子》散文与图像作品的再解读,体现了后世文人对《庄子》的钻研与热爱。

室外动态场景图的构建及其三维重建方法研究

合理有效的表示空间和场景语义信息是计算机视觉高级任务的基础之一.目前多数场景表示工作都是基于室内静态环境展开的,对室外场景表示时,存在三维建模结果易受到光照等干扰以及分层表示的属性、结构不适用的问题.故提出了一种针对室外环境的空间感知统一表示——室外3D动态场景图,根据室外场景中对象的不同尺度、种类等,对分层的属性及逻辑进行改进.特别针对现有三维重建方法易受到室外环境干扰的问题,结合深度特征度量改进稀疏重建中关键点调整和束调整步骤,通过改进后的关键点位置和相机位姿提高稠密重建的结果.在ETH3D数据集与自采室外图像上进行三维重建实验,并从准确率、完整率以及F1分数等指标上与其他多视几何方法进行了对比.实验结果表明,所提方法能够更精确的重建室外场景,并且在光照等室外条件不理想情况下重建效果更好.

基于多模态特征转换嵌入的场景图生成

场景图生成是计算机视觉领域中的热点研究方向,可连接上、下游视觉任务。场景图由形式为<主语-谓语-宾语>的三元组组成,模型需要对整幅图像的全局视觉信息进行编码,从而辅助场景理解。但目前模型在处理一对多、多对一和对称性等特殊的视觉关系时仍存在问题。基于知识图谱与场景图的相似性,我们将知识图谱中的转换嵌入模型迁移至场景图生成领域。为了更好地对此类视觉关系进行编码,本文提出了一种基于多模态特征转换嵌入的场景图生成框架,可对提取的视觉和语言等多模态特征进行重映射,最后使用重映射的特征进行谓语类别预测,从而在不明显增加模型复杂度的前提下构建更好的关系表示。该框架囊括并补充了现存的几乎所有转换嵌入模型的场景图实现,将四种转换嵌入模型(TransE、TransH、TransR、TransD)分别应用于场景图生成任务,同时详细阐述了不同的视觉关系类型适用的模型种类。本文所提框架扩展了传统应用方式,除独立模型之外,本文设计了新的应用方式,即作为即插即用的子模块插入到其他网络模型。本文利用大规模语义理解的视觉基因组数据集进行实验,实验结果充分验证了所提框架的有效性,同时,得到的更丰富的类别预测结果表明了本文所提框架有助于解决数据集中的长尾偏差问题。

基于自适应正则化的无偏场景图生成方法

场景图生成旨在给定一张图片,通过目标检测模块得到实体和实体间关系的视觉三元组形式,即主语、关系和宾语,构建语义结构化表示。场景图可应用于图像检索和视觉问答等下游任务。然而,由于数据集中的实体间关系呈长尾分布,因此现有模型在预测关系时更偏向于粗粒度的头部关系。这样的场景图无法对下游任务起到辅助性作用。以往工作普遍采用再平衡策略,如重采样和重加权的方法,来解决长尾问题。但模型反复学习尾部关系样本,易出现过拟合现象。为了解决上述问题,文中提出了一种自适应正则化无偏场景图生成方法。具体来说,该方法通过设计一个基于先验关系频率的正则项,自适应地调整模型全连接分类器权重,从而实现对模型的平衡预测。所提方法在场景图VG(Visual Genome)数据集上进行了实验,实验结果表明,该方法不仅能防止模型过拟合,也能缓解关系长尾分布问题对场景图生成的负面影响,且最先进的场景图生成方法在结合所提方法后能更有效地改善无偏场景图生成的性能。

基于增强语义信息理解的场景图生成

场景图生成(SGG)任务旨在检测图像中的视觉关系三元组,即主语、谓语、宾语,为场景理解提供结构视觉布局。然而,现有的场景图生成方法忽略了预测的谓词频率高但却无信息性的问题,从而阻碍了该领域进步。为了解决上述问题,提出一种基于增强语义信息理解的场景图生成算法。整个模型由特征提取模块、图像裁剪模块、语义转化模块、拓展信息谓词模块四部分组成。特征提取模块和图像裁剪模块负责提取视觉特征并使其具有全局性和多样性。语义转化模块负责将谓词之间的语义关系从常见的预测中恢复信息预测。拓展信息谓词模块负责扩展信息谓词的采样空间。在数据集VG和VG-MSDN上与其他方法进行比较,平均召回率分别达到59.5%和40.9%。该算法可改善预测出来的谓词信息性不足问题,进而提升场景图生成算法的性能。

北方地区晚唐五代壁画墓生活场景图探析

晚唐五代时期墓葬结构简化,墓道变短,墓室形制为单室圆形砖室墓。墓室内生活场景图壁画兴盛,壁画墓中开始出现表现日常起居生活的场景图,其中衣食题材数量较多,可分为“食”“衣”两大类:“食”由备食图逐渐转变为备茶图,最终演变为宴饮图;“衣”主要表现更衣和理柜的场景。壁画构图形式发生了变化,圆形的墓室形状形成了以甬道为对称轴,生活场景图呈东西对称分布的特点,多人多幅场景图表现墓主内宅活动。反映壁画墓在等级较低的墓中流行,墓室壁画世俗化特点明显。

虚拟环境中面向装配设计的数据场景图研究

作为虚拟环境中的数据结构 ,场景图的构建是虚拟现实技术领域的重要研究问题之一 .针对虚拟装配设计系统的要求 ,讨论现有商业VR软件在开发虚拟装配设计时存在的限制 ,提出一个基于场景图的多层次虚拟装配设计模型VAM .在现有VR软件和VAM的基础上 ,说明了虚拟装配设计时的路径规划、序列生成、零件之间的约束关系等的表示和应用 .

复杂装备虚拟维修训练系统中数据场景图研究

针对传统场景图结构在开发虚拟维修训练系统时的局限性,提出了一种新的场景图数据结构。该场景图具有对象-表面-面片3层结构,并用四元组的数据结构<A,S,E,B>封装了虚拟对象的属性信息、内部状态集、事件列表以及与事件相对应的行为。利用该场景图结构实现了表面间碰撞检测,并对发生碰撞的表面进行约束识别和约束求解。利用Petri网描述虚拟对象的状态及状态之间的转换,并将其转化为虚拟对象的规则集,从而确定其“事件-状态”之间的因果关系。该场景图结构弥补了商用软件开发虚拟维修训练系统的不足,实现了虚拟维修中表面间的碰撞检测,并利用虚拟对象的行为信息实现了复杂的维修操作。

基于场景图的实时交互视景系统平台设计

三维场景组织管理中经常采用的空间数据结构--场景图的具体实现,包括场景数据的组织管理,可见性剔除、节点遍历、优化处理、碰撞检测等。在基于场景图的基础上设计并实现了一个实时交互式视景系统开发平台,给出了系统的结构框图、工作流程与信息交互关系,并对视景系统平台的视点控制、场景参数的应用定义文件输出以及场景图像捕捉和视频输出功能进行了详细介绍。平台同时提供了一套基于场景图的可供二次开发的三维图形应用程序接口。

基于场景图的图像缓存绘制加速技术的方法

介绍了一种基于图像缓存技术的绘制加速方法,该方法利用漫游静态场景中视点移动的连续性加速绘制过程。该文介绍了图像缓存算法的基本思想与相关研究,在实现方式中,计算参考四边形与映射四边形相对于视点的角度差,作为衡量缓存纹理是否可用的误差控制 标准,文章的最后提出了下一步有待于改进的研究点。

基于场景图的并行渲染系统研究与实现

为满足大规模虚拟现实应用在渲染速度和显示分辨率等方面的要求,提出基于场景图技术的并行渲染,使用PC集群构建了高性价比的分布式图形系统.利用场景图在视景体内的快速裁剪技术,有效提高图元的归属判断速度.研究了OpenF light格式与sort-first任务粒度划分的关系,基于场景图的层次结构来划分图元组.在保留模式下实现了一个基于场景图的sort-first原型系统,并用软件方式实现了多显示通道的无缝拼接.该系统同时考虑了CPU的功能并行和GPU的数据并行,提升了大规模场景漫游时的运行速度.

红外遥感模型的辐射场景图高分辨率研究

针对红外遥感模型的辐射场景图应用过程中需要变焦的需求,研究红外遥感模型的辐射场景图高分辨率,采用TITAN模型建立红外遥感模型,分析红外遥感模型的辐射场景传输过程,并通过Cool-Torrance模型赋予红外遥感模型表面细节信息,选取基于熵变分的图像分辨率增强技术增强红外遥感模型辐射场景图分辨率,将原始红外遥感模型辐射场景图通过离散熵变分模型滤波,降低图像噪声;将新的行或列插入去噪后图像相邻行或列中,重复上述步骤实现辐射场景图放大,最终放大后图像即高分辨率辐射场景图。实验结果表明,采用该方法获取的红外遥感模型高分辨率辐射场景图峰值信噪比均高于33 dB,且具有较优的视觉质量。

三维数字景观中场景图的组织与绘制

介绍了场景图的基本概念、场景图的作用和场景图的生成,讨论了应用软件设计模式的思想,实现数码城市的三维数字景观中场景图的组织和绘制技术。

一种面向场景图系统的刚体模拟应用框架及其实现

场景图系统是在虚拟环境生成领域应用十分广泛的技术,而刚体是虚拟环境中大量存在的一种物体对象类型。借鉴一般场景图的思想,对基于场景图系统的刚体运动建模方法进行了研究,面向通用场景图系统提出了一个实时刚体动力学仿真模拟框架,并针对Vega场景图系统给出了基于开源动力学引擎的模块化实现。

基于改进场景图的空天信息场景管理研究

由于三维空天信息系统场景复杂,动态场景多等特点,通过研究场景图和空间划分结构技术,本文提出了一种改进场景图的空间划分结构模式,在此场景组织方式下,采用lazy算法进行动态场景管理,加快基于raytracing渲染算法的动态场景绘制速度。实验证明,采用这种场景管理方式,对于空天信息场景中的静态物体和动态物体能够进行很好的管理,满足了系统实时绘制需要。

高性能面向对象场景图系统

描述了一种高性能场景图系统的设计与实现。主要的设计目的是使三维图形应用开发者从繁琐的低级 API(如 OpenGL)中解放出来并获得最高的图形性能。该系统可以工作在 Windows 和各种 UNIX 变体(如 IRIX、Linux 等)操作系统上,主要的目标操作系统是Windows,主要针对低端(单处理器)硬件平台(如个人电脑)。应用范围包括视景仿真、虚拟现实、科学可视化、临场感娱乐及其他实时三维图形应用。