3D scene graph prediction from point clouds

Background In this study,we propose a novel 3D scene graph prediction approach for scene understanding from point clouds.Methods It can automatically organize the entities of a scene in a graph,where objects are nodes and their relationships are modeled as edges.More specifically,we employ the DGCNN to capture the features of objects and their relationships in the scene.A Graph Attention Network(GAT)is introduced to exploit latent features obtained from the initial estimation to further refine the object arrangement in the graph structure.A one loss function modified from cross entropy with a variable weight is proposed to solve the multi-category problem in the prediction of object and predicate.Results Experiments reveal that the proposed approach performs favorably against the state-of-the-art methods in terms of predicate classification and relationship prediction and achieves comparable performance on object classification prediction.Conclusions The 3D scene graph prediction approach can form an abstract description of the scene space from point clouds.

Constructing Multiple Scene Graphs in Distributed Environment

Scene graph is a infrastructure of the virtual reality system to organize the virtual scene with abstraction, it can provide facility for the rendering engine and should be integrated effectively on demand into a real-time system, where a large quantities of scene objects and resources can be manipulated and managed with high flexibility and reliability. We present a new scheme of multiple scene graphs to accommodate the features of rendering engine and distributed systems. Based upon that, some other functions, e.g. block query, interactive editing, permission management, instance response, ＂redo＂ and ＂undo＂, are implemented to satisfy various requirements. At the same time, our design has compatibility to popular C/S architecture with good concurrent performance. Above all, it is convenient to be used for further development. The results of experiments including responding time demonstrate its good performance.

High-extensible scene graph framework based on component techniques

In this paper, a novel component-based scene graph is proposed, in which all objects in the scene are classified to different entities, and a scene can be represented as a hierarchical graph composed of the instances of entities. Each entity contains basic data and its operations which are encapsulated into the entity component. The entity possesses certain behaviours which are responses to rules and interaction defined by the high-level application. Such behaviours can be described by script or behaviours model. The component-based scene graph in the paper is more abstractive and high-level than traditional scene graphs. The contents of a scene could be extended flexibly by adding new entities and new entity components, and behaviour modification can be obtained by modifying the model components or behaviour scripts. Its robustness and efficiency are verified by many examples implemented in the Virtual Scenario developed by Peking University.

Dynamic Scene Graph Generation of Point Clouds with Structural Representation Learning

Scene graphs of point clouds help to understand object-level relationships in the 3D space.Most graph generation methods work on 2D structured data,which cannot be used for the 3D unstructured point cloud data.Existing point-cloud-based methods generate the scene graph with an additional graph structure that needs labor-intensive manual annotation.To address these problems,we explore a method to convert the point clouds into structured data and generate graphs without given structures.Specifically,we cluster points with similar augmented features into groups and establish their relationships,resulting in an initial structural representation of the point cloud.Besides,we propose a Dynamic Graph Generation Network(DGGN)to judge the semantic labels of targets of different granularity.It dynamically splits and merges point groups,resulting in a scene graph with high precision.Experiments show that our methods outperform other baseline methods.They output reliable graphs describing the object-level relationships without additional manual labeled data.

ViWoSG:A distributed scene graph of ultra-massive distributed virtual environments

An ultra-massive distributed virtual environment generally consists of ultra-massive terrain data and a large quantity of objects and their attribute data, such as 2D/3D geometric models, audio/video, images, vectors, characteristics, etc. In this paper, we propose a novel method for constructing distributed scene graphs with high extensibility. This method can support high concurrent interaction of clients and implement various tasks such as editing, querying, accessing and motion controlling. Some application experiments are performed to demonstrate its efficiency and soundness.

基于OpenSceneGraph的大场景三维浏览系统设计与实现

文中主要研究了基于OpenSceneGraph的大场景三维模型的建立、三维浏览系统设计与实现。首先在3DMax中建立场景中的独立模型,利用VirtualPlanetBuilder建立场景DEM模型,最后利用Visual Stidio和OpenSceneGraph设计并开发了大场景三维浏览系统,实现了三维场景模型的加载、浏览和漫游功能。

Traffic Scene Captioning with Multi-Stage Feature Enhancement

Traffic scene captioning technology automatically generates one or more sentences to describe the content of traffic scenes by analyzing the content of the input traffic scene images,ensuring road safety while providing an important decision-making function for sustainable transportation.In order to provide a comprehensive and reasonable description of complex traffic scenes,a traffic scene semantic captioningmodel withmulti-stage feature enhancement is proposed in this paper.In general,the model follows an encoder-decoder structure.First,multilevel granularity visual features are used for feature enhancement during the encoding process,which enables the model to learn more detailed content in the traffic scene image.Second,the scene knowledge graph is applied to the decoding process,and the semantic features provided by the scene knowledge graph are used to enhance the features learned by the decoder again,so that themodel can learn the attributes of objects in the traffic scene and the relationships between objects to generate more reasonable captions.This paper reports extensive experiments on the challenging MS-COCO dataset,evaluated by five standard automatic evaluation metrics,and the results show that the proposed model has improved significantly in all metrics compared with the state-of-the-art methods,especially achieving a score of 129.0 on the CIDEr-D evaluation metric,which also indicates that the proposed model can effectively provide a more reasonable and comprehensive description of the traffic scene.

多光源照射下目标图像实时生成方法

由于地理位置、太阳、大气环境等因素限制,无法获取空间目标在各种姿态、光照条件、特别是激光、太阳和背景光共同作用下的实际成像。提出一种多光源照射下目标图像实时生成方法。该方法基于计算机图形学中纹理映射思想,采用现代图形显卡编程技术和帧缓存对象特性,在GPU(Graphics Processing Unit)端采用着色器语言实现多光源作用下目标亮度值高效计算和真实感增强;采用开源三维图形引擎OSG(Open SceneGraph)支持多种格式三维模型文件,提高与国产麒麟操作系统及常用战场态势显示软件的兼容性。仿真实验验证了该方法的有效性和优越性。

基于场景理解的施工临边坠落险兆智能识别方法

为更及时、更有效地预防施工临边坠落事故的发生,并弥补现有智能预警方法在场景理解方面的不足,融合深度学习与语义推理,提出1种险兆识别方法。该方法通过neo4j构建险兆知识图谱,将引入轻量级视觉Transformer的YOLOx模型识别工人的险兆行为,设计描述空间关系的IoU计算方法并使用Cypher推理语言进行险兆推理。研究结果表明:施工临边坠落各要素识别的平均精度达91%以上,且IoU计算与险兆推理准确率均为100%,模型识别效果与险兆推理效果较好,该方法总体满足精度和速度的识别要求。研究结果可为实现施工临边坠落险兆行为的精准识别和预警提供参考。

基于策略图的三维位置隐私发布算法研究

随着移动智能终端的普及,基于位置服务(Location-Based Services,LBS)的应用迎来了爆发式增长,高层室内建筑是位置服务的重要应用场景之一。然而现有的位置隐私保护算法大多适用于二维位置数据,面向大型室内三维场景的位置隐私保护研究尚且不足,并且缺乏可个性化定制的三维隐私策略。针对该问题,文章提出了一种基于策略图的三维位置隐私发布算法。首先,设计一种基于可定制策略图的位置隐私保护框架,可根据具体场景需求动态定制适合的隐私策略;其次,设计两种面向三维的差分隐私变体机制,结合定制策略图,实现三维场景下的位置隐私保护;最后,在三维数据集上进行仿真实验,实验结果表明,与其他三维位置隐私保护算法相比,文章所提算法具有更好的稳定性和效用性。

基于动作条件交互的高效行人过街意图预测

城市化的进程不断加速,人车冲突问题已成为现代社会亟待解决的重大难题。复杂交通场景下,行人横穿马路行为导致交通事故频发,准确、实时地预测行人过街意图对避免人车冲突、提高驾驶安全系数和保障行人安全至关重要。本文提出基于动作条件交互的高效行人过街意图预测框架(efficient action-conditioned interaction pedestrian crossing intention anticipation framework,EAIPF)来预测行人过街意图。EAIPF引入行人动作编码模块增强多模态动作模式下的表征能力,挖掘深层骨架上下文信息。同时,引入场景对象交互模块挖掘与对象交互信息,理解交通场景中高级语义线索。最后,意图预测模块融合行人动作特征和对象交互特征,实现行人过街意图的鲁棒预测。所提出的方法在两个公共数据集JAAD和PIE上验证算法性能,准确率分别达到了89%和90%,表明本文方法可以在复杂交通场景下准确预测行人穿越意图。

基于改进超体素与图割的室内场景点云分割

室内场景点云分割是三维场景感知、理解、分析及应用的基础。尽管目前的室内点云分割方法可以应用于很多场景,但缺乏对不同结构分割的适应性,在处理临近平行面的分割时,仍无法避免欠分割,因此,本文提出了一种基于改进超体素与图割的方法。首先通过对超体素的邻域选择、法向量计算、特征距离度量,以及对超体素局部邻接图的空间连通性约束与分割,构建出自适应处理临近平行面关系的机制,实现复杂室内场景点云的有效分割,克服欠分割现象;最后通过4组室内场景点云进行验证,并与现有方法进行对比分析。结果表明,本文方法提高了复杂室内场景点云分割的精确率和召回率,验证了其对不同结构分割的适应性和有效性。

基于场景图感知的跨模态图像描述模型

针对图像描述方法中对图像文本信息的遗忘及利用不充分问题,提出了基于场景图感知的跨模态交互网络(SGC-Net)。首先,使用场景图作为图像的视觉特征并使用图卷积网络(GCN)进行特征融合,从而使图像的视觉特征和文本特征位于同一特征空间;其次,保存模型生成的文本序列,并添加对应的位置信息作为图像的文本特征,以解决单层长短期记忆(LSTM)网络导致的文本特征丢失的问题;最后,使用自注意力机制提取出重要的图像信息和文本信息后并对它们进行融合,以解决对图像信息过分依赖以及对文本信息利用不足的问题。在Flickr30K和MSCOCO(MicroSoft Common Objects in COntext)数据集上进行实验的结果表明,与Sub-GC相比,SGC-Net在BLEU1(BiLingual Evaluation Understudy with 1-gram)、BLEU4(BiLingual Evaluation Understudy with 4-grams)、METEOR(Metric for Evaluation of Translation with Explicit ORdering)、ROUGE(Recall-Oriented Understudy for Gisting Evaluation)和SPICE(Semantic Propositional Image Caption Evaluation)指标上分别提升了1.1、0.9、0.3、0.7、0.4和0.3、0.1、0.3、0.5、0.6。可见,SGC-Net所使用的方法能够有效提升模型的图像描述性能及生成描述的流畅度。

嵌入拓扑特征的自然场景文本检测方法

传统的基于锚点框(anchor box)实现的自然场景文本检测方法中,锚点框容易受到其他文本实例的干扰产生误判或精度降低,且文本实例包含强烈的拓扑特征但并未得到重视,导致在弯曲环形文本检测任务中表现不佳。针对这个问题提出了一种新颖的神经网络结构,引入图卷积神经网络的概念,充分考虑邻近锚点框之间的联系,并融入锚点框的拓扑特征辅助图神经网络的学习,提高整体网络的有效性。在两个公开的自然场景文本检测数据集上进行了消融实验,在公开数据集CTW1500中,本文提出的方法使模型在召回率、精确率、F分数这3个指标上分别提高了3.0%、1.9%以及2.5%,在公开数据集Totel-Text中这3个指标分别是2.2%、1.8%以及2.0%。此外,本文方法还与近年提出的其他文本检测算法进行了比较,实验结果证明本文提出的方法在复杂自然场景下文本检测效果优秀,所提出的模块有利于文本检测性能的提高。

基于抽象关系场景图的图像情感识别

图像情感识别是通过分析视觉刺激来预测人类情感的抽象过程。现有方法大多缺乏对对象间关系以及对象与场景间相互作用的关注,并且对象间复杂多样的关系难以得到充分利用,进而导致难以正确对图像情感进行预测。为解决上述问题,提出一种基于抽象关系场景图的图像情感识别方法。首先,构建对象和属性检测器来提取图像中对象及其属性的特征。其次,使用对象特征推理对象间的亲密度和抽象关系特征,进而构建抽象关系场景图。再次,提出抽象关系图卷积网络来推理抽象关系场景图。最后,设计渐进式注意力机制对多个对象特征进行融合,以得到图像的整体对象特征。在FI、EmotionRoI和Twitter I公开数据集上的试验结果表明,该方法的分类准确率优于现有方法。

基于多尺度时空Transformer的视频动态场景图生成模型

为应对动态视频中物体间关系在时间维度上的动态变化,提出一种基于多尺度时空Transformer的视频动态场景图生成模型,在经典的Transformer架构基础上引入了多尺度建模思想,以实现对视频动态细粒度语义的精确建模。首先,在空间维度上保留了传统模型对物体在全局空间相关性的关注;同时还对物体间的相对位置进行了局部空间相关性建模,以便更好地理解人和物之间的交互动态,提供更准确的语义分析结果。其次,在时间维度上,除了保留传统模型对视频中物体短期时间相关性的关注外,还关注了同一对物体在完整视频中的长期时间相关性,通过更全面地建模物体之间的长期关系,生成更准确、连贯的场景图,在一定程度上缓解了由遮挡、重合等引起的场景图生成问题。最后,通过空间编码器与时间编码器的共同作用,更加精准地建模视频动态细粒度语义,克服了传统的单尺度模型的局限性。实验结果显示,在Action Genome基准数据集上,与基线模型STTran相比,在谓词分类、场景图分类与场景图检测三个任务的Recall@10指标上分别提升了5.0、2.8、2.9个百分点。实验结果表明,多尺度建模思想能够更加精确地建模,并有效地提高在视频动态场景图生成任务上的性能。

中国现代丝绸文化记忆的数字化设计研究(1949—1988年)

1949—1988年的中国现代丝绸文化是中国社会从新民主主义过渡到社会主义探索时期,再到改革开放的历史进程中,在文化和经济建设方面的一个缩影。这一时期的丝绸文化虽由文献、档案、实物等媒介保存着历史情境和社会框架下重建文化记忆的种种特质,却也面临着记忆个体淡出、记忆媒介分散、记忆传播低效等问题。为了活化中国现代丝绸文化记忆,本文以文化记忆理论为指导,论述了中国现代丝绸文化记忆现状,从记忆内涵、记忆媒介的维度重新梳理其内在结构,并结合信息可视化设计、APP交互设计、3D虚拟场景设计等数字化设计方法,探讨了中国现代丝绸文化复述、复现与复活的新思路及新路径。

基于多尺度目标检测的人机协作装配场景认知方法

人机协作装配场景的快速理解对提高协作机器人认知能力、实现人机协作装配具有重要的现实意义。针对非结构化人机协作装配场景认知过程中目标尺度差异较大、缺少统一场景描述框架等问题,首先构建了一种轻量级多尺度目标检测网络LMS-Net,并在网络训练过程中引入目标检测框聚类机制以提高多尺度目标检测精度;然后将LMS-Net检测结果转换为人物交互图并建立了人机协作装配场景元描述模型,提出了基于多尺度目标检测的人机协作装配场景认知方法。在自建数据集HRC-Action上的实验结果表明所构建多尺度目标检测网络具有较高的准确率(平均89%)和较快的速度(深度学习工作站平均58.7 FPS,Jetson Nano B01嵌入式开发板平均25 FPS),所提人机协作装配场景认知方法具有较好的可行性和实用性。

知识图谱约束深度网络的高分辨率遥感影像场景分类

得益于深度网络理论与方法的快速发展,深度网络逐渐成为遥感影像场景分类任务的主流技术。然而,现有基于深度网络的遥感影像场景分类方法高度依赖大量人工标记的训练样本,且无法有效融合利用遥感领域丰富的先验知识。为了提升领域知识利用率同时降低标记样本依赖,本文提出了一种知识图谱引导深度网络学习的高分辨率遥感影像场景分类方法。首先,构建了一个包括领域内多种来源知识的土地覆盖概念知识图谱来更灵活便捷地应用领域先验知识。然后,通过知识图谱表示学习方法将土地覆盖概念知识图谱中的遥感场景语义类别表达为语义向量,形成遥感场景类别语义基准。在知识引导学习阶段,通过施加场景类别语义向量与深度网络浅层视觉特征向量的跨模态对齐约束引导深度网络的浅层部分更有效地学习不同类别遥感影像场景的共享特征,在深度网络深层部分则仍然通过场景类别标签引导学习不同遥感场景的判别特征。在测试阶段,完成优化的深度网络模型可以在不依赖任何先验知识的情况下完成高精度遥感影像场景分类。在目前公开的最大的遥感影像场景分类数据集上的试验结果表明,本文提出的知识引导学习方法相比现有方法在10%、30%、50%等不同训练样本比率下均可以获得最佳分类性能。在10%这一比率条件下,本文提出的知识引导学习方法相比基线深度网络在总体精度指标(OA)上能够得到5.11%的提升。

室外动态场景图的构建及其三维重建方法研究

合理有效的表示空间和场景语义信息是计算机视觉高级任务的基础之一.目前多数场景表示工作都是基于室内静态环境展开的,对室外场景表示时,存在三维建模结果易受到光照等干扰以及分层表示的属性、结构不适用的问题.故提出了一种针对室外环境的空间感知统一表示——室外3D动态场景图,根据室外场景中对象的不同尺度、种类等,对分层的属性及逻辑进行改进.特别针对现有三维重建方法易受到室外环境干扰的问题,结合深度特征度量改进稀疏重建中关键点调整和束调整步骤,通过改进后的关键点位置和相机位姿提高稠密重建的结果.在ETH3D数据集与自采室外图像上进行三维重建实验,并从准确率、完整率以及F1分数等指标上与其他多视几何方法进行了对比.实验结果表明,所提方法能够更精确的重建室外场景,并且在光照等室外条件不理想情况下重建效果更好.