多模态协同感知与融合技术专题前言

与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数据来源、维度和数据量都在快速增长,单独模态数据所提供的信息已经不能满足智能系统感知与理解世界的需求.因此智能系统在感知世界时,需要从更多模态数据的差异化获取、动态适配、互补融合、协同感知等角度开展深入研究,这也是多媒体领域的一个非常重要和具有挑战性的问题.本专题强调多模态的协同交互与有机融合,研究多模态协同感知与融合技术,重点关注视觉语言多模态交互理解技术、多模态交互生成与重建技术和多模态智能融合与协同学习技术,旨在促进多模态特征表示、自适应融合、协同学习和交互生成等相关理论与方法的研究进展.

多站协同感知技术

6G时代,全频谱通信将成为一个特征,雷达频段与通信频段共存共用可能成为现实。通感一体化技术可以复用通信设备的硬件和频谱,对物理世界进行无线感知,已被ITU列为6G的六大场景技术之一。利用现有蜂窝网络中广泛部署基站的数量优势,多站协同感知是6G通感一体化的核心关键,可以为感知性能带来显著增益。针对通信网络的多站协同感知研究仍然处于初步阶段,缺乏协同场景定义和关键技术识别,文章提供多站协同感知的应用场景,并给出实现多站协同感知的关键技术,为多站协同感知的深入研究提供技术参考。

深度协同感知的因子分解机

因子分解机(Factorization Machines,FM)在不同的输入实例中对每个特征产生单一的固定表示,忽略了特征的多语义特性,限制了点击率(Click-through Rate,CTR)预估模型的表示和预测能力.针对这一问题,提出一种深度协同感知的因子分解机模型,引入多语义交互感知网络和三重输入感知网络,通过多语义的特征域交互并融合不同层级的特征交互信息学习不同样本的感知因子,从而获得更加准确的特征表示.通过模型对比实验和消融实验表明:该模型可以有效提升点击率预测的准确性.

基于双流特征提取的车路协同感知方法

针对自动驾驶在遮挡、超视距场景下感知不充分的问题,提出一种基于双流特征提取网络的特征级车路协同感知方法,以增强交通参与者的3D目标检测能力.根据路端与车端场景特点分别设计对应的特征提取网络:路端具有丰富且充足的感知数据和计算资源,采用Transformer结构提取更丰富、高级的特征表示;车端计算能力有限、实时性需求高,利用部分卷积(PConv)提高计算效率,引入Mamba-VSS模块实现对复杂环境的高效感知.通过置信度图指导关键感知信息共享与融合,有效实现了车路双端的协同感知.在DAIR-V2X数据集训练与测试,得到车端特征提取网络模型大小为8.1 MB,IoU阈值为0.5、0.7时对应平均精度指标为67.67%、53.74%.实验验证了该方法在检测精度、模型规模方面具备的优势,为车路协同提供了一种较低配置的检测方案.

军用无人系统协同感知与分布式滤波技术

现代战争由机械化向无人化转型,而人工智能、大数据等技术的发展促使未来战争形态呈现出仿生智能的特点。仿生无人机、智能无人车等载荷打击平台通过卫星数据链开展典型区域联合作战的前提是已知敌我双方的准确位置信息。围绕军用无人运动平台的演化历程和发展趋势,对无人系统的构成和特点进行归纳,进而指出多传感器协同感知是信息获取的主要形式,通过分布式滤波处理得到平台的位置和姿态。对多平台协同感知能力、协作估计策略和SLAM技术进行分析和总结,指出融合深度智能的协同认知、数据驱动和多源多模态融合等技术是提升无人作战效能的核心关键。

基于多传感器融合的协同感知方法

该文提出了一种新的多模态协同感知框架,通过融合激光雷达和相机传感器的输入来增强自动驾驶感知系统的性能。首先,构建了一个多模态融合的基线系统,能有效地整合来自激光雷达和相机传感器的数据,为后续研究提供了可比较的基准。其次,在多车协同环境下,探索了多种流行的特征融合策略,包括通道级拼接、元素级求和,以及基于Transformer的融合方法,以此来融合来自不同类型传感器的特征并评估它们对模型性能的影响。最后,使用大规模公开仿真数据集OPV2V进行了一系列实验和评估。实验结果表明,基于注意力机制的多模态融合方法在协同感知任务中展现出更优越的性能和更强的鲁棒性,能够提供更精确的目标检测结果,从而增加了自动驾驶系统的安全性和可靠性。

车路协同感知技术研究进展及展望

近年来,我国自动驾驶研究逐步从聚焦于单车智能技术向车路协同技术转变,为智能交通产业发展带来了重大机遇;我国在车路协同感知领域的研究虽处于起步阶段,但注重技术推动,未来发展前景广阔。本文致力于深入探讨车路协同感知技术的发展动态,梳理了车路协同感知基础支撑技术的特性和发展现状,厘清了车路协同感知技术的研究进展,探讨了其技术发展趋势,并针对推动车路协同感知技术发展提出了一系列建议。研究表明,车路协同感知技术正朝着多源数据融合方向发展,主要集中在纯视觉协同感知技术优化、激光雷达点云处理技术升级、多传感器时空信息匹配与数据融合技术发展以及车路协同感知技术标准体系构建等方面。为进一步促进我国车路协同自动驾驶产业的迅速成长,研究建议,加大对多模态车路协同感知技术的研发投入、深化行业间的合作、制定统一的感知数据处理技术标准并加速技术应用普及,以期推动我国在全球自动驾驶竞争中赢得主动,推动自动驾驶行业稳定持续发展。

基于XR的沉浸式媒介交互与协同感知研究综述

目的旨在以XR体验为背景进行跨现实交互与协同感知研究综述,分析并提出增强观众体验的方法与设计建议。方法采用文献综述与案例分析方法,重点分析了XR空间的弥合与跨越、沉浸式媒介下的观众行为交互与情绪感知,提出相关交互框架与设计原型并应用于具体案例。结果XR技术显著增强了观众与虚拟环境的互动体验,同时生物反馈技术的融入为观众情绪的协同感知提供了新的手段。结论跨现实交互与多人情绪感知反馈在沉浸式体验中的应用前景广阔,但仍需持续优化交互设计、提升观众体验,以促进沉浸式媒介体验的社会性可持续发展,从而推动数字创意产业的革新。

协同感知系统中一种基于信息年龄优化的服务策略

边缘计算(EC)技术通过在网络边缘实时处理数据,解决了单车感知、传感器处理和传输延迟等问题,为提供高效、安全的自动驾驶服务提供支持。时敏信息是自动驾驶的核心问题,信息年龄(AoI)成为解决实时性和性能问题的关键指标。将AoI引入自动驾驶EC场景,在协同感知系统架构中,以AoI为主要优化目标,提出最大信息年龄优先的服务策略。通过计算服务策略的时间指标理论值,寻找影响系统性能的关键参数。采用蒙特卡洛方法对传统服务策略和所提的策略进行对比实验。仿真结果表明,在随机初始化的批次结构下,所提的服务策略具有最低的平均AoI,相比并行服务策略降低了54.57%,证明其在AoI优化上的显著优势。

基于语义通信的协同感知系统

相较于单车感知,协同感知具有更广的感知范围,在自动驾驶进行3D目标检测中发挥着越来越重要的作用。通过V2V通信技术,网联自动驾驶车辆可以共享它们的传感信息(LiDAR点云)以实现协同感知。采用重要性图来提取重要语义信息,并提出了一种具有中间融合功能的创新的协同感知语义通信方案。同时,所提出的架构可以扩展到具有挑战性的时变多径衰落信道。为了减轻时变多径衰落引起的失真,采用了结合信道估计和信道均衡的显式正交频分复用模块。仿真结果表明,所提出的模型在各种信道模型上都优于传统的信源信道分离编码。此外,鲁棒性研究表明,对于协同感知,只有部分语义信息至关重要。尽管所提模型仅在一个特定信道上进行了训练,但它能学习到对各种信道模型都具有鲁棒性的语义信息的编码表示,展示了其通用性和鲁棒性。

面向自然资源监测监管的多元协同感知系统框架设计

为切实提升自然资源变化的快速发现能力和调查监测工作效率,“国土调查云”国家级节点设计研发了多元协同感知系统。本文总结梳理了该系统利用不同感知手段在空间、时间及成本等方面的特点和优势,探讨了有效集成各类监测感知设备,实现一体化协同感知、监测服务动态推送的工作思路,以助力推进自然资源调查监测数字化转型、响应国土空间治理体系现代化建设。

承压管道焊接多源异构数据协同感知分析与智能控制技术

一、成果研究背景承压管道是石化运输管线、海上钻井平台、石油运输船舶、石油化工装备、煤化工装备、管板式换热器等重要组成部件,涵盖各类管—管、管—三通、管—法兰、管—弯头、管—板、管—筒体等以焊接为主的多种连接形式,具有“非标定制小批量”特点,设计制造难度大、技术安全、焊接质量要求高。

面向对象协同感知机制的研究与应用

为解决传统的协同感知模型不适合直接移植到分布式协同3D虚拟实验室的问题,结合分布式协同3D虚拟实验室自身的特点,提出了面向对象的协同感知模型。用面向对象的编程思想结合面向接口的编程思想实现了分布式协同3D虚拟实验室的面向对象协同感知机制。实验结果表明,面向对象的协同感知机制能使分布式协同3D虚拟实验室环境中的协同者及时、准确的感知到其它协同者的行为和场景状态的变化。

基于信息可视化的协同感知模型

为了提高协同感知的直观性与交互性,提出了一种基于信息可视化的协同感知模型,在感知粒度和感知范围的支持下将感知对象与感知呈现模式相映射,引入了进程线、任务前趋图、思维导图等图形化的信息可视化方式以支持感知信息的通信,描述了不同设计端对感知信息的处理流程。在协同模板建模平台中实现并验证了该模型,有效提高了协同设计中交互的启发性,促进了设计过程中的通信与协作。

CSCW系统中协同感知的研究

协同感知理论的研究与应用是计算机支持的协同工作的重要研究内容之一。在研究分析了传统的协同感知所依赖的CSCW体系结构的基础上,提出了一种基于P2P的三层结构的协同感知框架,该架构很适合于CSCW中项目可以划分为若干个相对独立的模块的情形。最后对该框架的具体感知模块进行了分析,并讨论了下一步研究将要解决的问题。

一个虚拟教室的协同感知技术

协同感知技术近来成为CSCW和CSCL的一个新的研究领域，它是一个先进的人机接口技术。该文介绍了一个在虚拟教室中实现的协同感知代理的框架结构以及这个协同感知代理的工作过程，在该协同感知过程中实现了对感知信息的灵活过滤，提高了协同感知的效率。

半透明半明确协作框架下远程指针协同感知研究

远程指针协同感知是 CSCW系统的关键技术之一 .首先提出了半透明半明确协作框架下指针共享原理 ,包括鼠标移动消息事件的截取和鼠标消息事件的执行模式 .然后提出了指针一致性维护和指针映射方法 ,给出了指针映射前、后处理算法和基本映射思路 .最后研究了动态指针与语义重载的实现框架 ,构造了动态指针的模拟资源 ,设计了远程指针的感知域和重载语义 .原型系统的实践表明这些技术方法是正确可行的 ,有利于增强协作者的群体意识 ,促进协同工作的进行 .

多摄像头协同感知系统的设计与实现

为了提供连续的实时监控,提高区域安全性,利用多个活动像机,设计了一个对多个运动目标进行无缝检测和跟踪的协同感知系统,并提供给用户一个可视的3维场景。最后给出了实验室的应用实例。

基于协同感知的视觉选择注意计算模型

鉴于在任务相关的视觉注意中,需要建立基于任务的视觉注意显著图来引导视觉注意,为此利用与人认知过程相接近的协同感知理论来研究基于任务的视觉注意计算模型,即首先利用协同识别理论研究二义及多义模式的视觉感知,得到协同视觉感知理论;然后将协同视觉感知中的模式与从视觉注意模型中提取的底层视觉特征相对应,利用偏置矩阵的性质计算底层视觉特征间受任务影响而产生的偏置,再由此偏置和底层视觉特征生成基于任务的视觉注意显著图;最后提出了基于协同感知理论的视觉选择注意计算模型。该算法用于基于任务的视觉搜索的实验结果表明,该算法是有效的,在认知上是合理的。

链式无线传感器网络移动目标二元协同感知策略

对链式无线传感器网络中移动目标的感知是对运动目标跟踪定位的基础,如何在节点能量有限情况下准确感知移动目标是其主要技术之一。为此,提出了一种基于节点相邻步距间协作的二元协同感知策略。首先提出目标感知节点集求解算法和目标运动感知模型;其次,融合当前感知概率和历史感知经验,建立移动目标感知概率求解模式,并相应地提出了二元协同感知算法;以矿井巷道内的人员定位监测为工程仿真实例,进一步进行了二元协同感知策略、全节点感知策略与单节点感知策略的性能比较,结果表明,二元协同感知策略能有效解决单个感知策略易存在检测漏洞与全节点感知策略通信量大的缺点,提高移动目标的感知概率,延长了网络的生存寿命。最后,以建筑物楼道长廊中的人员定位监测作为实际环境测试平台,测试了二元协同感知策略的性能变化,其结果显示出实际环境测试结果与理论仿真值变化趋势基本相同,从而验证了二元协同感知策略的实际有效性。