多模态协同感知与融合技术专题前言

与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数据来源、维度和数据量都在快速增长,单独模态数据所提供的信息已经不能满足智能系统感知与理解世界的需求.因此智能系统在感知世界时,需要从更多模态数据的差异化获取、动态适配、互补融合、协同感知等角度开展深入研究,这也是多媒体领域的一个非常重要和具有挑战性的问题.本专题强调多模态的协同交互与有机融合,研究多模态协同感知与融合技术,重点关注视觉语言多模态交互理解技术、多模态交互生成与重建技术和多模态智能融合与协同学习技术,旨在促进多模态特征表示、自适应融合、协同学习和交互生成等相关理论与方法的研究进展.

深度协同感知的因子分解机

因子分解机(Factorization Machines,FM)在不同的输入实例中对每个特征产生单一的固定表示,忽略了特征的多语义特性,限制了点击率(Click-through Rate,CTR)预估模型的表示和预测能力.针对这一问题,提出一种深度协同感知的因子分解机模型,引入多语义交互感知网络和三重输入感知网络,通过多语义的特征域交互并融合不同层级的特征交互信息学习不同样本的感知因子,从而获得更加准确的特征表示.通过模型对比实验和消融实验表明:该模型可以有效提升点击率预测的准确性.

军用无人系统协同感知与分布式滤波技术

现代战争由机械化向无人化转型,而人工智能、大数据等技术的发展促使未来战争形态呈现出仿生智能的特点。仿生无人机、智能无人车等载荷打击平台通过卫星数据链开展典型区域联合作战的前提是已知敌我双方的准确位置信息。围绕军用无人运动平台的演化历程和发展趋势,对无人系统的构成和特点进行归纳,进而指出多传感器协同感知是信息获取的主要形式,通过分布式滤波处理得到平台的位置和姿态。对多平台协同感知能力、协作估计策略和SLAM技术进行分析和总结,指出融合深度智能的协同认知、数据驱动和多源多模态融合等技术是提升无人作战效能的核心关键。

多站协同感知技术

6G时代,全频谱通信将成为一个特征,雷达频段与通信频段共存共用可能成为现实。通感一体化技术可以复用通信设备的硬件和频谱,对物理世界进行无线感知,已被ITU列为6G的六大场景技术之一。利用现有蜂窝网络中广泛部署基站的数量优势,多站协同感知是6G通感一体化的核心关键,可以为感知性能带来显著增益。针对通信网络的多站协同感知研究仍然处于初步阶段,缺乏协同场景定义和关键技术识别,文章提供多站协同感知的应用场景,并给出实现多站协同感知的关键技术,为多站协同感知的深入研究提供技术参考。

基于多传感器融合的协同感知方法

该文提出了一种新的多模态协同感知框架,通过融合激光雷达和相机传感器的输入来增强自动驾驶感知系统的性能。首先,构建了一个多模态融合的基线系统,能有效地整合来自激光雷达和相机传感器的数据,为后续研究提供了可比较的基准。其次,在多车协同环境下,探索了多种流行的特征融合策略,包括通道级拼接、元素级求和,以及基于Transformer的融合方法,以此来融合来自不同类型传感器的特征并评估它们对模型性能的影响。最后,使用大规模公开仿真数据集OPV2V进行了一系列实验和评估。实验结果表明,基于注意力机制的多模态融合方法在协同感知任务中展现出更优越的性能和更强的鲁棒性,能够提供更精确的目标检测结果,从而增加了自动驾驶系统的安全性和可靠性。

车路协同感知技术研究进展及展望

近年来,我国自动驾驶研究逐步从聚焦于单车智能技术向车路协同技术转变,为智能交通产业发展带来了重大机遇;我国在车路协同感知领域的研究虽处于起步阶段,但注重技术推动,未来发展前景广阔。本文致力于深入探讨车路协同感知技术的发展动态,梳理了车路协同感知基础支撑技术的特性和发展现状,厘清了车路协同感知技术的研究进展,探讨了其技术发展趋势,并针对推动车路协同感知技术发展提出了一系列建议。研究表明,车路协同感知技术正朝着多源数据融合方向发展,主要集中在纯视觉协同感知技术优化、激光雷达点云处理技术升级、多传感器时空信息匹配与数据融合技术发展以及车路协同感知技术标准体系构建等方面。为进一步促进我国车路协同自动驾驶产业的迅速成长,研究建议,加大对多模态车路协同感知技术的研发投入、深化行业间的合作、制定统一的感知数据处理技术标准并加速技术应用普及,以期推动我国在全球自动驾驶竞争中赢得主动,推动自动驾驶行业稳定持续发展。

基于语义通信的协同感知系统

相较于单车感知,协同感知具有更广的感知范围,在自动驾驶进行3D目标检测中发挥着越来越重要的作用。通过V2V通信技术,网联自动驾驶车辆可以共享它们的传感信息(LiDAR点云)以实现协同感知。采用重要性图来提取重要语义信息,并提出了一种具有中间融合功能的创新的协同感知语义通信方案。同时,所提出的架构可以扩展到具有挑战性的时变多径衰落信道。为了减轻时变多径衰落引起的失真,采用了结合信道估计和信道均衡的显式正交频分复用模块。仿真结果表明,所提出的模型在各种信道模型上都优于传统的信源信道分离编码。此外,鲁棒性研究表明,对于协同感知,只有部分语义信息至关重要。尽管所提模型仅在一个特定信道上进行了训练,但它能学习到对各种信道模型都具有鲁棒性的语义信息的编码表示,展示了其通用性和鲁棒性。

智能网联汽车协同感知信任度动态计算与评价方法

协同感知技术增强了智能网联汽车的感知性能,但协同网络中出现的异常车辆和恶意攻击信息会影响协同感知结果的真实性与有效性。针对该问题,本文结合车辆协同网络中的检测结果提出一种基于遮挡状态判别与检测有效性识别策略的智能网联汽车信任度动态聚合评价方法。仿真结果表明,本文提出的协同感知信任评价方法提升了协同感知车辆对检测结果的可信度,增强了智能网联汽车协同感知过程的鲁棒性,并实现了信任管理模型面对高信任车辆突发恶意攻击的动态识别。

起重吊装风险协同感知智能装备研发与应用

为解决起重吊装指挥-操作交互的高风险场景下,单一类型装备(如传感器、智能摄像头等)难以实时智能地识别吊装风险的问题,研发集成计算机视觉技术和传感器设备的起重吊装风险协同感知智能装备(简称智能装备)。首先分析起重吊装过程中指挥人员和起重机的运动特征;然后针对起重机驾驶员的误操作行为风险,结合人-机不同的运动特征和工作需求,提出智能装备的风险协同感知方案;最后在实验室模拟场景下检验智能装备的风险感知精度和延迟时间。结果表明:智能装备能够协同感知起重吊装指挥-操作交互过程中的安全风险,发现起重机驾驶员的误操作行为并实时报警。智能装备在该过程中的风险感知精度为95.17%,延迟时间约为0.25 s。

定位与通信受限的网联协同感知算法

随着车联网通信技术的不断发展,协同感知的网联自动驾驶成为未来智慧交通系统中重要的组成部分,可有效解决传统单车智能在感知和计算能力上的固有局限.然而,现有的协同感知算法大多依赖准确的定位信息进行多视角融合,往往忽略通信带宽与通信时延的约束.因此,文中提出面向定位与通信受限条件下的特征层级协同感知算法,在不依赖准确位置与位姿信息的情况下实现不同视角信息的匹配,同时对通信时延具有一定的鲁棒性,能根据信道状态动态调整通信数据量.文中算法结合传统两阶段感知范式与深度度量学习,通过传输区域特征图进行跨视角信息匹配,降低定位误差和通信时延带来的影响.同时,通过车联网通信传输的区域特征图数量可以实时在线调整通信数据量,满足不同信道条件的约束.在协同感知数据集上的实验表明,文中算法在各场景下均表现出显著的协作增益,在一定通信时延下感知精度不显著衰减,可有效降低所需传输的数据量.

面向自动驾驶的车路协同感知点云融合模式时延影响分析

新一代通信技术的快速发展为车路协同感知提供了基础,可进一步提升自动驾驶车辆在复杂场景中的感知能力,现有研究对不同的协同感知信息融合模式进行了探索,但忽略了对感知精度与通信时延平衡性的分析。针对自动驾驶协同感知中点云融合模式的时延特征,本文以前融合、特征融合、后融合3种模式为研究对象,提出了基于模拟仿真的时延影响分析框架。考虑通信时延引起的协同感知结果时滞性,利用扩展卡尔曼滤波算法对存在时延的协同感知结果进行预测性补偿,创新提出了滞后补偿误差和等效时延评价指标,用以综合评价不同融合模式对协同感知结果的影响;针对不同点云融合模式的感知结果,构建了平均感知精度与平移误差分布关系模型,依据目标检测平移误差的分布特征生成带有感知误差的仿真轨迹,进而对协同感知效果进行评估。结合TrajNet++行人轨迹数据集,以不同时延参数及点云融合模式,对1200条轨迹进行了180000次数值仿真。结果显示,感知目标的已知轨迹长度越短、速度越高,时延对协同感知精度的影响越大,以100 ms时延下后融合为基准,当特征融合时延在500 ms以内、前融合时延在700 ms以内时,可以达到相同或更高的协同感知精度。针对目标易突然出现且速度快的复杂场景,宜采用低时延、低精度的后融合模式,反之,宜采用具有高时延、高精度的特征融合或前融合模式。本研究可为自动驾驶协同感知的点云融合模式选择提供依据。

基于信息融合的电网运行事件协同感知与交互方法

随着电网设备规模的不断扩大,其产生了海量的电网运行事件信息,给电网监控人员带来了巨大的工作量。针对这一问题,文中基于信息融合技术深入研究了电网运行事件协同感知与交互方法。采用信息融合技术对电网事故异常关联信息进行处理,其在信息采集、信息处理、分析决策与结果输出四个方面采用了信息融合理论,并在不同的数据层上建立了数据样本库。所构建的电网运行事件协同感知及交互模型,主要包括协同任务配置、信息服务与任务实例三个方面的内容。同时在并行化模式下,实现电网运行事件的数据融合。算例分析结果表明,该方法能够有效协同感知电网的运行事件,稳定性也相对较好,且处理精度在95%以上。

基于点云稀疏语义特征的智能网联汽车协同感知配准算法

针对道路场景下多智能网联汽车协同感知问题,本文提出一种基于点云稀疏语义特征的智能网联汽车协同感知配准算法。所提算法旨在通过点云集成配准扩展智能网联汽车感知范围,进而实现智能网联汽车协同感知。首先,在道路语义特征基础上进行几何特征提取进而得到点云稀疏语义特征。其次,计算道路语义特征点云间的角度偏差以提供配准初值,并将点云语义信息作为配准约束条件实现全局语义集成配准。实验表明所提算法有效扩大了多智能网联汽车协同感知范围,提高了多点云集成配准的精度与鲁棒性。与当前主流算法JRMPC相比,本文所提算法配准精度提高了2.45%。

路侧多激光雷达协同感知和误差自校准方法

多激光雷达3D点云数据融合能够弥补单个激光雷达感知范围有限的缺陷,而雷达安装误差自校准能够获取更加准确的感知数据。基于此,提出了路侧激光雷达协同感知数据融合算法和安装误差自校准方法。首先,使用KD-tree和k近邻算法查找两幅点云的重叠点,并对重叠点进行拼接处理。其次,基于深度学习模型实现多激光雷达数据融合,利用点云数据拼接特征实现激光雷达的误差自校准。最后,基于长安大学车联网与智能汽车试验场搭建多激光雷达数据采集平台,采集试验场内的点云数据来验证本次提出的数据融合算法和误差自校准方法。结果表明,后融合目标识别比前融合目标识别效率提升11.6%,且激光雷达误差自校准方法使有效数据精度提升了13.44%。

面向对象协同感知机制的研究与应用

为解决传统的协同感知模型不适合直接移植到分布式协同3D虚拟实验室的问题,结合分布式协同3D虚拟实验室自身的特点,提出了面向对象的协同感知模型。用面向对象的编程思想结合面向接口的编程思想实现了分布式协同3D虚拟实验室的面向对象协同感知机制。实验结果表明,面向对象的协同感知机制能使分布式协同3D虚拟实验室环境中的协同者及时、准确的感知到其它协同者的行为和场景状态的变化。

基于信息可视化的协同感知模型

为了提高协同感知的直观性与交互性,提出了一种基于信息可视化的协同感知模型,在感知粒度和感知范围的支持下将感知对象与感知呈现模式相映射,引入了进程线、任务前趋图、思维导图等图形化的信息可视化方式以支持感知信息的通信,描述了不同设计端对感知信息的处理流程。在协同模板建模平台中实现并验证了该模型,有效提高了协同设计中交互的启发性,促进了设计过程中的通信与协作。

CSCW系统中协同感知的研究

协同感知理论的研究与应用是计算机支持的协同工作的重要研究内容之一。在研究分析了传统的协同感知所依赖的CSCW体系结构的基础上,提出了一种基于P2P的三层结构的协同感知框架,该架构很适合于CSCW中项目可以划分为若干个相对独立的模块的情形。最后对该框架的具体感知模块进行了分析,并讨论了下一步研究将要解决的问题。

一个虚拟教室的协同感知技术

协同感知技术近来成为CSCW和CSCL的一个新的研究领域，它是一个先进的人机接口技术。该文介绍了一个在虚拟教室中实现的协同感知代理的框架结构以及这个协同感知代理的工作过程，在该协同感知过程中实现了对感知信息的灵活过滤，提高了协同感知的效率。

半透明半明确协作框架下远程指针协同感知研究

远程指针协同感知是 CSCW系统的关键技术之一 .首先提出了半透明半明确协作框架下指针共享原理 ,包括鼠标移动消息事件的截取和鼠标消息事件的执行模式 .然后提出了指针一致性维护和指针映射方法 ,给出了指针映射前、后处理算法和基本映射思路 .最后研究了动态指针与语义重载的实现框架 ,构造了动态指针的模拟资源 ,设计了远程指针的感知域和重载语义 .原型系统的实践表明这些技术方法是正确可行的 ,有利于增强协作者的群体意识 ,促进协同工作的进行 .

多摄像头协同感知系统的设计与实现

为了提供连续的实时监控,提高区域安全性,利用多个活动像机,设计了一个对多个运动目标进行无缝检测和跟踪的协同感知系统,并提供给用户一个可视的3维场景。最后给出了实验室的应用实例。