机器联觉:通信与多模态感知的智能融合

通信感知一体化技术局限于雷达感知与通信在频谱和硬件层面上的共享,不足以提升新兴应用场景中通信与感知的性能.在涵盖海量多模态感知和通信数据的场景中,通信感知一体化技术应向考虑多模态感知的方向进行范式演进,即通信与多模态感知的智能融合.受人类联觉现象启发,文中系统化建立并论述通信和多模态感知智能融合的范式——机器联觉.首先,总结机器联觉3种典型工作模式:唤起模式、增强模式、合作模式,系统全面给出通信和多模态感知之间相互辅助增强的目的与方式.然后,介绍机器联觉研究的数据基础(通信与多模态感知智能融合仿真数据集)和理论基础(通信与多模态感知联觉机理).最后,综述当前机器联觉的研究现状,并展望未来的研究方向.

应用于毫米波车车通信的多模态感知辅助波束预测

为了确保车联网通信的传输可靠性,大规模多天线技术的毫米波通信亟需精确的波束赋形.在高动态的车辆通信环境下,传统的波束对准方式会造成巨大的资源开销,难以在相干时间内建立可靠链路.因此,文中提出基于多模态感知信息辅助的波束预测方案.该方案融合视觉和激光雷达点云两种非射频感知信息,利用深度神经网络进行多模态信息的特征提取,通过透视投影实现图像空间语义信息和物理空间位置信息的精准匹配和深度融合.通过协同感知坐标校正和车辆位置预测,将物理环境的特征精确映射到角域信道,从而实现实时准确的波束预测.在多模态感知仿真数据集(M3SC)上的测试结果表明,文中方案能实现较高的角度追踪精度和可达通信速率.

基于鸟瞰图的空间-通道注意力多传感器融合

基于鸟瞰图(Bird′s-Eye View,BEV)的目标感知算法现正成为研究热点,但少有针对BEV的多传感器融合.因此,文中提出基于空间-通道注意力的多传感器融合模块,对不同模态的特征数据增加局部注意力机制,能有效修正多传感器之间的空间误差.利用转置注意力操作,充分融合图像和点云数据,消解不同模态语义信息之间的异质性,使融合的BEV特征在不引入空间偏差的同时,有效结合多传感器各自的独特信息,实现更全面准确的感知.在nuScenes数据集上的实验以及大量的消融实验表明,文中融合模块能有效提升目标检测算法的精度,可视化结果展现融合后的特征具有更完整、准确的特征信息,可明显提升对远处物体的检测.