双模态双向感知下语义信息增强的多模态情感分析

针对不同模态间存在情感信息分布不均匀,难以获得更深层次的多模态情感语义信息问题,提出了一种双模态双向感知下语义信息增强的多模态情感分析方法。对文本-视觉模态、文本-音频模态分别融合,捕获双模态话语中的相互依赖关系,获得模态间双向的上下文感知信息;考虑到双模态在融合时产生较多冗余信息,采用门控机制选择有效的情感特征,以提升识别关键情感信息的能力;通过跨模态信息交互机制对多种模态间的信息进行建模,得到语义信息增强的模态特征向量。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能。

基于雷达与视觉融合的双模态煤矿井下环境感知技术

环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法,通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合,从而提高环境感知能力。为了更好地提取目标特征信息,提出了双模态融合环境感知网络架构技术路线:摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理,多模态特征融合网络模块提取融合信息中的目标特征,多任务处理网络模块采用不同的任务头处理目标特征信息,完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验,结果表明:基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%,10%,对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上,有效提升了煤矿井下环境感知能力,可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。

基于Te-PEDOT:PSS复合热电材料的柔性压力/温度传感系统

随着人工智能技术的快速发展,面向人机交互技术的新型柔性传感器的需求与日俱增.柔性传感器作为智能机械手、仿生假肢手等仿生智能系统获取外界信息的重要媒介,对实现仿生触觉感知能力以及提升系统智能化具有重要意义.当前,如何通过材料与结构设计,研制具有多模态感知能力的柔性触觉传感器,已成为柔性电子领域关键挑战之一.本文采用水热法制备了Te-聚(3,4-亚乙二氧基噻吩)-聚(苯乙烯磺酸)(Te-PEDOT:PSS)复合热电材料.通过将其与三维多孔密胺泡沫骨架复合,并浸涂聚乙烯醇(PVA)薄层进行封装,实现了具有高界面稳定性的复合敏感材料体系可控制备.由此所组装的柔性触觉传感器件兼具Te-PEDOT:PSS的热电性能与三维泡沫电极板的电容性能,实现了压力/温度在接触/非接触模式下的双模态感知能力.进一步将其与智能机械手联用构建了感知反馈系统,对其在触觉感知方面应用性能进行了探索.