多模态协同感知与融合技术专题前言

与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数据来源、维度和数据量都在快速增长,单独模态数据所提供的信息已经不能满足智能系统感知与理解世界的需求.因此智能系统在感知世界时,需要从更多模态数据的差异化获取、动态适配、互补融合、协同感知等角度开展深入研究,这也是多媒体领域的一个非常重要和具有挑战性的问题.本专题强调多模态的协同交互与有机融合,研究多模态协同感知与融合技术,重点关注视觉语言多模态交互理解技术、多模态交互生成与重建技术和多模态智能融合与协同学习技术,旨在促进多模态特征表示、自适应融合、协同学习和交互生成等相关理论与方法的研究进展.

MXenes在锂离子电池负极材料中的应用

MXenes(M_(n+1)X_(n)T_(x))是一类二维无机化合物材料,它由几个原子层厚度的过渡金属氮化物、碳化物或碳氮化物构成.由于具有大的比表面积、快速充放电性能和小的体积变化等优点,MXenes受到越来越多研究人员的关注.研究者希望能够利用MXenes材料研发出具有优异电化学性能的锂离子电池负极材料,从而提高电池的能量密度和寿命.然而MXenes材料制备过程中产生的层间堆积和坍塌限制了其进一步的发展.目前,研究人员通过将MXenes与其他材料复合制备出具有新结构的材料,不仅可以扩大层间距,改善材料结构,还有助于改进材料的电化学性能.本文介绍了MXenes与碳纳米材料、过渡金属氧化物、过渡金属硫化物和硅等材料复合改性来提高材料电化学性能的研究策略,并探讨了MXenes和碱金属等材料复合实现稳定无枝晶的锂离子电池金属负极的方案.最后,阐述了MXenes应用在锂离子电池负极材料中面临的挑战,并作出了展望.

发掘和利用:细粒度层次化网络的文本到图像生成

针对现有文本到图像生成(text-to-image synthesis,T2I)方法采用冗余的阶段性网络结构,同时缺乏对文本特性有效利用从而影响网络完全收敛的问题,提出了一种细粒度的层次化生成对抗网络(generative adversarial networks,GAN)。该网络利用多维度文本特征提取器充分地“发掘”(explore)文本语义特征;通过堆叠层次化模块,即空间仿射生成模块和累加结合模块,更好地“利用”(exploit)主干网络的生成性能。在3个基准数据集上的实验充分表明,所提方法在量化指标和可视化效果方面均显著领先于现有方法。实现代码已经公开在https:∥github.com/qikizh/EE-GAN。

融合预训练技术的多模态学习研究专题前言

在当今信息爆炸的时代,海量多媒体数据涌现在互联网上.为更好地理解和分析多媒体数据,多模态学习逐渐成为研究热点.深度学习凭借其优秀的数据表征能力,成为多模态学习的主要技术之一.然而,现有的有标注数据集规模有限,往往难以保证复杂深度学习模型的泛化能力,这给传统的多模态学习研究带来了巨大挑战.为此,预训练技术逐渐引发国内外诸多学者的关注,为多模态学习研究领域提供了新的发展机遇.专题强调多模态学习与预训练技术的深度融合,研究融合预训练技术的多模态学习,包括两方面:(1)利用预训练模型强大的通用表征能力,解决多模态学习领域研究相关的痛点、难点问题;(2)利用多模态学习领域丰富的理论积淀,促进预训练相关技术的发展.专题围绕多模态数据分析技术,通过探讨多模态学习与预训练技术的深度融合,重点关注面向多模态学习的预训练技术、融入预训练技术的多模态内容理解以及融入预训练技术的多模态生成,旨在有效结合多模态学习技术与预训练技术,实现多模态学习技术和预训练技术的相辅相成,促进多模态学习领域的研究发展.

领域自适应研究综述

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。

基于跨模态自蒸馏的零样本草图检索

零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像.因此,这个任务同时面临两个挑战:草图和图像之间的模态差异以及可见类和未见类的不一致性.过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入(如词向量和词相似度)来弥合可见类和未见类的语义不一致.提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练.具体而言,首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络.然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性.为了进一步提升知识在草图模态内的集成和传播,进一步地提出草图自蒸馏.通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性.在3个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了所提跨模态自蒸馏方法与当前方法相比较的优越性.

AI城市大脑助推智慧城市建设

目前,社会各界对城市环境和城市形象的关注度越来越高,传统的、被动式的城市治理模式已经难以满足信息化社会的需求,很大程度上制约了城市管理工作的高效运转。为形成本地AI生态产业链以服务城市新经济发展,考拉悠然打造OSMAGIC码极客人工智能操作系统,该系统可以快速实现场景数据服务于算法训练,算法驱动场景应用,场景应用赋能数字化产业的完整链条。同时为打造“全面感知、准确判断、快速预警”的城市公共安全保障治理体系,在OSMAGIC码极客基础上,结合图像处理、场景感知和物体识别、行为分析等技术,研发一套智慧城市综合治理AI应用平台。考拉悠然智慧城市建设相关产品已成功应用到阿布扎比、合肥,以及宜宾等城市。

多模可信交互:从多模态信息融合到人-机器人-数字人三位一体式交互模型

信任在人-机器人-数字人协作中扮演着关键角色,因为它不仅影响了人-机器人-数字人的效率,同时也存在风险和益处.然而,当前的人-机器人-数字人信任研究存在"失衡"现象,即大部分研究集中于"以人为中心"的信任关系而忽略了智能体(机器人和数字人)对人的信任.为了填补人-机器人-数字人信任研究领域的这一空白,在使用多模态信号来建立人-机器人-数字人交互中的适度单向信任基础上,构建跨虚实世界的"三位一体"经历交融共享生态.本文旨在探讨多模态线索和增强现实在建立人-机器人-数字人之间可信关系方面的现有研究、可行性和未来发展方向.最后,本文展望了该模式在社会组织形态及社会事件态势感知和管控中的应用前景,并指出了未来需要解决的问题.本文的研究有助于理解多模态线索和增强现实在人-机器人-数字人交互中的作用,并为"三位一体"趋势的实现提供思路和解决方案.