基于双向伪标签自监督学习的跨人脸-语音匹配方法

神经认知科学研究表明,人类大脑在感知语音的过程中常常将结合人脸信息进行跨模态交互分析.然而,现有的跨模态人脸-语音关联方法仍面临着对复杂样本敏感、监督信息缺乏以及语义关联不足等挑战,其主要原因是缺少对潜在共性语义的挖掘.针对这些问题,提出了基于双向伪标签自监督学习的跨模态学习架构,用于人脸-语音关联学习与匹配任务.首先,构建跨模态加权残差网络来学习人脸-语音的跨模态共享嵌入,然后提出一种新颖的双向伪标签关联的自监督学习方法,旨在通过一种模态的潜在语义信息去监督另一个模态的特征学习,从而基于这种交互式跨模态自监督学习能够挖掘到人脸-语音间更紧密的关联.为增加挖掘监督信息的判别性,进一步构建了2个辅助损失促使来自相同身份的人脸-语音特征更接近,并使来自不同身份的特征更加疏远.基于大量实验验证,相比较于现有方法,在人脸-语音跨模态匹配任务上获得了全面的提升.

高吞吐、低延迟场景下的智能人机对话关键技术及应用

《新一代人工智能发展规划》中指出,面向国家重大战略需求,多媒体信息理解的人机对话系统是需要突破的关键共性技术.近年来,人机对话技术被广泛地应用于手机端智能语音助手、客服机器人、智慧医疗等各个领域.然而随着多用户、高并发、海量异构数据应用场景的与日俱增和自然人机交互需求的不断提高,现有的人机对话数据感-存-算时延大、多模态数据利用少、智能化程度低和拟人化效果差等问题更加凸显,已成为制约人机对话系统大规模智慧化应用的瓶颈.