多模态虚拟人交互的技术进展和应用

随着人工智能技术的飞速发展,以虚拟人为载体的人机交互方式被认为是5G+AI时代的新一代交互方式。本文综述了虚拟人交互技术的发展历程,并从多模态交互的感知、认知和表达三个阶段分别介绍科大讯飞相关技术进展,包括多模态语音识别的多模感知技术、基于知识学习的对话生成技术、基于认知大模型的认知智能技术,以及包含SMART-TTS和虚拟人动作合成的多维表达技术。此外,还介绍了科大讯飞虚拟人交互平台自发布以后在媒体、教育、文旅等行业应用情况。最终,本文认为多模态虚拟人交互技术需要向情感化、拟人化、个性化不断发展,持续带来更好的交互体验。

基于Unity3D的数字虚拟人交互技术研究与应用

本文深入探讨了基于Unity3D的数字虚拟人交互技术的研究与应用。通过Unity3D平台,实现了包括情感文本生成和情感语音合成在内的先进技术,提升了虚拟人与用户的交互质量。采用改进的VITS方法,成功生成充满情感的语音,使得虚拟人能够更自然地与用户进行对话和互动。进一步,利用Kinect 2.0设备模拟交互式全息效果,增强了虚拟环境的沉浸感和实时反馈能力。总体框架包括前端与后端的系统模块,涵盖了文本生成、语音合成、聊天交互及体感交互等核心功能。此技术的应用展示了在教育等领域中的潜力,能够提升学习体验和教学效果。

基于Markov决策过程的交互虚拟人情感计算模型

情感在生物体的交流和适应性方面起到了关键作用。同样,交互虚拟人也需要有恰如其分的表达情感的能力。由于具有情感交互能力的虚拟人在虚拟现实、电子教育、娱乐等领域均有着广阔的应用前景,当前,在虚拟人中加入情感成分的研究受到了越来越多的重视。本文提出了一个人工心理的情感计算模型,模型用马尔可夫过程来描述情感的变化过程,并且使用马尔可夫决策过程建立了情感、个性与环境之间的联系,并且我们把该模型应用到了一个交互虚拟人系统中。研究结果表明,模型能够构建具有不同性格特征的虚拟人,使之产生较为自然的情感反应。