指令驱动的虚拟角色风格化动作生成

复杂场景下,指令驱动的动作生成任务存在着指令理解不准确、生成的动作与指令任务不相关等挑战.为了解决这个问题,提出了一种方法框架,通过结合指令和场景信息,风格化生成虚拟角色的动作.该方法框架分为指令解析和动作生成两个部分.方法首先预定义了一组有限的原子动作集合,在指令解析部分运用大模型,将文本指令解析成由原子动作组成的子任务,在动作生成部分,基于条件变分自编码器(conditional variational autoencoder,cVAE)设计了一个逐帧动作生成网络.在动作生成阶段,考虑不同的风格特征,例如角色的高矮胖瘦等属性和文本指令描述的开心、难过等特征,实现风格化动作生成任务.在卧室、公园、客厅和厨房等4个场景中进行了定性实验和用户研究,证明了方法的有效性、动作的真实性和风格的多样性.

上下文建模与推理的视频异常事件检测

视频异常事件检测旨在从视频中自动地检测出不符合正常事件规律的视频事件.视频中许多正常和异常的事件是由目标与场景或其它目标交互而产生的,即它们是以目标为中心且高度上下文相关的.如何从底层的视频特征中提取事件高层语义上下文信息,并根据上下文信息进行视频异常事件检测仍是一个开放的难题.为此,本文提出了一种新的上下文建模与推理的视频异常事件检测方法.本文方法通过建立视频的上下文图,自动地推理事件相关的语义上下文信息,以缩小底层视觉特征与异常事件高层语义之间的差距,实现异常事件检测.具体来说,首先使用了预训练的目标检测网络,提取目标初始的表观特征、目标之间的时空关系特征和场景特征;其次设计了一个上下文图推理模块,通过建模时空上下文图,将提取到的特征显式地建模为三类语义上下文,包括事件目标的个体行为、不同目标之间的时空关系以及目标与场景之间的交互,其中图的节点表示目标/场景,图的边表示时空关系;最后构建了一个异常预测模块,根据推理到的语义上下文信息进行异常事件检测.本文的上下文图推理模块基于平均场理论,通过使用多个带有消息传递模块的循环神经网络,迭代更新图的节点和边的状态,目的是从底层的视觉特征中推理得到高层的语义上下文.本文的异常预测模块包括注意力池化网络层和全连接网络层,通过输入语义上下文信息,计算视频帧的异常分数,从而正确地进行异常事件检测.实验中,设计了一个自训练策略,分别使用了无监督、半监督、弱监督和监督四种训练策略,以端到端的方式训练时空上下文图推理模块和异常预测模块.本文方法在四个公开的数据集上进行了实验,包括三个半监督的数据集Subway (Entrance/Exit)、Avenue和ShanghaiTech,以及一个监督的数据集UCF-Crime.与不使用上下文的方法相比,本文方法在Subway(Entrance/Exit)、Avenue和ShanghaiTech数据集上的无监督AUC指标分别提高了2.7%/3.1%、2.0%和2.9%,半监督AUC指标分别提高了3.5%/3.3%、4.0%和4.3%.在监督数据集UCF-Crime上,与没有使用上下文的方法相比,本文方法在半监督AUC、弱监督AUC和监督AUC的指标上分别提高了2.1%、0.4%和9.2%,取得了有竞争力的表现.

混合曲率空间中的几何自适应元学习方法

元学习通过学习先验知识,能帮助模型快速适应新任务.在适应新任务的过程中,空间几何结构与数据几何结构的匹配程度对模型泛化起着重要作用.现实世界数据具有多样的非欧几何结构,例如自然语言具有非欧层级结构,人脸图像具有非欧环状结构等.已有研究表明,真实数据的非欧结构同黎曼流形的几何结构相匹配,从理论上提供了利用黎曼流形来建模数据的可行性.本文提出了混合曲率空间(mixed-curvature space)中的几何自适应元学习方法,利用多个混合曲率空间来表示数据,并生成与数据非欧结构相匹配的黎曼几何.本文构建了多混合曲率神经网络,将混合曲率空间的几何结构表示为曲率空间的曲率、数量和维度,由此通过梯度下降过程实现对数据非欧结构的几何自适应.本文进一步引入几何初始化生成策略和几何更新策略,通过少数几步迭代,空间几何结构即可快速匹配数据非欧结构,加速了梯度下降过程.本文在小样本分类和小样本回归等任务上进行了实验验证.与欧氏空间的元学习方法相比,本文方法在小样本分类任务上取得了约3%的准确率提升,在小样本回归任务上将均方误差减少了一半,验证了本文方法的有效性.