利用多模态机器注意改善视频会议用户感受

远程视频会议的应用已很多年了,但是,目前的视频会议系统对使用者的限制较多,往往需要使用者对系统保持关注方可正常使用。如何通过改善视频会议系统的人机交互模式来改善用户感受是视频会议系统进一步完善的重要途径。多模态机器注意技术来自于仿生学的研究成果,本文通过对基于多模态信息集成和同步来实现机器注意技术的讨论,将这种技术用于改进视频会议系统的人机交互模式,通过使视觉、听觉信号集成和同步的方法实现人工系统中视觉关注于感兴趣的对象——发言人的脸部及其发言。改进后的系统大大减少了发言人受到的约束,能够准确地自动跟踪发言人,而且在画面上更加突出视频会议画面中感兴趣的对象。

监控场景下基于机器注意的多任务行人属性识别

行人属性作为一种高级语义特征,对照明、姿势改变等具有鲁棒性,已经被广泛用于行人重识别和视频分析中.为了提高监控场景下行人属性识别(pedestrian attribute recognition,PAR)的准确性,结合最新的人工智能(artificial intelligence,AI)解释性研究,从机器注意的角度出发,综合考虑属性间的互斥性以及依赖性,提出一种限制神经网络注意的多任务行人属性识别方法.首先,根据神经网络对各属性的不同关注区域将行人属性识别划分为多个子任务;然后,通过端到端网络模型和辅助分类损失函数的设计,控制各子任务之间的信息共享,鼓励子任务内部属性相互竞争,不同子任务之间的属性相互促进;最后,融合各子任务的信息进行行人属性的预测.经过实验,该方法在2个监控场景中的公开数据集上取得了最佳的精度,证明了该方法的有效性.