基于改进YOLOv4的自然人群口罩佩戴检测方法

针对自然场景下的人群口罩佩戴检测常常会受到口罩样式、颜色,佩戴者肤色以及天气等多种因素的影响,提出在原YOLOv4的基础上引入协调注意力机制,进而提升主干特征提取网络对于浅层次特征图像位置信息的利用进而更好地捕获小物体——口罩,同时能够丰富浅层次特征图像的语义信息和加强远距离依赖关系,更精准地定位和识别目标区域;对YOLOv4的网络结构进行改进以提升整体网络的容量以及深度,进而扩大感受野并提升算法的鲁棒性;引入DIoU-NMS在于缓解目标存在遮拦而被错误抑制的现象,DIoU-NMS从IoU指标及检测框的中心点距离两个方面进行非极大值抑制,使得对于IoU阈值的选取没有那么苛刻。实验结果表明,改进YOLOv4的平均精度均值达到95.81%,相较于原YOLOv4平均精度均值提升了4.62%。改进后的YOLOv4具有良好的性能,能够在自然场景下准确地完成口罩佩戴检测任务。

基于跨模态融合的短视频情绪识别方法

目的探讨人机交互领域中解决相似情绪难以区分的新型识别方法。方法采用将音频、视频以及光流三种不同模态融合的方式建立一种跨模态融合的短视频情绪识别方法ICVNet。结果(1)基于IEMOCAP建立了一个多模态情绪识别数据集;(2)分别提取音频、视频以及光流三种模态的特征信息并加载三种模态的预训练权重来进行决策级的特征融合;(3)构建情绪识别融合分类模块;(4)实验结果表明,ICVNet的情绪识别分类准确率达到80.77%。结论本文建立的跨模态融合的短视频情绪识别方法ICVNet可以有效地提升人机交互场景下的情绪识别准确率。