基于改进LiteFlowNet3网络的轻量化光流估计方法

现有的光流估计方法参数量大,计算耗时,难以满足实时性需求。为此,提出一种基于改进LiteFlowNet3网络的轻量化光流估计方法。使用池化和深度可分离卷积替换LiteFlowNet3网络中的常规卷积层,大幅减少网络模型参数量。在损失函数中增加了光流梯度的损失,强调训练中对光流边界的监督,在不增加参数的前提下提升性能。改进的LiteFlowNet3网络参数量仅为0.78 M。实验结果表明,改进的LiteFlowNet3光流估计方法在Sintel数据集的Clean和Final序列上的端点误差分别为2.69和4.12,单次推理时间仅为25 ms,性能优于其他的轻量级光流方法。

基于光流和集成时-空-通道注意力的ResNet-10的微表情识别模型

针对一般模型很难捕捉微表情不同尺度上的特征,提出一种基于LiteFlowNet和改进的ResNet-10的微表情识别网络以充分提取微表情不同维度信息。先通过欧拉视频放大技术(EVM)突出面部微小动作,再将处理后的数据通过轻量级光流估计网络LiteFlowNet提取视频帧中的运动信息。在用于特征提取的ResNet-10上引入三维注意力机制(3D-Attention),以适应性地聚焦于微表情视频中最具辨别力的通道、空间和时间特征。实验结果验证了该网络有效提升了微表情识别性能。