基于双流结构的异常行为检测模型

为更好利用输入视频的时域特征,提升异常行为检测精度,采用三维自编码器为主体的网络分支编解码视频的时空域信息,提出改进光流融合策略的时域分支提供额外时域信息。将双分支结果融合并计算重建误差,在此基础上进行异常行为的判断。针对目前像素评价指标的不足,提出一种改进的像素级别检测指标。结果表明,融合后的结果好于各分支单独的结果,且优于近年方法。可见网络分支与时域分支互为补充,进一步提升了模型的整体检测效果。

基于多任务学习的舌像分割与分类

针对舌体分割和单标签分类任务独立实现存在着难以提供舌诊所需的病理特征信息问题,通过共享层提取特征策略,提出联合舌体分割及多标签分类的多任务网络框架.首先,共享层采用轻量化编码模块,并结合金字塔切分注意力解码块以融合舌像深浅层特征,提升共享层特征提取能力.其次,舌像不同标签之间没有明显的关联性,难以对不同标签的相关性进行建模,因此设计了双流分支网络以实现多标签分类:其中一个分支基于自适应分割掩膜设计了背景屏蔽模块以提升舌裂纹识别性能,另一分支在编码块基础上使用空间金字塔池化实现舌苔分类.最后,在早期训练过程中分割损失远小于分类损失,相等损失权重策略将导致分割任务无法学习到最优参数,为此,通过优化的不确定性加权策略同时提升多个任务的性能.实验表明,多任务学习框架在提取共享特征降低网络参数的同时,能有效联合优化各个任务,提升性能.与Y-Net、MT-UNet等多任务学习网络相比,在舌体分割和多标签分类性能上均有提升.