基于语义增强的多模态情感分析

多模态情感分析是自然语言处理领域的重要任务,模态融合是其核心问题。以往的研究没有区分各个模态在情感分析中的主次地位,没有考虑到不同模态之间的质量和性能差距,平等地对待各个模态。现有研究表明文本模态往往在情感分析中占据主导地位,但非文本模态包含识别正确情感必不可少的关键特征信息。因此,本文提出一种以文本模态为中心的模态融合策略,通过带有注意力机制的编解码器网络区分不同模态之间的共有语义和私有语义,利用非文本模态相对于文本模态的2种语义增强补充文本特征,实现多模态的联合鲁棒表示,并最终实现情感预测。在CMU-MOSI和CMU-MOSEI视频情感分析数据集上的实验显示,本方法的准确率分别达到87.3%和86.2%,优于许多现有的先进方法。

基于SEI的煤矿智能监控视频传输方法

目前煤矿视频监控数据传输存在高延迟问题,而视频传输延迟的主要成因是编码延迟。针对该问题,提出了一种无视频编码的基于媒体补充增强信息(SEI)的煤矿智能监控视频传输方法。该方法在解复用视频流得到视频压缩帧后缓存一份副本,解码视频压缩帧得到视频解码帧,通过SEI存储视频解码帧中AI模型分析结果,根据时间戳对应关系将自定义SEI写入该视频解码帧对应视频压缩帧副本的网络提取层单元,并复用视频压缩帧副本,实现煤矿智能监控视频实时传输。在24核CPU上对该方法进行实验测试,结果表明:对于1280×720分辨率的视频,采用该方法处理视频时CPU整体使用率由采用传统方法时的24.7%~36.6%降至20.3%~23.9%,端到端延迟由1946 ms降至345 ms;对于1920×1080分辨率的视频,采用该方法处理视频时CPU整体使用率由采用传统方法时的29.2%~41.8%降至18.5%~26.3%,端到端延迟由6204 ms降至479 ms。该方法通过规避视频编码环节,降低了煤矿智能监控视频传输延迟,且节省了视频编码所需的CPU或GPU资源,降低了智能视频监控系统硬件成本。

基于H.264具有抗分组丢失能力的帧内刷新算法

本文提出一种基于H.264的具有抗分组丢失能力的帧内刷新算法.该算法首先建立帧内刷新尺度矩阵,来记录每个宏块被后继帧参考的重要程度;然后,基于帧内刷新尺度矩阵提出了丢包环境下的端到端率失真模型(ME2ERD);接下来,利用H.264中补充增强信息域进行信息交互,结合ME2ERD模型自适应进行帧内刷新,从而降低分组丢失对恢复图像质量的影响.实验结果表明在高丢包率环境下,使用本文提出的帧内刷新算法,与使用随机帧内刷新算法相比,恢复图像的平均PSNR(峰值信噪比)提高5dB以上.算法与H.264标准兼容,且运算复杂度低,具有实用价值.