长视频的超级帧切割视觉内容解释方法

针对现有基于编码解码的视频描述方法存在的对视频较长、在视频场景切换频繁情况下视觉特征提取能力不足或关键性片段捕获能力不足等视频描述不佳的问题,提出一种基于超级帧切割长视频的视频字幕方法。首先,提出超级帧提取算法,计算关键视频时间占比率以满足视频浏览时长限制,缩短视频检索时间。然后,构建两层筛选模型以自适应提取超级帧,过滤冗余关键帧,执行多场景语义描述。将保留的关键帧嵌入周围帧,利用深层网络模型以及小卷积核池化采样域获取更多的视频特征,克服了经典视频标题方法不能直接用于处理长视频的困难。最后,通过用长短时记忆模型代替循环神经网络解码生成视频标题,给出视频内容的分段解释信息。在YouTube数据集视频、合成视频和监控长视频上进行测试,采用多种机器翻译评价指标评估了该方法的性能,均获得了不同程度的提升。实验结果表明,该方法在应对视频场景切换频繁、视频较长等挑战时,能够获得较好的片段描述。

极低速率语音编码中LSP参数的高效量化算法

为在极低速率下实现高质量的语音编码,提出了一种新的有效的线谱对(LSP)参数量化算法——P-RS-MSMQ算法。此算法以多帧联合矩阵量化作为基本框架,引入了基于超级帧模式的均值去除和帧间预测策略、矩阵分裂和子矩阵多级量化策略;同时提出了基于语音帧短时谱能量的帧内加权和基于超级帧中各子帧重要性的帧间加权策略等。实验表明:此算法能够在700b/s的速率下获得接近透明量化的性能;即使在300～400b/s的极低速率下也具有较高质量的量化效果。因此该算法的实现对极低速率语音编码算法的研究具有重要的意义。

一种基于MELP的600b/s极低速率语音编码

为满足无线通信的要求,文中在传统的MELP的基础上,提出了一种速率为600b/s的语音编码算法。该算法利用帧间冗余,把连续的4帧构成一个超级帧进行联合量化。对线谱对采用两帧联合量化、双向线性内插技术,对能量参数采用分离均值矢量量化等技术。仿真实验证明该语音编码算法有较好质量。