针对VVC色度预测的注意力卷积神经网络算法

针对多功能视频编码(Versatile Video Coding,VVC)标准中跨通道线性预测模型(Cross-Component Linear Model,CCLM)无法很好地拟合色度与亮度之间的非线性对应关系这一不足,提出了一种基于注意力机制卷积神经网络的VVC色度预测算法。该算法主要思想是在进行色度预测时,使用对应亮度块的信息与待预测色度块上方与左方的信息作为参考信息输入进卷积神经网络,利用注意力机制对参考信息中的亮度与色度间的内在联系进行分配权重后输入预测网络。实验结果表明,相较于VVC标准算法U分量和V分量的平均码率节省分别为0.64%和0.68%,有效提升了VVC编码性能。

基于神经网络的HEVC帧内预测组合快速算法

为了提升高效视频编码(High Efficiency Video Coding,HEVC)帧内编码的实时性能,本文提出的方法利用了引入偶数边长与步长的卷积核以及自注意力机制的轻量级卷积网络来预测编码树单元(Coding Tree Unit,CTU)的帧内划分结构,从而减少了编码器对CTU进行四叉树递归遍历划分的编码时间。原始编码策略中粗模式决策通过基于残差经哈德曼变换的预测残差绝对值总和(Sum of Absolute Transformed Difference,SATD)的损失值来估计率失真优化过程中的率失真损失值来进行加速,但仍会耗费一定的编码时间。提出一种方法通过采样搜索的方式减少粗模式决策过程中计算的模式数,从35种模式降低到了18种模式,降低了粗模式决策过程中计算估计损失值的时间。由粗模式决策过程得到的较优的多个候选帧内模式来进行率失真优化,为了缩减粗模式决策需要计算的候选模式数,在候选模式列表中根据前后帧内预测角度模式的估计损失值的差距来筛选掉部分可能性较低的候选模式实现早停止决策,从而减少需要进行率失真优化的候选模式数量,进而减少率失真优化过程的计算时间。本文提出的算法在测试序列上平均实现78.15%的编码时间缩减,BD-PSNR为-0.168 d B,BD-RATE为3.49%。

基于帧内-帧间自融合的双流泛化人脸伪造检测方法

现有人脸伪造检测方法往往在已知伪造类型上表现良好,但面对未知数据时检测性能有所下降,模型易受到过拟合的影响,检测泛化性不足。针对此问题,提出一种基于帧内-帧间自融合的双流泛化人脸伪造检测方法,从数据增强和检测器改进2个方面提高检测泛化性。设计帧内-帧间自融合模块,分别利用同帧人脸、帧间人脸进行数据增强:帧内自融合子模块利用同帧人脸生成训练数据,从而避免人脸图像身份信息干扰;帧间自融合子模块利用伪造视频的帧间不一致性,进一步构造多样性丰富、逼真的训练数据集,从而有效防止模型的过拟合,确保检测模型的泛化能力。此外,设计基于通道注意力机制的双流特征融合网络,在网络的浅层提取RGB特征、高频特征并进行融合来挖掘伪造信息,在提升模型性能的同时缓解网络的参数增长。将模型在4个数据集上与9种主流检测方法进行对比实验,结果表明:在跨数据集实验中,所提方法较次优方法AUC均值提高1.52个百分点,EER均值降低1.5个百分点;在跨伪造方法实验中,所提方法在4种伪造方法子数据集上均取得最优或次优效果。实验结果验证了该方法优秀的泛化能力。

基于长边稀疏采样的AV1参考像素选择算法

开放媒体联盟开发的第一代视频编码标准(Alliance for Open Media Video 1,AV1)作为新一代的开放式视频编码技术,以其高压缩效率和高质量视频输出等优势成为在线视频领域的主流编解码标准之一。旨在优化帧内预测编码技术以降低编码运行的计算复杂度,从而节约视频编码时间。为此,提出了长边采样(Long-side Sampling, LS)和长边稀疏采样(Long-side Sparse Sampling, LSS)的参考像素选择方法,根据块的划分方式规律地提取关键参考像素,以改进直流(Direct Current, DC)预测和亮度预测色度(Chroma from Luma, CfL)预测技术的性能。实验结果表明,LSS可以规避运算中的除法操作且减少大量加法计算量,在全I帧(All Intra, AI)和随机接入(Random Access, RA)配置下,相较原始算法平均编码时间减少11%和13%,同时节省0.03%和0.04%的Bj?ntegaard Delta Bit Rate(BDBR)。

面向硬件的AVS帧内预测算法改进

为了面向低延时的浅压缩场景提供更加适配的编码方案,并降低硬件实现成本,提出一种基于数字音视频编解码技术标准(Audio Video coding Standard,AVS)浅压缩算法的帧内预测模式优化以及快速率失真优化算法。该算法通过减少原有算法帧内预测所需的预测循环次数,以及打破各块之间的数据依赖关系等措施,克服了原始方案不适合硬件流水并行处理的限制,提高了编码的效率和稳定性,从而既保障了算法的视频质量,又使新的硬件实现方案更符合实际应用需求。实验结果表明,该算法优化方案能够有效改善实际面向低延时浅压缩场景下的编码效果。

基于卷积神经网络的HEVC帧内预测算法优化

作为HEVC标准中最基础、最重要的技术之一,帧内预测对实现视频编码的高速、高质量和高压缩率具有重要的作用。文中针对帧内预测复杂性问题进行研究,提出一种基于深度卷积神经网络(CNN)的方法,通过学习来预测CTU的划分,从而减少HEVC帧内编码的复杂性。通过建立一个大规模的CTU划分数据库,并利用CNN的能力学习各种CTU划分模式,能够准确地预测CTU的划分,从而避免了传统的穷举搜索,实现了HEVC编码复杂性的显著降低,提高了编码效率。实验结果表明,提出的方法在测试序列和图像上分别将帧内编码时间减少了62.25%和69.06%,与其他最先进的方法相比,比特率分别仅增加了2.12%和1.13%,达到了优化的目的。

Fast Inter Coding Mode Selection Algorithm for H.264

In order to reduce the encoding complexity of macroblock coding mode decision in H.264/AVC, a selective smaller block-size searching algorithm and a selective intra coding mode searching algorithm are proposed by using the high correlation among coding modes and in spatial and temporal domains of video sequence. Simulation results demonstrate that the proposed algorithm can provide significant improvement in computational requirement, with negligible small picture quality degradation and slight bit rate increase.

基于H.264视频编码技术的研究

介绍和分析了H .2 6 4采用的新编码技术 ,诸如 1 /4和 1 /8像素精度运动估计 ,可变大小的图像分块 ,多参考帧 ,新的熵编码算法等 .新编码技术的采用使H .2 6 4的编码性能得到大幅提升 ;通过与H .2 6 3编码模型的实验性能对比测试 ,比较分析了H .2 6

一种基于自相关法的H.264/AVC高效帧内预测算法

H.264/AVC是最新的视频压缩标准,具有极高的压缩率,但由于编码时间较长,无法达到实时应用的要求.本文提出了一种新的基于自相关法的高效帧内预测算法.该算法在进行帧内预测之前先对宏块预判,从两种预测模式中选择一种,从而减少了算法的复杂度.实验结果表明,本文提出的算法在码率只有少许增加的情况下,速度平均提高了26.9%,SNR值基本维持不变.

新一代视频编码技术HEVC算法分析及比较

新一代视频编码标准HEVC更倾向于处理高清视频,实现在设备复杂度有一定增加的前提下提高视频,尤其是高清视频的编码效率。结合现行的H.264标准,对比了HEVC标准在编码结构、帧内预测、帧间预测以及熵编码技术上的改进和算法上的优化。对HEVC的具体编码技术进行分析,并将HEVC与H.264编码性能进行了比较。实验结果表明,HEVC在编码性能上有了明显提高。

一种基于时域相关性的高性能视频编码快速帧间预测单元模式判决算法

为了降低高性能视频编码(HEVC)的编码计算复杂度,根据视频时域上高度相关性的特点,该文提出一种快速高性能视频编码(HEVC)帧间预测单元(PU)模式判决算法。分析了时域上相邻帧两帧相同位置编码单元(CU)的PU模式之间的相关性;同时,针对视频中可能存在对象运动,还分析了前一帧对应位置CU的周边CU与当前帧中当前CU间PU模式的相关性。根据分析的时域相关性,跳过当前CU中冗余的PU模式,从而降低编码复杂度。实验结果表明,在编码效率和峰值信噪比(PSNR)损失很小的情况下,在目前已有的HEVC快速帧间预测算法的基础上,进一步降低了31.30%的编码时间。

一种三维视频深度图像快速帧内编码方法

针对三维视频编码复杂度较高的问题,提出一种快速深度图像帧内编码方法.该方法基于视频图像与深度图像的相关性,利用视频图像的最优帧内预测模式信息优化深度图像帧内编码预测模式的选择范围,减少率失真代价函数的计算量,从而降低深度图像帧内编码复杂度.实验结果表明,这种方法较深度图像独立编码方法能有效地缩短深度图编码时间,在保证合成虚拟视图质量的条件下,深度图像帧内编码时间平均减少37.16%.

中国气候预测研究与业务发展的回顾

天气预报是指一周内至两周时间尺度的气象预报,而月季及以上时间尺度的预报则属于气候预测范畴。中国的气候预测起步很早,无论在研究工作中还是在业务应用上都取得了显著成就。文中扼要回顾了这些研究和业务发展成就,重点包括:对于季风和梅雨、寒潮的早期认知和后期研究发现、早期气候预测业务发展概况、动力气候预测的早期探索、动力-统计气候预测方法的研制和应用、气候预测模式的发展以及初始化和多模式集合预测、东亚气候系统变异的全方位探索、气候预测范畴的不断拓展和气候预测研究的不断创新。也对未来气候预测研究和业务发展提出了几个重大挑战性课题,涉及不同时间尺度气候变异过程之间的相互作用、季节内至年代际气候预测、气候系统模式及初始化、动力-统计相结合的气候预测方法等方面。

基于变采样率的多假设预测分块视频压缩感知

现有的分块视频压缩感知通常对所有图像块均采用相同的测量矩阵进行测量,这种平均分配采样率的测量方式忽略了视频中不同区域的结构复杂度和变化程度不同的事实。针对这一问题,该文根据视频帧间相关性的分布特点提出了一种自适应分配采样率的变采样率压缩感知方法。将图像块按照帧间相关性的大小分类并分配不同的采样率,重构过程采用变采样率多假设预测算法以充分利用帧间相关性。实验结果表明该文算法能够在低采样率下重构出高质量的视频图像,而且这种变采样率测量的方式有利于提高运动剧烈区域的重构质量。

基于帧间差分和运动估计的Camshift目标跟踪算法

针对Camshift算法无法适应目标的高速运动、复杂背景和遮挡的局限性,本文提出结合帧间差分法和运动估计对Camshift算法进行改进。首先在颜色概率分布图计算中通过帧间差分法加入目标运动信息,实现自动初始化跟踪并排除与目标相似背景颜色的干扰。之后在搜索窗传递过程中预测目标的位置,根据跟踪状态对搜索窗进行调整,以实现对高速运动目标的跟踪。实验表明新算法在目标高速运动、遮挡、和同色干扰情况下,仍能进行有效跟踪。

基于宏块特征的H.264快速帧内预测算法

为了降低H.264的计算复杂度以满足实时应用,在对H.264帧内编码模式深入研究的基础上,提出利用宏块灰度直方图特征在Intra4×4和Intra16×16模式中预判,针对Intra4×4模式采用基于子块预测方向特征的快速帧内预测算法.综合以上2种优化策略,该优化算法平均码率增加了3.2%,峰值信噪比基本不变的情况下,编码速度平均提高了32.8%.

基于编码模式的H.264/AVC视频信息隐藏算法

本文提出一种基于编码模式的H.264/AVC信息隐藏方法,通过调制某些宏块的编码模式,分别在I帧、P帧和B帧中嵌入隐秘信息。对帧内4×4预测模式的宏块,是通过调整宏块中某个4×4块的编码模式嵌入隐秘信息;对P帧和B帧其它类型的宏块,则是通过调整宏块的编码模式嵌入隐秘信息,模式调整后对宏块做了优化处理。在模式调制过程中引入率失真代价,取得了较好的率失真平衡,减小了隐秘信息嵌入后对视频质量和视频码流的影响。该算法可以实现隐秘信息的快速提取,满足视频实时处理的要求,实验仿真结果证明了该算法的有效性。

H.264帧内预测与帧间块模式选择快速算法

针对H．264帧间预测时的多子块模式选择和帧内预测的多模式选择问题，提出了一种实用的基于统计门限的模式快速选择算法，通过门限设定有效限定了编码模式的选择范围．多组视频序列的实验结果表明，基于统计门限的帧内预测模式选择算法在1帧的PSNR值有微小变化的情况下，大大降低了编码时间，1帧的编码时间降低17％-23％，PSNR下降不到0．4％。基于统计门限的帧间块模式选择算法使得平均PSNR值下降了0．047dB（PSNR最大下降不到1%），但是相对全模式预测时，编码器速度提高了20%-30％。

一种HEVC帧内预测快速算法

HEVC作为新一代的视频编码标准,比现有H.264标准的压缩效率提高近一倍,但其存在复杂度较高的问题。为此,针对HEVC中帧内预测最耗时的模块,即编码单元块划分模块和帧内预测模式选择模块,提出一种适合HEVC帧内预测的快速算法。该算法将率失真(RD)代价作为阈值参数,利用候选模式集中预测模式被选中概率快速递减的规律,基于RD代价进行帧内预测块划分和帧内预测模式选择。实验结果表明,该算法在相同编码质量条件下可减少59%的HM10.0帧内预测模块复杂度,相应比特率的增加幅度小于1.34%。

基于DM642的H.264编码实现与优化

为优化H.264编码技术在数字信号处理中的实际应用,在对H.264标准中帧内及帧间预测模式深入研究的基础上,提出了2种改进算法:帧内预测时,采用直方图的自相关特性进行快速模式判别;帧间预测时,采用运动估计块匹配过程中得到的绝对值误差和作为中途停止条件,结合运动搜索预处理及残差纹理分析进行模式判别.这2种算法均大幅提高了编码速度.在此基础上合理利用DM642芯片及H.264编码器的自身特点,充分挖掘处理器的并行特性和计算资源等以优化编码器.实验结果表明,在图像质量不变的前提下,编码速度提高到15帧/s,部分序列达到18帧/s,码率上升8%.