采用轻量级卷积神经网络的H.266/通用视频编码跨分量预测

为提高新一代通用视频编码标准(H.266/VVC)中色度帧内预测的准确度,提出了采用轻量级卷积神经网络的跨分量预测方法。设计了亮度模块和边界模块,从亮度和色度参考样本中提取特征。设计了注意力模块,构建当前亮度参考样本和边界亮度参考样本之间的空间关系,并应用于边界色度参考样本生成色度预测样本。为降低编解码复杂度,设计网络在二维完成特征融合和预测,优化了现有的同组参数处理不同块大小的训练策略。并且,引入宽度可变卷积,根据不同的块大小调整网络参数。实验结果表明:与H.266/VVC测试模型VTM18.0相比,所提网络在Y(亮度分量)、Cb(蓝色色度分量)、Cr(红色色度分量)上分别实现了0.30%、2.46%、2.25%的码率节省。与其他基于卷积神经网络的跨分量预测方法相比,有效地降低了网络参数和推理复杂度,分别节省了约10%的编码时间和19%的解码时间。

HEVC标准的多层视频编码扩展

随着网络和视频技术的飞速发展,越来越多新的视频应用需要制定相应的国际标准,如3D视频、多视点视频、可分级视频、超高清视频、屏幕内容等。为此,JCT-VC和JCT-3V针对这些需求进行HEVC多层视频编码扩展标准的开发,形成了HEVC的4个附录。针对多层视频编码,HEVC扩展有多处重要改进,提供了多项先进的编码工具,文中对此进行简要分析和介绍。

新一代可伸缩视频编码标准:背景、特征、技术及其应用

SHVC是高效视频编码(HEVC)标准的可伸缩扩展,它的最新版本于2015年上半年由ISO/IEC和ITU-T同时发布。HEVC的第1版已经支持时间可伸缩性,除此之外SHVC又进一步提供了空间、质量、位深和色域的可伸缩性,以及这些可伸缩性之间的任意组合。在实际应用中,通过对视频服务系统的环境信息进行测量和感知,相应地调整服务参数,对具有可伸缩性的码流进行传输和解码。SHVC架构设计使其可以通过使用多个单层HEVC编解码器核心而实现,此外SHVC还添加了层间参考图像处理模块。本文将着重介绍包括纹理、运动重采样和颜色映射在内的层间参考图像处理模块的有关理论和实现方案。

新一代通用视频编码标准H.266/VVC:现状与发展

相比于上一代标准,新一代通用视频编码标准(H.266/VVC)在同等质量下能够节省大约50%的码率,且适用于多种多样的视频应用场景。论文从H.266/VVC的关键技术出发,对标准的现状、实现和应用发展进行深入探讨。H.266/VVC沿用既往标准中的双层码流体系和混合编码框架,针对帧内预测、帧间预测、变换、量化、环路滤波等所有主要编码模块进行了技术革新,并为屏幕内容视频等应用提供了高效的专用编码工具。H.266/VVC标准目前已处于实用化阶段,官方参考软件VTM和开源编解码器VVenC/VVdeC是目前最具代表性的软件编解码实现。对H.266/VVC的性能分析可以看出:H.266/VVC针对高分辨率视频取得的编码增益更为突出;主要编码工具对性能的贡献通常以复杂度为代价,但也有部分编码工具在提升编码性能的同时可降低整体编码复杂度。H.266/VVC的硬件实现面临诸多挑战,发展明显滞后于软件实现,现有研究主要集中在对具体编码模块的硬件加速方面。H.266/VVC标准发布之后,下一代视频编码标准的发展目前仍围绕混合编码框架进行探索,聚焦在两大方向:超越VVC的增强压缩关注更为先进的、非神经网络的编码工具,基于神经网络的视频编码则探索采用神经网络的编码工具。除此之外,部分或完全跳出现有混合编码框架的端到端视频编码也在飞速发展,未来视频编码标准与神经网络结合成为趋势,但面临着计算资源依赖和稳定结构两方面的考验。

沉浸式视频编码技术综述

随着虚拟现实、增强现实等沉浸式媒体技术的发展,沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注。沉浸式视频更复杂的视频特性和庞大的数据量,对传统视频编码技术提出了挑战,新的编码技术应运而生。该文从视频自由度(DoF)出发,分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果。3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准。6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG,MIV)编码标准。最后,对沉浸式视频及其编码技术的发展进行总结和展望。

基于感知的视频编码方法综述

基于感知的视频编码方法是目前视频编码的研究热点。该文综合论述了基于感知的视频编码方法,重点阐述了基于感知的3维视频编码方法。首先,对目前利用人类视觉系统中的亮度、对比敏感度、中心凹等视觉感知特性的单视点视频编码方法进行分析并指出其存在的问题。然后,对基于立体感兴趣区域和双目敏感度特性的3维视频感知编码方法进行了分析和论述。最后,就基于感知的视频编码方法的进一步发展提出了若干技术与研究方向的展望。

高清视频编码标准在广播电视工程中的运用

高清视频技术的兴起,不仅给内容创作者和用户提供了清晰生动的视觉体验,也对技术标准提出了更高要求。编码标准作为其中的核心技术之一,其选择和应用成为关键影响因素,不仅会影响视频质量和压缩效率,还会对传输带宽、存储需求及终端设备兼容性产生影响。基于此,本文首先对高清视频编码标准的技术特性展开了分析,接着对高清视频编码标准在数字电视领域、高清直播与点播领域、视频网站和社交平台中的应用展开分析,最后分析了高清视频编码技术的发展趋势,以期为广播电视工程的发展提供技术支持。

面向视频会议的音频辅助视频编码方法

目前视频会议所包含的视频和音频通常是使用传统的编码标准分别进行压缩。然而从语义层面看,音频和视频存在强相关性,都是对与会者所要表述内容的表征。因此,对两者分开编码是次优的。针对此问题,提出了一种音频辅助的视频编码框架。该框架中视频只传输少量的关键帧以提供必要的纹理参考,利用从重建音频中推理得到时序信息和关键帧来重建其余帧。实验结果表明,与通用视频编码方法相比,该框架在指标DISTS下取得了-89.81%的BD-rate结果。

中文文本屏幕内容图像通用视频编码标准编码感知失真研究

为了探索最新一代通用视频编码标准(versatile video coding, VVC)对中文文本屏幕内容图像(text screen content image, TSCI)感知质量的影响,设计图像主观观测实验并基于VVC混合编码框架原理研究了中文TSCI的VVC编码感知失真。构建中文文本屏幕内容图像数据库(Chinese text screen content image dataset, CT-SCID),设计图像主观观测实验,分析VVC引起的中文TSCI感知失真类型及其发展路径;结合VVC的混合编码框架原理,理论分析并实验验证影响VVC编码的中文TSCI感知失真程度的因素;总结当前代表性的屏幕内容图像质量评价方法在中文TSCI VVC编码感知失真评测上的性能表现。实验结果表明:字体大小和对比度是影响中文TSCI VVC编码感知质量的重要因素,且中文TSCI的字体越小、对比度越低时,图像的感知质量等级越低;当前代表性的屏幕内容图像质量评价方法均无法给出完全符合人眼感知特性的质量评价结果。研究对于后续开发适用于中文TSCI的感知质量评价方法、高效编码方法等具有指导意义。

基于内容的视频编码标准MPEG-4

视频编码技术的研究不仅具有很大的理论意义,更具有迫切的现实意义。视频编码标准的开放体系结构为标准的研究和发展提供了良好的平台。MPEG—4引入了视频对象的概念,并提供了基于内容的视频编码工具。本文对MPEG-4从功能、编码特点、编码技术等方面做分析阐述。

基于FPGA架构的结构相似性比率与帧层优化的视频编码方法

针对视频图像在无线数据传输中带宽受限的问题,提出了一种基于结构相似性比率的视频编码算法,其核心在于运用结构相似性比率。首先对帧进行结构相似性分析,以此为基础通过精确公式分配目标编码比特数,进而优化量化参数。通过帧特性分类,实现更细致的帧层码率控制。实验证明,与现有技术相比,所提方法不仅更精确地控制了码率,还显著提升了视频的主观质量,增强了图像的流畅性和稳定性。

视频流传输中的差错复原视频编码技术

视频压缩技术在采用预测技术、变换编码技术和可变长熵编码技术以减少冗余信息的同时 ,也降低了视频流的容错能力。传输信道中的差错 ,不仅严重损害了视频服务质量 ,甚至会使通信系统崩溃 ,因此 ,在有错信道上进行视频传输 ,差错复原视频编码技术就显得尤为重要。对差错复原视频编码技术进行了概括和总结 ,首先指出在视频传输过程中存在的由于传输错误而引发的比特流同步丢失及错误蔓延问题 ,然后研究了解决这些问题的差错复原视频编码方法 ,最后指出 :可伸缩视频编码和多描述视频编码是差错复原视频编码的发展方向 ;多描述编码同多路径技术相结合 。

ATM中的视频编码技术

本文讨论了ATM中采用的视频编码技术，内容包括可变率视频编码技术和分层视频编码技术。

高效视频编码

近年来随着视频编码技术的发展以及高清视频需求的快速增长,国际运动图像专家组ISO-IEC/MPEG和国际电信联盟的视频编码专家组ITU-T/VCEG于2010年成立了视频编码联合工作组JCT-VC,开始针对高分辨率视频应用制定新一代视频编码标准,即高效视频编码HEVC(High Efficiency Video Coding),2012年底形成了国际标准草案,并开发了相应的测试模型HM,进行性能评估和算法测试.该文将对标准制定过程中涉及到的关键技术进行详细介绍,主要包括:基于四叉树结构的编码块组织形式、先进的运动矢量预测和合并方法、多方向的帧内预测模式、基于DCT的分像素插值技术和内容自适应的算术编码技术等,最后对相关编码工具的编码效率、计算复杂度进行了分析,并且指出了未来的研究方向.

视频编码失真估计综述

编码失真是评价视频算法性能的主要因素之一,如率失真优化、码率控制和最佳量化等算法设计中,在不进行复杂预编码的情况下精确估计编码失真,是达到良好率失真性能的必要途径。虽然部分编码失真估计方法已经被采用并作为编码算法的基础,然而,与对码率估计的关注度不同,失真估计并未引起人们的足够关注。系统地回顾总结了视频编码失真估计方法,实验并给出了一些比较结果。将失真估计方法分为四类:1)基于DCT系数分布的建模;2)ρ域;3)λ域和4)基于失真传播的建模。概述了这些方法的基本原理,并且根据实验结果对模型的精度进行了简要对比分析。

基于3D-HEVC的三维视频编码方法综述

三维高效视频编码(three-dimensional high efficiency video coding,3D-HEVC)是立体视频编码扩展的国际标准化组织(Joint Collaborative Team on 3D Video Coding Extension Development,JCT-3V)推出的目前最新的3D视频编码标准,基于3D-HEVC的三维视频编码技术的研究推动了其应用并成为目前三维视频编码技术的研究热点.在回顾3D视频编码标准发展基础上,描述了基于3D-HEVC的三维视频编码方案,对其中最为关键的三维视频纹理图与深度图编码方法与研究进展进行了重点分析与阐述.首先,对目前借助视频序列中纹理特性的三维视频纹理图编码方法展开了综述并说明其存在的问题.然后,对基于纹理特性和区域的三维视频深度图编码方法展开了分析和论述.最后,结合近年来最新的研究成果,展望了三维视频编码技术的发展并提出了新的研究课题.

基于MGAN环路滤波视频编码技术的监控系统设计

为提高变电站环境监测运行效率,提出一种改进的对抗神经网络环路滤波视频编码技术的环境监控系统。首先,根据系统功能性和非功能性需求,将系统分为视频采集层、边缘计算层、云平台层3大模块,并进行了详细设计;然后,基于生成对抗神经网络(GAN),重点设计了边缘计算层视频编码技术,提出一种多层次的GAN(记为MGAN)环路滤波视频编码技术;对系统功能和非功能进行了测试。结果表明,系统可实现实时监控、多路监控、智能保存和视频编码功能,满足安全性、稳定性、可靠性非功能需求,所设计的基于MGAN的环路滤波视频编码技术能有效提高视频编码质量,进一步提高变电站视频及环境监控系统的运行效率,具有一定的实际应用价值。

新一代视频编码标准HEVC的关键技术

HEVC(High efficiency video coding)是新一代的视频编码标准,它仍然采用了与先前视频编码标准H.264/AVC一样的混合视频编码的基本框架,但在各个编码模块都进行了改进和革新。与H.264/AVC相比较,在相同视频质量和应用条件下HEVC的码率降低将近一半。本文对HEVC的关键技术进行综述,着重研究探讨了帧内和帧间预测技术的原理和实现过程。

视频编码技术的应用及发展趋势

【目的】本文旨在探讨视频编码技术的应用及其发展趋势,分析其在超高清信号传输、数字电视、在线视频流媒体等领域的重要性,并预测未来技术进步的方向。【方法】通过梳理现有文献和最新研究成果,对视频编码技术的发展历程、应用现状以及新一代编码标准进行综合评述。同时,结合人工智能技术在视频编码中的应用案例,分析其对传统视频编码技术的改进和挑战。【结果】随着4K/8K超高清视频的普及,H.265/HEVC和H.266/VVC等新一代编码标准被广泛采用以提高压缩效率。然而,这些标准的编码复杂度显著提升,优化性能和产品研发成为产业界的重要任务。深度学习等人工智能技术为视频编码提供了新的解决方案,有望进一步改善压缩效率与图像质量之间的平衡。【结论】视频编码技术是数字化时代不可或缺的关键技术,其发展直接影响到数字媒体行业的未来。面对日益增长的视频应用需求,持续研究并优化高效视频编码技术对于提升人们的生活质量具有重大意义。未来,结合人工智能技术的视频编码方案将可能成为主流,推动整个行业的进步与发展。

视频编码中的深度学习模型设计与实现

本文介绍了深度学习与视频编码的结合点及背景,探讨了深度学习在视频编码中的模型设计与实现,首先,阐述深度学习在视频编码中的潜力和挑战;其次,解析深度学习模型的设计,包括模型的架构、参数选择和优化方法等;再次,探讨深度学习模型在视频编码中的设计与实现,包括如何利用深度学习技术提高视频编码的效率和视频质量,以及模型的训练、部署和性能评估等方面;最后,通过案例分析,展示深度学习在视频编码中的实际效果和应用价值。