新一代通用视频编码标准H.266/VVC:现状与发展

相比于上一代标准,新一代通用视频编码标准(H.266/VVC)在同等质量下能够节省大约50%的码率,且适用于多种多样的视频应用场景。论文从H.266/VVC的关键技术出发,对标准的现状、实现和应用发展进行深入探讨。H.266/VVC沿用既往标准中的双层码流体系和混合编码框架,针对帧内预测、帧间预测、变换、量化、环路滤波等所有主要编码模块进行了技术革新,并为屏幕内容视频等应用提供了高效的专用编码工具。H.266/VVC标准目前已处于实用化阶段,官方参考软件VTM和开源编解码器VVenC/VVdeC是目前最具代表性的软件编解码实现。对H.266/VVC的性能分析可以看出:H.266/VVC针对高分辨率视频取得的编码增益更为突出;主要编码工具对性能的贡献通常以复杂度为代价,但也有部分编码工具在提升编码性能的同时可降低整体编码复杂度。H.266/VVC的硬件实现面临诸多挑战,发展明显滞后于软件实现,现有研究主要集中在对具体编码模块的硬件加速方面。H.266/VVC标准发布之后,下一代视频编码标准的发展目前仍围绕混合编码框架进行探索,聚焦在两大方向:超越VVC的增强压缩关注更为先进的、非神经网络的编码工具,基于神经网络的视频编码则探索采用神经网络的编码工具。除此之外,部分或完全跳出现有混合编码框架的端到端视频编码也在飞速发展,未来视频编码标准与神经网络结合成为趋势,但面临着计算资源依赖和稳定结构两方面的考验。

面向嵌入式微处理器的高性能视频编解码算法

针对高清和超高清视频,嵌入式微处理器在进行视频编解码时常常会受到资源的限制,导致输出的视频画面出现模糊的情况。为此,提出一种面向嵌入式微处理器的高性能视频编解码算法。利用最小平均绝对值误差作为匹配准则指标,预判断高性能视频的失真率损耗,计算图像中最大交流系数总能量,获取高细节分块,感知运动视频;利用空时域条件下的边缘图获取视频编码的相邻像素权重,通过像素间距离获取超像素为前景区域的概率,对目标前景区域编码;采用最小化范数优化编码视频约束条件,利用拉格朗日乘子等价转换编码视频,根据训练冗余字典计算视频解码校正因子,完成最终的视频编解码。经实验证明,所提方法能有效地完成高性能视频编解码,保证视频质量,视频的编码率一直处于31.3 dB,相对稳定。

基于时间特征细化网络的时空视频超分辨率研究

时空视频超分辨率(space-time video super-resolution,STVSR)通过时间和空间2个尺度提升视频的质量,从而实现在视频采集设备、传输或者存储有限的情况下依然能实时地呈现高分辨率和高帧率的视频,满足人们对超高清画质的追求。相比两阶段方法,一阶段方法实现的是特征层面而非像素层面的帧插值,其在推理速度和计算复杂度上都明显更胜一筹。一些现有的一阶段STVSR方法采用基于像素幻觉的特征插值,这幻化了像素,因此很难应对帧间快速运动物体的预测。为此,提出一种基于光流法的金字塔编码器-解码器网络来进行时间特征插值,实现快速的双向光流估计和更真实自然的纹理合成,在使得网络结构更高效的同时弥补了大运动对光流估计带来的不稳定性。另外,空间模块采用基于滑动窗口的局部传播和基于循环网络的双向传播来强化帧对齐,整个网络称为时间特征细化网络(temporal feature refinement netowrk,TFRnet)。为了进一步挖掘TFRnet的潜力,将空间超分辨率先于时间超分辨率(space-first),在几种广泛使用的数据基准和评估指标上的实验证明了所提出方法TFRnet-sf的出色性能,在总体峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)提升的同时,插入中间帧的PSNR和SSIM也得到提升,在一定程度上缓和了插入的中间帧与原有帧之间PSNR和SSIM差距过大的问题。

智慧工地领域中视频监控数据编码分析

智慧工地是视频监控的一个特殊应用场景。在这个系统中,视频数据的远距离传输质量至关重要。视频数据的编码与解码,作为视频数据传输质量的关键所在,尤其需要得到关注。为此,从监控视频编码解码工作原理展开,对H.264编码解码器的结构进行深入讨论。

深度学习理念下视频编解码技术探究

视频编解码过程中,常因量化操作的引入,导致视频出现有损压缩,在后续播放中,产生较多压缩残影,且在低比特编码中更为明显。因此,针对此问题的优化,在深度学习的理论基础上,提出了一种新型的基于光流技术的时空神经网络模型(FGTSN),旨在对编码视频进行精确的后处理。实验证明,该FGTSN方法能够显著提高HEVC压缩视频的质量,其效果远超过其他视频质量增强技术。此方法能有效解决遮挡和大范围运动场景下的问题,并提升了压缩视频帧的重建效率,证明了其在实际应用中的高价值。

电声信号编解码技术在网络多媒体传输中的应用

探讨电声信号编解码技术在网络多媒体传输中的应用,重点分析音频、语音、视频编解码的原理和关键技术。通过实际案例剖析,揭示了编解码技术在复杂网络环境下的优化措施,如自适应码率控制、智能分路由、错误恢复机制等,有效提升了多媒体传输的质量和稳定性。

电子无线传输技术在无线耳机音质保障中的应用

随着无线耳机的普及,如何进一步提升音质成为用户关注的焦点。基于此,深入探讨电子无线传输技术在无线耳机音质保障中的应用,通过实际案例研究,分析该技术的具体实现方式和优化方案。结果表明,优化后的无线耳机在音质、延迟及抗干扰能力方面均显著提升,有效满足了用户的使用需求。

基于卷积神经网络的多路视频多视角场景编解码方法

常规的多路视频多视角场景编解码,主要采用视频单帧迭代处理实现编解码过程,忽略了视频中冗余信息对编解码效果的影响,导致编解码结果的视频帧峰值信噪比较低。因此,提出基于卷积神经网络的多路视频多视角场景编解码方法。构建双任务的双残差连接块卷积神经网络,在该网络中最小化视频空间点的距离值,匹配得到视频运动估计矢量特征并补偿,降低冗余信息的影响,在此基础上定义多路视频的编码内容,并通过重构解码帧实现多视角场景的编解码过程。实验结果表明:所提方法应用后得出的视频编解码结果,表现出的视频帧峰值信噪比较高,有效改善了视频质量,满足了多路视频多视角场景的实际应用需求。

基于编码-解码技术的图像标题生成方法分析

文章首先介绍了图像标题生成的常用方法,包括模板法、检索法、编码-解码法;其次,在互助双向LSTM模型的基础上,详细介绍了图像标题生成算法的实现步骤,即利用Inception-V4编码器将原始图像编码成图像特征,并使用互助双向LSTM解码器将这些特征解码成相应的句子,同时采用语音混沌保密通信技术确保信息安全;最后,进行了实验测试,并通过多模态注意力可视化分析验证了递进解码机制的作用。实验结果显示,在LSTM解码机制的支持下,能够生成优质、精确的图像标题。

5G时代超高清VR全景直播系统的关键技术及其应用

介绍5G技术和虚拟现实(VR)视频关键技术,包括5G技术的概念及特点、5G技术在VR视频直播中的应用,其中重点是VR视频、VR全景视频设备、VR视频拍摄技术、VR视频映射及压缩编码、VR视频传输的技术亮点和应用效果。

编码解码理论视角下健康科普短视频创作研究

在斯图亚特·霍尔“编码解码”理论基础上,将“健康中国”大背景下健康科普短视频创作编码与受众解码纳入创作思考中,通过对传播渠道和受众人群进行分析,提炼受众解码偏差及三种不同的解码方式:霸权式解码、协商式解码、对抗式解码,结合时下科普需求及短视频自身发展状况,为健康科普领域内容创作者提供创作思路,以期在未来有更多、更优质且能够实现传播效益最大化的健康科普短视频涌现,为健康中国添砖加瓦。

基于场景表示中对象特征语法分析的视频描述

为解决基于编码器-解码器的视频描述方法中存在忽略特征语法分析,造成描述语句语法结构不清晰的问题,提出一种基于场景表示中对象特征语法分析的视频描述方法。编码阶段将视频的2D、C3D特征、对象特征和自注意力机制相结合,构建视觉场景表示模型,描述视觉特征间的依赖关系;构建视觉对象特征语法分析模型,分析对象特征在描述语句中的语法成分;解码阶段结合语法分析结果和LSTM网络模型,输出视频描述语句。所提方法在MSVD和MSR-VTT数据集进行实验,结果表明,该方法在不同评价指标方面性能较好,视频描述语句的语法结构清晰。

语言结构引导的可解释视频语义描述

视频描述技术旨在为视频自动生成包含丰富内容的文字描述,近年来吸引了广泛的研究兴趣.一个准确而精细的视频描述生成方法,不仅需要对视频有全局上的理解,更离不开具体显著目标的局部空间和时序特征.如何建模一个更优的视频特征表达,一直是视频描述工作的研究重点和难点.另一方面,大多数现有工作都将句子视为一个链状结构,并将视频描述任务视为一个生成单词序列的过程,而忽略了句子的语义结构,这使得算法难以应对和优化复杂的句子描述及长句子中易引起的逻辑错误.为了解决上述问题,提出一种新颖的语言结构引导的可解释视频语义描述生成方法,通过设计一个基于注意力的结构化小管定位机制,充分考虑局部对象信息和句子语义结构.结合句子的语法分析树,所提方法能够自适应地加入具有文本内容的相应时空特征,进一步提升视频描述的生成效果.在主流的视频描述任务基准数据集MSVD和MSR-VTT上的实验结果表明,所提出方法在大多数评价指标上都达到了最先进的水平.

融合注意力与语义引导的视频描述生成方法

将基于深度学习的视频描述生成方法应用到海量视频检索和视频内容审核中,是为了通过视频描述方法生成语义文本,达到对视频的高效组织和管理。然而,现有的视频描述方法缺少对语义信息的探索,无法专注于视频中的特定动作的语义特征和语义表达。为克服上述局限性,文中提出一种融合注意力与语义引导的视频描述生成方法。在解码过程中,该方法使用自适应注意门控单元进行视觉特征和语义信息的融合,通过两个专用的LSTM层引导模型生成文本,使模型生成更准确的词。为验证所提方法的有效性,使用数据集MSR-VTT和MSVD进行实验。结果表明,融合注意力与语义引导能够有效提升视频描述生成方法的性能,相较于其他模型,所提方法各项评价指标均有一定提升。

基于绝对相位求解的三维重构算法设计

文章基于单目结构光系统实现对物体的三维重建,针对条纹投影的相位计算进行了算法分析与设计,分别使用多频外差法与格雷码对目标物体进行包裹相位求解,同时针对环境光对相位重建效果的影响提出了曝光补偿的方法来降低噪声并应用。仿真实验结果表明,基于格雷码的三维重构算法能较好地实现对三维物体的重构。

分布式音视频编解码技术在现代教育领域中的融合应用

基于传统矩阵式音视频编解码技术在实际应用中存在的问题,对分布式音视频编解码技术的可扩展性、实时性、高效性和灵活性等特点进行分析,构建了一套符合多校区办学需求的多媒体教学视频分布式管理调度系统。对系统传输速率和传输错误率进行对比测试,结果表明:通过部署多级控制管理架构,可以进一步优化系统性能,扩展教学场景,推动分布式音视频编解码技术在教育领域中的应用。

基于多尺度混合注意力机制的视频摘要算法

针对现有的视频摘要任务中视频帧的多层次上下文依赖信息提取不足的问题,提出一种基于多尺度混合注意力机制的视频摘要(MHAVS)算法。MHAVS采用编码器-解码器架构,编码器部分采用金字塔空洞卷积模块提取视频帧的不同尺度特征信息,解码器部分嵌入混合注意力机制建模视频帧的通道维度和空间维度的深度相互依赖性,增强特征的表达,利用指针网络帮助模型生成优势的视频摘要。提出算法在两个公共数据集SumMe和TvSum上进行多次实验,综合结果表明,MHAVS算法取得了不错的结果。

基于信息接入终端的音视频显控3.0系统设计

结合现代化指挥大厅的显控需求,应用网络传输技术和流媒体编解码等技术,提出基于信息接入终端的音视频显控3.0系统方案。从系统的技术体制、业务功能及优势出发,详细介绍系统的核心组成和体系结构,阐述系统的关键技术。经多个项目实际验证,该设计既保证了系统功能实现的可靠性,又有效缩短了工程项目实施周期,实现了指挥大厅的简洁化布线、灵活化部署、模块化拼装以及智能化运维,可为其他指挥大厅项目提供相应参考。

嵌入式会议终端的电话模块设计

针对视频会议终端在网络出现故障时无法进行视频通话的问题,基于传统视频会议终端设备设计了一款集成电话功能的会议终端设备,该设备采用海思平台和红外技术,主要由编码模块、解码模块、电话语音模块等组成,编码模块将设备采集的音视频信号转换为IP数据,并传送到IP网络中;解码模块接收IP网络中的数据,并解码为音视频信号在本地播放;电话语音模块将设备采集的音频信号转换为电话数据,并传送到PSTN网络中。经实验验证,该系统实现了视频会议和电话语音保底功能。

人眼视觉特性与视频编码压缩技术探讨

随着4K视频的普及、8K视频的兴起,现有的视频编码压缩技术已经不能满足人们的需求。该文先对视频编码压缩技术进行简单介绍,再从人眼视觉特性角度,从基础模型设计、编码解码等维度,优化视频编码压缩技术。以便为更多视频处理相关单位提供技术参考,提升视频编码压缩质量,为我国各个行业可持续发展贡献力量。对实验结果进行分析,优化后的视频编码在同等图像质量的前提下,有效提升压缩率,达到预期目标。