360视频的连续保形投影算法

360视频存储需要经过投影拼合得到平面视频,不同的投影拼合算法对视频的质量影响非常大.为了减少在投影拼合阶段产生的质量损失以及对存储空间的浪费,提出一种连续保形的投影拼合算法,首先通过立体投影将360视频的2个半球面分别投影到一个平面圆上;然后利用Schwarz-Christoffel变换将平面圆保形地映射为正方形;最后将2个正方形连续地拼合在一起,得到360视频对应的平面视频.在实验中,对比了各类球面纹理使用不同投影拼合算法得到的平面图像,分析其拉伸变形的情况并量化不同算法产生的不连续边,结果表明,相比其他主流算法,360视频的连续保形投影算法能够保证投影后图像的拉伸变形较小,同时确保平面视频图像的内部连续性.

面向360°全景视频的帧内预测编码的快速算法

为了节省360°全景视频的编码时间,对通用视频编码标准中的编码单元划分决策过程进行了研究,提出了一种面向360°全景视频的帧内预测编码的快速算法。通过优化编码树单元(Coding Tree Unit,CTU)的编码深度范围和编码单元的划分模式的选择过程,减少编码时间。实验结果表明,在全帧内模式下,所提算法比原始算法平均可以节省34.33%的时间复杂度,同时带来的BDBR平均增量仅为1.665%,BDPSNR的平均降低量仅为0.076 dB。

360度视频与视口预测方法综述

360度视频是获取沉浸式虚拟现实体验的便捷媒介之一,近年来受到了广泛关注。视口预测技术是缓解360度视频高网络带宽要求的重要手段。聚焦视口预测技术,首先介绍360度视频的基本概念、背景和360度视频流式框架,对比常用的球面到平面投影方法、视频编解码标准;分析360度视频高网络资源消耗的原因,体现视口预测技术对360度视频流式的重要作用;介绍360度注意力数据集,总结主流公开数据集;将现有的视口预测方法,分为基于用户历史轨迹的方法和基于视频内容的方法,进行系统性的综述,梳理视口预测方法的发展脉络,介绍视口预测方法的最新工作,比较不同方法的特点、优势和不足,并简略介绍了360度显著性检测,360度显著性检测是基于视频内容的视口预测方法中的重点。最后进行总结,分析了现阶段视口预测方法面临的问题,展望了包括视口预测方法在内的360度视频相关技术的未来发展趋势。

用于虚拟现实的360度视频编码技术新进展

随着虚拟现实技术不断发展,360度视频编码开始成为研究热点。应用于虚拟现实的360度视频与传统的视频相比分辨率更高,编码数据量更大,在实际应用中面临传输带宽有限的瓶颈,编码效率问题有待解决。归纳分析了国际标准组织联合视频研究组(Joint Video Exploration Team,JVET)正在制定的360度视频编码投影变换技术及其编码优化方法,综合对比了各变换技术的编码性能。根据当前最新研究成果,对下一步研究需要解决的问题进行了探讨总结,给出未来的研究方向和思路。

基于多MEC协作的移动VR视频缓存和传输网络架构

针对移动虚拟现实(VR)视频在传统传输架构下分发时延过大问题,提出一种基于多MEC协作缓存和传输的网络架构。首先,考虑到移动VR视频在观看时需要计算处理而移动VR设备并不一定具备相应的处理能力,提出让传输架构中的MEC来承担这部分计算任务。然后,建立以最小化平均分发时延为优化目标的混合整数线性规划缓存模型,通过商业求解器Gurobi来获得移动VR视频的最佳缓存位置。最后,通过数值仿真实验证明,与传统的缓存算法相比较,提出的缓存和传输策略能有效降低移动VR视频的平均分发时延。

基于改进组播算法的360度CSCW视频子系统研究

文章研究了一个基于视频流进程调度算法的CSCW视频子系统。系统特点采用了Winsock2实现视频组播通信,应用了360度全景成像技术和H.263视频编解码方案等。

浅析360度视频新闻的声音制作

近年来,随着新闻记录方式的不断革新,新闻工作者除了使用传统的录音笔、摄像机等设备,还会使用智能手机、全景摄像机、头戴式摄像机等多种方式进行拍摄记录,这意味着以智能化、便捷化为发展趋势的移动互联网、大数据与云计算等新兴技术力量,已经渗透到视频新闻制作各个方面,视频新闻制作将迎来重新定义的可能,虚拟现实技术(VR)将带来身临其境的新闻体验。虚拟现实技术的应用拓宽了视频新闻的制作方式,让观众在接收信息的同时,增强了可感知的视觉化,听觉化体验。本文从虚拟现实技术的角度出发,结合视频新闻的特点分析其优势,阐述视频新闻声音内容的制作流程,然后对虚拟现实技术在视频新闻制作的发展进行分析。

浅析360°全景视频在体育赛事报道中的应用

近些年,随着虚拟现实技术的发展,VR技术已然成为一种新的媒介技术和产品,它颠覆了用户的感官体验,塑造了一种全新的交互模式,而全景视频作为VR内容的重要分支也加速了其与其他部门合作的步伐。受制于目前的技术水平、网络宽带等条件的限制,大多数媒体选择从比较好上手的360°全景视频开始进行创新,360°全景视频与体育赛事报道相结合,为竞技体育创造出了更精彩的火花,但也面临着一些问题。

360°视频混合单播-组播的服务器端传输策略

360°视频是目前最热门的多媒体形式之一,由于其具有很大的尺寸和很高的分辨率,导致现有的网络环境很难为用户提供高体验质量(QoE)。另外,用户需要佩戴头戴式设备观看360°视频,而且用户间不能进行屏幕共享,这就导致即使用户请求相同的视频也无法通过为用户组播视频内容来节省带宽。针对360°视频较高的传输带宽需求和内容无法被共享的特性,提出了一种根据360°视频用户的视口(FoV)对用户进行聚类的方法。在这种聚类方法的基础上,进一步提出了一种服务器端的混合单播-组播码率自适应策略。将360°视频分成若干空间块,并在服务器将这些块的传输模式(多播或单播)选择问题和块的码率自适应问题表示为一个整数规划问题。通过松弛的方法求解上述问题。最后,通过仿真来展示本文提出的方法在360°视频传输中的性能。

基于经验变差函数的360度视频CU划分快速算法

随着虚拟现实技术的发展,360度视频越来越受欢迎。这些视频在使用标准编码器进行编码之前,要先将其转换为2D图像平面格式。为了提高编码效率,专家们提出了新一代视频编码标准H.266/VVC(Versatile Video Coding),然而,VVC分区模式的多样性导致编码360度高分辨率视频耗时过长。针对上述问题,设计一种CU划分早期决策算法。通过对ERP(Equirectangular projection)视频的统计实验,发现这类视频采用水平分区的概率大于垂直分区。利用经验变差函数设计算法衡量纹理方向差异度,再根据编码单元水平与垂直2个方向的差异程度选择不同的分区。实验结果表明:在全帧内模式下,与VVC测试模型VTM4.0相比,该算法节省了35.42%的编码时间,BD-rate仅增加0.70%。

开启虚幻之窗的360全景视频

VR是Virtual Reality虚拟现实热点技术的简称,沉浸感、交互性、构想性是其三个主要特征。360度视频,是利用多个摄像头记录拼接360度全方位影像,通过VR眼镜播放观看。本文讨论的重点在于虽然360度全景视频不等同于产生场景互动的VR内容,但是它毕竟属于一种新型的拍摄与呈现技术,不但开启了虚拟空间之窗而让观众有了沉浸新体验,也让传统电视台有了跨界发展的新机遇。

360度视频技术研究

360度视频是目前虚拟现实领域的热点研究课题,梳理了360度视频的发展过程,对360度视频编码的国内外研究现状进行了研究和总结。重点总结了360度视频的投影变换方法以及投影填充方式和质量评估方法,并对不同投影方式的性能进行了详细的对比说明,根据当前最新研究成果为下一步研究提供参考性的建议。

基于复杂度差异的VVC中360度视频CU划分快速决策

作为新一代视频编码标准,H.266/VVC引入了嵌套在多类型树中的四叉树划分结构,但编码时间明显增加。在360度视频场景下,针对上述问题,设计一种CU划分快速决策算法。通过统计分析不同纬度CU划分结构的分布特征,发现不论多叉树如何进行划分,1个CU的四叉树深度可以代表它的复杂程度。在各个纬度区分简单与复杂CU,分别决定两者可达的四叉树深度,由四叉树深度抉择四叉树划分与多叉树划分的选取。另一方面通过CU子块复杂度的差异辅助判断复杂CU的划分方式,可以降低原有算法的计算量,以节省编码时间。实验结果表明:在全I帧模式下,与现有的VTM8.0相比,时间节省了24%,WS-PSNR降低了0.02 dB,BD-rate仅增加了0.49%。

基于CTU纬度的360度视频快速编码

针对360度视频投影为等矩形格式时存在拉伸现象,两极采样率高而赤道处相对采样率低的特点,提出一种基于CTU纬度位置的360度视频快速编码算法。首先,根据ERP视频不均匀采样特性,将整幅ERP图像分成3个部分:靠近极点处的区域、靠近赤道处的区域、处在极点区和赤道区之间的区域。其次,基于编码树单元纬度位置,来判断当前编码树单元所属的区域,即区域划分最终是按编码树单元纬度来决定的。最后,根据不同的区域,按照采样率高的位置适合大块编码、采样率低的位置适合小块编码准则,分别确定其预测深度范围。实验结果表明,在使用WS-PSNR评价编码效果时,与集成了360Lib3.0的HEVC参考软件HM相比,本文算法在亮度块只有0.6%的BD-rate增加下,编码时间节省了11.9%。

一种低时延的全景视频传输方法

近年来,以全景视频为代表的虚拟现实技术向高质量、沉浸感的方向发展,低时延全景视频传输技术的研究成为热点。对全景视频传输中影响终端用户体验质量的时延因素进行分析,提出了一种低时延的全景视频传输方法,使用随机接入帧间预测帧来减小视口切换引起的传输时延,进而改善用户的视觉体验质量。经理论分析和仿真实验,在不影响用户体验质量的前提下,针对不同内容的测试序列,该方法可以将视口切换时延平均降低至2.4帧时长,同时将用于用户视口切换的视频码率平均减少20.23%。相比于已有方法,该方法可以在降低时延的同时,提升传输带宽利用率,为实现全景视频的高效传输提供了一种新的技术途径。

基于复杂度和空域相关性的虚拟现实视频CU划分快速算法

在等距柱状投影格式下,虚拟现实360度视频的两极区域会造成过度拉伸,引入大量冗余数据,影响编码速度.论文分析了等距柱状投影下虚拟现实360度视频图像特点,设计了一种度量编码树单元复杂度的新指标,利用复杂度指标和视频空域相关性预测编码树单元深度,跳过不必要的遍历范围,实现编码单元的快速划分.实验结果表明,与最新的HM16.20参考模型相比,所提出的算法可以减少37.25%的编码时间,而BD-rate仅增加0.74%,视频图像质量几乎没有损失.

基于纹理特性的全景视频快速帧内编码算法

为了提高对360°全景视频的编码效率,联合探索专家组研发了基于HEVC的下一代视频编码标准——多功能视频编码标准(Versatile Video Coding,VVC)。相对于HEVC,VVC具有更高的编码效率,但是也引入了更高的时间复杂度。因此为了降低其编码的计算复杂度,提出了一种针对VVC的帧内模式快速决策算法。通过分析图像块的纹理特性来减少帧内编码的候选模式数量从而减少模式选择中的冗余计算。实验结果表明,提出的算法可以节省24. 08%的编码时间同时只有0. 80%的BDrate损失。

全景视域下的视频监控探究

随着计算机、通信以及多媒体技术的快速发展,视频监控在公共安全、智能交通、生产制造等领域得到广泛的应用。然而,传统的视频采集由于受到单目视频采集设备在拍摄角度及视场方面的限制,能够拍摄的视域范围非常有限,为了能够多角度、全方位的进行视频采集,需要在同一个区域部署多个单目视频采集设备,如此不仅需要大量的人力物力,而且增加了后期视频处理的难度。针对上述问题,文章提出使用360度全景摄像机进行视频采集,只需在监控区域安装一台视频采集设备即全景拍摄监控区域的动态场景。同时,对采集的全景视频信息的相关分析模型进行探究,并提出具有可现实应用价值的视频监控及分析思路。

具身体验视角下的360度知识类短视频用户认知网络演化分析

虚拟现实技术应用规模迅速增长背景下,探究360度全景知识类短视频情境中的用户具身体验与内容认知间的动态交互机制,对有效提升其传播效果具有重要意义。本研究基于具身认知理论,从用户具身体验与视频内容认知两个维度出发构建编码框架。在此基础上以Bilibili网站360度知识类短视频用户发布弹幕为数据来源,使用认知网络分析法对数据进行编码并构建用户认知网络,剖析具身体验与内容认知维度下不同认知元素间的关系;并基于时间序列探究用户认知网络动态演化规律。研究发现,用户具身体验与视频内容认知关联,具身体验维度参与、在场与内容认知维度关注剧情、关注结果认知元素关联度最高。不同时间段内用户认知网络存在显著差异,学习过程中,用户明显增强了深层内容认知元素的关注和具身体验的调用,认知节点的关联深度与复杂度逐渐上升,体现了视频观看过程中认知建构的不断完善。

浅谈Multiple Replay自由视角在体育赛事上的应用

在视频直播制作过程中,为达到更好的视觉效果,360°快速动、静态“时间凝结”的画面会让视觉效果更为丰富。本文通过自由视角环绕拍摄的应用实例介绍自由视角拍摄系统。通过视频帧采集、帧对齐、多机位帧画面矫正、动画效果渲染等处理技术,来实现多台摄像机中获取的画面在空间上和时间上的一致性,从而解决360°视频画面在视角切换时的平滑效果问题,满足自由视角在直播中的应用。