一种移动设备视频全景并行生成技术

通过移动摄像机合成视频全景图,由于视频中存在时间冗余以及现有合成技术对大角度旋转存在失配,提出一种鲁棒性较好的视频全景并行合成方法。该方法首先对选取的关键帧采用并行线程提取可重复性特征,并利用特征估计透视运动模型,从而对相邻关键帧进行全局配准;然后对重叠区域进行双线性融合,以减少视差对重叠场景的影响,同时并行优化提高了视频全景的合成速度。不同条件下移动合成实验表明,在大角度移动旋转以及视差等情况下仍能较好地合成视图。

基于局部多层次特征的嵌入式视频全景拼接

嵌入式视频全景拼接技术是透视装甲的关键技术之一,在恶劣的战场环境中,传统的嵌入式视频全景拼接算法存在实时性不高,错位、重影明显等问题。针对以上问题,提出了一种基于局部多层次特征匹配的嵌入式视频全景拼接算法。选择重叠区域对图像进行特征提取来有效减少无用特征点提取的数量,提高实时性;然后计算图像不同层次的单应性矩阵H,避免单一H矩阵造成的错位问题;最后基于能量关系来查找最佳拼接线,消除运动场景下的重影缺陷。实验结果表明,该方法能够满足战场运动场景下视频全景拼接的实时性要求,拼接后的全景图像没有明显的错位、重影缺陷。

论视频全景图技术在篮球训练中的应用

近年来,随着我国社会经济发展水平的不断提高,各种具备现代化、智能化和信息化特征的教学设备和技术开始广泛应用在体育教学与训练活动中,对于提升现阶段各项目的整体训练水平以及促进学生技能学子水平提升等方面起到了不可替代的重要作用。本文即立足于现阶段视频全景图技术在体育训练过程中的应用和实践现状,以篮球训练工作为例,对推广视频全景图训练技术的必要性和有效策略2个方面作出了简单的分析和探讨,希望能为当前篮球训练工作的创新与发展提供借鉴。

基于整数规划的分散式视频全景系统节点任务分配算法

重点分析了分散式系统中的任务经典分配方法,并根据视频全景系统的实际需求设计了一个基于整数规划的视频全景系统节点任务分配方法,该方法同时考虑了系统通信开销和系统节点负荷的问题,使得系统能够尽量减小不必要的通信开销并让系统达到负荷平衡。

全景视频基于块的视口自适应传输方案综述

全景视频由于独特的沉浸式、交互式体验受到广泛关注。全景视频传输所需的高带宽、低时延给现有网络传输系统带来了挑战。基于tile(块)的视口自适应传输可以有效缓解全景视频所带来的传输压力,成为当前的主流方案和研究热点。通过分析基于tile的视口自适应传输方案的研究现状和发展趋势,对该传输方案的两个重要模块,即视口预测与码率分配进行论述,从不同视角归纳总结相关领域的方法。首先,基于全景视频传输框架对相关技术进行阐明;其次,从主、客观两个维度分别介绍评估传输系统性能的用户体验质量的指标;再后,分别从视口预测、码率分配两方面进行归纳,系统梳理经典的研究方法;最后,基于当前研究现状讨论全景视频传输的未来发展趋势。

面向360°全景视频的帧内预测编码的快速算法

为了节省360°全景视频的编码时间,对通用视频编码标准中的编码单元划分决策过程进行了研究,提出了一种面向360°全景视频的帧内预测编码的快速算法。通过优化编码树单元(Coding Tree Unit,CTU)的编码深度范围和编码单元的划分模式的选择过程,减少编码时间。实验结果表明,在全帧内模式下,所提算法比原始算法平均可以节省34.33%的时间复杂度,同时带来的BDBR平均增量仅为1.665%,BDPSNR的平均降低量仅为0.076 dB。

基于视觉感知的立体全景视频高效编码

针对全景视频编码过程中码率过高的问题,本文提出了基于感知阈值的立体全景视频感知编码算法。首先基于空域恰可失真模型和全景维度因子,得到全景空域感知因子;然后基于视频时域恰可感知失真模型,得到视频时域感知因子,用于表征运动特性。在上述研究基础上,对立体感知量化参数阈值模型进行优化,最终提出了基于视觉感知阈值的立体全景视频编码方案。实验表明,所提出的算法能有效节省编码码率,且率失真性能良好。

全景视频中多运动对象检测与跟踪方法

全景视频多运动对象检测与跟踪技术的通用解决方案是通过投影变换将360°视频转为二维视频后进行检测和跟踪。然而固定球面投影变换会导致全景视频中存在空间上不连续的投影边界,当运动对象处于投影边界时,常规球面投影方法可能将其切分为多个部分,从而导致该运动对象的漏检或误检。针对该问题,提出了融合等距柱状形投影(equi-rectangular projection,ERP)和立方体投影(cube map projection,CMP)的全景视频多运动对象检测与跟踪方法,利用合适的CMP拼接帧减少ERP两极区域失真并弥补其边界不连续性,解决了处于投影边界和两极扭曲的对象检测问题。进一步,通过感知哈希、球面质心和运动方向等多重特征融合来解决全景视频多运动对象跟踪问题。实验结果表明,提出的方案可以有效减少投影边界不连续导致的误检,且能有效应对遮挡、穿梭帧边界和两极扭曲的对象跟踪问题。

交互式全景视频技术在烟草专卖市场检查培训中的应用探析

目前企业一般采用集中式线下培训或者分散式线上观看培训视频方式进行业务培训,难以获得良好效果。采用交互式全景视频技术制作企业的业务培训虚拟现实软件,可提供受训人真实的沉浸式的学习情景,增强培训效果。文章以烟草专卖市场检查培训为案例介绍了软件流程脚本设计、全景视频的拍摄、拼接和交互式设计的关键技术,为虚拟现实技术在教育培训领域的应用提供了借鉴与思路。

一种360°全景视频自适应FEC编码算法研究

针对全景视频数据因量大和延时敏感的特点造成的视频失真问题,提出一种360°全景视频自适应前向纠错(Forward Error Correction,FEC)编码算法,根据实时网络状况对全景视频的图块进行编码比特率和FEC编码率的优化匹配,将全景视频传输质量最大化,减少视频失真。实验结果证明,与传统视频传输算法相比,该算法可以减少视频失真,且视频峰值信噪比(Peak Signal to Noise Ratio,PSNR)提高5~7 dB。

基于互信息熵的全景视频关键帧数据实时提取系统设计

关键帧数据提取可以降低全景视频检索中产生的数据量,为了提高全景视频镜头边缘的检测与关键帧的提取的处理能力,提出基于互信息熵的全景视频关键帧数据实时提取系统设计;根据全景视频关键帧数据提取系统的硬件结构,分析视频播放器和镜头边缘检测器的工作原理;在系统的软件设计中,将待检测的两帧图像随机划分为子图像块,通过计算子图像块之间的互信息熵,获取全景视频图像的突变帧,将关键图像帧的特征差值曲线作为全景视频关键帧的时序特征,完成全景视频中关键帧数据的特征匹配,选择一个能够体现全景视频图像属性的特征,描述视频中的主要信息,利用数值化分析的方式,将全景视频帧的特征转换成数组形式的特征向量,通过计算互信息熵值,提取全景视频关键帧数;系统测试结果表明,文中系统将关键帧数据提取的查全率和查准率分别提高到95%和98%以上;能够准确提取出全景监控视频的关键帧数据,具有更好的全景视频处理能力。

沉浸式视频编码技术综述

随着虚拟现实、增强现实等沉浸式媒体技术的发展,沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注。沉浸式视频更复杂的视频特性和庞大的数据量,对传统视频编码技术提出了挑战,新的编码技术应运而生。该文从视频自由度(DoF)出发,分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果。3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准。6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG,MIV)编码标准。最后,对沉浸式视频及其编码技术的发展进行总结和展望。

全景图像视频的场景分析与内容处理方法综述

近年来,随着全景内容获取和交互的软硬件技术的快速发展,全景图像视频的数量激增,如何对全景内容进行高质量地分析和处理越来越成为虚拟现实领域的研究热点。当前,全景内容分析和处理在理论和应用方面面临着巨大挑战,关于该领域的关键问题在已有文献中未见系统全面地总结和研究。为了更好地促进该领域的研究和应用推广,针对全景图像视频的场景分析与内容处理近期的主要工作进行综述。在全景场景分析方面,分析了全景图像视频的深度学习网络、深度恢复、重要性检测、目标检测的研究工作;在全景内容处理方面,分析了全景图像视频的交互式浏览、去抖和校正、内容编辑的研究工作。最后,对综述进行了总结,并展望了未来在立体视图下全景图像视频的场景分析与内容处理方面的研究趋势。

基于球域失真空-时依赖的全景视频编码

全景视频平面编码失真和球域感知失真不同域使主客观质量评价不一致,进而损失编码性能。此外,独立率失真优化技术没有考虑球域失真的时域依赖性对编码的影响,编码性能还有提升空间。针对上述问题,提出一种空-时域依赖的球域失真模型以优化全景视频编码。首先,提出一种球域失真到编码失真的空域映射模型,使主客观质量评价趋近一致;然后,提出一种球域失真时域传播模型,以提升传播链上所有编码单元的整体编码性能;最后,计算球域失真空域映射权重和时域传播权重来调整编码参数。实验结果表明,在低延时编码配置下,相较于通用视频编码基准VTM14.0,所提算法有平均7.4%(最高达22.1%)的码率节省和9%的编码时间节省。

基于熵平衡的全景视频编码

高效的全景视频压缩对沉浸式、低延时的视觉体验十分重要。服务器端的全景视频通过投影到2D平面,经过编码、传输到客户端后,反投影到球面供用户观看,而全景视频投影过程中会在两极产生拉伸形变,由于过采样而产生像素冗余,破坏原有的信息熵分布。针对这一问题,提出一种改进的熵平衡算法,根据全景视频投影前后对应编码单元的熵不变原则,采用码率控制的R-λ模型根据投影面积变化比率来重新分配目标比特,以达到熵平衡,进而调整编码参数优化编码。实验结果表明,该算法相较于基准VTM14.0能达到1.87%的码率节省,编码时间下降10.07%,说明该算法在全景视频编码中能实现更高的压缩率和更短的编码时间。

基于全景感知的码率控制优化编码

提出一种基于全景感知的码率控制优化编码方法,首先基于全景视频内容特点,得出了面向全景视频的感知失真阈值模型,然后在此基础上提出了码率控制感知权重计算方法,从而对LCU层级码率控制模型进行了优化。实验结果表明,所提出的方法能在保证编码质量的同时,有效提升率失真性能,编码效率明显提升。

基于视点预测的全景视频码率自适应策略

为解决全景视频传输中存在的视频卡顿多、用户体验质量(quality of experience,QoE)低等问题,研究当前主流的视点自适应传输方案,提出一种基于视点预测的码率自适应策略(VPBAS)。首先,构建了一种基于长短期记忆网络和全卷积网络的视点预测模型,模型将视点数据和视频显著性信息进行特征融合,实现不同模态数据的相互补充和修正,提高视点预测的准确率;然后,客户端采用随机森林算法预测当前的可用带宽,并根据视点预测结果和可用带宽信息为视频分块选择码率;最后,客户端把选择的码率信息定期发送给服务器,服务器根据反馈的信息向客户端推送最佳码率的全景视频流,这种交互过程在视频播放期间不断地重复,直至客户端观看完毕。实验结果表明,与现有传输方案相比,VPBAS能有效提高带宽受限情况下的视频观看体验。

智能化综采工作面全景视频远控技术研究及应用

针对智能化综采工作面建设中对井下少人化、无人化的目标诉求,依托先进的无线通信技术,发展全方位的视频监控系统,提升综采设备的远程操控能力,改善相关生产人员的作业环境,是煤矿智能化开采的重要方向。介绍了智能化综采工作面全景视频远控技术方案和该方案的整体架构,详细阐述了井下综采工作面5G网络部署、短物距下大视场摄像机成像、全景视频实时拼接算法等全景视频远控关键技术,以及对采煤机端侧远程操控进行的改造,同时分析了全景视频远控技术在工程实施过程中的难点。具体实践表明,应用综采工作面全景视频远控技术方案能够促进煤炭生产的减人增安,对煤矿智能化综采工作面的建设具有重要意义。

无人机全景视频拍摄在VR直播中的应用探析

伴随着现代技术和信息化手段的快速发展,VR技术已经获得了全面的发展,而且它在多个社会领域中都起到了非常重要的作用。使用网络VR直播的方式,不但可以创造出更高的商业价值和应用价值,还能更好地将VR技术的实际作用发挥出来。而使用无人机全景视频拍摄技术,则可以进一步简化各种复杂的航拍工作。为此,本文首先明确了虚拟现实网络直播的特点;其次,深入地分析了VR直播中无人机全景视频的优点。基于以上研究,本项目还将研究如何将无人机全景影像用于虚拟实境直播。

360度视频与视口预测方法综述

360度视频是获取沉浸式虚拟现实体验的便捷媒介之一,近年来受到了广泛关注。视口预测技术是缓解360度视频高网络带宽要求的重要手段。聚焦视口预测技术,首先介绍360度视频的基本概念、背景和360度视频流式框架,对比常用的球面到平面投影方法、视频编解码标准;分析360度视频高网络资源消耗的原因,体现视口预测技术对360度视频流式的重要作用;介绍360度注意力数据集,总结主流公开数据集;将现有的视口预测方法,分为基于用户历史轨迹的方法和基于视频内容的方法,进行系统性的综述,梳理视口预测方法的发展脉络,介绍视口预测方法的最新工作,比较不同方法的特点、优势和不足,并简略介绍了360度显著性检测,360度显著性检测是基于视频内容的视口预测方法中的重点。最后进行总结,分析了现阶段视口预测方法面临的问题,展望了包括视口预测方法在内的360度视频相关技术的未来发展趋势。