全景视频基于块的视口自适应传输方案综述

全景视频由于独特的沉浸式、交互式体验受到广泛关注。全景视频传输所需的高带宽、低时延给现有网络传输系统带来了挑战。基于tile(块)的视口自适应传输可以有效缓解全景视频所带来的传输压力,成为当前的主流方案和研究热点。通过分析基于tile的视口自适应传输方案的研究现状和发展趋势,对该传输方案的两个重要模块,即视口预测与码率分配进行论述,从不同视角归纳总结相关领域的方法。首先,基于全景视频传输框架对相关技术进行阐明;其次,从主、客观两个维度分别介绍评估传输系统性能的用户体验质量的指标;再后,分别从视口预测、码率分配两方面进行归纳,系统梳理经典的研究方法;最后,基于当前研究现状讨论全景视频传输的未来发展趋势。

联合视口预测和超分辨率重建的实时VR全景视频流式传输方法

现有基于视口预测的VR全景视频流式传输方法尚未有效地考虑VR视频的时间维度信息,并且忽略了客户端在提高视频重建质量上应发挥的作用.为了进一步提高传输系统的综合性能及用户体验质量,提出一种联合视口预测和超分辨率重建的实时VR全景视频流式传输方法.在服务器端提出时间非局部注意力模块,并将其嵌入GhostNet中对VR全景视频进行全局上下文建模,捕获视频内容特征在时间维度上的长距离依赖;在客户端提出轻量级VR全景视频超分辨率重建模型,对来自服务器端预测视口内的次要内容进行质量增强及投影失真优化.在VR全景视频用户头部运动数据集上的实验结果表明,所提方法的平均视口预测精度和平均带宽占用分别为95.6%和52.9%,与5种代表性的传输方法相比,该方法能够获得更高的视口预测精度和更低的带宽占用,同时具有良好的视频重建质量和较低的计算资源消耗.

360度视频与视口预测方法综述

360度视频是获取沉浸式虚拟现实体验的便捷媒介之一,近年来受到了广泛关注。视口预测技术是缓解360度视频高网络带宽要求的重要手段。聚焦视口预测技术,首先介绍360度视频的基本概念、背景和360度视频流式框架,对比常用的球面到平面投影方法、视频编解码标准;分析360度视频高网络资源消耗的原因,体现视口预测技术对360度视频流式的重要作用;介绍360度注意力数据集,总结主流公开数据集;将现有的视口预测方法,分为基于用户历史轨迹的方法和基于视频内容的方法,进行系统性的综述,梳理视口预测方法的发展脉络,介绍视口预测方法的最新工作,比较不同方法的特点、优势和不足,并简略介绍了360度显著性检测,360度显著性检测是基于视频内容的视口预测方法中的重点。最后进行总结,分析了现阶段视口预测方法面临的问题,展望了包括视口预测方法在内的360度视频相关技术的未来发展趋势。

面向全息视频通信的自适应分块传输方法

基于分治和按需传输思想的分块传输技术是解决三维全息视频流传输的有效手段.然而,现有的分块方案要么缺乏自适应机制,要么不适用于移动实时通信场景.为此,本文提出了VVSTiler(Volumetric Video Streaming Tiling selector),一种面向全息视频通信的自适应分块传输方法,能够在动态且有限的计算和带宽资源下最大化视频的观感质量.具体而言,本文对不同粒度的分块方案带来的影响进行了初步研究,发现细粒度的分块方案可提高动态网络资源的利用率,粗粒度的分块方案可保证视频编解码效率和鲁棒性.基于此,本文构建了考虑预测视口、可用计算资源以及网络带宽等上下文信息的视频观感质量优化问题,并设计了一个高效的求解方案以支持在线的分块粒度决策.本文在8iVFB(8i Voxelized Full Bodies)标准数据集上将VVSTiler与当前主流的分块传输方法进行了比较.实验结果表明,VVSTiler在有偏差的视口预测情况下实现了高达60.4%的视频观感质量提升,在较准确的视口预测情况下平均每帧视频节省了27%的带宽资源.

基于视区追踪的可见光图像显著性检测方法

为能准确检测出可见光图像中的目标区域,并提高图像检测的准确性,提出基于视区追踪的可见光图像显著性检测方法。对全局显著性度量,根据度量结果,运用亮度增强算法增强可见光图像后,提取图像亮度、颜色以及方向的特征信息,采用视区追踪的方法分割可见光图像,构建关于图像背景与目标的指示向量,并对背景图排序,实现可见光图像显著性检测。实验结果表明,所研究的方法在主观评价和客观评价上,检测的准确度都较高,满足方法的设计需求。

AutoCAD的“图纸”空间在机械工程图纸出图中的应用研究

国家标准对于机械工程图纸中关于尺寸标注样式、文字、表面粗糙度符号、形位公差符号、图框、标题栏、明细栏等图纸外观有要求。传统的在AutoCAD中进行产品设计时,为了满足国标外观要求,实现一定图幅、一定图纸比例的出图需要用户做一系列缩放工作,这些工作均在“模型”空间里完成。AutoCAD软件新的“注释性”功能可以实现图纸标准外观相关内容的自动缩放,“图纸”空间的“视口”功能可以对模型进行自动缩放,介绍利用这两个功能在“图纸”空间完成图纸布局的方法。相对于传统方法,新方法不但实现了用户在做机械产品设计时1∶1建模、1∶1尺寸测量、按国标要求1∶1注写图纸技术要求的工作模式,而不用去关心图纸的比例问题,同时也使设计的出图工作更为便捷。

基于HTML5+CSS3的Web前端响应式页面布局研究

文章从Web前端响应式布局的现状与优势出发,重点阐述了所使用到的视口、媒体查询、流式布局、弹性布局、流式图片和rem适配布局等关键技术,通过对不同属性值的分析,使读者能够掌握Web前端响应式布局所使用的关键技术,最后展望了Web前端响应式布局的未来发展。

路基工程面向CAD的UAV DOM关键技术应用研究

无人机正射影像在路基工程领域应用广泛,随着影像质量越来越高,在路基设计过程中能够减少设计人员大量的外业调查工作。但目前无人机正射影像在CAD中的应用仍存在着操作繁琐、数据体量限制的问题。通过将影像金字塔技术移植到CAD中,实现对大体量无人机正射影像的加载,通过二次开发实现坐标统一配准功能,既解决了无人机正射影像数据加载繁琐问题,又解决了数据体量限制问题;结合路基设计过程中软基处理、涵洞布设等工作,论证了该技术的重要意义。

基于JACK的载人潜水器观察窗布局优化设计

为了提高载人潜水器人机工效设计的质量,有效考虑狭小工作舱下潜航员的生理舒适度,保证载人潜水器观察窗布局的人机合理性,在载人潜水器载人舱的设计过程中应用人机工效设计原理,利用JACK软件对载人潜水器载人舱观察窗布局进行仿真,对潜航员的工作姿态、舒适性和关节角度等进行模拟。将载人潜水器载人舱模型导入JACK人因分析软件中,采用第95百分位数的中国男性作为潜航员,对潜航员在载人舱内的工作姿态进行模拟,并对其进行工作姿势评估、快速上肢分析、舒适度评估及下背部分析,最后根据分析结果完成相应的设计优化。

虚拟现实视频处理与传输技术

虚拟现实(VR)是当前视频领域研究热点。介绍了VR视频内容制作以及终端显示技术现状,分析了基于用户视点的VR视频处理关键技术,最后探讨了VR视频传输模式及其对承载网络的需求。

三维场景中基于视口空间的拾取算法

提出一种基于视口空间的快速精确的拾取算法。算法的核心是将物体的包围盒投影到二维空间,在二维坐标系下进行拾取判断。用OpenGL实现该算法,并与经典的射线法在拾取的精度、速度及适用范围等方面进行了比较,结果表明,该算法全面超越了射线法。采用层次OBB(方向包围盒)结构管理复杂场景,引入视锥剔除技术,对算法进行优化并应用于施工仿真项目中,取得了很好效果。

基于粒子系统与OpenGL的实时雨雪模拟

自然景物的模拟一直是计算机图形学中最具挑战性的问题之一。关于水、云、烟、雨、雪等自然景物的模拟,在计算机游戏、三维动画、影视及广告中有着广泛的应用。自然景观中雨、雪的模拟,可以大大提高三维场景的逼真度,Reeves提出的粒子系统是模拟雨、雪的一种有效的方法。论文在分析粒子系统实现原理的基础上,基于OpenGL提出了一种在大型场景漫游系统中实时模拟雨、雪的方法。基本思想是基于OpenGL的多视口与色彩融合技术,把模拟雨、雪的粒子在一个新的视口中视线有效区域内进行绘制,然后与原视口中的场景一起显示于窗口中。实践证明,该方法实现的雨雪模拟效果比较真实,而且在普通PC上也可以满足一般动画的实时性要求。

基于视点预测的大规模地形的实时渲染

实时渲染中帧速率往往与地形规模呈反比,尤其是大规模地形的渲染,在单PC下很难达到实时。对此提出了一种基于视点的可见地形预测算法,动态加载地形数据,降低了图形硬件需要处理的数据量,有效提高了大规模地形的渲染速率。同时,针对大范围地形集中加载引起的画面停滞现象,采用外推算法对视点的运动进行预测,对即将进入视锥内的地形数据进行提前加载。实验结果表明,随着地形规模的增大,该方法的渲染速率变化小,实时性能良好,场景画面平滑流畅,可用于虚拟现实或仿真中的地形构建、实时生成等相关领域。

3DMAX自由立体显示功能的实现

文章阐述了基于列插合成模式的3DMAX自由立体显示插件设计中的几个核心问题;诠释了立体摄像机创建过程及其内部参数与立体图片对水平位差和立体深度之间的关系;实现了以立体显示模型最小深度畸变和舒适视觉为原则配置立体摄像机内部参数;解决了缩移视口创建中的视矩阵构造问题;展示了插件所实现的立体功能。此研究不仅丰富了3DMAX显示功能,还为拓展自由立体显示器的普及应用提供了有效途径。

载人潜水器观察窗研究综述

为解决载人潜水器观察窗的变形协调和疲劳寿命预测等技术难题,对观察窗的材料、失效模式、结构形式、安装和密封以及载荷谱进行了详细论述,并综述了国内外的研究现状。国外学者从上世纪中期从事这方面的研究且已取得很大进展,我国随着"蛟龙"号成功研制,也开始进行观察窗的理论和试验研究。丙烯酸塑料蠕变机理,疲劳寿命预测、裂纹扩展研究以及寻找新材料将成为未来主要的研究方向。

使用双缓存来解决GDI下的闪烁问题

在图形图像处理过程中,当显示绘制的图像时,有时会出现闪烁的情况。本文从窗口、视口、坐标系统的基本概念和关系出发,主要讲解了如何使用双缓存来解决GDI下的闪烁问题。此方法已经应用于项目地质资料解释系统中对井曲线的修改和显示部分,实践证明,这种方法是可行的。

基于Rayleigh-Ritz法的载人潜水器观察窗位移与应力分析(英文)

为了全面地描述整个观察窗上的位移和应力分布,基于Rayleigh-Ritz位移变分法提出了观察窗的位移和应力的理论计算模型,并以锥台形观察窗为例,得到自由边界和固定边界条件下的位移分量表达式。为了验证理论模型的有效性,对蛟龙号载人潜水器主观察窗在两种边界条件下由有限元法和Rayleigh-Ritz法计算的位移和应力结果进行了对比,结果表明:Rayleigh-Ritz法计算的位移与应力分量的结果与有限元法计算结果吻合较好。较传统的应力计算方法而言,基于Rayleigh-Ritz法提出的理论模型更适用于描述整个观察窗上的位移和应力分布。

综合孔径辐射计反演成像算法研究

高效的反演成像算法是综合孔径辐射计成像的关键技术之一。提出一种基于视场细分的改进反演成像算法,将视场细分成多个矩形子区域,利用反演亮温与可视度函数的傅里叶变换关系,得到每个子视场的反演亮温。通过理论证明和仿真计算表明:该算法可使系统中未消除的误差分量对亮温反演的影响最小,与常用的BG算法对比分析:表明了新算法的正确性和有效性,且计算速度快。

虚拟现实视频传输架构和关键技术

介绍了虚拟现实(VR)视频传输架构,提出了两种传输方式:全景传输和视点传输。全景传输可提供多角度质量均匀的图像,但存在高码率和带宽浪费问题;视点传送仅传输视点范围内图像,可减少码率浪费,但存在头部运动延迟问题。提出的视点自适应传输技术、视点预测方法,可以较好地实现低码率、高质量的VR视频传输。

距离加权的二次误差测度网格简化算法

文中针对现有的均匀三角网格简化算法在显示质量上的不足 ,提出了根据网格顶点到视点的距离 ,使用加权的二次误差测度算法进行顶点对折叠、简化 .该方法能根据视点位置简化网格 ,产生符合观察需要的网格 ;还将距离加权用于视窗裁剪 ,得到视点相关的网格模型 .并对该算法的优点及存在的问题作了分析 .