力反馈技术在虚拟绘制中的实现与应用

针对目前国内中国书画计算机仿真中缺少触觉力反馈控制功能的问题,提出将力反馈技术引入虚拟绘制中,主要介绍了其实现的步骤和仿真系统的结构,分析了采用的弹簧-振子力学仿真模型,并描述了虚拟绘制过程中虚拟毛笔挤压宣纸模型的压力和在纸张表面上的摩擦力的实现方法,同时将Phantom Desktop力反馈设备应用到已开发的虚拟绘制系统中。结果表明:该力反馈技术能有效增强绘制过程的真实感,并且满足交互过程对实时性的要求。

结合上下文特征融合的虚拟视点图像空洞填充

由于参考纹理视图的前景遮挡和不同视点间的视角差异,基于深度图的虚拟视点合成会产生大量空洞,先前的空洞填充方法耗时较长且填充区域与合成图像缺乏纹理一致性。该文首先对深度图进行预处理来减少空洞填充时的前景渗透;然后,针对经3D-warping后输出合成图像中的空洞,设计了一种基于生成对抗网络(GAN)架构的图像生成网络来填充空洞。该网络模型由2级子网络构成,第1级网络生成空洞区域的纹理结构信息,第2级网络采用了一种结合上下文特征融合的注意力模块来提升空洞填充质量。提出的网络模型能有效解决当虚拟视点图像中的前景对象存在快速运动时,空洞填充区易产生伪影的问题。在多视点深度序列上的实验结果表明,提出方法在主客观质量上均优于已有的虚拟视点图像空洞填充方法。

基于虚拟倒序绘制-像素着色检测的图形要素拾取方法

针对基于几何运算的图形要素拾取精度较低的问题,提出了一种基于虚拟倒序绘制-像素着色检测的图形要素拾取方法。该方法通过建立虚拟屏幕,倒序绘制欲查询的目标层的图形要素,每绘一个图形要素,检测鼠标点击的像素是否被着色,从而实现图形要素拾取。该方法不仅能够精确地拾取简单点要素、线要素、面要素、文字要素,而且对于各种复杂的地理符号仍然有效;并易推广到拉线拾取、框拾取、多边形拾取等多种拾取方式。与地理信息系统(GIS)的基于几何计算拾取的方法相比,具有思想简单、拾取精准、方法通用、实现方便等优点。编程证实该方法拾取精度优于Arc GIS、Map Info、Map GIS,达到了Auto CAD的拾取精度。

基于虚拟视点绘制失真估计的深度图帧内编码

该文针对目前压缩深度图时很少考虑直接地减少绘制失真的问题,探索一种以绘制视点为最小化失真的方法来压缩深度图,建立由有损深度编码引起深度变化造成的绘制视失真(不是由绘制方法引起)的估计模型。首先推导由深度编码造成每个像素深度变化在绘制上的影响,然后计入由视频的局部特性对绘制失真的影响因素,提出一种精确的基于区域特性的绘制失真模型。最后将视点合成失真模型引入到深度编码中率失真模型中来代替深度图像本身失真,减小合成视失真。仿真结果表明,所提出的方法可改进绘制虚拟视点的客观质量,提高深度图的编码效率和减少视点绘制的赝像。可比只考虑深度图失真的基于拉格朗日优化的模式选择方法提高约2 dB的PSNR增益。

一种新的立体显示中的视差估计与虚拟视点绘制算法

针对虚拟视图绘制技术中空洞和伪边缘等问题,提出了一种新的立体匹配算法以获得稠密视差图完成虚拟视点合成.此方法只需要两张视图,对其采用Mean shift算法就可以进行视图分割.有效的虚拟视点绘制是基于良好的视差图与好的视图插值法实现的.通过权值多窗口立体匹配法获得初始视差图,再利用交叉检验法对不可信匹配点和闭塞遮挡区域进行滤除,很好地解决了视差图中遮挡区域引起的误匹配问题.最后,对获得的稠密视差图进行视图插值和相应的噪声滤除完成了多点位置的虚拟视图绘制.针对Middlebury dataset提供的"Tsukuba"等测试图像进行相关实验,实验结果表明,该算法具有良好的视图绘制效果.

基于空洞填补的虚拟视点绘制

在虚拟视点绘制过程中,参考视点中被前景物体遮挡的区域在虚拟视点中会变得可见,该区域由于缺少图像信息容易产生空洞。为此,提出一种基于背景识别的空洞填补算法。采用局部阈值分割与加权平均的结构张量,改进优先级计算的方法,利用深度图与最大化类间方差算法,给出新的源空间识别方法,以解决相对背景的识别问题。实验结果表明,与基于样本的图像修复算法及其改进算法相比,该算法可以较好地解决空洞问题,并完成虚拟视点绘制。

基于边缘的面向虚拟视绘制的深度编码算法

深度图由锐边缘包围纹理的匀质区域组成,因此边缘信息对于虚拟视的绘制至关重要.由于深度图不同区域的失真会对绘制虚拟视质量产生不同的影响,提出一种基于边缘的面向虚拟视绘制的深度编码算法.将深度图划分为边缘区域和平坦区域:对于边缘区域,采用全搜索策略,以提高边缘区域的编码质量;对于平坦区域,采用SKIP模式和16×16模式,以提高编码效率.除此之外,在去块滤波中,提出一种利用纹理图和深度图边缘相似性的可保护深度图片边缘的中值三边滤波器.实验结果表明,与JM编码方案相比,该方法在码率基本不变的前提下,提高了编码效率和虚拟视绘制的主观质量.

一种高图像质量的虚拟视点绘制方法及GPU加速

自由视点视频允许用户自由选择观看视角,给人带来传统视频无法比拟的交互式视觉体验.本文针对自由视点视频实时显示应用,提出了一种高图像质量的虚拟视点绘制方法,并对其进行GPU加速.首先,将参考视点深度图向前映射得到虚拟视点深度图,再对该深度图进行中值滤波以减少小空洞;然后对滤波后的深度图进行反向映射得到初始的虚拟视点彩色图像;接着对空洞掩模图进行基于边界检测的膨胀处理,以消除虚假边缘,并融合经过亮度校正后的两幅虚拟视点图像,以填充大空洞;最后采用考虑深度的插值方法填补剩余的空洞,提升虚拟视点的图像质量.此外,本文进一步采用CUDA编程技术,将虚拟视点绘制的主要计算都放在GPU内进行,减少CPU和GPU之间的数据拷贝,并在每个计算环节为每个像素单独分配线程,实现像素级的并行处理.实验结果表明,本文方法的主客观图像质量优于现有方法,并且经过GPU加速之后,运行速度达到实时处理的要求.

对3D Warping分解的高质量虚拟视点绘制方法

基于深度图像的虚拟视点绘制(DIBR)作为自由视点视频应用中的核心问题,由其获得的任意视频的质量和速度对于自由视点视频的发展至关重要。为解决经典DIBR方法存在的重叠、空洞、伪影,以及由于重采样导致的细小裂纹问题以提高虚拟视点图像质量,提出了一种基于改进的3D Warping过程的虚拟视点绘制方法。该方法从整个3D Warping过程出发,将3D Warping过程分解成两步而无需进行三维建模,并分别在两步中提出了改进的方法。在第一步中,通过在变换矩阵中引入可调的系数对三维参数进行修改;在第二步中,主要针对由于重采样导致的细小的裂纹问题,提出了自适应一投多算法,在兼顾时间复杂度的同时改善了裂纹问题。实验结果表明,无论从主观质量还是客观评价标准来看,该方法都能够显著提高虚拟视点绘制的图像质量。

虚拟现实应用中毛笔仿真方式对虚拟书写的影响研究

在虚拟书写中,毛笔仿真方式尤为重要,不同毛笔仿真方式所呈现出的书写效果及书写表现有很大不同,容易产生毛笔模型失真而导致用户体验不佳等问题。本文选择了等距骨架链虚拟毛笔仿真和基于毛笔自身物理构造的虚拟毛笔仿真这两种方式,通过对书写和着色两种任务中的像素面积等客观变量数据和参与者主观评价数据进行比较,研究不同毛笔仿真方式对虚拟书写效果所产生的影响。试验表明,基于毛笔自身物理构造的虚拟毛笔仿真方式,可以帮助参与者提升虚拟现实环境中书写绘制的体验感,更加能够体现真实毛笔丰富的艺术表现效果。

基于虚拟视点绘制的3D图像空洞恢复方法研究

随着2D-3D转换技术的发展,3D视频逐步走向家庭,3D观影突破电影院的限制走向移动终端。然而,3D产业的发展依然受限于3D视频源的匮乏。将2D图像作为输入合成3D虚拟视点图像,成为解决3D资源匮乏问题的重要方案。文章对2D-3D技术基于深度图的虚拟视点绘制进行了深入研究,针对虚拟视点绘制技术中3D图像生成过程的空洞问题,借鉴医学中的渗透率的概念,对空洞进行基于参透滤波的信息恢复,从而提高合成的3D图像质量,带来更好的3D视觉体验。

面向虚拟视点绘制空洞填充的渐进式迭代网络

目的 基于深度图像的绘制(depth image based rendering,DIBR)是合成虚拟视点图像的关键技术,但在绘制过程中虚拟视图会出现裂纹和空洞问题。针对传统算法导致大面积空洞区域像素混叠和模糊的问题,将深度学习模型应用于虚拟视点绘制空洞填充领域,提出了面向虚拟视点绘制空洞填充的渐进式迭代网络。方法 首先,使用部分卷积对大面积空洞进行渐进修复。然后采用U-Net网络作为主干对空洞区域进行编解码操作,同时嵌入知识一致注意力模块加强网络对有效特征的利用。接着通过加权合并方法来融合每次渐进式迭代生成的特征图,保护早期特征不被破坏。最后结合上下文特征传播损失提高网络匹配过程中的鲁棒性。结果 在微软实验室提供的2个多视点3D(three-dimension)视频序列以及4个3D-HEVC(3D high efficiency video coding)序列上进行定量与定性评估实验,以峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM)作为指标。实验结果表明,本文算法在主观和客观上均优于已有方法。相比于性能第2的模型,在Ballet、Breakdancers、Lovebird1和Poznan_Street数据集上,本文算法的PSNR提升了1.302 dB、1.728 dB、0.068 dB和0.766 dB,SSIM提升了0.007、0.002、0.002和0.033;在Newspaper和Kendo数据集中,PSNR提升了0.418 dB和0.793 dB,SSIM提升了0.011和0.007。同时进行消融实验验证了本文方法的有效性。结论 本文提出的渐进式迭代网络模型,解决了虚拟视点绘制空洞填充领域中传统算法过程烦琐和前景纹理渗透严重的问题,取得了极具竞争力的填充结果。

面向编码和绘制的多视点图像颜色校正

针对多视点视频系统中视点间颜色不一致,给后续多视点视频编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点视频颜色校正方法.首先采用连续多帧求帧差法提取出各个视点图像的背景区域,再利用背景区域计算校正因子,对颜色不一致的视点进行颜色校正.实验结果表明,该算法不仅能实现视点间图像的颜色一致性,提高多视点视频的编码效率,而且提高了虚拟视点绘制性能,是一种有效的多视点视频系统颜色校正方法.

一种利用背景信息的虚拟视点图像后处理方法

基于深度图像的虚拟视点绘制(Depth Image Based Rendering,DIBR)在双视图像融合后存在重叠、伪影和空洞等问题,为提高融合后图像质量,提出一种利用背景信息的虚拟视点图像后处理方法.首先,在图像融合时引入深度信息解决像素重叠问题.其次,根据视点移动方向定位左、右虚拟视图伪影区域,利用互补视点的背景像素擦除伪影.最后,利用不同视点参考图像信息之间的冗余性将左、右参考视点进行融合并消除前景像素,再进行正向映射得到虚拟视点背景图像填充双视融合后剩余的空洞.与基于图像分割的虚拟视点绘制算法相比PSNR值提高了0.6357dB,实验结果表明,该算法能有效提高绘制图像质量.

采用力反馈技术的毛笔建模

将力反馈技术引入虚拟绘制过程,提出一种新的毛笔建模方法,实时仿真中国书画绘制过程中毛笔变形和笔纸之间的水墨传输过程.通过中心骨架和表面两层结构构建毛笔几何模型.采用弹簧振子模型仿真力作用下毛笔中心骨架弯曲变形和毛笔表面变形,实现力对毛笔变形的动态控制.通过毛笔水墨量实时计算方法仿真书画绘制过程中笔纸之间的水墨传输过程.基于硬件组件HPxw8600工作站和Phantom Desktop力反馈设备,构建带有力反馈技术的虚拟绘制系统.在该系统中,用户通过Phantom Desktop力反馈设备实现实时绘制,增强了虚拟绘制过程的真实感.

基于力反馈技术的行书书法仿真

为了增强人机交互的实时书法体验,获得理想的行书风格,引入力反馈技术,提出基于力反馈技术的行书笔划判别方法,从而实现行书书法仿真。对大量行书特征进行了分析,构建行书笔划连接件及笔段模型的特征库,建立了一套行书笔划判别规则对特征库进行调用。最后介绍了虚拟绘制系统,将Phantom Desktop力反馈设备与所搭建的软件系统结合,实现了在虚拟系统中的行书风格化绘制。仿真结果表明,该方法能够获得较好的行书书法虚拟绘制效果。

基于力反馈技术的毛笔笔道仿真

本文将力反馈技术引入虚拟绘制过程,提出一种基于力反馈技术的笔道仿真方法.首先通过分析力对毛笔变形的影响机理,采用弹簧-振子模型构建了一种新的毛笔力反馈仿真模型;然后通过计算毛笔模型变形时每个采样点处的笔触形状,得到笔触变化的时间序列,获得完整的笔道,实现力对笔道的动态控制.文中利用Phantom Desktop力反馈设备,成功地实现了具有力觉反馈的笔道仿真.仿真结果表明,该方法再现了传统笔道绘制中通过力触觉控制绘制的过程,有效地增强了虚拟绘制过程的真实感.

面向虚拟视点图像绘制的深度图编码算法

针对不同区域对绘制虚拟视点图像质量产生不同的影响,以及深度估计不准确导致时域抖动效应影响压缩效率的问题,提出了一种面向虚拟视点图像绘制的深度图压缩算法。通过彩色图像帧差、深度图边缘提取等相关处理过程,提取深度图的静态区域、边缘区域以及动态区域。对深度图边缘区域使用了较低的量化系数,以提高深度图边缘区域编码质量;根据深度图各个区域的编码模式特点,仅对部分编码模式而不是所有模式进行率失真优化搜索,以提高深度图的编码速度;对于深度图P帧的静态区域,合理地采用了SKIP模式,以消除由于深度估计算法的局限性导致时域抖动效应对深度图压缩的影响。实验结果表明,与传统的H.264编码方案相比,本文方案在传输码流大小基本不变的前提下提高了最终虚拟视点图像边缘区域的绘制质量,其余区域主观质量相近,而深度图编码时间则节省了约77～87%。

深度图像的分块自适应压缩感知

针对基于空域上下采样的深度编码框架中,由边缘信息损失带来的视点绘制质量下降的问题,提出了一种面向视点绘制质量的深度图像分块自适应压缩采样方法。在基于分块压缩感知和光滑Landweber投影重构的BCS_SPL框架下,利用图像块的方差表征其边缘信息,并据此进行自适应采样,以提高深度图像重构和视点合成质量。结果表明,在相同的采样率下,相比上、下采样和BCS_SPL方法,提出的分块自适应压缩感知方法在绘制视点的PSNR和主观质量上都有所提高。

增强现实虚实融合技术研究

为了解决增强现实中虚实融合的问题.本文提出纹理绘制和像素操作二种虚实融合的实现方法.纹理绘制的原理是把真实图像用作背景纹理数据,通过在背景前绘制虚拟物体实现虚实融合.像素操作的原理是把真实图像像素数据绘制到缓存中,通过在缓存中绘制虚拟物体实现虚实融合.本文给出了使用这两种方法实现虚实融合的结果以及实现3DS模型与真实场景融合的结果.