立体显示中双目视差模型和深度感知研究

为在平面幕上建立立体视觉,通过模拟真实世界中人眼获取图像过程,介绍计算机绘制双眼视差图像的方法。给出虚拟场景中2种放置双眼视见体的模型,通过投影分析可以得出内束模型会引入垂直视差,且水平视差不恒定,从而引起同一深度面的物体被感知深度变形。离轴模型符合人眼建立立体视觉的习惯,可以正确反映出物理屏幕前后不同深度的物体,且比单眼图像的视野范围大。

虚拟现实中关于视觉深度感知的讨论

人们用眼睛判断物体的相对和绝对距离的过程是极为复杂和难于理解的。它不仅是用双眼进行三角测量的过程 ,还有其它许多因素不同程度地产生影响 ,比如线性透视、细节与空中透视、干涉等等。在虚拟现实领域工作的研究设计人员尤其要意识到这些因素。

非规则投影曲面深度感知几何校正研究

为了提高投影仪投射场景的普适性,提出了一种非规则投影曲面深度感知几何校正方法。通过对耦合性理论分析提出了削弱耦合的解决方案;采用编码的彩色结构光对非规则投影曲面进行深度获取;利用反馈式求解可视化最大投影区域,使得投影校正后的图像能够在该区域显示;利用动态分层算法对非规则曲面深度信息进行分层平面的抽离,对各个分层平面解算对应的单应性矩阵,构建单应性矩阵集合对投影图像进行几何畸变消除。通过实验分析可知,将投影图像投射到非规则曲面中,能得到校正后投影图像符合观测者的正常视觉感知。

不同运行工况下的换流站多模态数据深度感知模型

为解决多模态数据缺失值较多,输入向量与输出向量相似性较低的问题,构建不同运行工况下的换流站多模态数据深度感知模型。针对不同类型的换流站多模态数据,选取聚类、众数等方法填充数据缺失值。利用负荷轴的有序工况划分算法,依次填充多模态数据缺失值的同时,划分换流站运行工况。利用Shannon小波熵对不同运行工况的换流站多模态数据实施离散小波变换,提取多模态数据特征;利用堆叠自动编码器构建换流站多模态数据的深度感知模型,将换流站多模态数据特征作为深度感知模型的输入,输出换流站多模态数据感知结果。模型测试结果表明,该模型可以精准感知不同运行工况下换流站多模态数据,获取换流站设备在不同运行工况下的运行状态。

融合深度感知特征的车辆跟踪态势显示仿真

为提高车辆运行效率、提升道路交通管理科技信息化水平,提出一种融合深度感知特征的车辆跟踪态势显示。首先在深度感知成像原理基础上构建车辆信息提取模型,根据SIFT算法的局部性、特殊性、多量性和高效性等优势,并通过特征点测量、边缘点剔出与描述,完成车辆匹配,同时将获得的均值模板在态势显示中做特征匹配,利用遗传算法聚类完成初始编码、种群初始化等一系列操作,获取车辆运动规律,建立滤波方程,根据该方程实现对车辆不同方向的跟踪;最后以可视化技术为载体,将车道空间占比率、车辆区域面积、以及跟踪车辆的密集程度等信息完成可视化实现态势显示。仿真结果证明,方法对车辆跟踪的准确性高、态势显示速度快,达到了智慧化与精细化的车辆跟踪要求,实现了实时态势显示的目的。

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。

增强现实中的空间深度感知问题

在增强现实领域中,用户关注点已经转移到精确的虚实叠加感知和空间理解上,并且存在诸多导致用户对增强内容产生不正确感知的因素。提供了一种感知问题分类方法,将信息增强作为一个感知理解管道从而对各个环节分别阐述。主要分析了增强现实中影响空间深度感知的因素,并为改善感知问题提出了参考研究方向。

基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。

基于深度感知的隧道智能照明系统

在节能环保、智慧互联的共享时代,本文研究了利用PCBCS的可靠性、开放性、灵活性,统一的隧道深度感知网关及相应系统平台,融合多种新型物联网通信技术与传感器技术,以及LED隧道灯的色温可调和亮度控制技术实现隧道照明系统的设备、环境、维护人员、车辆的深度感知,解决当前高速隧道照明系统存在问题,提高隧道运营管理单位的运营管理效率和防范事故的能力,较大程度地减少或降低交通事故的发生概率,提高隧道照明舒适度,并通过智能控制实现二次节能,达到最佳照明节能效果;本文还着眼于当前智慧交通的发展理念和形势,通过建立统一的数据接入与智能处理平台,为智能监控、维护管理、信息服务等多项应用提供支持。

不同视觉通道中频差所引起的深度感知

为了解体视倾斜效应(Stereoscopic tilt effect)是否能在视觉系统的不同空间频率通道中由双眼频差(Binocular diffrequency)所引起,我们设计了二组心理物理实验.观察到了Wilson频率调制曲线的第二及第四峰值的二个频道(1.7周 度和4.0周 度)中双眼频差所引起的倾斜感知.它们在同样频差率(频率和中心频率之比)下,引起相等倾斜感知.在一定频差率范围内(0.070-1.30),倾斜感知和频差率成正比关系.

嵌入语言深度感知的汉语作文评分算法

从语言深度感知设计了一种汉语作文自动阅卷评分算法,抽象出语感特征的计算模型以模拟人类对自然语言的评价标准,弥补了早期作文自动阅卷中的机械统计式自然语言处理技术的不足。采用AC自动机对语感支撑要素,即作文作者的个人语言素材,进行快速分析。利用文本分词和主干提取等技术实现了对诸如句子流畅度等语句级评价,并将待评测作文的上下文结构与标准作文框架进行相似性比对,从而在作文自动评分系统中建立对作者语言运用能力的综合评价。实验结果表明,该算法增强了自动评分的语言能力评定的合理性,也更加贴切与专家校准后的人工评分样本。

基于均匀映射的立体影像柱面深度感知分析

双目立体影像以平面作为零视差表面,采用两台透视相机生成左右眼图像。展览展示应用通常将上述方法生成的立体影像沿长宽两个方向均匀映射到柱面屏幕,使观察者对立体影像的深度感知产生变形。描述柱面条件下立体影像生成、显示和感知过程的几何分析模型,利用该模型对均匀映射下柱面中心的立体影像深度感知进行分析。理论模型的分析结果表明,均匀映射方法会造成柱面中心深度感知的非线性放大,引起深度平面弯曲等现象,影响观察者对场景的认知。数据实验结果表明,均匀映射条件下经验法则限定的深度范围仍旧适用;根据模型计算的安全深度区间感知映射结果,内容生成者可进一步减小成像时的最小深度边界,获得更加突出屏幕的立体视觉效果。

直接体绘制中增强深度感知的网格投影算法

体绘制技术生成的图像中丢失了深度信息,已有的增强深度感知方法通常只针对某些结构区域,牺牲其它结构信息的同时又直接修改体绘制算法。面向光线投射体绘制算法,该文提出一种增强深度感知的方法,不直接修改光线投射算法。投影均匀网格到体数据表面,网格跟随表面变形后经光线投射绘制在结果图像中,用户根据变形网格能够感知图像中的深度信息。同时,为突显变形网格所反映的深度信息,对投影后的网格线进行深度相关的着色,并添加投影辅助线以连接不同深度表面上的投影网格。算法在统一计算设备架构下并行执行后,不仅能够实时生成图像支持用户的交互控制,且图像中增强深度感知的效果明显,特别是当体数据包含多个分离或者交叉物体时。

深度特征目标感知交替方向乘子法优化多指标更新相关滤波跟踪算法

空间正则化相关滤波算法跟踪过程中仅采用手工特征表征目标,高斯-赛德尔方法训练滤波器的复杂度高,跟踪结果不可靠时仍逐帧更新模型,导致跟踪效果不佳。针对空间正则化相关滤波算法存在的问题,提出深度特征目标感知交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)优化多指标更新相关滤波跟踪算法。该算法融入预训练网络提取的深度特征,并依回归损失的梯度信息进行通道选择,增强了对目标的表征能力;采用交替方向乘子法训练相关滤波器,降低算法复杂度,提升跟踪速度;根据多指标更新方法判断是否进行模型更新,不但提升了算法运行效率,而且避免了因学习到错误信息而导致的模型腐败。实验结果表明,所提算法的成功率、精确度在数据集OTB2015上均优于其它8种对比算法,且在复杂场景下具有更强的跟踪鲁棒性。

基于语文核心素养的“高感知”门阅读教学模型建构

语文阅读能力的发展离不开“高感知”能力的提升,“高感知”阅读教学是提升学生感知能力的有效途径。围绕学生“高感知”能力的培养,教师可从初步感知、具身感知、深度感知、表达感知四个层面开展语文阅读教学活动。

基于深度质量感知和分层特征引导的RGB⁃D显著性检测

现有基于融合的RGB-D显著性物体检测方法在对跨模态特征进行融合时忽视了RGB和深度图两模态特征的差异性,跨模态特征融合不均衡的问题使得模型不能充分利用跨模态互补特征,而低质量深度图也会对模型性能带来损害。提出一种基于深度质量感知和分层特征引导的RGB-D显著性物体检测算法。算法分为两个阶段:深度质量感知阶段和分层特征引导阶段。在第一阶段,利用深度质量感知从现有的主流RGB-D显著性物体检测训练数据集中挖掘高质量深度图,对训练集进行增强,提升低质量深度图的质量,减少噪声数据对模型性能的损害;在第二阶段,利用特征引导网络对RGB图和深度图进行分层自适应权重动态融合,在有效增加融合效率的同时增强跨模态融合的感知能力。在基准数据集NJUD、NLPR、SSD、STEREO和SIP上的实验结果表明,相比于SSF、CDNet、D3Net、DASNet等方法,该算法能够大幅提升深度图质量,其中在NLPR数据集上F-Measure值为0.934,MAE仅为0.020,综合性能优于其他相关SOTA方法,证明了先挖掘高质量深度图再进行跨模态自适应动态融合算法的有效性。

虚实融合场景中的深度感知研究综述

混合现实系统可以提供虚拟信息和真实环境实时叠加的虚实融合场景,在教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域具有十分广阔的应用前景。混合现实系统首先利用标定数据构建虚拟摄像机模型,然后根据头部跟踪结果和虚拟摄像机位置实时绘制虚拟内容并将其叠加在真实环境中,用户通过虚实融合场景中渲染的图形化线索和虚拟物体特征感知其深度信息,但存在用于指导虚实融合场景绘制的视觉规律和感知理论匮乏、图形化线索可提供的绝对深度信息缺失和虚拟物体的渲染维度和特征指标不足等问题。本文分析了面向虚实融合场景绘制渲染的视觉规律,从用户感知的角度出发,围绕虚实融合场景中图形化线索绘制和虚拟物体渲染等展开综述,并对虚实融合场景中深度感知的研究趋势和重点进行展望和预测。

基于单静态图像的深度感知模型

为解决立体视觉深度感知模型的昂贵计算代价问题,提出以机器学习算法为主要依托的基于单静态图像的深度感知模型。研究基于单静态图像的深度感知模型的形式化表示、多尺度空间图像特征的选择,并将该模型应用于深度图的预测,以及利用该模型预测到的深度图进行3D场景重构。试验结果表明,基于单静态图像的深度感知模型可以获得较好的深度预测精度、较快的预测速度以及比较理想的重构模型。

VR影像深度跳跃与观众感知反应时间的模型构建

为了探索虚拟现实(virtual reality,VR)影像中深度跳跃对人体视觉系统的影响,提出了一个新型深度感知模型,研究了基于HTC Vive头戴显示器的视差变化对深度感知的影响,揭示了跳跃视差变化条件下的感知规律.实验结果表明:反应时间与视差变化的绝对值成正比;逼近视角的视差跳变反应时间较长;目标深度和深度变化与生理舒适度呈负相关,深度变化与情绪影响力呈正相关.将模型应用于实际影像的创作与评估,可以得到基于水平视差的剪辑后逐像素反应时间分布图.

三维空间中不同线索对物体深度感知的影响

通过在虚拟三维空间中构建基于双目视差和运动像差的不同深度的柱形面,使被试者在三维空间中行走运动,采用心理物理学的固定值刺激法,获取被试者在不同观察距离下基于双目视差线索、运动像差线索,以及两种线索同时作用时的深度感知数据,研究双目视差线索和运动像差线索对人眼深度感知的影响。结果表明:在不同的观察距离下,双目视差线索和运动像差线索对人眼的深度感知有不同的影响;在远距离观察条件下,运动像差线索对深度感知的权重比在近距离观察条件下大;而在近距离观察条件下,两种线索同时作用时对深度感知没有促进作用,并且运动像差线索对深度感知的作用较小。