基于自监督深度学习的全景图像深度估计研究

深度估计在虚拟现实、场景重建、自动驾驶和目标检测等领域发挥着重要作用。全景图像包含全向视野信息,逐渐成为深度估计领域的研究热点。但是,全景图像存在图像畸变的问题,而且深度数据采集、标注较为困难。对此,提出采用自监督方式,利用自监督深度学习算法,引入通道优化多空间融合注意力机制,增强远距离特征提取,以获取全局和局部信息。同时,引入全景感受野块,扩充感受野以获取多尺度信息。

复杂特征全景图像视觉传达效果优化仿真

由于全景拍摄中不同相机镜头的焦点距离不固定,因此在拼接之前相邻两个局部图像间就会产生视差,且距离越近的物体产生视差会越大。全景图像效果的优化是提升视觉质量的关键。提出一种复杂特征全景图像视觉传达效果优化方法。利用两种色彩空间模型与二维经验小波变换法,提取出图像的光谱特征与纹理特征。采用马拉特算法完成小波变换与小波分解,得到复杂特征融合后的全景图像重构结果。基于能量函数及负相关性,界定视觉传达效果的降噪优化目标,设计四阶偏微分方程的降噪模型,完成图像降噪处理。基于此,融合冲击滤波器与直方图均衡化,根据各连通分量对应的子图像,拉伸图像灰度级分布形式,增强细节信息,实现视觉传达效果优化。选取一幅具有复杂特征的全景图像,从感官与数据量化两方面评价不同方法下全景图像的优化效果。实验结果验证了上述方法提高了图像的对比度、清晰度、丰富度,且处理时间更短,具备良好的实践性与实时性。

级联式生成对抗网络的全景图像修复

为了解决全景图像视场宽、畸变显著等问题,提出了一种级联式生成对抗网络的全景图像修复算法。第一阶段提出了一种双判别器生成对抗网络,通过对等矩形格式的全景图像进行立方体投影转换,对立方体六面图像进行修复,引入PatchGAN作为全局判别器捕获细节信息,局部判别器网络可以保证局部修复结果与周围区域的一致性。第二阶段提出了一种失真感知生成对抗网络,通过矩形混合卷积缓解全景图像失真,判别器引入谱归一化,与第一阶段进行级联以缓解立方体图像边界不连续问题,设计联合损失函数以优化网络修复效果。实验结果表明,所提算法无论从主观视觉评价或是从客观评价指标上均取得了优秀的效果,实现全景图像的有效修复。

基于几何透视图像预处理和CNN的全景图像交通标志识别算法

为解决深度学习方法在高清全景图像中检测交通标志遇到图形处理器资源不足、小目标容易漏检、检测速度过慢等问题,采用小目标过采样训练数据生成方法、图像分块和几何透视检测预处理方法以及改进的轻量神经网络Improved-Tiny-YOLOv3,提出了一种基于深度学习的轻量级全景图像中交通标志检测方法。并在Tsinghua-Tencent 100K数据集上进行了实验,mAP值达到92.7%,在Nvidia 1080Ti显卡上检测速度可达到20 FPS,实验结果验证了所提方法的有效性。

视差估计下的VR全景图像局部细节特征提取

受环境背景、视觉偏差等因素的影响,VR全景图像细节特征提取难度较高.为了优化VR全景图像局部细节特征提取效果,提出视差估计下的VR全景图像局部细节特征提取方法 .在均衡VR全景图像灰度值的基础上,去除VR全景图像的噪声.构建人眼视觉模型,检索去噪后的VR全景图像,获取VR全景图像视差信息.通过匹配代价计算、代价聚合计算、视差计算与后处理计算估计视差数值,利用SIFI算法检测并提取VR全景图像局部细节特征.实验数据显示:应用提出方法获得的局部细节特征点检测结果与实际结果保持一致,视差估计误差最小值为0.3 Pixel,证实提出方法具备较好的局部细节特征提取性能.

面向三维扫描仪点云与全景图像映射关系的快速建立方法

针对地面三维扫描仪获取彩色点云时传感器外参数标定过程复杂的问题,提出直接建立点云与全景图像映射关系的方法.提出基于一维最大熵的改进Zernike矩亚像素边缘提取算法,自全景图像中定位靶球,根据三维几何特点从点云中提取靶球.将提取结果作为配准基元,在空间球坐标中构建基元三角形,通过最小角距差法完成基元配对,建立点云与全景图像的初始映射关系.针对图像局部畸变导致的映射偏差,提出基于改进Levenberg-Marquardt算法和自由形变法组合的混合算法逐像素优化数据间的映射关系.利用多种场景的实验数据验证所提方法的可行性.结果表明,标靶自点云和图像中的提取率高,被点云和图像同时识别的标靶利用最小角距差法均能够成功配对.改进Zernike矩相较于传统Zernike矩提取的标靶初始映射误差降低了61.1%;经混合算法优化后,点云与全景图像的映射误差约为1 pixel,数据映射结果稳定且不受测站位置和点云密度的影响.

阻尼改进抗差L-M匹配下全景图像拼接平滑优化

为了解决大面积视觉全景图像受拼接缝影响,拼接平滑面积较小的问题,提出阻尼改进抗差L-M匹配下全景图像拼接平滑优化方法。阻尼因子改进抗差L-M算法,计算抗差L-M迭代向量;利用改进抗差L-M算法,融合球面投影理论,对特征匹配误差目标函数进行优化。融合拉普拉斯算法和高斯滤波金字塔对图像进行分解重构,确定图像拼接缝重叠区域后完成全景图像拼接平滑优化。实验结果表明,所提方法的拼接缝平滑面积能够达到95.8%,解决了拼接平滑面积较小的问题。

点-线特征联合的全景图像位姿解算方法

目前,全景图像位置和姿态参数的解算多基于点特征,而场景中普遍存在的线特征尚未得到充分利用。本文提出一种点-线特征联合的全景图像位姿解算方法,不仅可用于点特征缺失场景中全景图像位姿参数的解算,而且在点特征充足的场景中可提高位姿解算的精度和稳健性。该方法中的线特征使用线上的任意两点表示,不要求全景图像和三维场景同名线上的选点具有对应关系,因而易于选取,具有极大的实用性。首先,使用直接线性变换构建点-线特征联合的全景图像位姿解算模型,并针对水平线和垂直线获取简化后的模型;然后,利用仿真道路场景,从特征点和线的不同组合方式及大姿态角两方面分析该模型的适用性,并通过人工引入不同类型及量级的点-线误差分析该模型的容差性;最后,将本文方法应用于全景图像与激光点云的融合,从理论和实践两方面证明点-线特征联合的位姿解算方法在精度、稳健性和容差性方面优于单纯的点特征解算方法。

虚拟现实全景图像镶嵌拼接缝消除技术

为了解决全景图像拼接后存在严重错位和断裂、视觉效果差的问题,针对VR全景图像提出了镶嵌拼接缝消除算法。预处理待拼接图像,获取几何、亮度差异最小的最优待拼接图像;提取图像的Harris特征点,利用平滑处理算法对其做平滑过渡处理;利用泊松方程得到特征点形变矢量,不断调整初始图像与目标图像中的梯度场差值,使其始终为最小值;在色彩通道模式下融合图像,实现全景图像的无缝镶嵌。实验结果表明,所提技术可在用时最短情况下,实现全景图像的无缝融合,有效消除镶嵌拼接缝。

基于参数回归的快速全景图像拼接算法

现实场景中照相机获得的图像视场角范围往往是有限的,而目前对全景图像的需求日益增大,因此针对拍摄得到的全景图像序列,提出了一种基于参数回归的快速全景图像拼接算法。将传统的图像配准任务转化为深度学习结合机器学习的方式,设计一种基于高斯差分金字塔的多尺度深度卷积神经网络(MDCNN)对待拼接图像进行特征提取,并使用LightGBM回归模型对拼接参数进行预测,获得图像之间的变换矩阵和照相机焦距完成图像对齐,并设计了一种双曲线图像融合算法消除图像之间的拼接缝。实验结果表明,所提算法能够实现图像的快速拼接,获得比已有代表性算法更清晰自然的全景拼接效果,同时对红外图像也具有很好的适应性。

基于鲁棒视觉变换和多注意力的全景图像显著性检测

针对当前全景图像显著性检测方法存在检测精度偏低、模型收敛速度慢和计算量大等问题,该文提出一种基于鲁棒视觉变换和多注意力的U型网络(URMNet)模型。该模型使用球形卷积提取全景图像的多尺度特征,减轻了全景图像经等矩形投影后的失真。使用鲁棒视觉变换模块提取4种尺度特征图所包含的显著信息,采用卷积嵌入的方式降低特征图的分辨率,增强模型的鲁棒性。使用多注意力模块,根据空间注意力与通道注意力间的关系,有选择地融合多维度注意力。最后逐步融合多层特征,形成全景图像显著图。纬度加权损失函数使该文模型具有更快的收敛速度。在两个公开数据集上的实验表明,该文所提模型因使用了鲁棒视觉变换模块和多注意力模块,其性能优于其他6种先进方法,能进一步提高全景图像显著性检测精度。

全景图像视频的场景分析与内容处理方法综述

近年来,随着全景内容获取和交互的软硬件技术的快速发展,全景图像视频的数量激增,如何对全景内容进行高质量地分析和处理越来越成为虚拟现实领域的研究热点。当前,全景内容分析和处理在理论和应用方面面临着巨大挑战,关于该领域的关键问题在已有文献中未见系统全面地总结和研究。为了更好地促进该领域的研究和应用推广,针对全景图像视频的场景分析与内容处理近期的主要工作进行综述。在全景场景分析方面,分析了全景图像视频的深度学习网络、深度恢复、重要性检测、目标检测的研究工作;在全景内容处理方面,分析了全景图像视频的交互式浏览、去抖和校正、内容编辑的研究工作。最后,对综述进行了总结,并展望了未来在立体视图下全景图像视频的场景分析与内容处理方面的研究趋势。

深度学习与全景图像技术在植物景观指标量化中的应用研究

【目的】研究深度学习与全景图像技术在植物景观指标量化中的应用特征,为评价指标的量化提供理论依据。【方法】基于中国知网(CNKI)和Web of Science数据库对植物景观评价进行检索,统计传统植物景观高频评价指标的应用特征,根据是否适于应用深度学习与全景图像技术指标量化进行划分,并分析该技术在其中的应用形式、促进作用及难以操作的原因。【结果】深度学习与全景图像技术在植物景观指标量化中,具有数据收集完整性和数据处理科学性的优化作用;同时该技术简化了繁复的人工操作流程、降低了技术成本、提升了工作效率,在植物景观指标量化中适用性较广。【结论】在适用范围上,深度学习适用性广泛;在适用条件上,大多受制于图像传递信息的局限性,需要传统调研方式进行补足;在未来发展上,深度学习与全景图像技术在植物景观指标量化中依旧存在很多可操作的评价指标有待实践。

基于改进SURF算法的360°全景图像拼接方法

针对虚拟现实、旅游景区、装修展示等领域日益增长的宽视野图像需求,提出一种水平360°全景图像拼接方法,该方法基于相邻视角两图像拼接,对原始图像添加柱面映射预处理,通过改进的SURF算法进行特征点提取,使用K最邻近算法和RANSAC算法进行特征点匹配和过滤,在图像融合过程中结合了线性权重融合算法和非线性权重融合算法。拼接过程借助多线程并发处理,使多组相邻图像的拼接操作同步进行。实验结果表明,该方法能够拼接得到水平360°全景图像,图像变形程度低、过渡自然,具有较好的稳定性和拼接效果,同时相较于传统SURF算法,拼接速率具有较大提升。

基于三维激光点云与全景图像的公路沿线设施特征提取技术研究

公路沿线设施的尺寸特征是公路资产管理的关键指标,为准确提取公路沿线设施的尺寸,以三维激光点云与全景相机装置为核心,集成研发公路沿线设施巡检装备,开展检测速度对尺寸特征提取的对比分析实验。研究结果表明,检测速度对尺寸提取的平均测量误差和最大测量误差影响较大,呈正相关的关系。

构建20世纪中国现代城市化与城市现代化的全景图像——《20世纪前半叶中国城市化研究》述评

吴景超曾经指出:“有靠得住的事实作根据,才可以谈都市改良。如想理想的都市实现,需从研究都市下手。”涂文学教授集多年努力,开掘城市史研究50余万字的的新著《20世纪前半叶中国城市化研究》付梓出版(生活·读书·新知三联书店2022年5月出版,以下简称“涂著”),可以说是对20世纪前半叶中国城市史研究的一次系统梳理。

一种全景图像浏览器的设计与实现

全景图像存在几何畸变,全景图像浏览器的作用就是根据用户的视线方向以及观察焦距,对全景图像进行实时的畸变校正,提供给用户符合视觉习惯的局部图像.本文对现有的球面全景图像畸变校正算法进行了研究和改进,采用双线性插值、查询线性表等方法设计实现了一个高实时性、高精度的全景图像浏览器PanoViewer.

计算机生成三维全景图像研究现状与发展

三位全景图像Integral Imaging(II)是一种采用微透镜阵列来记录和显示全真三维场景的图像技术,它的一些突出特点使其在三维电视(3DTV)和可视化领域有着广泛的应用前景。但由于受硬件设备及光学成像本身的限制,目前使用计算机生成三维全景图像(CGII)已成为三维全景图像研究的一个重要手段。本文从三维全景图像技术的原理出发,系统地整理分析了CGII的研究文献,对计算机生成三维全景图像的研究现状和关键问题进行了详细的分析,提出了计算机生成三维全景图像技术未来的发展趋势。

一种DSP折反射全景图像实时展开方法

为了提高折反射全景图像展开速度,可采用查表来取代耗时的计算,但查找表需要大量的存储空间,于是采用分块预取方法。通过分块,将待处理目标图像块对应的查找表和原始图像分块预先存入DSP片内存储器并完成展开,可以降低存取访问开销,加快查表展开。实验结果表明,分块预取方法在对1 024×768分辨率的原始全景图像展开为1 152×256分辨率的目标全景图像时,展开数据可达每秒97帧,与不采用分块预取策略的查表展开方法相比,此方法要快近20倍。

全景图像技术背景下互联网家装市场分析

全景图像技术是一种通过微透镜阵列记录和显示全真的三维场景的三维图像技术,具有场景“可操作,可交互”功能,该技术具有十分广泛的应用前景。文章基于全景图像系统的优点分析其在互联网家装中应用的可实现性。为推进互联网家装行业发展,开展针对90后消费者对基于全景图像技术的互联网家装消费需求的调研,发现全景图像用于互联网家装受到消费者的肯定和广泛接受,这一行业拥有广阔的市场前景。