一种基于深度估计模型的图像加雾软件

随着深度学习方面的研究不断深入,数据的重要性也上升到新的高度。在较为火热的图像去雾领域,去雾模型性能强弱很大程度上取决于雾天图像数据集的好坏。而现有数据集难以满足科研的需求,同时制作这样的数据集代价高昂,因此利用无雾图像合成真实雾天图像的研究显得尤为重要。在大气散射模型的基础上,引入单目图像深度估计的方法,实现无雾图像加雾的处理,同时比较了深度估计方法的鲁棒性,推荐了适合用于图像加雾的深度估计方法,实现了操作简单的图像加雾软件。

Transformer与多尺度注意力的自监督单目图像深度估计

针对现有自监督学习的单目图像深度估计在分辨率较大情况下存在边缘模糊、物体轮廓不清晰等问题,本文提出一种结合视觉Transformer的多尺度通道注意力融合单目图像深度估计网络.首先,设计编码器-解码器模型,将视觉Transformer结构作为编码器在多个尺度上提取特征.其次,设计残差通道注意力融合的解码器,优化提取到的多尺度特征并实现上下级特征融合以提高上下文信息的利用率.最后,在多个尺度下对单目图像进行深度估计.本文提出的算法在KITTI数据集上进行实验.实验结果表明,所提出算法的深度图像质量和物体轮廓信息均高于现有算法,其绝对相对误差、平方相对误差和均方根误差分别达到了0.119、0.857和4.571,在不同阈值下的准确度达到了0.959、0.995和0.999,验证了所提算法的正确性和有效性.

基于多尺度特征及Wasserstein距离损失的单目图像深度估计

单目图像深度估计是一个病态问题,究其原因在于单一图像中缺乏深度信息。随着深度学习技术的不断发展,深度神经网络在单目图像深度估计领域取得了一定的突破。现有的深度网络模型采用编码-解码结构,编码器往往采用全卷积的方式来获取特征图像,但提取的特征图像往往不能很好地反映图像原有的信息。因此,通过对图像编码器进行改进,对提取的不同尺度下的特征进行融合,使得特征图像能更好地反映原有的图像信息。并且在训练时,在左右一致性损失的基础上引入Wasserstein距离损失对模型进行约束。实验结果表明,模型在KITTI数据集上具有较好的表现,预测得到的深度图像具有较高的准确性。

基于多尺度注意力导向网络的单目图像深度估计

针对现有基于深度学习的单目图像深度估计算法存在的空间分辨率低和边缘模糊等问题,提出了一种基于多尺度注意力导向网络的单目图像深度估计算法。首先设计了一个端到端的编码器-解码器模型,编码器以多个尺度进行特征提取。为了保证更好的深度连续性,解码器结合残差学习以及通道注意力融合,对提取的多尺度特征逐步优化细节以及场景结构。考虑到多次下采样会导致深度图细节的丢失,设计了边界增强模块,通过引入空间注意力,提升不同物体的类间对比度以增强图像的边界细节。最后,优化模块融合来自解码器和边界增强模块的多尺度特征,生成深度图像。实验结果表明,与当前主流的算法相比,文中算法生成的深度图像质量得到了提高,表现出了更细致的物体轮廓信息,在客观指标和主观效果上均有良好的表现。

基于改进HRNet的单幅图像苹果果树深度估计方法

针对苹果自动采收获取深度信息的实际需求,以及目前单幅图像深度估计算法存在的空间分辨率低和边缘模糊问题,提出一种基于改进高分辨率网络(High-Resoultion Net,HRNet)的单幅图像苹果果树深度估计模型。首先基于HRNet构建多分支并行的编码器网络,提取多尺度特征,并通过引入密集连接机制强化特征传递过程中的连续性;为了减少冗余特征造成的噪声干扰,使用卷积注意力模块在通道及像素层级对融合特征进行重标定,强化特征图结构信息。在解码器网络中,使用条纹细化模块自适应地优化特征图的边界细节信息,突出边缘特征,改善边缘模糊问题,最后经上采样生成深度图。在NYU Depth V2公共数据集和果树深度数据集上进行试验。试验结果表明,引入密集连接机制,添加卷积注意力模块、条纹细化模块均能提升模型性能。提出的改进HRNet网络在果树深度数据集上的平均相对误差、均方根误差、对数平均误差、深度边缘准确误差和边缘完整性误差分别为0.123、0.547、0.051、3.90和10.59,在1.25、1.252、1.253阈值下的准确率分别达到了0.850、0.975、0.993;在主观视觉上,改进HRNet网络生成的深度图有清晰的边缘以及较多的纹理细节。该方法在客观指标和主观效果上均有良好的表现。

基于多尺度特征融合的快速单目图像深度估计

文章针对目前采用深度学习估计单目图像深度中存在推理时间长、物体边缘细节不清晰的问题,设计一种基于多尺度特征融合的快速单目图像深度估计网络。将GhostNet运用到单目图像深度估计网络的编码网络中,提高网络的编码速度;采用反卷积和双线性插值设计解码网络,并通过跨层连接将编码网络的特征与解码网络的特征融合增强深度图中物体的边缘细节。在通用数据集NYU Depth V2上训练和测试的结果表明,该文设计的网络模型得到的深度图细节保持较为完整,同时具有较高的推理速度。

基于带squeeze-and-excitation模块的ResNeXt的单目图像深度估计方法

针对目前单目图像深度估计任务缺乏对特征通道之间的全局信息关系表示的问题,提出了一种基于SEResNeXt的单目图像深度估计方法。首先,通过建模特征通道间的动态且非线性的关系来提高网络的全局信息表示能力;然后,采用特征重标定策略来自适应地重新校准特征通道的响应,从而进一步提升特征利用率;最后,通过ResNeXt结构在不增加模型复杂度的基础上进一步提升方法的性能。实验结果表明,相比与没有采用ResNeXt结构的算法,该方法获得了更低的误差值,其均方根误差(RMSE)降低了10%,绝对相对误差(AbsRel)降低了27%。

结合光源分割和线性图像深度估计的夜间图像去雾

夜间有雾图像通常具有对比度低、光照不均匀、颜色偏移以及噪声较多等现象,这些退化现象使得夜间图像去雾具有极大的挑战性。针对夜间图像存在的退化问题,本文提出了一种能够在夜间图像中有效去雾并提高图像质量的方法。首先,将图像分解成光晕层和有雾层,并对有雾层进行颜色校正。其次,通过一种新提出的带有伽马变换的图像光源分割方法来分割光源,并设置分割阈值作为像素点属于光源区域的概率值。然后,将得到的概率值与最大反射先验相结合来估计光源和非光源区域的大气光值。最后,根据图像深度与亮度、饱和度以及梯度之间的关系建立线性模型,进一步估计透射率的值。实验得到的分割阈值为0.07,线性深度估计参数分别为1.0267、−0.5966、0.6735、0.004135。实验结果表明本文方法在夜间图像去雾、消除光晕、减少噪声,以及提高可视度方面取得良好的效果。

利用自监督卷积网络估计单图像深度信息

为了提高利用深度神经网络预测单图像深度信息的精确度,提出了一种采用自监督卷积神经网络进行单图像深度估计的方法.首先,该方法通过在编解码结构中引入残差结构、密集连接结构和跳跃连接等方式改进了单图像深度估计卷积神经网络,改善了网络的学习效率和性能,加快了网络的收敛速度;其次,通过结合灰度相似性、视差平滑和左右视差匹配等损失度量设计了一种更有效的损失函数,有效地降低了图像光照因素影响,遏制了图像深度的不连续性,并能保证左右视差的一致性,从而提高深度估计的鲁棒性;最后,采用立体图像作为训练数据,无需目标深度监督信息,实现了端到端的单幅图像深度估计.在TensorFlow框架下,用KITTI和Cityscapes数据集进行实验,结果表明,与目前的主流方法相比,该方法在预测深度的精确度方面有较大提升,拥有更好的深度预测性能.

基于全卷积编解码网络的单目图像深度估计

针对传统方法在单目图像深度估计时精度低、速度慢等问题,提出一种全卷积编码-解码网络模型,该模型将稀疏的深度样本集和RGB图像作为输入,编码层由Resnet和一个卷积层组成,解码层由两个上采样层和一个双线性上采样层组成,上采样层采用上卷积模块和上投影模块交叉使用,有效降低了棋盘效应并保留了预测深度图像的边缘信息。同时,模型中使用了全卷积,使得参数减少,提升了预测速度。在NYU-Depth-v2数据集上验证了网络模型的有效性与优越性。实验结果表明,在仅使用RGB图像进行深度预测的情况下,与多尺度卷积神经网络相比,该模型在精度δ<1.25上提高约4%,均方根误差指标降低约11%;与仅使用RGB图像相比,添加100个空间随机深度样本,均方根误差降低约26%。

单光子激光雷达的时间相关多深度估计

单光子激光雷达广泛应用于获得三维场景的深度和强度信息。对于多表面目标,如激光经过半透明表面上时,一个像素上探测到的回波信号可能包含多个峰。传统方法在低光子或相对较高的背景噪声水平下无法准确估计多深度图像。因此,提出了一种单光子激光雷达时间相关多深度估计方法。该方法利用信号响应的时间相关性,对点云数据进行多深度快速去噪,能够从背景噪声中识别每个像素上来自多个表面的信号响应。并基于该信号响应集合的泊松分布模型,通过全变分正则化引入像素之间的空间相关性,建立多深度估计成本函数。使用快速收敛的交替方向乘子算法从成本函数中估计深度图像。实验结果表明,所提方法在距离约为1 km处的多深度目标上,相较于常规方法估计深度图像的均方根误差减少了至少27.05%,信号重建误差比提高了至少18.39%,同时数据量减少至原来的4%。证明该方法能够以更小的内存需求和计算复杂度提高单光子激光雷达的多深度图像估计性能。

融合图像深度的抗遮挡目标跟踪算法

由于视频信息的局限性,在遮挡情况下的目标跟踪依然是一个很难解决的问题。针对目标跟踪过程中的遮挡问题,提出将图像深度引入单目标跟踪算法。首先应用单目图像深度估计算法对图像进行深度估计,获取图像的深度信息;其次,将基于孪生区域推荐网络的目标跟踪算法与图像深度相结合,构建遮挡判别模块,利用目标深度信息的变化判断遮挡情况;最后,将遮挡判别得分与锚点框响应得分进行加权融合,根据最终响应得分对目标跟踪器的候选框重新排序,避免目标跟踪被遮挡物干扰而产生跟踪漂移。在OTB-2015数据集上的实验结果表明:该算法能有效地应对遮挡情况对跟踪性能的影响,平均跟踪成功率为0.623,平均跟踪精确度为0.853,相比基准算法分别提高了1.8%和0.9%。

自由视点视频的虚拟图像合成

通过一种有效的基于深度图像描绘技术的虚拟图像合成方法评价一种快速深度图像估计算法.此快速算法采用区域匹配SSD算法得到初始视差,构造出图割算法的能量函数求深度图.仿真结果证明了快速算法能获得高质量的PSNR,可以合成较好的虚拟图.

基于密集连接的单目图像深度估计

为解决当前单目图像深度估计方法中重复简单的上采样操作导致深度图物体边缘模糊、图像质量较差的问题,提出一种密集连接的单目图像深度估计方法.该方法采用端到端的编码器和解码器结构,从单个RGB图像进行深度估计.编码器引入性能优良的卷积神经网络EfficientNet-B5,可以高效地提取图像全局上下文特征.解码器设计为密集连接的上采样特征金字塔结构,将全局上下文特征从低分辨率转移到高分辨率,以获得更高质量的深度图.此外,通过设计一种全分辨率多尺度损失函数进一步提升物体边缘的深度估计精度.在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练和测试结果表明:本方法可以产生高精度的深度估计结果,预测的深度图边缘清晰、轮廓分明,所设计的消融实验充分验证了所提出方法各模块的合理性.

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.

强化边缘的单目图像深度估计

为解决目前单目图像深度估计过程中物体边界处深度跳变不明显导致的遮挡难以判别、边界处深度估计准确度较低的问题,提出了一种强化边缘的单目图像深度估计方法.采用深度估计网络输出最初预测的深度图,同时采用深度补偿网络输出应补偿深度的预测值,通过融合两组网络的输出实现对最初预测的深度图中物体边界轮廓处深度值的补偿.此外,通过设计点约束损失函数,并引入多尺度特征融合损失函数进一步提升边界处的深度估计精度.在NYU Depth v2数据集和iBims数据集上的测试实验表明本文方法能有效提升深度图中物体轮廓的清晰度,使得物体遮挡判别更加容易,可进一步提升单目图像深度估计的效果.