基于纹理修复的双焦相机连续数字变焦算法

设计主要用于双焦相机成像系统的连续数字变焦算法.该算法将双焦相机连续数字变焦问题拆分成长焦相机视场内的特征迁移问题和长焦相机视场外的纹理修复问题.在实现细节上,该算法参考基于上下文语义的图像修复算法的思路,利用长焦相机图像的纹理信息修复短焦相机图像,并在2个问题上使用相似的网络结构来降低长焦相机视场内外细节视觉效果的差异.实验结果表明,相比其他算法,所提算法能显著提升变焦图像的质量,有效改善长焦相机视场内外纹理细节差距较大的问题,在主客观评价上都具有更好的表现.此外,该方法对于处于长焦相机视场外的纹理细节,具有明显的修复效果,对于实际拍摄的图像同样有效.

基于信号稀疏优化的3D模型颜色纹理修复

在实际工作中,由于扫描设备的局限性等原因易造成3D模型表面颜色纹理的缺损,为此,利用非规则空间信号的稀疏表示提出了一种直接修复3D模型表面颜色纹理的方法.首先将3D网格模型各顶点处的RGB值分别视为定义在2D流形曲面上的3个离散信号,选取3D网格曲面上的拉普拉斯矩阵的特征向量集作为字典;然后,利用在此字典中颜色信号表示系数的稀疏性,对表面颜色有缺失的3D网格曲面,以待修复颜色信号表示系数的稀疏性作为目标,以模型完好部分颜色值的保真作为约束建立稀疏优化目标函数;最后,求解该优化问题得到修复后的颜色信号.实验证明,由于拉普拉斯矩阵的特征向量具有良好的全局性和内蕴性,使得在缺失部分重建出的颜色信号高度逼近原始的颜色纹理,且与已知部分整体保持一致.

顾及立面元素排列特性的建筑物纹理修复方法

纹理映射是实景三维重建中重要的技术组成部分,可以显著地增加建模场景的细节和真实感。在自动纹理映射后,由于模型之间的相互遮挡导致的错误纹理贴图需要进行人为修复。而现有的图像修复方法会出现修复区域模糊和与周围区域结构衔接错位等问题。为了解决这些问题,提出了一种顾及立面元素排列特性的立面纹理修复方法,该方法分为自适应层高计算和最佳偏移量搜索两部分,立面层高由自动检测出的引导线对计算得到,而最佳偏移量基于立面层高与修复区域周围特征得到,二者结合可以找到立面图像上错误映射区域最佳的纹理替换位置。最后,利用泊松算法对修复边缘纹理进行融合处理,以提高修复区域与周围区域的色调匹配度。实验表明,该方法可以有效利用立面元素的排列特性修复纹理破损区域,与现有图像修复方法比较,该方法在自动化程度及修复效果上均获得了更好的结果。

结构与纹理融合的三维文物孔洞修复方法

由于外在因素导致出土的文物模型呈现破碎状态,对其进行虚拟修复对考古学具有重要意义。现有孔洞修补方法大多仅针对三维模型结构进行补全,并且在三维结构修复后缺少表面的颜色纹理信息。本文基于文物三维空间结构和纹理信息,提出一种三维文物孔洞修复方法。首先,为了解决三维文物结构修复问题,利用基于径向基函数的算法填补三维文物网格模型的孔洞,通过拟合的曲面方程调整孔洞补丁顶点,使其与原有模型更好地融合。其次,为补全文物表面颜色纹理信息,使孔洞补丁与原有模型表面纹理自然过渡,将三维问题转化为二维图像修复问题,以EdgeConnect为框架,通过添加精细化网络生成更高分辨率的结果。最后,使用Mudbox软件映射二维图像到三维模型表面,融合结构和纹理修复的结果。本文改进后的二维修复网络在评价指标PSNR(Peak Signal to Noise Ratio)、SSIM(Structural Similarity)和MAE(Mean Absolute Deviation)的性能分别提高了0.54%、0.217%和6.52%,该方法能够有效地恢复兵马俑三维模型网格结构和表面纹理信息。

基于纹理的超声成像测井图像“城墙效应”修复研究

根据测井图像中病态图像的特点,基于现代图像修复技术,提出了一种基于纹理的图像修复算法。介绍了该算法的基本思想,给出了利用基于纹理的图像修复算法处理超声测井图像的具体流程。该算法按照优先修复含有已知信息最多、中心点处等照度线方向与待修复区域边界垂直方向一致性最好的待修复块的原则,通过最佳匹配,在已知信息区域中寻找出最佳匹配块,对"城墙效应"进行修复。处理结果表明,该算法能够有效修复图像中的"城墙效应",保持结构的完整性,明显改善图像质量。该算法简单、实用、实时性强、无需人工干预,对超声成像测井资料的后期处理具有较高实用价值。

非纹理图像修复的非线性扩散方法

目的在分析经典的非纹理数字图像修复方法的基础上,提出用三阶非线性扩散方法修复非纹理图像。方法考虑将等照度线的曲率作为一个控制传导率的因素引入非线性扩散方程与梯度特征相结合,实现图像修复。结果相比于BSCB方法,具有数学处理上的统一性,简便易于实现;相比于CDD算法,能够在短时间内更好地修复污损区域。结论适合于修复非纹理灰度和彩色图像。

顾及海底纹理信息熵的侧扫图像修复方法

针对侧扫声纳图像由于成像机理、测量及数据处理方法造成的图像异常和缺失问题,提出了一种基于图像灰度熵的纹理修复方法。首先开展了异常区探测方法研究,提出了联合拖鱼高度和图像灰度梯度的纹理异常区探测方法和基于图像分块比较的缺失区检测方法;然后提出了一种联合图像灰度熵最优权计算和样本相似块搜寻的图像异常区修复方法。实验表明,该方法可以有效地恢复缺失和失真区的纹理,保证了修复区海底地貌纹理结构的合理性,改善了侧扫声纳图像质量。

基于深度学习无人机影像道路实景三维修复

针对基于无人机倾斜影像实景三维重建中,移动目标对道路实景三维重建造成几何变形和纹理失真的问题,提出一种基于深度学习的无人机影像道路实景三维修复方法。首先,通过添加注意力机制的深度学习网络模型YOLOv8对影像中目标进行检测;其次,在得到影像对应目标标记的基础上,根据已生成三维Mesh模型中各三角面在可视影像集合中的投影位置,结合影像所标记目标的对应范围,统计各三角面的类别信息以此判定移动目标;最后,利用移动目标判定结果对移动目标造成的三维模型几何变形及纹理错误进行修复,实现道路实景三维重建。结果表明:改进的网络模型较YOLOv4、YOLOv5和YOLOv8模型,平均精度(mAP)值平均提升10.82%,移动目标判定准确率达97.43%。与流行国外商业软件相比,所提方法重建修复效果更佳,自动化程度更高。

基于唐卡图像的插值修复与纹理合成修复的差异研究

随着数字图像处理技术的飞速发展,图像修复技术已成为工程领域的一个活跃的研究方向。为了实现唐卡图像的数字化保护,我们在现有技术的基础上实现对破损唐卡图像实现插值修复和纹理合成修复。通过获取插值修复后的图像和纹理合成修复后的图像的直方图和信噪比,对修复结果进行对比分析。通过分析可知,对于局部纹理不明显,破损区域较小的唐卡图像采用插值修复。对于纹理差异较大,破损区域与非破损区域色彩鲜明,采用纹理合成修复更好。

基于对抗生成网络的沥青路面纹理图像修复方法

文中针对低分辨率、高斯模糊和运动模糊三种常见问题,提出了基于对抗生成网络的路面纹理图像修复方法.在生成器损失函数中增加了感知损失和基于灰度共生矩阵(GLCM)的纹理特征损失项,更好地还原路面纹理的细节.通过主观判断和基于峰值信噪比及结构相似性的综合指标来衡量模型的修复效果.结果表明:损失函数中增加了GLCM纹理特征的模型生成结果更好,可见GLCM纹理特征的提取有利于生成器学习到纹理的细节特征,有助于路面图像的修复.

三维离散点采样表面基于全局优化的纹理合成算法

提出了一个直接在三维离散点采样表面上进行基于全局优化的纹理合成算法.算法首先对点模型表面进行基于协方差分析的递归式聚类剖分,然后通过对各初始聚类进行优化调整和区域生长,得到更为均匀的计算单元块且使相邻单元块间具有重叠区域.基于所得到的计算单元块和样本纹理,在点模型表面上建立了一个全局的纹理合成能量方程,并采用最大期望值算法迭代优化求解出一个全局的能量最小值.在全局优化算法中,通过加入的约束条件,进而给出了点模型颜色纹理的修复算法和流引导的可控纹理合成算法.由于点模型表面离散点元的稠密性,通过对离散点元的法向基于纹理合成结果进行相应的扰动,进一步增强了表面纹理的几何粗糙感.实验结果表明,该文的算法在点采样几何表面上有效地保持了生成的纹理结构和视觉效果的连续性和平滑性,得到了令人满意的结果.

一种改进的基于样本的图像修复方法

分析了Criminisi等人提出的基于样本的图像修复算法,针对其在计算修复块优先级时存在的一些不足,提出一种改进的基于样本的图像修复方法,通过基于TV模型的分解算法将待修复图像分解为结构图像和纹理图像,利用结构图像来计算修复块的优先级,使得优先级的计算更加准确。实验结果表明该方法对图像结构边缘的修复有明显的改善。

基于稀疏表示的物体图像修复

针对图像中物体缺失区域较大且具有复杂结构和纹理的情况,现有方法的修复结果会出现修复区域模糊和与周围已知区域结构衔接不连贯等情况.本文以修复缺失结构信息和复杂纹理的物体图像为目标,提出一种基于稀疏表示的物体图像修复算法.该问题被分解为轮廓修复和其他区域的纹理修复,物体缺失区域的轮廓块用已知区域轮廓块稀疏表示,而轮廓块间的稀疏关系来自相应的结构高度相似的参考物体轮廓.同时,为降低对参考物体选择的要求,本文提出的算法建立了两个轮廓之间的相似变换模型对参考物体做变形编辑以提高其轮廓与待修复物体轮廓形状的匹配度.在其他区域纹理修复中,本文提出一种基于图像平滑的修复优先级和搜索区域划分方法,减少了纹理中幅值较大的梯度对修复顺序计算的影响,更好地修复纹理结构.实验表明,该算法能利用参考图修复缺失独特结构的物体,较好地修复各种物体图像的弯曲轮廓和不规则纹理.与现有图像修复方法比较,该方法在修复具有复杂结构与纹理的物体方面获得了更好的结果.

基于纹理分割的纸张计数研究

目的研究运用数字图像技术实现纸张自动计数。方法通过对印刷纸张叠层图像的纹理分析,针对大幅面计数场合,借助一阶差分算子和形态梯度对纹理区域进行定位与提取;用定方向形态灰度修复纹理;对细化的纹理进行统计计数,分析对比各方法优缺点及对计数的影响。结果该流程方法强化了弱点缺省信息,对实际工况下纸张因毛边、磨损等造成的纹理破坏具有良好的修复效果。实验验证了该计数方法。结论该计数方法具有高效、稳定的特点,能够对实况下大幅面纸张进行有效、精准的计数。

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明:相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。

数字图像修复技术综述

数字图像修复方法的研究是计算机图形学和计算机视觉中一个非常具有研究意义的问题,图像修复的目标是以视觉可行方式填补图像中缺损区域。文章首先对数字图像修复技术的概念进行了解读;其次分析了数字图像修复技术的应用;然后对数字图像修复方法进行了分类分析,根据不同的修复需求及破损区域的特点选取合适的修复方法;最后对数字图像修复技术的前景进行了展望。

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.

面向虚拟现实的着装人体个性化头面部纹理生成技术

为提升用户在虚拟现实中的体验感,让相同着装人体可以拥有定制的用户面容,提出通过输入单张用户正面人脸图像,利用DECA神经网络生成三维头部模型和初始纹理。在此基础上,对初始纹理进行光照校正,并通过掩膜提取面部主要区域和边缘肤色,然后对头颈部纹理进行肤色转换和面部纹理2次修复,得到一个完整的头面部纹理,接着将其作为风格图像,将着装人体的原始身体纹理作为内容图像,通过PAMA神经网络进行风格迁移,得到肤色转换后的身体纹理。将经过处理的头面部纹理与身体纹理重新映射在三维模型上,得到具有用户特征的定制化着装人体。实验结果表明,采用该方法修复的头面部纹理能最大限度保留用户面部信息,生成时间仅需1.4 s左右,肤色转换后的面部与身体纹理过渡自然,映射得到的用户着装人体真实度高,可用于各种虚拟现实的应用场景。

基准线约束的建筑物立面重复纹理检测

重复纹理是立面中极为常见的特征之一,从立面图像中自动检测重复纹理结构是建筑物立面分析的一个重要环节。本文提出了一种基准线约束的纹理检测方法,以自动检测重复对象的位置和尺寸。该方法首先采用贝叶斯自适应超像素分割算法构建出超像素邻接图,计算色差后,对墙体进行分离获得候选对象;然后,计算得到候选对象的外接矩形,并从原图中提取出直线段对外接矩形进行约束;最后,基于建筑物立面结构的先验知识对建筑物立面纹理进行修复。试验结果表明,本文方法在检测几何形状为矩形纹理时,可实现对纹理位置和尺寸信息的准确检测,以及被遮挡重复对象的有效修复。

实景三维模型纹理的敏感目标自动识别与脱密方法

实景三维是国家新型基础设施的重要组成部分,在各行业具有广泛的应用。如何在安全的前提下促进三维数据最大程度的共享已成为实景三维应用的迫切需要。针对实景三维纹理中存在涉密敏感目标问题,传统依赖人工检索敏感目标并通过图像编辑工具处理的脱密方法效率低,本文提出一种结合深度学习的纹理影像敏感目标自动识别与脱密方法。首先通过秘密点POI检索包含秘密目标的三维模型及对应的纹理影像;然后基于YOLOv5s网络模型自动识别纹理影像中的敏感目标,并利用GrabCut有效提取目标;最后基于多尺度的Patch match对纹理影像块进行修复。试验表明,本文方法目标识别准确率为95.3%,与人工处理相比全流程用时缩短40%以上,有效提取并去除纹理影像中的敏感目标,实现了快速脱密,促进了实景三维模型数据的安全共享。