基于深度学习的多聚焦图像融合方法前沿进展

多聚焦图像融合是一种有效的图像融合技术,旨在将来自同一场景的不同焦平面的源图像组合起来以获得良好的融合结果,这意味着融合后的图像将在所有焦平面都聚焦,也就是包含着更丰富的场景信息。深度学习的发展促进了图像融合的巨大进步,而神经网络强大的特征提取和重构能力使融合结果大有可为。近年来,出现了越来越多的基于深度学习的多聚焦图像融合方法,如卷积神经网络(CNN)、生成对抗网络(GAN)和自动编码器等。为了给相关研究人员和技术人员提供有效的参考和理解,介绍了多聚焦图像融合的概念和一些评价指标,分析了十几种近几年基于深度学习的多聚焦图像融合前沿方法,讨论了各种方法的特点和创新性,并总结了它们的优缺点,回顾了多聚焦图像融合技术在各种场景中的应用,包括摄影可视化、医疗诊断和遥感检测等领域,介绍了目前多聚焦图像融合相关领域面临的一些挑战并展望了未来可能的研究趋势。

基于深度估计置信度的聚焦形貌恢复

聚焦形貌恢复是非接触式三维重建领域中的重要技术手段。由于环境的影响和相机本身的限制,图像采集过程中会不可避免地产生噪声信息,影响重建精度。针对该问题,提出一种高精度、抗噪声的聚焦形貌恢复算法。使用聚焦评价函数对离焦序列图像进行评价,得到聚焦评价序列图像,并使用高斯拟合峰值法定位像素聚焦位置获得初始深度图。在此基础上,通过像素的聚焦评价曲线与灰度曲线之间的相似度衡量深度估计置信度,生成初始深度图的置信图,并将置信图作为引导图对初始深度图进行引导滤波,得到优化后的深度图。使用多组仿真离焦序列图像与真实显微离焦序列图像对所提方法进行性能验证,实验结果表明:所提方法在仿真与真实离焦序列中均能表现出优良的三维重建效果,在真实数据实验中,所提方法的所有指标均优于基于深度图优化的方法,与传统方法相比均方根误差分别降低64.8%和47.3%以上,相关系数分别提高2.18%和6.35%以上,具有更高的精度和更强的抗噪性,能有效提高聚焦形貌恢复精度。

基于深度卷积网络的多聚焦图像自动融合方法

不同聚焦状态的图像融合易产生模糊的问题,因此提出基于深度卷积网络的多聚焦图像自动融合方法。首先检测图像的多聚焦区域,利用深度卷积网络选择图像块的大小,以便于后续的图像融合。选取好图像块大小后,通过小波变换进一步确定频子带系数。最后,结合深度卷积网络的自动融合方法,融合不同聚焦状态的图像,得到一幅完整、视觉效果好的融合图像。实验证明,在融合过程中使用深度卷积网络的多聚焦图像自动融合方法可以得到清晰的图像,具有良好的应用效果。

基于问题情境 支持幼儿深度学习——以聚焦式探究“有趣的山芋”为例

陶行知先生曾经说过:“儿童只有言论自由,特别是问的自由,才能充分发挥其创造力。”问题是幼儿主动学习的起点,其来源于生活,以幼儿的兴趣和发现为出发点,让问题融于情境中。幼儿的科学探究与问题解决有着密切联系。在幼儿园科学探究活动中,教师利用问题引发幼儿的探究兴趣,让幼儿通过亲身体验和实际操作获得解决问题的新方法、新经验,促进自身能力发展。下面以聚焦式探究“有趣的山芋”为例展开分析。

基于聚焦深度法的刀具几何参数三维测量方法

刀具几何参数的精确测量是评估刀具性能的关键。针对复杂刀具几何参数难以测量的问题,基于聚焦深度法对其端面几何参数进行三维测量。首先,提出了一种适用于刀具端面序列图像的改进双阈值Tenengrad聚焦评价函数,通过局部像素分析确定了函数最佳计算窗口大小,在清晰度比率、陡峭度、清晰变化率、局部波动量评价指标下与常用聚焦函数进行了对比,验证了所提函数在计算刀具端面序列图像时更具有优势;其次,通过自适应sigmoid函数的图像增强算法实现了高对比度的刀具端面序列图像的获取,提升了三维测量效率,基于RANSCA算法对刀具后刀面点云表面进行平面拟合并提出了端面几何参数向量计算方法;最后,通过所构建的刀具测量系统对标准量块的阶梯深度进行了测量,误差为0.32%,并实现了刀具后刀面的三维形貌还原,进一步对主切削刃内、外刃顶角和直径参数进行测量。实验结果表明:顶角测量误差<0.3°,直径测量误差<3μm,优于Tenengrad函数对应角度(<1.9°)及直径(<13μm)测量结果,满足复杂刀具对角度(<0.5°)和直径(<10μm)的测量精度要求。

聚焦核心问题 促发深度学习--“三角形的分类”教学片段与反思

“三角形的分类”是苏教版教材四年级下册第七单元的内容,笔者在教学本课时,重点聚焦提炼核心问题,以核心问题引领学生思考,促进学生的深度学习【教学片段】一、明确分类标准屏幕上出示6个三角形。(如图1)师:这6个三角形的形状相同吗?大小相等吗?它们有什么共同的特点?

复杂光场环境下多重聚焦深度图像三维重建

在复杂光场环境下图像采集和重建受到多重聚焦深度像素分布的随机性影响导致重建效果不好。提出基于亚像素特征偏移修正的复杂光场环境下多重聚焦深度图像三维重建方法。采用深度引导滤波方法实现对图像的边缘保持修正和滤波处理,根据多重聚焦深度图像在空间域偏移特征分布,采用融合空间信息的端元特征提取方法提取图像的谱特征点,结合亚像素特征偏移修正方法实现对复杂光场环境采样图像的像素偏移特征点修正,考虑像素空间差异和强度差异,根据光强纠正结果实现对图像的三维重建和特征配准。仿真测试结果表明,采用该方法进行复杂光场环境下多重聚焦深度图像三维重建有效解决了重建模糊的问题,得到较为精细的重建结果,光场偏移修正能力较好。

基于深度偏移角道集共聚焦分析的炮域炮检距矢量片优化叠加方法

复杂构造地区断块和高陡构造发育,相比于平缓地层,高陡构造区域地震照明有限,数据信噪比较低,全偏数据参与叠加对提高成像信噪比不利。由于区域构造特征的差异性,不同高陡构造带对应的反射具有明显的方向性,不同炮检距(即入射角)段的反射信号具有明显分带特征。据此,在炮域深度偏移角道集上进行炮检距矢量片(Shot Domain Offset Vector Tile,SVOT)划分,有效分离出不同倾向、不同倾角界面的深偏数据。采用共聚焦分析方法,分析各SOVT叠加剖面的信号聚焦特性;根据其成像清晰度属性,进行SOVT剖面加权优化叠加,突出有效信号,改善高陡界面的成像信噪比。理论模型与实际数据测试验证了该方法的有效性;同时,它可依托商业软件深度偏移模块运行,只需额外增加少量运算,适于工业化推广。

基于双拟合优化的聚焦深度三维形貌测量方法

聚焦深度法广泛地应用于小尺寸零构件的三维形貌测量。针对聚焦评价曲线多存在噪声导致三维形貌测量的精度下降,且效率受图像序列数目和聚焦评价算法限制的难题,通过结合双拟合优化理论与聚焦单峰性评价指标提出了一种基于自适应权重的聚焦极值搜寻方法,并进一步基于三次多项式二次插值算法和多级中值混合滤波优化深度信息。实验结果表明,方法对仿真图像数据的均方根误差(RMSE)较高斯拟合和多项式拟合分别降低了19.08%、17.32%,对球栅阵列封装(BGA)图像中受噪声干扰较大的区域仍具三维分辨能力,同时对钻削刀具进行了测量,提出的方法在50%的图像序列数目和图像分辨下RMSE仍降低了77.8%、62.6%,有效减少了聚焦曲线噪声对测量结果影响的同时提升了三维测量的效率。

基于目标图像先验信息的无监督多聚焦图像融合

多聚焦图像融合(MFIF)是从不同源图像中获取聚焦区域,以形成全清晰图像的一种图像增强方法。针对目前MFIF方法主要存在的两个方面问题,即传统的空间域方法在其融合边界存在较强的散焦扩散效应(DSE)以及伪影等问题;深度学习方法缺乏还原光场相机生成的数据集,并且因需要大量手动调参而存在训练过程耗时过多等问题,提出了一种基于目标图像先验信息的无监督多聚焦图像融合方法。首先,将源图像本身的内部先验信息和由空间域方法生成的初始融合图像所具有的外部先验信息分别用于G-Net和FNet输入,其中,G-Net和F-Net都是由U-Net组成的深度图像先验(DIP)网络;然后,引入一种由空间域方法生成的参考掩膜辅助G-Net生成引导决策图;最后,该决策图联合初始融合图像对F-Net进行优化,并生成最终的融合图像。验证实验基于具有真实参考图像的Lytro数据集和融合边界具有强DSE的MFFW数据集,并选用了5个广泛应用的客观指标进行性能评价。实验结果表明,该方法有效地减少了优化迭代次数,在主观和客观性能评价上优于8种目前最先进的MFIF方法,尤其在融合边界具有强DSE的数据集上表现得更有优势。

相控阵虚拟探头阵元数量与聚焦深度的试验分析

通过调整相控探伤仪阵元数、起始阵元和末阵元的方式,组成不同阵元数的虛拟探头,利用RB-1超声探伤标准试块,在H=25 mm的底面回波条件下,记录了不同聚焦深度下,底面回波达到80%波高情况下的增益值,分析不同聚焦深度下,不同虚拟探头阵元数与其增益值的变化趋势,并通过建立相应的数学模型,解释了不同阵元数虚拟探头声压在不同聚焦深度下变化的原因,总结出相控阵超声检测在实际应用中,应该遵循的聚焦深度和虚拟探头阵元数选择的一般规律。

聚焦深度及偏转角度对超声相控阵检测定量和定位的影响

聚焦与偏转是超声相控阵声场区别于普通超声声场的两大特性,为研究聚焦深度和偏转角度对超声相控阵检测结果的影响,通过设置比较试验,以不同深度的横通孔模拟缺陷,分析了不同聚焦深度以及带楔块偏转角度对超声相控阵检测定量和定位的影响。结果表明,当带楔块偏转角度较大时,超声相控阵检测对于缺陷的定位会产生较大偏差;对于聚焦深度附近范围内缺陷检测,其定位误差较小。而由于经过了TCG校准,不同聚焦深度和不同偏转角度下超声相控阵检测对于缺陷的定量基本保持一致,但在非校准孔深度处检测的横通孔当量会略低于校准孔深度处检测的横通孔当量。

市级融媒体中心深度报道创新路径研究——以“张勇名家工作室”为例

深度报道曾是机关报或传统主流媒体的优势和品牌。进入融媒体时代后,移动端多元、快餐化浏览、碎片化阅读成为主流,市级融媒体中心要实现新型“主流舆论阵地”功能,从何破题?文章采用案例分析法,通过深入挖掘解剖“张勇名家工作室”的实践理念,归纳总结其做法。基于此,文章提出以下做法:主动挺进主战场,始终围绕中心、服务大局,坚持“内容为王”,把握导向与流量关系;创新传播形态,丰富编采语态,将深度报道植入融媒体,着力攻坚“有爆款,没用户,有平台,无流量”等“痛点”;完善考核机制倡导新闻实践与研学、社会调研紧密结合,着力培养深度报道人才队伍;把深度报道当成党媒品牌塑造。实践证明,把深度报道打造成新形势下党媒的核心竞争力大有可为,更是实现新型“主流舆论阵地”功能的主要途径之一。

深度学习视域下小学语文高阶思维课堂教学

在当前教育体系中,小学语文不仅是传授语言知识的基础学科,更是培养学生高阶思维能力的重要学科。随着教育理念的不断更新,深度学习作为一种新兴的教学理念,被引入小学语文课堂教学中。深度学习是强调学生主动参与、探究发现、深度理解的学习方法,要求学生在学习过程中能够批判性地分析信息、创造性地解决问题,并将新知识与已有知识结构相融合。高阶思维是指发生在较高认知水平层次上的心智活动或认知能力,包括概括、分析、评价、创造等复杂的认知过程。本文将聚焦深度学习视域下的小学语文高阶思维课堂教学,旨在探索通过深度学习促进小学生高阶思维能力发展的策略,为学生终身学习能力的形成打下坚实的基础。

课题研究:核心内容需深度思辨

“研究什么”与“怎样研究”是一项研究课题的基本内容。“研究什么”是课题研究的出发点与落脚点,“怎样研究”就是对课题研究的路径或策略的设计。一位教师若想顺利完成研究工作,并期望取得高质量的研究成果,需要对这两个方面作深度思考。先来说说关于“研究什么”,即厘清研究的主题,聚焦核心研究点。在课题的研究方案文本中,主要体现在课题的题目与“概念界定”之中。比如,一位教师想做一项题为“四环串联:小学数学单元整体教学的实践研究”的研究课题。

基于多聚焦图像深度信息提取的背景虚化显示

针对普通相机无法拍摄出符合视觉美感的背景虚化图像问题,提出一种基于多聚焦图像深度信息提取的背景虚化算法.首先,根据图像的光学成像原理,对多聚焦图像进行热扩散方程的数学建模,对图像中的每个点自适应的初始化一个深度值;其次,根据图像每个点的热扩散系数对初始图像进行前向扩散,用数值方法来解此偏微分方程,通过正则化得到修正后的图像深度信息;最后,对图像深度信息进行分层,利用多尺度高斯滤波对不同深度层的图像进行虚化处理.本算法能够有效地提取出图像的深度信息,并且获得的背景虚化效果也能够较好地符合光学原理.

聚焦点控制照明波动方程叠前深度偏移初探

波动方程法叠前深度偏移能够较为精确地对地质体成像,然而波场外推的数据量过于巨大,影响了计算的效率。面炮组合和控制照明结合的叠前深度偏移通过对震源波场的控制以及高效的面炮偏移能够得到高质量的成像结果。进行控制照明叠前深度偏移的关键是合成算子的选择,笔者基于有限差分的走时计算方法合成了逆时聚焦算子,基于该合成算子利用傅里叶有限差分法进行了聚焦点控制照明叠前深度偏移,针对Marmousi模型的试算结果表明了该方法的有效性及其在提高计算效率方面的巨大优势。

一种基于模态提取的深度和距离可变的时反聚焦方法

提出了一种基于模态提取的深度和距离同时可变的时反聚焦方法。首先,通过模态提取方法从时反阵列接收的探测信号中提取出波导中传播的模态函数信息,并且进一步地从中获得一个包含探测声源深度信息的对角阵以及一个包含探测声源距离信息的向量;然后,利用模态提取获得的信息对探测声源深度信息矩阵和距离信息向量进行调整,重新构造出时反阵列的一个接收声场向量信息,使得时反发射声场聚焦的深度和距离发生变化。这种方法克服了传统时反处理只能在探测声源位置聚焦的局限性,通过对探测声源深度信息矩阵和探测声源距离向量信息进行适当的调整,可以将时反发射的声场聚焦到探测声源以外的某个期望位置上。针对典型浅海波导环境,通过计算机仿真试验验证了该方法的有效性。

基于聚焦深度的沥青路面微观纹理三维图像重构方法研究

沥青路面微观纹理三维图像重构是研究其微观性能的基本方法之一,针对国内外沥青路面微观纹理三维图像重构方法的不足,运用聚焦深度法,通过单目体视显微镜沿垂直沥青试块表面方向拍摄序列图像,采用改进的Laplacian聚焦算子进行序列图像融合并确定融合图像中每点所属的高度层次,用高斯插值算法得到每点准确的高度值,进而实现沥青路面微观纹理三维重构。与激光轮廓仪测量的断面轮廓线进行对比分析,验证了其精度和可行性。试验结果表明该方法可以高精度重构沥青路面三维微观纹理。

超声多重深度相控聚焦发射设计与仿真

为解决动态孔径发射检测效率低而动态深度聚焦成像技术不同深度检测分辨率不均匀的问题,结合两种技术的优点,设计了一种多重深度聚焦发射方案。通过对超声相控阵成像空间分辨力与线性阵列结构参数关系的分析,确定了分区对称发射方式。并在标定横向焦宽7 mm,纵向焦深50 mm条件下,得到探测深度最大为110mm。经仿真成像对比,证明了该发射方法可有效改善分辨率不均和动态范围随探测深度降低的问题,且有效提高了超声相控阵检测效率。