基于傅里叶叠层显微成像术的定量相干传递函数恢复

研究了在不同系统误差和不同目标算法下相干传递函数的重建质量,发现相干传递函数的重建比物体的重建更稳健。基于此,报道了一种用于傅里叶叠层显微成像术的子区域平移方法,以加速有限图像下的相干传递函数重构收敛速度,消除由周期性照明光源阵列引起的栅格噪声,实现图像的重聚焦,并使用相干传递函数去卷积提高图像的对比度。此外,研究了傅里叶叠层显微成像术的空域和频域数据冗余来恢复相干传递函数,发现至少需要大约40%的频谱交叠率来精确重建相干传递函数,比无像差条件下高出10%,为了相干传递函数的稳定性需要至少25张原始低分辨率图像。最后,讨论了稳定的相干传递函数重建所需的条件,并通过模拟和实验进行了验证。

面向下一代数字病理成像分析仪的高通量全彩色傅里叶叠层显微成像术(特邀)

傅里叶叠层显微成像术是近年来提出的新型计算成像技术,它有效解决了传统显微成像中分辨率与视场制约的问题,无需对样本进行机械扫描便能获得十亿像素级的高通量图像,有效解决传统数字病理扫描仪器的拼接伪影、重影、拼接成功率低、景深狭小、效率偏低等问题。近年来更是发现其不单是解决视场与分辨率制约的工具,更是解决一系列权衡问题的范式,从而迸发出源源不绝的生命力与应用潜力。本文全方位概述了傅里叶叠层显微成像术技术9个方面的发展趋势,简介了其起源与基本原理,着重综述了其在面向下一代数字病理成像分析仪的多个阶段与最新进展。指出其在这一应用方向上已进入“10-100”的产业化阶段。讨论了其产生大规模社会经济效益的可能性,其极有可能给数字病理行业及其上下游相关行业带来突破进展。尽管如此,作为典型交叉领域仍有不尽人意之处,包括科学问题、技术问题、工程问题及行业问题,需要多方共同努力推进,展望了未来技术与工程发展方向。

基于卷积神经网络融合的彩色傅里叶叠层显微重建

针对彩色傅立叶叠层显微重建存在图像获取时间长、采集低分辨率图像数量多等问题,采用基于卷积神经网络的图像融合方法来实现彩色傅立叶叠层显微重建。该方法基于图像融合原理,将单通道低分辨率图像重建的灰度高分辨率图像与相同视场下的彩色低分辨率图像融合,成功地重建彩色FPM图像。在保证图像恢复质量的同时减少了2/3的采集时间。实验结果表明,所提算法可以获得色彩不失真的彩色FPM图像,定量评价指标方均根误差小于0.01,结构相似性参数大于0.89。

傅里叶叠层显微术的光源位姿校正

傅里叶叠层显微术(Fourier Ptychographic Microscopy,FPM)通过采集不同照明角度下的一组低分辨率强度图像,并利用合成孔径与相位恢复技术拼接融合,实现了大视场和高分辨率的定量复振幅成像。精确的频谱位置是重构算法的重要先验知识,对获得高质量的重构图像至关重要。因此,校正决定图像频谱位置的照明光源位姿成为了实现鲁棒FPM系统的重要工作。近年来,多种校正照明光源位姿的方法相继被提出:采用多自由度精密机械平台校准的机械校正法、根据采集图像强度或频谱信息的数据驱动校正法及基于显微镜光学原理的成像机制校正法。本文简要介绍了FPM的基本原理和光源的位姿偏差,对3类校正方法的原理和特点进行了综述。机械校正法可以从源头上消除位姿偏差,但费时费力;数据驱动校正法能够自动校正位姿偏差,但存在校正时间长和校正参数耦合的问题;成像机制校正法不仅校正鲁棒性高,还能够从多种系统误差中分离出准确的位姿参数,是一种极具发展潜力和应用前景的校正方法。

高通量快速傅里叶叠层显微成像技术研究进展

傅里叶叠层显微术(Fourier ptychographic microscopy,FPM)是一极具前景的计算成像技术,它具有高分辨率、大视场、无标记和定量相位等优势。由于它灵活的系统、高对比度的成像结果、无需干涉装置和光源机械扫描部件,在数字病理学、体外细胞无标记观察和实时监测等方面得到了大量的研究和应用。文中主要介绍了FPM技术的系统误差校正方法、基于FPM的高通量显微成像和高速显微成像技术研究的基本原理、研究现状和最新进展,提出了目前面临的问题以及未来的发展趋势。

LED位置误差对傅里叶叠层显微成像质量影响与校正研究

仿真分析LED位置偏移量对FPM成像质量的影响,并确定LED矩阵大小为3×3的位置误差容许范围,该结果为校正LED位置误差提供理论指导;接着提出一种基于对称图像强度分布的LED阵列位置粗对准方法;最后通过实验验证该方法的有效性。实验结果表明该方法能降低LED阵列位置的安装难度。

基于全局变步长的傅里叶叠层显微成像重构算法

为了进一步提高重构算法的抗干扰能力和鲁棒性,提出了一种基于梯度下降法和牛顿法的全局法,并在此基础上,又提出了基于最优化理论的二分法与牛顿法两类变步长更新策略,使得迭代过程能够自主地选择最佳更新步长。为了充分利用顺序法和全局法各自的优势,制定终止判断准则使二者相结合。仿真和实验数据验证了所提算法的抗干扰能力优于各顺序法的结论,尤其当成像器件的噪声较大时,提出利用暗场图像信息来计算各阶梯度值的方法以减小噪声的影响。并且,上述方法只需要额外的3~5轮迭代过程即可得到满意的结果,时间仅增加了几秒钟。

基于超分辨率对抗网络的傅里叶叠层成像技术

傅里叶叠层成像(FPM)受硬件和算法等因素的限制,成像的整体性能有待提高。为解决传统FPM技术成像速度慢、成像质量低的问题,融入深度学习的FPM图像重建方法得到广泛关注。基于此,提出一种基于超分辨率对抗生成网络的FPM模型,在原有网络基础上通过增加密集块连接实现全局特征融合并且使用一种加权损失函数提高图像重建质量。分辨率板图像重构结果表明,所提深度学习方法较传统方法重建效果显著、重建速度更快。

微结构形貌的光场显微三维重构分辨率增强技术

扫描式的测量技术是目前微结构表面形貌测量的主流技术,但需要高精度的机械扫描、较长的测量时间。针对其问题,结合光场显微技术和傅里叶叠层显微技术,提出了一种分辨率增强的三维重构技术,通过在常规显微成像系统中加入光学编码元件,使用单次曝光而获得被测工件的光学切片序列,基于傅里叶叠层显微技术实现了对切片图像横向分辨率的增强,克服了光场成像技术中的分辨率损失。实验证明,提出的三维重构技术对于微结构表面加工过程的在线测量具有较好的应用前景。

加权切趾传递函数约束的傅里叶叠层显微成像

傅里叶叠层显微成像技术(FPM)是一种新型显微成像技术,该方法巧妙地结合了相位恢复算法和合成孔径的理念,解决了大视场与高分辨率难以兼备的问题。在传统计算中,往往将FPM成像过程近似为相干成像,即将LED视为点光源,进而相干传递函数作为最优解的频谱支持域约束。但是,严格来说,LED是扩展的非相干光源,因此这种不恰当的近似会降低重构图像质量。为此,通过探究FPM系统的相干性,提出了一种新的传递函数——基于贝塞尔函数加权的切趾相干(B-AC)传递函数作为支持域约束的方法,实验结果证明,B-AC约束更适配于FPM成像系统,可以明显减少相干传递函数约束时产生的振铃效应,使得重构图像质量和鲁棒性优于相干传递函数和切趾相干传递函数约束。

傅里叶叠层显微成像模型、算法及系统研究综述

大视场、高分辨率以及相位成像是光学显微领域长期追求的目标,然而这些性能在传统显微成像技术框架中难以兼顾,这在很大程度上限制了传统显微成像技术的应用范围。传统的显微成像方法通常以提高系统造价或降低其他成像性能为代价来提升成像空间带宽积或相位成像能力。傅里叶叠层显微(FPM)成像作为一个极具代表性的计算显微成像技术框架,无需精密机械扫描装置及干涉测量系统即可同时实现大空间带宽积与定量相位成像,相关理论及技术已经在数字显微、生命科学等领域得到了广泛的研究和应用,具有非常高的研究价值和应用前景。从基本的物理模型、相位恢复算法以及系统构建方式等几个方面对傅里叶叠层显微成像的相关研究进展进行综述,并对其理论和应用的发展方向进行分析和讨论。

基于角度照明优化的傅里叶叠层显微成像方法

提出一种基于LED角度照明优化模式的傅里叶叠层显微成像方法。首先,根据LED、孔径和样品之间的关系,获取傅里叶平面可扩展的理论频谱范围;其次,使用图像质量评价指标衡量不同照明方式下的重建图像质量差异,构造任意单个LED对整体重建结果影响的差异函数;然后,通过对差异表达式的分析与仿真,制定了最佳的角度照明策略,设计出一种基于菱形采样方法来加速傅里叶叠层显微成像的实现过程;最后,采用主观和客观的评价指标对仿真和实验的有效性进行评估。结果表明,本文方法在保持重建质量的前提下有效提高了成像效率,其效率可提高到传统方法的3.85倍。

基于三维卷积神经网络的彩色傅里叶叠层显微术

包含多波长信息的低分辨(LR)灰度图难以被完全解复用,根据LR图像信息重建出的彩色高分辨(HR)图像容易出现通道串扰的现象。为重建不受通道串扰干扰的彩色HR图像,提出一种基于三维卷积神经网络(CNN)的彩色HR图像重建算法。采用主成分分析法提取单色HR图像和彩色LR图像的结构信息,然后基于结构信息训练CNN来建立单色HR图像和彩色LR图像之间的映射关系,最后生成彩色HR图像。实验结果表明,所提算法可以获得不受通道串扰影响、色彩不失真的彩色HR图像。定量评价指标方均根误差小于0.1,结构相似性参数大于0.9。

基于傅里叶叠层显微成像的LED阵列位置校正方法

傅里叶叠层显微成像(FPM)利用LED阵列角度变化的光照来克服低数值孔径物镜的分辨率限制。在传统的FPM系统中,LED阵列的位置误差将会给图像重建过程带来严重影响。因此准确校正LED阵列的位置对于提高重建图像质量至关重要。为了解决这一问题,提出一种基于遗传退火优化算法的位置校正方法。首先分析LED阵列、样品及物镜数值孔径的相对位置给入射波矢量带来的影响;接着采用遗传退火优化算法对LED阵列的误差位置估计全局误差参数;最后在重建过程中利用全局误差参数快速、准确地对LED阵列位置进行校正。仿真结果和实验结果表明,所提方法能显著提高重建图像的质量。

基于深度学习的傅里叶叠层显微成像

傅里叶叠层显微成像(FPM)是一种能够重建宽视场和高分辨率图像的新型成像技术。传统的FPM重建算法计算成本高,重建高质量的图像需要较大的图像采集量,这些缺点使得传统重建算法的成像性能和效率较低。因此,提出一种基于深度学习的傅里叶叠层显微成像的神经网络模型,对图像进行低分辨率到高分辨率的端到端映射,有效提高成像性能和效率。首先,借助菱形采样方法进行图像采集,加速低分辨图片采集过程。其次,结合残差结构、密集连接以及通道注意力机制等模块,拓展网络深度、挖掘有用特征,增强网络模型的表达能力和泛化能力。然后,使用子像素卷积进行高效地上采样,恢复高清图像。最后,采用主观和客观的评价方法对重建结果进行评估。结果显示,本文提出的网络模型对比传统重建算法重构效果更优,且降低了计算复杂度,平均重建时间更短。同时,在保证图像重建效果不变的情况下,低分辨率图像的采集数量比传统算法减少了约一半。

基于叠层衍射成像的傅里叶叠层显微像差校正方法

傅里叶叠层显微成像技术通过拓展频谱的方法合成细节信息更为丰富的单帧图像,实现在大视场下重建高分辨率图像。然而,成像系统中普遍存在的各种像差往往导致成像模糊,重建图像分辨率下降。针对上述问题,提出一种基于叠层衍射成像的像差校正方法,在更新频谱和光瞳函数时,通过自适应选取频谱和光瞳函数当前值与最大值的最佳比例,提高了迭代重建的质量。利用上述方法,首先重建加载混合像差的仿真图像,并选用峰值信噪比(PSNR)和结构相似性(SSIM)为评价指标。仿真结果表明,相比于传统的嵌入式光瞳恢复算法,本文方法可以大幅提升重建光瞳函数的PSNR和SSIM,分别增长14.9%和1.4%。为进一步验证算法在真实图像上的有效性,采集了人体血细胞样本图像并进行重建,结果表明,重建图像清晰,能够准确分辨细胞轮廓。

波长复用傅里叶叠层显微术的关键参数研究

波长复用傅里叶叠层显微术(WMFPM)是为了提高傅里叶叠层显微术的采集效率和进一步获取高分辨率彩色图像而提出的,但是目前选用实验系统器件参数时没有确定的方向。为了研究波长复用傅里叶叠层显微系统的关键参数对恢复彩色图像质量的影响,仿真实验分别研究了空间采样率、频谱重叠率以及二者结合对最终恢复质量的影响,结果表明:在相同的频谱重叠率下,空间采样率需要满足空域采样要求才能保证恢复质量,所以要选择满足空间采样要求的相机像素尺寸;在相同的空间采样率下,频谱重叠率在50%-70%之间,可以达到较好的恢复质量,因此需要根据实际的实验条件选择合适的LED和样品之间的距离。研究结果对设计系统和选用最佳的系统参数提供了一定的指导作用。

方形孔径的宏观傅里叶叠层超分辨成像研究

随着成像系统小型化发展,透镜和光阑不再必须是圆形的,方形孔径更有利于收集微成像器件完整孔径的光场。研究了基于方形孔径的宏观傅里叶叠层成像技术,利用成像传感器及其傅里叶域自然的矩形结构,更有效利用方形孔径的合成来提高成像分辨率。数值模拟和实验验证表明:边长和直径相等的方形孔径与圆形孔径相比,方形孔径具有高光通量和宽传递函数的优势,可实现更高的成像分辨率、速度和信噪比。

一种适用于运动样本的FPM成像校正方案

目的:为解决FPM重建方法受样本移动干扰大的问题,设计新的数据采集和重建方案,加入平移校正和旋转校正部分,进行结果对比研究。方法:使用交替点亮采集方案,相位相关法进行平移校正,Hough法进行旋转校正,用仿真数据测试结果并进行误差分析。结果:含校正数据能清晰辨认出重建结果,而无校正数据几乎无法辨识,校正方案的有效性得到验证。结论:该校正方案适用于出现样本位移和旋转的FPM法校正,能够提高重建结果质量,增强FPM方法的鲁棒性和适用范围。