远场合成孔径计算光学成像技术:文献综述与最新进展

传统光学成像实质上是目标场景的光强信号在空间维度上的直接均匀采样记录与再现的过程。因此,其成像分辨率与信息量不可避免地受到光学衍射极限、成像系统空间带宽积等若干物理条件制约。如何突破这些物理制约,获得更高分辨率、更宽广的图像信息,一直是该领域的永恒课题。计算光学成像通过前端光学调控与后端信号处理相结合,为突破成像系统的衍射极限限制,实现超分辨成像提供了新思路。本文综述了基于计算光学合成孔径成像实现成像分辨率的提升以及空间带宽积拓展的相关研究工作,主要包括基于相干主动合成孔径成像与非相干被动合成孔径成像的基础理论及关键技术。本文进一步揭示了当前“非相干、无源被动、超衍射极限”成像的迫切需求及其现阶段存在的瓶颈问题,并展望了今后的研究方向以及解决这些问题可能的技术途径。

光场表征及其分辨率提升技术:文献综述及最新进展(特邀)

自高斯时代以来,成像系统的设计和开发便始终致力于透镜的持续迭代和优化,以收集来自物平面上某点向不同方向发射的光线,并尽可能完美地将其汇聚到像平面上的一个点。然而,成像传感器仅能捕捉并记录下光线的空间位置信息,导致角度信息的丢失,并完全丧失了对三维场景的视角变换与深度感知能力。为了弥补这一缺陷,计算光场成像技术应运而生,它能够记录空间光辐射场的完整分布,联合记录空间位置和角度信息,突破了经典成像的局限性,正逐渐被应用于生命科学、国防安全、虚拟现实/增强现实、环境监测等领域,具有重要的学术研究价值和广阔的应用潜力。然而,光场成像技术仍然受到数字成像器件和图像传感器的联合制约,成像系统的有限空间带宽积致使光场成像在实际应用中往往需要在空间分辨率和角度分辨率之间做出权衡,导致难以达到传统成像技术的高空间分辨率。自光场成像技术诞生以来,如何赋予其更高的自由度,即在保持高分辨率成像的前提下,提高时间分辨率和角度分辨率,从而实现更清晰、更立体的成像性能是光场成像技术亟需解决的关键问题,也一直是该领域的研究热点。该综述全面回顾了光场成像技术的发展历程,阐述了全光函数和四维光场的基本概念,并总结了在时间、空间和角度这三个维度上实现高分辨率成像的关键方法,最后还对光场成像技术的未来发展趋势进行了展望。

计算光学成像:何来,何处,何去,何从?

计算光学成像是一种通过联合优化光学系统和信号处理以实现特定成像功能与特性的新兴研究领域。它并不是光学成像和数字图像处理的简单补充,而是前端(物理域)的光学调控与后端(数字域)信息处理的有机结合,通过对照明、成像系统进行光学编码与数学建模,以计算重构的方式获取图像与信息。这种新型的成像方式将有望突破传统光学成像技术对光学系统以及探测器制造工艺、工作条件、功耗成本等因素的限制,使其在功能(相位、光谱、偏振、光场、相干度、折射率、三维形貌、景深延拓,模糊复原,数字重聚焦,改变观测视角)、性能(空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度)、可靠性、可维护性等方面获得显著提高。现阶段,计算光学成像已发展为一门集几何光学、信息光学、计算光学、现代信号处理等理论于一体的新兴交叉技术研究领域,成为光学成像领域的国际研究重点和热点,代表了先进光学成像技术的未来发展方向。国内外众多高校与科研院所投身其中,使该领域全面进入了“百花齐放,百家争鸣”的繁荣发展局面。作为本期《红外与激光工程》——南京理工大学专刊“计算光学成像技术”专栏的首篇论文,本文概括性地综述了计算光学成像领域的历史沿革、发展现状、并展望其未来发展方向与所依赖的核心赋能技术,以求抛砖引玉。

分辨率、超分辨率与空间带宽积拓展——从计算光学成像角度的一些思考

传统光学成像实质上是场景强度信号在空间维度上的直接均匀采样记录与再现的过程。在此过程中,成像的分辨率与信息量不可避免地受到光学衍射极限、探测离散器采样、成像系统空间带宽积等若干物理条件制约。如何突破这些物理限制,获得分辨率更高,视场更宽广的图像信息,是该领域的永恒课题。本文概括性地介绍了分辨率、超分辨率与空间带宽积拓展的相关基础理论,核心机理及其在计算光学成像中的若干实例。通过将这些具体个案置入“计算光学成像”这个更高维度的体系框架去分析与探讨,揭示了它们大多数都可以被理解为一种可称作“空间带宽积调控”策略,即利用成像系统的可用自由度,在成像系统有限空间带宽积的限制下,以最佳方式进行编解码和传递信息的过程,或者形象地说——“戴着脚镣跳舞”。这实质上是一种在物理限制下,在“得”与“失”之间所作出的符合规律的权衡与选择。本文的结论有望为设计和探索面向各类复杂现实成像应用的新型成像机理与方法提供有益启示。

基于光强传输方程的多模式成像

在显微成像中,对于相位的恢复和定量相位的成像,基于光强传输方程的定量相位成像是一种有效的方法。在沿光轴分布的光强中采集一系列强度图像,利用数值差分估计光强在聚焦面处的一阶轴向微分并通过求解光强传输方程直接得到相位信息。该方法不需要复杂的干涉装置和参考光束,且能够在传统的明场显微镜下实现定量相位成像。近年来,光强传输方程在国内外得到广泛研究和关注,在自适应光学、X射线衍射光学、电子显微学、光学显微成像等领域中显现出巨大的应用前景。本文提出了一种基于光强传输方程的多模式成像系统,将传统的显微镜和计算成像结合起来,赋予了传统显微镜获得定量相位的能力。采用该系统对未染色的花粉粒以及海拉细胞的有丝分裂过程进行了显微观察,验证了系统的多样性与可靠性。

基于VCSEL投影阵列的散斑结构光三维成像技术及其传感器设计

散斑投影轮廓术通过投影单幅随机散斑图案编码场景的深度信息,利用散斑匹配技术建立立体图像间的全局对应关系,从而实现单帧3D重建。但由于被测物体表面的复杂反射特性和双相机间存在的视角差异,投影单幅散斑图案无法为整个测量空间中每个像素编码全局唯一的特征,由此带来的误匹配问题导致测量精度较低,难以满足一些工业场景的高精度测量需求。提出一种基于垂直腔面发射激光器(VCSEL)投影阵列的散斑结构光三维成像技术及其传感器设计方法,所研制的三维结构光传感器集成了3个小型化散斑投影模组,投影一组空间位置不同的散斑图案,对被测场景的深度信息进行高效时空编码。提出一种由粗到精的时空散斑相关算法,以提升测量精度,重建复杂物体的精细轮廓。通过精度分析、三维模型扫描、小目标金属零件检测、复杂场景测量等实验证明,所提三维结构光传感器实现了远距离、大视场的高精度三维测量,可潜在应用于零件分拣、机器人码垛等工业场景。

计算光学相位成像:从干涉数字全息到光强衍射层析

自400多年前问世以来,光学显微技术经历了不断地革新,已从Leeuwenhoek时代简单的单透镜装置发展成为一种极为重要且精密的观察与计量科学仪器,广泛地应用于生物医学、工业生产、材料化工与科学研究等领域.2014年,诺贝尔化学奖授予了超分辨率荧光显微技术[1].该技术突破了光学显微镜衍射极限的限制,将荧光显微成像的分辨率带入纳米时代,极大地推动了生命科学和基础医学的发展.除分辨率外,光学显微镜面临的另一大挑战是对比度.传统显微镜受强度(振幅)探测机理所限,对无色透明物体(如细胞)的成像依赖染色标记.而在研究活细胞的生理活动及其长时程动态过程时,无标记显微是一种最为理想的探测手段.1932年,Zernike发明了相差显微镜:通过空间滤波原理极大地提高了透明物体在镜下的可分辨性,Zernike也因此获得1953年的诺贝尔物理学奖[2].但时至今日,该技术仍局限于二维定性观测,无法实现三维定量测量,发展较荧光显微技术明显滞后.

面向先进生物医学应用的光声显微成像术(特邀)

光声显微成像(PAM)是一种具有无损、多功能、高分辨率等特点的生物医学成像技术,通过检测光声信号进行图像重建可实现高分辨率和高深度的结构和功能成像,在生命科学、基础医学和医疗诊断中发挥着越来越重要的作用。首先概述光声显微技术的发展背景和原理特点,然后对利用光学增强、声学增强、人工智能增强及光学与声学互补的光声显微成像术促进成像性能提升的方法进行论述,最后讨论当前光声显微技术在生物医学研究中的广泛应用,并对未来技术的发展趋势进行展望。

基于全局优化的实时高精度模型重建

三维形貌测量在先进制造、航空航天、生物医学等领域发挥着重要的应用。凭借高精度、全视场、非接触等优点,条纹投影轮廓术是目前使用最广泛的一种光学三维测量手段。为了获得物体全局三维信息,通常需要将待测物置于转台之上,通过不断地扫描和拼接来获得物体的全局信息。然而,传统的扫描和拼接是以离线的方式进行的,导致整个三维模型的重建速度缓慢。现有的实时点云配准方法虽然能够有效提高点云扫描与拼接的速度,但实时点云拼接的精度依然受待测物的运动状态影响。本文针对上述问题进行优化改进,提出一种基于全局优化的实时高精度模型重建方法。首先,介绍了一种由粗配准到精配准的快速点云配准算法并提出了基于点云法向量约束的点云初始化算法,能够提升粗配准过程中点云初始位姿计算的稳定性与精度。其次,在精配准阶段引入了图优化算法以获得全局点云位姿的最优解,进一步提升了全局点云配准的精度。实验结果表明,所提方法相比于现有实时模型重建方法,能够实现更高精度且稳定的全局点云配准。特别地,针对动态场景中由于抖动等因素引起的被测物体速度突变等情况,本方法依然能够鲁棒地完成三维模型重建,全方位模型重建的精度达84μm。

深组织光片荧光显微成像研究进展(特邀)

随着生物医学研究对复杂组织结构和功能的深入探索,高分辨率、高信噪比的深组织成像技术变得愈加重要。传统的显微镜技术往往局限于二维、透明的生物薄样本的观测,这在很大程度上无法满足当前生物医学领域对三维深组织体成像的研究需求。光片荧光显微镜凭借其低光损伤、高采集速率、大视场、体成像等优点被生物学家广泛使用。然而,生物组织固有的高散射特性仍然为深层成像带来了巨大的挑战。本文重点介绍了光片荧光显微成像技术在深组织成像领域的最新进展,特别是应对高散射样本挑战的解决策略,旨在为相关领域的研究人员提供有价值的参考,助力其对该前沿技术的最新进展和应用前景的理解。首先,阐述了光片荧光显微镜的基本原理和高散射吸收特性的形成原因及影响;然后,进一步阐明了增加组织穿透深度、应对光散射和吸收等问题的最新进展;最后,探讨了具有大穿透深度和强抗散射能力的光片荧光显微成像技术的发展前景以及潜在应用。

复眼相机阵列动态全景图像合成技术(特邀)

在光电成像系统中,多相机/孔径的计算成像技术正逐渐成为实现宽视场高分辨率图像重建的关键手段,以突破单一成像系统空间带宽积受限的固有瓶颈。然而,多孔径图像合成通常涉及子眼图像间特征点提取、描述子匹配和对齐等步骤,重建计算量大,面临着实时性不足的挑战。尤其是当场景中存在运动物体时,重建图像通常会出现伪影和错位等“鬼影”现象,影响成像质量。针对上述成像问题,提出了一种基于多孔径复眼相机阵列的动态全景图像合成技术,采用统一计算架构(CUDA)对基于加速鲁棒特征(SURF)配准算法进行优化加速,并结合帧差法降低多帧配准过程中冗余的信息量,将合成图像的配准精度提升了15.91%,配准时间减少了91.23%。同时在接缝线的能量函数中引入基于视觉背景提取(VIBE)算法并建立相应的接缝线更新准则,从而实现多帧运动图像的无错位、伪影的全景图像合成。基于上述算法,构建了5×5多孔径复眼相机阵列成像系统,实现横向90°视场合成。与传统的接缝线算法相比,本文方案在无参考图像空间质量评估指标(BRISQUE)与基于感知的图像质量评估指标(PIQE)上分别实现了1.96与1.85的优化降低。此外,该系统能够在交互帧速率13 frame/s下,完成25张子图的拼接、重建及合成工作,相较于非CUDA加速的拼接算法重建时间减少99.7%。

深度学习在超分辨显微成像中的研究进展(特邀)

超分辨显微成像技术打破了传统显微镜存在的衍射极限限制,提供了前所未有的细节观察能力,使人们得以观察到衍射极限以下的微观世界,有力地推动了生物医学、细胞学、神经科学等领域的发展。然而,现有的超分辨显微成像技术存在成像速度慢、重建图像含有伪影、对生物样品光损伤大、轴向分辨率低等缺陷。近年来,得益于人工智能技术的快速发展,深度学习被用于研究克服超分辨显微技术的各种缺陷,突破了超分辨显微成像技术的发展瓶颈。聚焦于主流超分辨显微成像技术存在的缺陷,总结了深度学习对超分辨显微技术的优化效果,并根据超分辨显微成像技术原理的特异性,介绍了不同网络在超分辨显微技术上的应用成效,最后对深度学习在超分辨显微成像领域应用中存在的问题进行了分析,并对其发展进行了展望。

深度学习下的计算成像:现状、挑战与未来

近年来,光学成像技术已经由传统的强度、彩色成像发展进入计算光学成像时代。计算光学成像基于几何光学、波动光学等理论对场景目标经光学系统成像再到探测器采样这一完整图像生成过程建立精确的正向数学模型,再求解该正向成像模型所对应的"逆问题",以计算重构的方式来获得场景目标的高质量图像或者传统技术无法直接获得的相位、光谱、偏振、光场、相干度、折射率、三维形貌等高维度物理信息。然而,计算成像系统的实际成像性能也同样极大程度地受限于"正向数学模型的准确性"以及"逆向重构算法的可靠性",实际成像物理过程的不可预见性与高维病态逆问题求解的复杂性已成为这一领域进一步发展的瓶颈问题。近年来,人工智能与深度学习技术的飞跃式发展为计算光学成像技术开启了一扇全新的大门。不同于传统计算成像方法所依赖的物理驱动,深度学习下的计算成像是一类由数据驱动的方法,它不但解决了许多过去计算成像领域难以解决的难题,还在信息获取能力、成像的功能、核心性能指标(如成像空间分辨率、时间分辨率、灵敏度等)上都获得了显著提升。基于此,首先概括性介绍深度学习技术在计算光学成像领域的研究进展与最新成果,然后分析了当前深度学习技术在计算光学成像领域面临的主要问题与挑战,最后展望了该领域未来的发展方向与可能的研究方向。

3D真的来了吗?——三维结构光传感器漫谈

三维成像与传感技术作为感知真实三维世界的重要信息获取手段,为重构物体真实几何形貌及后续的三维建模、检测、识别等方面提供了数据基础。近年来,计算机视觉和光电成像技术的发展以及消费电子与个人身份验证对3D传感技术日益增长的需求促进了三维成像与传感技术的蓬勃式发展。2D摄像头向3D传感器的转变也将成为继黑白到彩色、低分辨率到高分辨率、静态图像到动态影像后的"第四次影像革命"。《红外与激光工程》本期策划组织的"光学三维成像与传感"专题,共包含高水平稿件20篇,其中综述论文15篇,研究论文5篇。这些论文系统介绍了光学三维成像传感领域热点专题的研究进展与最新动态,主题全面涵盖了当前三维光学成像领域的前沿研究方向:结构光三维成像、条纹投影轮廓术、干涉测量技术、相位测量偏折术、三维立体显示技术(全息显示、集成光场显示等)、三维成像传感技术与计算成像相关交叉领域(如三维鬼成像)等。而此文作为本期专栏的引子,概括性地综述了典型的三维传感技术,并着重介绍了三维结构光传感器技术的发展现状、关键技术、典型应用;讨论了其现存问题、并展望了其未来发展方向,以求抛砖引玉。

基于深度学习的散斑投影轮廓术

针对传统的单幅散斑图像匹配算法测量精度低且无法测量复杂面型物体等问题,提出了一种基于深度学习的散斑投影轮廓术,即通过深度学习的方法实现散斑图像的逐像素匹配。设计利用孪生卷积神经网络结构,将目标散斑图像和参考散斑图像以图像块的形式输入神经网络。通过卷积层运算提取散斑图像块的特征信息,进而将子网络得到的特征信息融合为两个图像块之间的匹配系数,以获得散斑图像的视差数据,并最终可将视差数据转化为物体的三维信息。实验结果表明,该方法可以通过单幅散斑图像实现精度约为290μm的三维轮廓测量。

基于数字孪生与迁移学习的结构光条纹图像分析(特邀)

近年来,深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中,通过训练深度学习网络,可从单幅条纹图像中恢复高精度的相位信息。然而,为了训练神经网络模型,通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题:首先,建立数字孪生条纹投影系统,并利用域随机化技术对虚拟照明光栅进行增强,使用计算机进行虚拟扫描,生成大量仿真光栅条纹图像;其次,利用仿真光栅图像对U-Net神经网络进行预训练;最后,引入迁移学习,采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性,提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明,采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果,神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练,所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。

基于光强传输方程的非干涉相位恢复与定量相位显微成像:文献综述与最新进展

相位恢复与定量相位成像是光学测量与成像技术领域的一个重要课题。传统干涉测量法依赖高度相干光源的干涉叠加,干涉装置复杂,测量环境要求苛刻,引入的散斑噪声极大地限制了传统干涉测量法在显微成像领域的应用。光强传输方程(TIE)作为最具代表性的相位恢复方法之一,为定量相位成像提供了一种新的非干涉手段。近些年来,该方法在国内外得到广泛研究与关注,发展迅速,成果显著,在自适应光学、X射线衍射光学、电子显微学、光学显微成像等领域展现了巨大的应用潜力。从光强传输方程的基本原理、方程求解、光强轴向微分的差分估计、部分相干成像与光场成像等几方面综述了光强传输方程在光学成像领域,特别是定量相位显微成像领域的研究现状与最新进展,并针对现存问题以及今后的研究方向提出了建议。

基于可编程LED阵列照明的透射体视显微镜

为了实现对待测样品高质量的体视显微成像,提出了基于可编程发光二极管(LED)阵列照明的透射体视显微镜。该显微镜光学系统使用可编程LED阵列作为照明双光源,照明孔径、角度以及波长均可自由选择,通过改变可编程LED阵列上红蓝圆形光源的半径r和圆心间距d分别实现对体视显微镜焦深和体视角的灵活可控。实验结果表明,该显微镜系统简便,观察者根据自身需要选择合适的焦深和体视角可有效解决因人眼瞳距个体差异大引起单一体视角出现的双像不能重合等问题,实现对待测样品的直接体视显微观看。使用数值孔径NA=0.1(4×)的显微物镜,在最佳参数r=2,d=3时可清晰观测到待测样品的层次关系以及相对位置等三维信息。

基于可编程LCD的莱茵伯格照明显微原理与系统设计

莱茵伯格照明是显微成像中光学染色的一种方式,照明光源通过特殊的滤色片使样品与背景产生色差,有效提高无色透明样品的对比度。基于可编程液晶显示器(LCD)的莱茵伯格照明显微系统将传统显微镜中聚光镜光阑替换成低成本的薄膜晶体管液晶显示器只需改变其照明图案,就能够实现明场、暗场、相位差、倾斜成像以及莱茵伯格照明等多种显微成像功能。并且由于LCD面板的颜色与光强灵活可调,系统可以衍生出彩虹暗场、彩虹相差等全新的光学染色方法。采用该系统对未染色的肺癌细胞、纺织纤维、小鼠肾脏切片等无色透明样品进行显微观察,验证了系统的多样性与可靠性。