基于扩散模型的流场超分辨率重建方法

低分辨率的流场数据具有较少的信息量,不能充分捕捉流场中的细节演化过程.尤其对于湍流的随机脉动特征和小尺度涡旋细节特征更加难以获取,这限制了对流场演化机理进行深入研究.为了解决这一局限性,并从低分辨率流场中重建高分辨率数据,文章提出一种流场超分辨率重建的生成扩散模型FlowDiffusionNet.该模型以低分辨率流场数据输入作为约束条件,采用去噪分数匹配方法,来实现高分辨率流场数据的复现.FlowDiffusionNet在结构设计上充分考虑了流场数据的低频信息与高频空间特征,采用基于扩散过程的建模方法,用于重建高分辨率流场数据的残差.该模型结构便于实现迁移学习,可在不同程度的退化流场上应用.将该方法在多种经典流场数据集上进行测试,并与双三次插值(bicubic)、超分辨率生成对抗网络(SRGAN)、超分辨率卷积神经网络(SRCNN)等方法进行比较.结果表明,该方法在各种流场上的重建性能达到最佳水平,特别是对于包含小尺度涡结构的4倍下采样流场数据,客观评价指标SSIM达到0.999.

基于卷积字典扩散模型的眼底图像增强算法

目的视网膜眼底图像广泛用于临床筛查和诊断眼科疾病,但由于散焦、光线条件不佳等引起的眼底图像模糊,导致医生无法正确诊断,且现有图像增强方法恢复的图像仍存在模糊、高频信息缺失以及噪点增多问题。本文提出了一个卷积字典扩散模型,将卷积字典学习的去噪能力与条件扩散模型的灵活性相结合,从而解决了上述问题。方法算法主要包括两个过程:扩散过程和去噪过程。首先向输入图像中逐步添加随机噪声,得到趋于纯粹噪声的图像;然后训练一个神经网络逐渐将噪声从图像中移除,直到获得一幅清晰图像。本文利用卷积网络来实现卷积字典学习并获取图像稀疏表示,该算法充分利用图像的先验信息,有效避免重建图像高频信息缺失和噪点增多的问题。结果将本文模型在EyePACS数据集上进行训练,并分别在合成数据集DRIVE(dgital retinal images for vessel extraction)、CHASEDB1(child heart and health study in England)、ROC(retinopathy online challenge)和真实数据集RF(real fundus)、HRF(high-resolution fundus)上进行测试,验证了所提方法在图像增强任务上的性能及跨数据集的泛化能力,其评价指标峰值信噪比(peak signal-to-noise ratio,PSNR)和学习感知图像块相似度(learned perceptual image patch similarity,LPIPS)与原始扩散模型(learning enhancement from degradation,Led)相比平均分别提升了1.9929 dB和0.0289。此外,将本文方法用于真实眼科图像下游任务的前处理能够有效提升下游任务的表现,在含有分割标签的DRIVE数据集上进行的视网膜血管分割实验结果显示,相较于原始扩散模型,其分割指标对比其受试者工作特征曲线下面积(area under the curve,AUC),准确率(accuracy,Acc)和敏感性(sensitivity,Sen)平均分别提升0.0314,0.0030和0.0738。结论提出的方法能够在保留真实眼底特征的同时去除模糊、恢复更丰富的细节,从而有利于临床图像的分析和应用。

一种融合视觉Transformer和扩散模型的单视点内窥镜手术光场重建方法(特邀)

针对内窥镜手术中单一视角图像深度估计不确定性与遮挡导致的手术场景三维感知难题,提出了一种融合视觉Transformer和条件扩散模型的单视点多平面图(MPI)表征方法,用以进行内窥镜手术光场重建。该方法首先利用视觉Transformer将输入的单视角图像令牌化,从而分解为多个图像块,并通过多头注意力机制提取局部与全局相结合的关联特征。然后,利用多尺度卷积解码器将图像块特征从粗到细进行重组与融合,生成初始MPI。最后,为了解决单视点内窥镜手术中组织之间的遮挡问题,引入了一个基于条件扩散模型的背景预测模块,根据初始MPI获取遮挡掩模,并以遮挡掩模和输入视角作为条件,预测被遮挡区域的分布,有效解决了单视点输入引起的光场内视角不连贯的问题。所提方法将基于视觉Transformer所分解的初始MPI与基于条件扩散模型预测的背景区域相结合,得到优化后的MPI,从而渲染出内窥镜手术光场中的各子视点图像。在达芬奇手术机器人的真实内窥镜手术数据集上的实验验证表明,所提方法在视觉和客观评价指标上均优于现有的单视图光场重建方法。