基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建

针对医学MRI影像成像过程中由于噪声、成像技术等各种干扰因素引起的图像细节丢失、纹理不清晰等问题,提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法.首先,利用多尺度残差组改进网络中的残差块,局部残差特征聚合模块将残差组聚合在一起,实现残差特征的非局部使用,减少局部特征在网络传播过程中的丢失;其次,通过注意力机制获取对关键信息响应程度更高的通道和空间特征信息,进而提升重建图像的细节纹理效果;然后,将低分辨率图像的梯度图转化为高分辨率图像的梯度图辅助重建超分辨率图像;最后,将恢复后的梯度图集成到超分辨率分支中,为超分辨率重建提供结构先验信息,从而明确地指导高质量超分辨率图像生成.对比基于梯度引导的结构保留超分辨率算法(SPSR),本文所提算法在×2,×3,×4尺度下的峰值信噪比平均提高了0.72 dB,实验结果表明所提算法重建出的医学MRI影像纹理细节更加丰富、视觉效果更加逼真.

局部全局特征耦合与交叉尺度注意的医学图像融合

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。

基于联合图像块聚类自适应字典学习的多模态医学图像融合

针对多模态医学图像融合中过完备自适应字典存在的大量冗余信息会导致图像重建质量不佳的问题,文中提出了基于联合图像块聚类自适应字典学习的多模态医学图像融合方法(JCPD)。该方法首先计算图像块的欧氏距离,通过比较设定的阈值和图像块的最小距离来剔除冗余图像块,减少冗余图像块的数量。然后,使用局部调制核回归(SKR)提取图像块的局部梯度信息作为聚类中心,将具有相同局部梯度信息的两种模态的图像块进行联合图像块聚类。在联合图像块聚类的基础上使用改进的K-SVD算法对图像块聚类形成的类簇进行训练得到子字典,并将子字典合并成自适应字典。最后,在自适应字典的作用下用正交匹配追踪算法(OMP)计算得到稀疏表示系数,再使用“2范数最大”的规则融合稀疏系数,之后通过重建得到融合图像。实验表明,与2种基于多尺度变换的方法和6种基于稀疏表示的方法相比,所提方法在保证字典信息的完整性和字典的紧凑性基础上使得融合的图像清晰度更高、对比度更强,便于临床诊断和辅助治疗。

基于双残差超密集网络的多模态医学图像融合

针对基于残差网络和密集网络的图像融合方法存在网络中间层的部分有用信息丢失和融合图像细节不清晰的问题,提出了基于双残差超密集网络(Dual Residual Hyper-Densely Networks,DRHDNs)的多模态医学图像融合方法。DRHDNs分为特征提取和特征融合两部分。特征提取部分通过将超密集连接与残差学习相结合,构造出双残差超密集块,用于提取特征,其中超密集连接不仅发生在同一路径的层之间,还发生在不同路径的层之间,这种连接使特征提取更充分,细节信息更丰富,并且对源图像进行了初步的特征融合。特征融合部分则进行最终的融合。通过实验将其与另外6种图像融合方法对4组脑部图像进行了融合比较,并根据4种评价指标进行了客观比较。结果显示,DRHDNs在保留细节、对比度和清晰度等方面都有很好的表现,其融合图像细节信息丰富并且清晰,便于疾病的诊断。

基于多尺度边缘保持分解与PCNN的医学图像融合

在医学图像融合过程中,传统多尺度分析方法多采用线性滤波器,由于无法保留图像边缘特征导致分解阶段的强边缘处出现模糊,从而产生光晕。为提高融合图像的视觉感知效果,通过结合多尺度边缘保持分解方法与脉冲耦合神经网络(PCNN),提出一种新的图像融合方法。对源图像进行加权最小二乘滤波分解得到图像的基础层和细节层,采用高斯滤波器对基础层进行二次分解得到低频层和边缘层,将分解过程中每级边缘层和细节层叠加构建高频层,并引入非下采样方向滤波器组进行方向分析。在此基础上,利用改进的空间频率以及区域能量激励PCNN融合高频层和低频层,通过逆变换得到最终的融合图像。实验结果表明,该方法能够突出医学图像的边缘轮廓并增强图像细节,可将更多的显著特征从源图像分离并转移到融合图像中。

基于麦克劳林展开与PCNN的医学图像融合

针对传统的基于多尺度变换方法使用的单一特征面忽略了曲线、边缘等互补特征的问题,提出了一种基于麦克劳林展开与高斯同态滤波增强相结合的脉冲耦合神经网络(PCNN)医学图像融合方法.首先通过麦克劳林展开将源图像分解为偏差分量和多级能量分量(以下分解到三级),再将三级能量分量进行高斯同态滤波增强获得增强的三级能量分量子图;然后使用自适应PCNN模型分别对偏差分量和多级能量分量进行融合,利用加权平均规则融合二级能量分量融合子图和增强的三级能量分量融合子图得到增强的能量分量融合图;最后反向麦克劳林展开获得融合图像.实验结果显示,该方法在图像清晰度、细节信息保留程度以及图像融合质量等方面与其他方法相比较更具有普适性.

基于改进的Zernike矩的局部描述符与图割离散优化的非刚性多模态脑部图像配准

针对脑部图像中存在噪声和强度失真时,基于结构信息的方法不能同时准确提取图像强度信息和边缘、纹理特征,并且连续优化计算复杂度相对较高的问题,根据图像的结构信息,提出了基于改进Zernike距的局部描述符(IZMLD)和图割(GC)离散优化的非刚性多模态脑部图像配准方法。首先,将图像配准问题看成是马尔可夫随机场(MRF)的离散标签问题,并且构造能量函数,两个能量项分别由位移矢量场的像素相似性和平滑性组成。其次,采用变形矢量场的一阶导数作为平滑项,用来惩罚相邻像素间有较大变化的位移标签;用基于IZMLD计算的相似性测度作为数据项,用来表示像素相似性。然后,在局部邻域中用图像块的Zernike矩来分别计算参考图像和浮动图像的自相似性并构造有效的局部描述符,把描述符之间的绝对误差和(SAD)作为相似性测度。最后,将整个能量函数离散化,并且使用GC的扩展优化算法求最小值。实验结果表明,与基于结构表示的熵图像的误差平方和(ESSD)、模态独立邻域描述符(MIND)和随机二阶熵图像(SSOEI)的配准方法相比,所提算法目标配准误差的均值分别下降了18. 78%、10. 26%和8. 89%,并且比连续优化算法缩短了约20 s的配准时间。所提算法实现了在图像存在噪声和强度失真时的高效精确配准。

基于X射线和结构光相机的煤矸石分拣方法研究

为了提高煤炭产量,减少污染物排放,在煤矿生产中必须进行煤矸石分离.常用的双能R值方法受物料厚度影响较大,无法满足大范围厚度的煤矸石分选需求.针对该问题,提出了一种联合R值曲线拟合和物料厚度信息的煤矸石识别方法.建立煤和矸石的低能透射信号值和R值的关系散点图,探究R值算法的适用范围和极限厚度.首先利用R值算法进行初步识别,再通过结构光相机获取R值相对应的厚度信息,与极限厚度比较后进一步识别煤矸石.最后计算识别为煤的部分占整个物体的比率,通过所求占比实现煤矸石的分选.实验结果证明,该方法可以识别50 mm~300 mm范围的煤矸石,煤的最低识别率大于80%,矸石的最高识别率低于10%,整体识别准确率高于96%.

基于直觉模糊散度的噪声图像边缘检测

针对传统图像边缘检测算法抑制噪声能力差的问题,提出一种基于直觉模糊集(Intuitionistic Fuzzy Set,IFS)的边缘检测算法。该算法设定了一个表示平坦区域的模板图像,并在图像窗口内构造了一种同时考虑了图像梯度和图像窗口的方差信息的隶属度函数,然后通过计算图像窗口与模板图像之间的模糊直觉散度(Intuitionistic Fuzzy Divergence,IFD)对边缘进行定位和输出。实验结果表明,对于被高斯噪声或均匀噪声严重污染的图像,该算法能够得到较好的检测结果。

基于分区域处理的低剂量CT重建算法

为解决由于过度的量子噪声使低剂量CT重建图像质量产生退化的问题,提出一种基于分区域处理的联合先验低剂量CT统计迭代重建算法。对重建过程中的图像进行区域划分,对图像进行中值滤波并计算滤波图像的梯度,根据梯度划分出图像的边缘区域和平坦区域,分别利用全变分正则化(TV)和高斯马尔可夫随机场(MRF)正则化对不同的区域进行惩罚,将这两种正则项作为联合先验应用到惩罚加权最小二乘重建算法中,使用超松弛迭代算法(SOR)对目标函数进行求解。仿真结果表明,该算法去噪能力强,能有效保护重建图像的边缘细节信息。

基于NSST域卷积神经网络的低剂量CT图像恢复

为解决低剂量CT(Low-Dose Computed Tomography,LDCT)图像中的噪声/伪影问题,提出一种基于非下采样Shearlet变换(Non-Sample Shearlet Transformation,NSST)的卷积神经网络(Convolution Neural Network,CNN)的NSST-CNN模型。训练时,对数据集中的常规剂量CT(Normal-Dose Computed Tomography,NDCT)和LDCT图像做NSST分解,将LDCT图像的高频子图作为输入,LDCT和NDCT图像的高频子图的残差图像作为标签,通过CNN训练,学习LDCT高频子图和高频残差子图的映射关系;测试时,将LDCT图像的高频子图减去利用映射关系预测的主要包括噪声/伪影的高频子图,然后做NSST反变换得到高质量的LDCT图像。实验结果表明,与KSVD、BM3D以及图像域CNN方法相比,NSST-CNN模型得到的结果具有更高的峰值信噪比和结构相似度,更接近NDCT图像。

对脉冲耦合神经网络中被动神经元的脉冲周期分析

研究了离散PCNN中被动神经元的被动脉冲周期,首先定义了动态比较比,而不是逻辑比较来描述神经内状态与动态阈值之间的线性差异;然后利用动态比较比的最大下限,给出了一个近似准确的被动脉冲周期公式,并通过对估计和实际被动脉冲周期的误差分析,证明了该公式的合理性;此外,我们从估计的脉冲周期中推导出一个稳定的脉冲周期,从而使神经元可以连续地在两个不同的时间阶段进行非周期性和周期性的脉冲;此外,还估算了被动神经元开始周期性脉冲的初始阶段,并举例说明,结果与理论分析一致。

各向异性加权先验模型MAP投影域降噪

低剂量计算机断层扫描技术(Low-Dose Computed Tomography,LDCT)降低了X射线对人体的辐射,但射线剂量降低造成重建图像中存在严重的伪影和噪声,对临床医学诊断有很大干扰。针对此问题,提出一种改进的各向异性加权先验模型的最大后验(Maximum A Posteriori,MAP)投影域降噪算法。该算法考虑到直觉模糊熵能够有效区分平滑区域和边缘细节区域,将其与传统的各向异性扩散系数相结合,构造了一种新的扩散系数,并采用局部方差实现其自适应调节;最后将该扩散系数融合于基于Huber先验的MAP优化估计算法框架中,实现对投影数据不同区域进行不同强度的降噪处理。该算法分别采用数字骨盆模型、Shepp-Logan头模型和数字胸腔模型三种体模进行验证,并与滤波反投影重建算法(Filter Back Projection,FBP)、惩罚重加权最小二乘法(Penalized Reweighted Least-Squares,PRWLS)、各向异性加权先验正弦图平滑算法进行对比。实验结果表明,利用所提算法重建出的图像中伪影明显减少,同时较好地保持了图像的边缘和细节信息。三种体模的信噪比分别为20.502 0 dB、23.294 8 dB、21.018 4 dB,所需时间分别为49.50 s、49.60 s、8.59 s。

基于结构张量的四阶偏微分方程图像降噪模型

针对传统偏微分方程图像去噪模型会产生阶梯效应和边缘模糊的问题,提出了一种改进的四阶偏微分方程图像去噪模型.该模型利用图像的结构张量的行列式和迹作为边缘检测因子,并利用结构张量矩阵的特征向量来估计边缘和梯度方向,在图像平坦区域进行各向同性扩散,在图像边缘处只沿边缘方向进行扩散,在图像角点处则不进行扩散,实现了各向异性扩散.实验表明:从主观视觉上和客观评价指标上与一些相关模型相比,所提出的改进模型在去除噪声、保留边缘细节和避免阶梯效应方面性能更优.

基于图像配准的铸件内部缺陷检测技术

针对已有铸件内部缺陷检测方法误差大的问题,提出了一种结合刚-弹性图像配准技术的铸件内部缺陷检测方法。首先使用刚性配准结合Demons弹性配准的方法实现待检铸件图像和模板图像空间位置上的配准,其次通过数字减影技术得到待检图像和模板图像的减影图像,然后对减影图像使用阈值分割的方法去除配准误差造成的虚假缺陷,最后确定缺陷在待检缺陷图像中的位置并进行标注。试验结果表明,该方法可以精确实现图像配准并准确检测出待检图像的缺陷。

基于深度学习的牙齿嵌塞自动判别方法

食物嵌塞是口腔常见病征,容易引发局部牙龈红肿、溢脓、龋齿等口腔问题,给患者带来极大的痛苦和不便。目前临床上难以自动筛查嵌塞牙齿,且传统的锥形束CT重建方法的准确度及精度均有待提高。提出一种牙齿嵌塞自动化判断的方法,对牙齿模型进行单个牙体的精准分割,在U-Net网络的基础上使用KPConv卷积核代替二维卷积核来构建分割网络,并使用图割方法优化分割结果。同时,采用平面拟合的方法将分割后的牙齿模型投影到水平和竖直平面上,在平面上求出牙齿嵌塞特征,并利用支持向量机根据所求特征对牙齿的嵌塞情况进行判断。通过充分利用样本模型的几何结构信息,设计简化牙齿模型的几何采样及包含牙齿几何结构约束的图割方法提高网络模型的运算时间及精度。实验结果表明,该方法对牙齿模型的分割准确率为92%,对牙齿嵌塞的判断正确率为81%,能够为医生提供辅助诊断。

基于分割先验图像多能CT重建算法

固定电压CT成像系统动态范围有限,照射复杂工件时产生的投影极易出现欠曝光、过曝光现象,从而导致有效投影的缺失。为解决投影不完备问题研究了基于分割先验图像多能CT重建算法。该方法首先采用ART-TV算法对最低能量的投影进行重建,并对重建结果进行分割,截取与高能重建图像相似部分做为先验图像,以先验图像约束的压缩感知算法对邻近高能投影重建,重建结果再次进行分割后截取先验图像,重复上述步骤直至最高能量完成重建。仿真实验表明:和传统的多能重建方法相比,研究的方法在完整重建复杂结构工件基础上有效地减少伪影,提高图像像素的稳定性,在主观视觉感受和客观评价参数均有一定的进步。

基于先验图像约束压缩感知多能CT重建算法

由不同材质构成且材质之间密度相差较大的工件进行单一能量CT重建时无法获取完整内部结构.为获得结构信息完整的高质量CT重建图像,研究了基于先验图像压缩感知多能重建方法.首先从低到高依次采集多个能量下的投影数据,并用凸集投影-全变分最小化(POCS-TVM)算法对最低能量的投影数据进行CT重建,然后,将重建好的图像作为先验信息,利用先验图像压缩感知算法(PICCS)对下一组能量下的投影进行重建,重建后的图像再次作为新的先验信息重复以上步骤,依此类推直到最高能量的数据重建,以此达到完整重建.结果表明该方法可以有效减少因投影缺失而导致的伪影并保护低密度边缘.

双重字典学习与自适应PCNN相结合的医学图像融合

目的针对基于稀疏编码的医学图像融合方法存在的细节保存能力不足的问题,提出了一种基于卷积稀疏表示双重字典学习与自适应脉冲耦合神经网络(PCNN)的多模态医学图像融合方法。方法首先通过已配准的训练图像去学习卷积稀疏与卷积低秩子字典,在两个字典下使用交替方向乘子法(ADMM)求得其卷积稀疏表示系数与卷积低秩表示系数,通过与对应的字典重构得到卷积稀疏与卷积低秩分量;然后利用改进的的拉普拉斯能量和(NSML)以及空间频率和(NMSF)去激励PCNN分别对卷积稀疏与卷积低秩分量进行融合;最后将融合后的卷积稀疏与卷积低秩分量进行组合得到最终的融合图像。结果对灰度图像与彩色图像进行实验仿真并与其他融合方法进行比较,实验结果表明,所提出的融合方法在客观评估和视觉质量方面明显优于对比的6种方法,在4种指标上都有最优的表现;与6种多模态图像融合方法相比,3组实验平均标准差分别提高了7%、10%、5. 2%;平均互信息分别提高了33. 4%、10. 9%、11. 3%;平均空间频率分别提高了8. 2%、9. 6%、5. 6%;平均边缘评价因子分别提高了16. 9%、20. 7%、21. 6%。结论与其他稀疏表示方法相比,有效提高了多模态医学图像融合的质量,更好地保留了源图像的细节信息,使融合图像的信息更加丰富,符合人眼的视觉特性,有效地辅助医生进行疾病诊断。

改进U-Net3+与跨模态注意力块的医学图像融合

目的针对目前多模态医学图像融合方法深层特征提取能力不足,部分模态特征被忽略的问题,提出了基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络医学图像融合算法(U-Net3+and cross-modal attention block dual-discriminator generative adversal network,UC-DDGAN)。方法结合U-Net3+可用很少的参数提取深层特征、跨模态注意力块可提取两模态特征的特点,构建UC-DDGAN网络框架。UC-DDGAN包含一个生成器和两个鉴别器,生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上,提取跨模态特征与提取深层特征交替进行,得到各层复合特征图,将其进行通道叠加、降维后上采样,输出包含两模态全尺度深层特征的特征图。特征融合部分通过将特征图在通道上进行拼接得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失,将其与像素损失加权优化生成器。结果将UC-DDGAN与5种经典的图像融合方法在美国哈佛医学院公开的脑部疾病图像数据集上进行实验对比,其融合图像在空间频率(spatial frequency,SF)、结构相似性(structural similarity,SSIM)、边缘信息传递因子(degree of edge information,Q^(AB/F))、相关系数(correlation coefficient,CC)和差异相关性(the sum of the correlations of differences,SCD)等指标上均有提高,SF较DDcGAN(dual discriminator generation adversative network)提高了5.87%,SSIM较FusionGAN(fusion generative adversarial network)提高了8%,Q^(AB/F)较FusionGAN提高了12.66%,CC较DDcGAN提高了14.47%,SCD较DDcGAN提高了14.48%。结论UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征,其主观视觉效果和客观评价指标均优于对比方法,为临床诊断提供了帮助。