基于双域Transformer耦合特征学习的CT截断数据重建模型

目的为解决CT扫描视野(FOV)不足导致的截断伪影和图像结构失真问题,本文提出了一种基于投影和图像双域Transformer耦合特征学习的CT截断数据重建模型(DDTrans)。方法基于Transformer网络分别构建投影域和图像域恢复模型,利用Transformer注意力模块的远距离依赖建模能力捕捉全局结构特征来恢复投影数据信息,增强重建图像。在投影域和图像域网络之间构建可微Radon反投影算子层,使得DDTrans能够进行端到端训练。此外,引入投影一致性损失来约束图像前投影结果,进一步提升图像重建的准确性。结果Mayo仿真数据实验结果表明,在部分截断和内扫描两种截断情况下,本文方法DDTrans在去除FOV边缘的截断伪影和恢复FOV外部信息等方面效果均优于对比算法。结论DDTrans模型可以有效去除CT截断伪影,确保FOV内数据的精确重建,同时实现FOV外部数据的近似重建。

基于Transformer的肺肿瘤三维CT图像分割

基于信息学技术自动分割病人的肺部CT图像,有助于医生对于肺癌患者的早期诊断,提取和整合图像区域间的空间关联,对于提升肺肿瘤分割性能是十分重要的。本文提出了一个新的基于Transformer的分割模型,用于肺肿瘤三维CT图像分割、学习和整合此类关联。本文分别设计了带有混合多头图像区域节点注意力的Transformer模块和类别注意力模块,学习并融合了肺部CT图像的空间层面和通道层面的信息。将新的基于Transformer的分割模型同其他较为先进的模型进行了对比实验,实验结果表明新的模型在骰子系数、交并比和豪斯多夫距离等方面优于其他模型。

MCIF-Transformer Mask RCNN:Multi-Branch Cross-Scale Interactive Feature Fusion Transformer Model for PET/CT Lung Tumor Instance Segmentation

The precise detection and segmentation of tumor lesions are very important for lung cancer computer-aided diagnosis.However,in PET/CT(Positron Emission Tomography/Computed Tomography)lung images,the lesion shapes are complex,the edges are blurred,and the sample numbers are unbalanced.To solve these problems,this paper proposes a Multi-branch Cross-scale Interactive Feature fusion Transformer model(MCIF-Transformer Mask RCNN)for PET/CT lung tumor instance segmentation,The main innovative works of this paper are as follows:Firstly,the ResNet-Transformer backbone network is used to extract global feature and local feature in lung images.The pixel dependence relationship is established in local and non-local fields to improve the model perception ability.Secondly,the Cross-scale Interactive Feature Enhancement auxiliary network is designed to provide the shallow features to the deep features,and the cross-scale interactive feature enhancement module(CIFEM)is used to enhance the attention ability of the fine-grained features.Thirdly,the Cross-scale Interactive Feature fusion FPN network(CIF-FPN)is constructed to realize bidirectional interactive fusion between deep features and shallow features,and the low-level features are enhanced in deep semantic features.Finally,4 ablation experiments,3 comparison experiments of detection,3 comparison experiments of segmentation and 6 comparison experiments with two-stage and single-stage instance segmentation networks are done on PET/CT lung medical image datasets.The results showed that APdet,APseg,ARdet and ARseg indexes are improved by 5.5%,5.15%,3.11%and 6.79%compared with Mask RCNN(resnet50).Based on the above research,the precise detection and segmentation of the lesion region are realized in this paper.This method has positive significance for the detection of lung tumors.

基于增强CT图像和Swin Transformer网络的食管癌T分期智能诊断模型的构建与评估

目的基于增强CT图像和Swin Transformer网络,拟构建食管癌T分期智能诊断模型。方法收集2018年1月至2022年4月在陆军军医大学第一附属医院和山西省肿瘤医院胸外科经病理证实为食管癌的150例患者的45000张术前增强CT图像。经过UperNet Swin网络自动分割和肿瘤体积的计算,使用ResNet50、Swin Transformer和VIT 3个网络进行食管癌T分期智能诊断模型的构建。使用精准率、召回率、F1-score、特异度以及阴性预测值(negative predictive value,NPV)等指标在150例内部数据集上评价模型性能,描绘混淆矩阵和ROC曲线。结果在3个食管癌T分期诊断的模型中,Swin Transformer模型结合肿瘤体积、病理信息等特征的分期诊断效果最好,T1~T4期的精准率分别为1.00、0.67、0.83、1.00,AUC为0.861,优于ResNet50和VIT分期诊断模型,它们的精准率分别为0.13、0.27、0.59、0.81和0.03、0.14、0.56、0.75,AUC分别是0.611和0.542。结论与ResNet50和VIT网络比较,Swin Transformer网络能够更精准进行食管癌智能T分期诊断。

面向肺炎CT图像识别的DL-CTNet模型

肺炎常缺乏明显呼吸系症状,症状多不典型,易发生漏诊、错诊.利用深度学习技术辅助医务人员安全、高效地检测感染者是一种有效途径.针对COVID-19感染者CT图像的磨玻璃影、铺路石征、血管扩张等特点,提出一种可有效地提取CT图像中的局部与全局特征的轻量级模型——DL-CTNet.输入预处理的CT图像后,首先采用空洞卷积和动态双路径多尺度特征融合(D-DMFF)模块的2个支路提取浅层特征;然后使用局部与全局特征拼接模块(LGFC)中的D-DMFF模块提取局部特征、Swin Transformer提取全局特征,并通过拼接获得深层特征;最后经过全连接层输出分类标签.实验结果表明,在2个CT图像数据集上,验证了LGFC模块以及DL-CTNet的低复杂度与有效性;DL-CTNet的分类准确率高达98.613%,与其他方法相比,其能更准确地识别肺炎的CT图像.

一种新的术中X线与术前CT图像配准方法

目的本研究旨在配准胸主动脉血管内修复术(thoracic endovascular aortic repair,TEVAR)术中X线与术前CT图像,为TEVAR支架植入提供精确安全的导航。然而,现有配准算法存在无法有效弥合投影CT图像生成的数字重建影像(digitally reconstructed radiography,DRR)与X线图像之间的域间差异和难以获得图像分割标签的问题。因此,需要提出新的方法来改善这一问题。方法本文提出了一种新的配准框架,该框架结合了基于生成对抗网络(generative adversarial network,GAN)的域自适应网络和基于Transformer的配准网络。基于GAN的域自适应网络将X线图像的风格迁移到DRR图像上,使两者在图像风格上更接近。基于Transformer的配准网络采用CNN与跨模态变换器(cross-modality transformer,CMT)相结合的模式,直接配准X线与CT图像,无需进行图像分割。结果本文在208对标定的TEVAR术中X线与CT图像对上对新的配准方法进行了验证。与其他域适应方法相比,本文所采用的CycleGAN网络作为风格转换模块,有效减小了DRR图像与X线图像之间的域间差异。消融实验结果进一步证实,配准网络中的全局局部感知模块(global-local perception module,GLPM)对提高配准精度具有明显作用,而空间缩减(spatial reduction,SR)则有效缩短了配准时间。通过对比现有方法和本文方法在真实患者X线与CT图像对上的配准效果,本文的方法在配准精度和成功率方面均表现出最佳性能。结论本文提出的新的X线与CT图像配准方法有效克服了现有方法存在的域间差异以及难以获得分割标签的问题。

基于张量分解与非下采样Contourlet变换遥感图像增强

图像质量低、特征信息不明显是遥感图像获取过程中的常见问题。传统的图像增强方法常常因为不能有效地整合全局信息,从而不能高精度、高效率地凸显有用信息。本文通过结合张量分解和非下采样Contourlet变换,提出一种改进的遥感图像增强方法。使用优化的非下采样Contourlet变换对原始图像进行分解,将各尺度和方向的高频细节图像组合成高阶张量。通过贝叶斯概率张量补全,从不完全张量中识别潜在因子,以预测图像缺失的细节信息。实验结果表明:所提出方法能在有效恢复样张缺失信息的同时突出图像的特征信息,与不同图像增强方法相比,样张处理后在信噪比、结构相似度以及均方根误差方面最大提升分别为27.9%、37.6%和45.4%。改进的遥感图像增强方法在可视化比较和定量评价方面优于常用的图像增强方法。

Image edge detection based on nonsubsampled contourlet transform and mathematical morphology

A novel algorithm for image edge detection is presented. This algorithm combines the nonsubsampled contourlet transform and the mathematical morphology. First, the source image is decomposed by the nonsubsampled contourlet transform into multi-scale and multi-directional subbands. Then the edges in the high-frequency and low-frequency sub-bands are respectively extracted by the dualthreshold modulus maxima method and the mathematical morphology operator. Finally, the edges from the high- frequency and low-frequency sub-bands are integrated to the edges of the source image, which are refined, and isolated points are excluded to achieve the edges of the source image. The simulation results show that the proposed algorithm can effectively suppress noise, eliminate pseudo-edges and overcome the adverse effects caused by uneven illumination to a certain extent. Compared with the traditional methods such as LoG, Sobel, and Carmy operators and the modulus maxima algorithm, the proposed method can maintain sufficient positioning accuracy and edge details, and it can also make an improvement in the completeness, smoothness and clearness of the outline.

多期相CT合成辅助的腹部多器官图像分割

目的提出并探讨使用多期相CT合成辅助腹部多器官分割方法。方法提出多期相CT合成辅助腹部多器官分割,多期相CT能够充分提供同一器官不同的图像细节,从而为分割模型提供充分的全面的语义信息,提升腹部多个器官分割的性能。提出基于多头自注意力感知的多期相CT合成方法,引入基于多头自注意力机制的Transformer模块,提升合成网络捕捉长距离语义信息的能力,扩大网络的感受野,并且引入感知损失,在特征层面对合成图像与真实图像特征之间的差异最小化,与Transformer模块有协同作用,从而合成出更清晰、更高质量的多期相CT图像。结果使用南方医院的多期相CT数据集训练模型。其中用526例多期相CT训练合成模型,利用动脉期增强动脉CT(A.CECT)合成出平扫CT(NECT)、静脉期CECT(V.CECT)、延迟期CECT(D.CECT)的平均最大化绝对误差(MAE)分别为19.192±3.381、20.140±2.676、22.538±2.874,结合统计学对比,本文方法优于对比的其他图像合成方法(P<0.05)。多期相CT合成辅助的腹部多器官分割方法验证在内部验证集上进行验证平均Dice系数(DSC)为0.847,在外部验证集上进行验证平均DSC为0.823。结论本文方法能够合成出高质量的多期相CT图像以有效缓解不同期相CT之间存在的配准无法解决的误差问题,同时提高腹部13器官的分割性能,具有良好的泛化性能。

基于Transformer和CNN的低剂量CT图像去噪网络

低剂量计算机断层扫描(Low-dose Computed Tomography, LDCT)在临床中有着广泛的应用,可以有效减轻对病人的辐射剂量。但是成像后的低剂量CT图像中含有明显的噪声和条形伪影,影响医师的诊断。提出了一种基于Transformer和CNN的去噪网络,该网络是一种改进的编解码网络架构,其编码端的每一层由卷积模块与Transformer模块融合而成,用来提取每一层的局部特征和全局特征,同时引入融合模块用来有效地融合提取的局部特征和全局特征。并把融合后的特征通过跳跃连接融入解码端对应的层,解码端的每一层通过卷积模块提取有效特征进而重建去噪后的图像。在真实数据集Mayo上的实验结果说明所提出的网络不仅可以有效去除噪声,还能够保持图像的边缘。

Spectral matching algorithm based on nonsubsampled contourlet transform and scale-invariant feature transform

A new spectral matching algorithm is proposed by us- ing nonsubsampled contourlet transform and scale-invariant fea- ture transform. The nonsubsampled contourlet transform is used to decompose an image into a low frequency image and several high frequency images, and the scale-invariant feature transform is employed to extract feature points from the low frequency im- age. A proximity matrix is constructed for the feature points of two related images. By singular value decomposition of the proximity matrix, a matching matrix （or matching result） reflecting the match- ing degree among feature points is obtained. Experimental results indicate that the proposed algorithm can reduce time complexity and possess a higher accuracy.

基于DCIF-GAN的肺部肿瘤PET/CT跨模态医学图像融合

基于生成对抗网络(Generative Adversarial Network,GAN)的医学图像融合是计算机辅助诊断领域的研究热点之一,但是现有基于GAN的融合方法存在训练不稳定,提取图像的局部和全局上下文语义信息能力不足,交互融合程度不够等问题。针对上述问题,本文提出了双耦合交互式融合GAN(Dual-Coupled Interactive Fusion GAN,DCIFGAN)。首先,设计了双生成器双鉴别器GAN,通过权值共享机制实现生成器之间和鉴别器之间的耦合,通过全局自注意力机制实现交互式融合;第二,设计耦合CNN-Transformer的特征提取模块(Coupled CNN-Transformer Feature Extraction Module,CC-TFEM)和特征重构模块(CNN-Transformer Feature Reconstruction Module,C-TFRM),提升了对同一模态图像内部的局部和全局特征信息提取能力;第三,设计跨模态交互式融合模块(Cross Model Intermodal Fusion Module,CMIFM),通过跨模态自注意力机制,进一步整合不同模态间的全局交互信息。为了验证本文模型的有效性,在肺部肿瘤PET/CT医学图像数据集上进行实验,该文方法在平均梯度,空间频率,结构相似度,标准差,峰值信噪比,信息熵等上与其他四种方法中最优方法相比,分别提高了1.38%,0.39%,29.05%,30.23%,0.18%,4.63%。模型能够突出病变区域信息,融合图像结构清晰且纹理细节丰富。

Directional Filter for SAR Images Based on Nonsubsampled Contourlet Transform and Immune Clonal Selection

A directional filter algorithm for intensity synthetic aperture radar （SAR） image based on nonsubsampled contourlet transform （NSCT） and immune clonal selection （ICS） is presented. The proposed filter mainly focuses on exploiting different features of edges and noises by NSCT. Furthermore, ICS strategy is introduced to optimize threshold parameter and amplify parameter adaptively. Numerical experiments on real SAR images show that there are improvements in both visual effects and objective indexes.

基于特征融合的低剂量CT图像降噪方法

近年来低剂量CT(Low Dose CT,LDCT)被广泛应用于临床诊断中,但LDCT会产生不规则的噪声。已有的降噪方法往往缺乏对全局特征信息的考虑,以及不注重边缘特征信息和重建图像的视觉效果。为此,提出了一种基于特征融合的低剂量CT图像降噪方法。首先,利用Transformer优异的全局感受野提取图像的全局特征信息,并利用卷积神经网络(Convolutional Neural Network,CNN)良好的局部特征提取能力提取图像的局部特征信息。在Transformer模块中加入维度变换思想,以更好地抑制噪声;在CNN模块中使用稠密连接的方式将浅层网络的特征信息复用于深层网络中,以此保存更多的特征信息。其次,为了获取更加丰富的图像细节特征,使用了改进的索伯边缘增强算子来加强模型对边缘特征信息的提取能力。最后,将Transformer模块和CNN模块获取的特征信息进行融合并输出重建图像。此外,为了使降噪重建后的图像有更好的质量和视觉效果,设计了一个多尺度复合损失函数。实验表明:在AAPM-Mayo数据集的降噪实验中,与当前主流的LDCT图像降噪方法相比,本文方法取得了更好的降噪效果。

Feature Extraction of Fabric Defects Based on Complex Contourlet Transform and Principal Component Analysis

To extract features of fabric defects effectively and reduce dimension of feature space,a feature extraction method of fabric defects based on complex contourlet transform （CCT） and principal component analysis （PCA） is proposed.Firstly,training samples of fabric defect images are decomposed by CCT.Secondly,PCA is applied in the obtained low-frequency component and part of highfrequency components to get a lower dimensional feature space.Finally,components of testing samples obtained by CCT are projected onto the feature space where different types of fabric defects are distinguished by the minimum Euclidean distance method.A large number of experimental results show that,compared with PCA,the method combining wavdet low-frequency component with PCA （WLPCA）,the method combining contourlet transform with PCA （CPCA）,and the method combining wavelet low-frequency and highfrequency components with PCA （WPCA）,the proposed method can extract features of common fabric defect types effectively.The recognition rate is greatly improved while the dimension is reduced.

Image Fusion Based on Complex Contourlet Transform and Nonnegative Matrix Factorization

An image fusion method combining complex contourlet transform(CCT) with nonnegative matrix factorization(NMF) is proposed in this paper.After two images are decomposed by CCT,NMF is applied to their highand low-frequency components,respectively,and finally an image is synthesized.Subjective-visual-quality of the image fusion result is compared with those of the image fusion methods based on NMF and the combination of wavelet /contourlet /nonsubsampled contourlet with NMF.The experimental results are evaluated quantitatively,and the running time is also contrasted.It is shown that the proposed image fusion method can gain larger information entropy,standard deviation and mean gradient,which means that it can better integrate featured information from all source images,avoid background noise and promote space clearness in the fusion image effectively.

基于NSCT及张量分解的遥感建筑边缘检测技术

常见的边缘检测及语义分割技术在遥感图像中获取的建筑物边缘不够精细,且不能反映出建筑物屋顶的细节信息。针对上述问题,提出基于非下采样轮廓波变换(nonsubsampled contourlet transform,NSCT)与张量分解相结合的边缘检测技术,以获取包括屋顶在内的建筑物细节边缘特征。首先,利用NSCT进行图像分解,得到不同尺度和角度的精细子带系数;其次,对子带系数进行位置编码,得到相应位置的二阶对称张量,再将同一位置的不同尺度、不同角度的张量进行加权求和完成特征融合;最后,根据谱理论进行张量分解,得到图像的边缘特征。实验结果表明:与双向级联网络(bi-directional cascade network,BDCN)等5种方法相比,所提方法的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM)指标均优于其他方法,其中PSNR和SSIM较基于深度学习的BDCN方法分别提升1.20和0.03,且检测结果能够更准确细致地反映出建筑物的边界及屋顶的边缘信息,可对建筑物的类型和风格研判提供更好的支持。

用于低剂量CT图像去噪的多级双树复小波网络

基于卷积神经网络(CNN)的图像去噪方法能有效去除低剂量计算机断层扫描(CT)图像伴随的伪影和噪声,从而确保CT设备输出高质量图像同时降低辐射,这对患者健康和医学诊断具有重要意义。为了进一步提高低剂量CT图像的质量,提出一种小波域去噪网络MDTNet。首先,基于双树复小波变换(DTCWT)构造多级编解码去噪网络,在多个尺度上提取特征以保留更多高频细节;然后,利用扩展的像素重排技术替代卷积上下采样,实现多级输入和特征融合,从而降低计算复杂度;最后,通过大量训练找到最佳的去噪模型,即二级MDTNet配合LeGall滤波器和Qshift_b滤波器,并选择较大尺寸的CT图像作为训练数据。使用AAPM数据集评估MDTNet的性能,实验结果表明,MDTNet能有效去除条纹状伪影和噪声,在定量和定性评估中性能均优于同类型去噪方法。与FWDNet相比,对于1 mm的切片,MDTNet的平均峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了0.0887 dB和0.0024;对于3 mm的切片,分别提升了0.1443 dB和0.003。对于单张512×512像素的低剂量CT图像去噪,MDTNet在GPU上仅需0.193 s。MDTNet在保持高效率的同时保留了更多的高频细节,能够为低剂量CT图像去噪提供一种新的框架。

双能量CT在急性缺血性脑卒中中的临床应用及研究进展

急性缺血性脑卒中(AIS)具有高发病率、高致残率及高死亡率等特点,是严重威胁我国人口健康和阻碍社会经济发展的重大疾病。“一站式”CT检查,包括常规CT平扫(NCCT)、CT灌注(CTP)、CT血管造影(CTA),是目前AIS的一线影像学检查手段,然而上述检查技术在AIS的诊断、预后预测上仍存在着不足之处。近年来,双能量CT的发展为AIS的诊断、治疗决策选择、预后判断等方面提供了更多优势。本文将就双能量CT成像原理及常用技术、在AIS临床上的具体应用及研究进展予以综述。

基于NSCT结合显著图与区域能量的红外与可见光图像融合

针对传统的红外与可见光图像融合出现的清晰度和对比度偏低,目标不够突出的问题,本文提出了一种基于Non-subsampledContourlet(NSCT)变换结合显著图与区域能量的融合方法。首先,使用改进的频率调谐(Frequency-tuned,FT)方法求出红外图像显著图并归一化得到显著图权重,单尺度Retinex(Single-scale Retinex,SSR)处理可见光图像。其次,使用NSCT分解红外与可见光图像,并基于归一化显著图与区域能量设计新的融和权重来指导低频系数融合,解决了区域能量自适应加权容易引入噪声的问题;采用改进的“加权拉普拉斯能量和”指导高频系数融合。最后,通过逆NSCT变换求出融合图像。本文方法与7种经典方法在6组图像中进行对比实验,在信息熵、互信息、平均梯度和标准差指标中最优,在空间频率中第一组图像为次优,其余图像均为最优结果。融合图像信息量丰富、清晰度高、对比度高并且亮度适中易于人眼观察,验证了本文方法的有效性。