基于改进Swin-Unet的糖尿病性黄斑水肿分割方法

糖尿病性黄斑水肿(DME)是糖尿病患者最常见的失明原因之一,光学相干断层扫描技术(OCT)有助于糖尿病视网膜病变的早期检测和预防,视网膜OCT图像中的DME区域分割常被用于定量评估黄斑区的水肿程度和病变区域的面积。针对糖尿病性黄斑水肿分割存在的小目标区域漏分割以及部分水肿区域分割不准确的问题,提出了一种改进Swin-Unet的DME分割方法,提高了区域分割的准确性。首先,将Swin-Unet的瓶颈替换为由快速傅里叶卷积(FFC)块构成的频域特征提取模块,用于提取视网膜OCT图像中所包含的光谱域信息;其次,对语义分割后的区域进行形态学图像处理技术进行处理,提升结果的可视化效果;最后,在OCT2017和杜克大学数据集上对模型进行了验证。实验结果表明,与Swin-Unet相比,所提出的方法在OCT2017数据集上dice相似系数、交并比、召回率和精确率分别提升了3%、2%、2%和3%,在杜克大学数据集上分别提升了5%、4%、6%和5%,改进后的SwinUnet模型可以提升对DME分割的精度,为医生提供更为可靠的诊断依据。

基于改进Swin-Unet的遥感图像分割方法

针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块,用于捕获多尺度特征,增强网络获取不同尺度的能力,充分提取上下文信息;将解码器端的Swin Transformer Block替换为残差Swin Transformer Block,不仅保留了原始信息,又能够缓解模型出现梯度弥散现象;在跳跃连接中引入残差注意力机制,可以让模型更加关注特征图中的重要特征信息,抑制无效信息,从而提高模型分割的准确率。在自建数据集上进行实验,结果表明,改进后的网络平均交并比(mean Intersection over Union,mIoU)达到了80.55%,提高了4.13个百分点,证明改进后的网络可以有效提高遥感图像分割的精度。

基于Swin-Unet的云分割算法的研究

在遥感领域,云遮挡对于非气象类遥感卫星有着非常严重的干扰,其影响了遥感卫星对于地面信息的识别和处理的同时,还极大的占用了下行传输的带宽和卫星的储存空间。此外,通过云判别将这些干扰有效排除,可以提高地物识别的效果,对于其他遥感图像处理的下游任务也具有十分重要的意义。近些年来,将云作为目标区域利用深度学习模型自动识别和分割已经取得了不错的研究成果。然而,在实际云判别的应用中,由于地表环境等因素的干扰,现有的深度学习模型还存在对云区域识别精度低等问题。Swin-Unet模型是基于Transformer技术的图像分割方法,在众多图像分割任务中均取得了更好的性能。因此,本文使用了Swin-Unet模型来对云图进行识别,并利用了Kaggle的38-Cloud数据集对算法进行实验验证,实验表明,本文所采用的Swin-Unet模型可以从遥感图像中提取更多的语义信息,从而达到更好的识别效果(准确率:0.9830,Dice系数:0.9745)。

基于Swin-Unet的混凝土裂缝分割算法研究

目前,卷积神经网络常用于混凝土裂缝分割领域中。本研究对卷积神经网络检测裂缝时检测精度低、丢失裂缝特征等问题,引入一种纯Transformer架构模型的Swin-Unet,通过使用Swin Transformer模块来代替卷积操作,可有效弥补卷积神经网络无法捕捉长距离特征及transformer难训练的缺陷,并在公共数据集和小样本数据集组合建立的3518张裂缝数据集上进行试验。试验结果表明,Swin-Unet取得了较好的成绩,表现出更好的检测效果,获得的IOU分数为0.70、F1分数为0.82,这表明Swin Transformer更有利于图片特征的提取。

基于UNet+Swin-Transformer的西瓜叶片病害识别的研究

诊断与识别植物叶片的病虫害是农业生产中的一大难题。为了解决西瓜叶片病虫害的诊断与识别问题,方便瓜农评估西瓜叶片的健康状况,提出了一种先分割、后识别的西瓜叶片病害识别算法。该算法首先采用UNet模型对叶片进行分割,其次使用Swin-Transformer模型进行病虫害识别。通过在自建的西瓜叶片数据集上进行对比实验,文章所提算法识别准确率达到92.9%,相比直接在原始图像上使用Swin-Transformer模型进行病虫害识别,准确率提高了3.2%。实验结果表明,使用分割后的图像进行病虫害分类可以显著提高识别准确率。

基于Swin Transformer和UNet的肺结节分割方法

肺结节的准确分割是后续良恶性分析和诊断的关键。由于基于卷积神经网络的分割模型受限于局部特征提取特性,忽略了全局特征。因此,本文提出了一种新的肺结节语义分割框架ST-UNet网络,将Swin Transformer嵌入UNet中,构成一种新颖的Swin Transformer和CNN并行的双编码器结构。结果表明:该模型不仅对肺结节的分割具有较好的性能,而且对医生进行肺结节的早期诊断具有重要的临床意义和应用价值。

联合Swin Transformer和UNet的GAN人脸修复算法

基于GAN的人脸修复技术大都采用CNN进行修复,忽略了人脸修复的全局信息和整体均匀性,从而导致修复结果不理想。基于此问题,提出一种联合Swin Transformer和UNet的GAN人脸修复算法,进行人脸图像修复。该方法整体采用GAN生成器-判别器架构,使用Swin Transformer作为主干网络,用于捕捉图像的全局依赖关系;采用UNet的编码-解码结构,在局部区域进行特征提取和重建。实验结果表明,相较于以往方法,该方法能更好地处理人脸图像修复任务。

面向高分影像完整性认证的主题敏感哈希算法

作为一种新的完整性认证技术,主题敏感哈希能实现高分影像的主题偏向性认证,克服了现有认证技术的不足,但现有主题敏感哈希算法在鲁棒性等方面仍存在一定不足。该文在简述主题敏感哈希相关理论的基础上,提出一种面向高分影像完整性认证的主题敏感哈希算法。该算法首先根据特定主题构建训练样本集,并基于该样本集训练Swin-Unet;然后采用Swin-Unet提取高分影像的主题敏感特征,并采用主成分分析(PCA)对提取特征进行压缩编码,进而生成影像的主题敏感哈希序列。实验结果表明:该算法的鲁棒性相对现有算法有较大提高,算法的篡改敏感性和安全性与现有算法相近,且对主题相关篡改具有较高的敏感性。

融合Swin Transformer与UNet的云检测架构

目前在遥感图像云检测的领域中,对于薄云和碎云以及不同下垫面的云检测精度还有待进一步提高,且存在较多误判漏判和数据不均衡等问题。针对这些问题,提出了一个结合Transformer和卷积思想的云检测网络架构Cloud TransUnet。首先,使用Transformer模块替换掉UNet编码器阶段的卷积模块,利用Transformer的全局注意力机制提取出更多的细节特征信息,减少误判和漏判的发生;同时,添加边缘检测模块,加强对边缘信息的提取,提高检测的精度;最后,使用中值频率平衡对损失函数进行改进以处理数据不平衡的问题。实验结果表明,Cloud TransUnet对薄云和碎云的检测、不同下垫面的云检测都具有良好的表现,与卷积语义分割网络UNet、SegNet、ResUnet和Swin_Unet相比,Cloud TransUnet在检测速度略微提升的同时,其MIoU、总体精度、精确率等指标都得到了一定的提升。

基于改进Swin⁃Unet腹部多器官图像分割方法研究

腹部多器官计算机断层扫描(CT)图像自动化分割可以辅助医生进行诊断,提高诊断效率。以往的分割方法由于腹部易发生形变、体积较小且器官密集导致分割效果相对较差。为此,提出基于改进Swin⁃Unet腹部多器官图像分割方法,使得网络在下采样过程中更加关注器官细节特征。实验表明,提出的方法相对于现有分割方法具有更高的准确性。

Transformer-Based Deep Learning Network for Tooth Segmentation on Panoramic Radiographs

Panoramic radiographs can assist dentist to quickly evaluate patients’overall oral health status.The accurate detection and localization of tooth tissue on panoramic radiographs is the first step to identify pathology,and also plays a key role in an automatic diagnosis system.However,the evaluation of panoramic radiographs depends on the clinical experience and knowledge of dentist,while the interpretation of panoramic radiographs might lead misdiagnosis.Therefore,it is of great significance to use artificial intelligence to segment teeth on panoramic radiographs.In this study,SWin-Unet,the transformer-based Ushaped encoder-decoder architecture with skip-connections,is introduced to perform panoramic radiograph segmentation.To well evaluate the tooth segmentation performance of SWin-Unet,the PLAGH-BH dataset is introduced for the research purpose.The performance is evaluated by F1 score,mean intersection and Union(IoU)and Acc,Compared with U-Net,Link-Net and FPN baselines,SWin-Unet performs much better in PLAGH-BH tooth segmentation dataset.These results indicate that SWin-Unet is more feasible on panoramic radiograph segmentation,and is valuable for the potential clinical application.