基于结构化特征重构的高光谱图像分类

特征提取是高光谱图像分类的关键.现有分类方法在特征提取时,往往忽略特征的信息保有量和空间分布等因素,导致输出的特征可能面临低信息保有量与无序分布等问题,预测结果不佳.为此,本文提出一种基于结构化特征重构的高光谱图像分类方法,能够有效地减少特征提取过程中信息丢失,提高信息保有量,并充分考虑特征的空间分布,增强特征的判别性.借鉴重构思想以及自表达理论,建立结构特征重构的特征表示模型,可提升图像信息的利用率,并描述反映有序分布的结构信息.针对建立的多变量模型,设计一种基于交替更新的优化策略来求解模型.利用支持向量机来对特征进行分类计算和标签预测.利用Salinas、Pavia Center、Botswana以及Houston数据进行实验验证,结果表明,本文算法优于现有的分类模型,在OA(Overall Accuracy)、AA(Average Accuracy)以及Kappa系数等指标上平均提升了2.6%、3.9%、3.3%.

融合OTSU与形态学图像处理的非结构化道路分割

非结构化道路通常具有不规则的道路边界,缺少车道线和道路标识,背景环境较为复杂。针对非结构化道路场景中的道路区域分割问题,提出了融合OTSU算法与形态学图像处理的道路分割算法,即首先将摄像头获得的彩色场景图像转换为灰度图像;其次进行高斯滤波,减少噪声;再次利用OTSU算法计算出合适的分割阈值,得到初始分割二值图像;从次使用形态学图像处理减少噪声和平滑图像;最后对得到的分割图像进一步处理,保留分割图像中最大的连通区域,得到道路区域分割结果。实验结果表明,融合算法可以更加精确地分割非结构化道路场景中的道路区域,可为非结构化道路场景下无人驾驶车辆的安全运行提供参考。

融合结构化卷积和双重注意力机制的轻量级眼底图像分割网络

眼底血管图像的自动分割对于多种眼科疾病的计算机辅助诊断具有重要作用.针对血管的尺度差异和图像噪声导致眼底血管图像分割困难、使用单一尺度卷积运算的深度学习方法获取的特征感受野有限,以及现有的方法复杂度过高的问题,提出一个融合结构化卷积和双重注意力机制的轻量级眼底图像分割网络.通过编码器增强、减少下采样次数和特征深度的编码-解码网络设计,实现参数量只有0.63M的轻量化网络.在编码阶段,提出一种结构化卷积方法,有效地避免了网络训练过拟合,提高了网络捕获差异化血管特征的能力;在解码阶段,采用基于空间和通道的双重注意力机制,使网络更加关注血管特征的上下文和几何空间信息,抑制病变等噪声的干扰.在DRIVE,CHASE_DB1和STARE数据集上进行实验的结果表明,所提网络图像分割的准确率分别为96.92%,97.57%和97.51%,灵敏度分别为83.68%,84.99%和84.87%,受试者曲线下的面积(AUC)分别为98.67%,99.05%和99.02%;并通过在DRIVE和STARE数据集上的交叉训练,验证了该网络的泛化能力.

全局感知与稀疏特征关联图像级弱监督病理图像分割

弱监督语义分割方法可以节省大量的人工标注成本,在病理全切片图像(WSI)的分析中有着广泛应用。针对弱监督多实例学习(MIL)方法在病理图像分析中存在的像素实例相互独立缺乏依赖关系,分割结果局部不一致和图像级标签监督信息不充分的问题,该文提出一种全局感知与稀疏特征关联图像级弱监督的端到端多实例学习方法(DASMob-MIL)。首先,为克服像素实例之间的独立性,使用局部感知网络提取特征以建立局部像素依赖,并级联交叉注意力模块构建全局信息感知分支(GIPB)以建立全局像素依赖关系。其次,引入像素自适应细化模块(PAR),通过多尺度邻域局部稀疏特征之间的相似性构建亲和核,解决了弱监督语义分割结果局部不一致的问题。最后,设计深度关联监督模块(DAS),通过对多阶段特征图生成的分割图进行加权融合,并使用权重因子关联损失函数以优化训练过程,以降低弱监督图像级标签监督信息不充分的影响。DASMob-MIL模型在自建的结直肠癌数据集YN-CRC和公共弱监督组织病理学图像数据集LUAD-HistoSeg-BC上与其他模型相比展示出了先进的分割性能,模型权重仅为14 MB,在YN-CRC数据集上F1 Score达到了89.5%,比先进的多层伪监督(MLPS)模型提高了3%。实验结果表明,DASMob-MIL仅使用图像级标签实现了像素级的分割,有效改善了弱监督组织病理学图像的分割性能。

基于复杂纹理特征融合的材料图像分割方法

为解决材料图像分割中存在小样本、纹理复杂和数据分布不平衡的问题,抓住材料图像同相像素具有高度相似性的特性,提出一种基于复杂纹理特征融合的材料图像分割方法。在编码阶段,使用全卷积神经网络(FCN)作为基础网络,VGG16作为骨干网络;将改进的FCN的每层的特征图放入设计的级联的特征融合模块(CFF block),融合高低层语义信息;将融合的特征图放入多尺度学习模块(multi-scale block)进一步提取纹理特征。在解码阶段,对特征图施加注意力机制(Attention block),保留关键的特征图;针对材料图像中数据不平衡问题,采用并改进Dice损失,优化分割结果。通过对比实验和消融实验验证该方法的mIoU在多个数据集上均优于经典的深度学习方法。

基于轻量级卷积神经网络的多视觉特征图像分割研究

研究基于轻量级卷积神经网络的多视觉特征图像分割方法,以适应资源受限环境并满足实时性需求。在Linknet网络基础上设计轻量级多视觉特征图像分割模型,以原始多视觉特征图像为编码器输入,经过初步特征提取后,多尺度特征提取模块利用不同尺度卷积核学习其颜色、纹理等特征,通道注意力模块采用压缩-激励块对不同尺度特征作重定向,利用引入深度可分离卷积的特征提取模块A学习更抽象的特征表示,解码器利用特征提取模块B、反卷积层和标准卷积层对编码器提取的特征表示作转换处理,生成包含语义信息的特征图。通过双向特征金字塔网络融合编解码器输出特征,利用Sigmoid函数获得多视觉特征图像分割结果。实验结果表明:该方法训练损失仅为0.08;可实现多视觉特征图像的精准分割,MIoU、F1-score指标分别为0.9128、0.9068;分割模型参数量、计算量、存储空间分别为6.14 MB、1.52 GMac、0.146 GB,满足轻量级要求。

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.

基于多尺度特征融合的遥感图像语义分割方法

为提高遥感图像语义分割精度,解决深度卷积神经网络(DCNN)特征提取过程中小尺寸目标信息丢失的问题,提出一种基于多尺度特征融合的语义分割方法FuseSwin。首先,在Swin Transformer中引入注意力增强模块(AEM),以突出目标所在区域并抑制背景噪声的干扰;其次,利用特征金字塔网络(FPN)融合多尺度特征的细节信息和高级语义信息,以补充目标的特征;最后,通过空洞空间金字塔池化(ASPP)模块从融合特征图中进一步捕获目标的上下文信息,提升模型分割精度。实验结果表明,所提方法在Potsdam遥感数据集上的平均像素准确率(mPA)和平均交并比(mIoU),与DeepLabV3方法相比,分别提高了2.34、3.23个百分点;与SegFormer方法相比,分别提高了1.28、1.75个百分点,优于目前主流的分割方法。此外,将所提方法实际应用于广西钦州茅尾海的高分辨率遥感图像中的蚝排识别与分割,分别取得96.21%、91.70%的像素准确率(PA)和交并比(IoU)。

用于建筑物分割的平行结构特征融合网络

遥感建筑物分割是对遥感图像中的建筑物进行像素级别的分割,从遥感图像中准确提取出建筑物区域,包括建筑物轮廓和内部细节信息。由于遥感图像的特殊性,在对建筑物分割时,阴影与建筑物颜色相似易造成欠分割,树木遮挡等因素易造成过分割。针对遥感图像中建筑物轮廓分割不完整、阴影干扰强以及分割边缘锯齿状明显等问题,提出一种平行结构的多分支特征融合网络(MFF-Net)。该网络以ResNet-50作为主干网络,解码器采用包含双通道掩码分支的多条平行结构,分别恢复不同尺度的特征图。同时,在每条分支结构中使用改进后的CBAM注意力以加强边缘重要特征,通过双通道掩码结构调整通道交互性,最后进行特征融合。在ISPRS Potsdam和ISPRS Vaihingen数据集上的实验结果表明,与现有主流分割网络相比,MFF-Net的全局准确率、精确率、召回率、F1值、均交并比(mIoU)均有不同程度的提升,在Vaihingen数据集上精确率达到96.22%,F1值达到95.55%,mIoU达到92.16%,在Potsdam数据集上精确率达到96.95%,F1值达到96.32%,mIoU达到93.40%,其提取的建筑物轮廓完整清晰,抗干扰性更强。

基于Segformer与特征融合的水下养殖鱼类图像分割方法

水产养殖管理中,精准分割图像中的鱼类对生长管理至关重要,但水下环境复杂,图像质量低,现有分割方法面临精度低、泛化能力弱等挑战。提出了一种改进Segformer模型(FT-Segformer,简称SegFT)的水下鱼类图像分割方法。首先,利用四层transformer block提取输入图像高分辨率到低分辨率的不同尺度特征。在解码器部分,借助特征金字塔融合机制增强上下文感知;然后,利用转置卷积还原特征图维度,进一步提升特征学习的效果;最后,构建了一个用于模型评估的真实水下养殖环境的锦鲤数据集(UAGF),并在该数据集上进行相关验证试验。结果显示:该模型在mIoU、mPA和mRecall等评估指标上均优于现有方法,分别提升了1.76%、0.39%和0.19%,在mIoU指标上,SegFT分别超越了U-Net、PSPNet、HRNet、Deeplabv3+模型1.92、3.73、3.07和3.58个百分点。研究表明,所提出的方法在复杂的水下环境下,具有显著的有效性和鲁棒性。分割性能上优于现有的监督图像分割方法。

基于复杂网络对舌、面诊图像特征提取及分割分类文献的可视化研究

目的对舌、面诊图像特征提取及分割分类研究的相关文章进行总结分析,探究该领域的研究热点及发展前沿趋势,为今后的舌、面诊图像处理相关研究提供思路。方法以中国知网为数据来源,根据排纳标准和检索策略,最终纳入文献439篇,最后采用Gephi绘图软件对相关文献的作者、研究机构以及关键词进行共词网络可视化分析。结果结合年发文量可知整体发文量较少,但总体趋势呈平稳上升;研究团队主要以李福凤、张新峰、许家佗、王忆勤和王泓午等的团队为代表;研究机构多为地区性医工交叉的合作形式。结论研究热点趋势向深度学习的图像处理方向发展,同时跨地区跨机构之间的团队合作有待加强,进一步推动多学科交叉融合及中医望诊(舌、面诊)智能客观定量化发展。

基于光照感知和特征增强的可见光-热红外图像语义分割

在智能光电设备中,基于人工智能的可见光-热红外(Red Greed Blue-Thermal, RGB-T)图像语义分割任务可以广泛应用于自动驾驶、无人机航拍、视频监控等。图像的光照信息能在一定程度上反映场景中图像局部区域信息的可靠性,利用光照先验信息有助于进一步提高语义分割的性能。基于此,提出一种基于光照感知和特征增强的RGB-T图像语义分割模型,通过挖掘光照先验信息并结合注意力机制,引导网络在多模态图像特征融合过程中更加关注可靠信息的提取,同时抑制干扰信息的引入。实验在MFNet数据集上与最新的12种方法进行了比较,相比于性能第2的模型,mAcc提高了5.4%,mIoU提高了1.0%。所提网络模型能够获得更准确的分割结果,并通过定性定量实验验证所提模型及各个模块的有效性。

融合自注意力的乳腺钼靶图像特征引导分割算法

为提高对乳腺癌钼靶图像中病灶区域的识别精度,本研究设计了一种面向乳腺肿块和钙化区域分割的特征引导注意网络。首先,该网络通过特征提取模块学习乳腺组织的语义特征;其次,利用融合自校正注意力的解码模块,增强对病灶区域边缘信息的关注度,提高边界的清晰度;最后,采用特征引导注意模块增强通道的依赖关系,进一步还原病灶区域边缘细节,提高分割精度。实验结果表明,本研究网络在扩充后的INBreast1数据库中肿块和钙化分割的平均骰子系数(mDice)分别达到了0.971和0.888,在DDSM数据库肿块分割的mDice达到了0.911,优于其他常规的分割模型,对乳腺癌的早期诊断和治疗具有重要意义。

全景分割与多视觉特征协同的图像描述生成方法

现有基于Transformer架构的图像描述生成模型取得了较好的泛化性能,然而,大多数方法通常使用区域视觉特征进行编解码,导致无法全面利用整幅图像的细粒度信息,且存在视觉特征混淆问题。为此,将全景分割引入图像描述生成过程,使用基于全景分割的掩膜视觉特征代替区域视觉特征,提出一种全景分割与多视觉特征协同的图像描述生成方法。该方法不仅可以有效解耦视觉表征,而且能够充分结合掩膜视觉特征和网格视觉特征的优势,提升图像描述生成的可解释性和描述性能。在MSCOCO标准数据集上进行定量和定性实验,结果表明,所提方法不仅可以显著提升现有模型的性能,同时能够增强图像描述生成过程的可解释性,CIDEr和BLEU-4指标分别达到138.5和41。

多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断.针对CNN提取全局特征能力弱,Transformer提取局部特征能力弱,以及Transformer具有二次方计算复杂度的问题,提出了用于多器官医学图像分割的多级特征交互Transformer模型.所提模型采用CNN提取局部特征,局部特征经Swin Transformer输出全局特征;通过下采样分别产生多级局部和全局特征,每级局部和全局特征经过交互并增强;每级增强后的特征经多级特征融合模块进行交叉融合;再次融合后的特征经过上采样和分割头输出分割掩码.所提模型在Synapse和ACDC数据集上进行实验,平均DSC和平均HD95系数值为80.16%和19.20 mm,均优于LGNet和RFE-UNet等代表性模型.该模型对多器官医学图像分割是有效的.

KoiU⁃Net:基于多特征增强融合的纺锤形鱼类图像分割方法

针对纺锤形鱼类图像分割任务中存在的边缘不清、特征模糊等问题,提出一种基于多特征增强融合的纺锤形鱼类图像分割网络KoiU⁃Net。该网络在经典的U⁃Net模型基础上,设计了多尺度特征交叉感知模块和多尺度特征融合模块来增强对纺锤形鱼类特征的处理能力,以应对纺锤形鱼类图像分割中存在的边缘模糊、特征复杂的问题。同时,设计了多尺度上采样模块以提取更精细的特征信息。在纺锤形鱼类图像数据集上的实验表明,相较于原始U⁃Net等其他分割网络,KoiU⁃Net取得了平均98.63%的分割精度的显著提升。各设计模块的有效性也通过消融实验得以验证,尤其是多尺度特征交叉感知模块对提升分割性能具有关键作用。该研究为进一步实现纺锤形鱼类生长状态监测提供了有效的技术支撑,为该领域的进一步发展奠定了基础。

结合语义分割与跨模态差分特征补偿的红外与可见光图像融合方法

针对现有红外与可见光图像融合模型在深层特征提取时细节信息丢失、显著目标轮廓模糊的问题,提出一种结合语义分割与跨模态差分特征补偿(CMDFC)的红外与可见光图像融合方法。通过具有卷积注意力机制(CBAM)的跨模态差分特征补偿模块,叠加不同模态的互补特征信息至原始特征中进行深层特征提取,引入语义分割网络对融合图像进行像素级别的分类操作构造语义损失来约束融合网络,并使用解码器重构融合图像。在公开数据集上进行融合实验的结果表明,相较于对照模型中的最优指标,所选的5种指标均有不同程度的提高,其中互信息(MI)和视觉信息保真度(VIF)分别提高了4.41%和4.25%,说明本文所提出的模型生成的融合图像更清晰,与源图像相关性更强,该方法有效缓解了红外与可见光图像融合过程中特征细节信息丢失的问题,增强了生成图像的视觉效果和对比度。

融合双阶段特征与Transformer编码的交互式图像分割

为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感.

基于多尺度信息提取和特征融合的皮肤镜图像分割算法

针对现有皮肤镜图像分割技术分割精度不高的问题,提出了一种基于多尺度信息提取和特征融合的U型网络(multi-scale information extraction and feature fusion U-shaped network,MF-UNet)模型。在U-Net的基础上,在卷积层后加入批归一化层,将原本的跳跃连接部分替换为4级特征融合模块,充分利用语义信息和位置信息,在特征提取端末尾加入多尺度空洞卷积模块和多尺度池化模块,增大感受野,利用双路拼接上采样模块进行上采样,减少图像恢复过程中的信息损失。实验表明,相较于U-Net模型,MF-UNet在平均交并比(mean intersection over union,MIoU)上提升了14.32%,在戴斯相似系数(Dice similarity coefficient,DSC)上提升了13.18%,取得了较好的结果。该研究为计算机技术辅助医生进行皮肤病诊断提供了借鉴。

基于双分支特征提取的息肉图像分割网络

结肠息肉分割是从结肠息肉图像中提取病理信息的关键步骤,对结直肠癌的诊断和治疗具有重要意义。针对结肠息肉分割中形状大小不一、病灶组织与背景差异性难以区分等问题,本文提出了一种基于CNN和Swin Transformer的双分支特征提取的医学息肉分割网络(DST-Net),其充分考虑了卷积神经网络和Transformer在提取局部特征和全局特征各自的优势。DST-Net是一种编码器-解码器架构,首先设计了基于VGG和空洞卷积(AC)的两种编码器分别提取局部边界特征和多尺度特征;接下来在编解码器中间的底部模块使用两个连续的Swin Transformer模块,充分利用Transformer的远程依赖关系进一步加强网络的全局特征提取能力;最后,在编解码器之间的跳过连接中使用了通道注意力模块(CAB),以更加关注可疑和复杂的区域。在CVC-Clinic DB和Kvasir两个公开的息肉数据集上验证了所提出方法,结果表明该模型优于现有的其他方法,可以准确有效地实现结肠息肉的分割任务。