融合注意力卷积神经网络在皮肤镜分割中的应用研究进展

在自动皮肤损伤分析工作中,由于皮肤上的毛发和皮肤病变的形状和对比度等因素,分割是一项具有挑战性和关键的操作。相对于传统分割方法,深度学习将特征提取和特定任务决策无缝地集成在一起,更精确、高效地实现分割任务,有效减轻皮肤癌筛查的负担和成本。本文首先介绍了皮肤镜分割和深度学习模型的背景,引出深度学习在皮肤镜分割中的应用。其次介绍了卷积神经网络和注意力机制的算法模型,调研了自2022年1月以来的融合注意力卷积神经网络在皮肤镜分割中的应用,归纳总结了论文中的改进策略,分析了模型的优缺点,并结合皮肤镜常用数据集和图像分割的评价指标对模型进一步分析。最后对融合注意力卷积神经网络在皮肤镜分割中的应用进行了总结和展望。

基于深度降噪卷积神经网络的宽波段共相检测研究

拼接镜的共相误差检测是当前科学研究的热点问题之一,基于宽波段光源的共相检测技术解决了夏克哈特曼法由于目标流量低引起的测量时间长的问题,从而提升了piston误差的检测精度和量程。然而,当前宽波段算法在实际应用中,由于复杂的环境以及相机扰动等干扰因素的存在导致获取的圆形孔径衍射图像含有一定量的噪声,从而导致相关系数值低于设定阈值,最终使该方法精度降低,甚至失效。针对这一问题,本文提出将基于深度降噪卷积神经网络(DnCNN)的算法集成到宽波段算法中,以实现对噪声干扰的控制,并保留远场图像的相位信息。首先,将使用MATLAB获得的圆孔衍射图像作为DnCNN的训练数据,然后,将不同噪声水平的图像导入到训练好的降噪模型中,即可得到降噪后的图像以及降噪前、后圆孔衍射图像的峰值信噪比和二者与清晰无噪声图像间的结构相似度。结果表明:降噪处理后的图像与理想清晰图像之间的平均结构相似度较处理之前有了明显提升,获得了理想的降噪效果,有效增强了宽波段算法在高噪声条件下的应对能力。该研究对于探索用于实际共相检测环境宽波段光源算法具有较强的理论意义和应用价值。

基于卷积神经网络的高精度分块镜共相检测方法

为获得与单口径望远镜相当的空间分辨率,使成像系统成像质量达到或接近衍射极限,拼接主镜式望远镜的分块子镜应确保实现共相位拼接,本文针对拼接主镜式望远镜高精度平移(piston)误差检测问题,提出了一种基于卷积神经网络的高精度平移误差检测方法.通过在成像系统的出瞳面上设置具有离散孔的光阑,构建了对平移误差极为敏感的点扩散函数图像数据集,根据此数据集的特点搭建了具有高性能的网络模型,并测试得到网络的最佳检测范围.仿真结果表明,在略小于一个波长的捕获范围内,单个网络能够准确地输出一个或多个分块子镜的平移误差;应用于六子镜成像系统时,平移误差检测精度达0.0013λRMS(root mean square),并且方法对残余倾斜(tip-tilt)误差、波前像差、CCD噪声、光源带宽具有良好的鲁棒性.该方法简单快速,可广泛应用于分块镜系统的平移误差检测.

基于分层卷积神经网络的皮肤镜图像分类方法

针对皮肤镜图像数量不充足以及各类疾病之间影像数据不平衡的问题,提出一种融合类加权交叉熵损失函数和分层卷积神经网络的皮肤镜图像分类方法。首先对皮肤镜图像进行色彩恒常化处理,消除环境光源噪声;然后构建基于ResNet50的分层卷积神经网络,并在迁移学习的基础上分别构建二分类和多分类卷积神经网络模型,根据皮肤镜图像的数量特点设置类加权交叉熵损失函数。实验结果表明,该方法具有较好的分类效果,分类准确率达到了85.94%,与未改进的分类模型ResNet 50相比,测试准确率提高了5.752%。

基于卷积神经网络的第一镜表面杂质沉积状态识别研究

第一镜是托卡马克光学诊断系统最重要的光学元件之一,强烈的等离子体与壁相互作用导致第一镜表面出现的杂质沉积会严重影响第一镜反射率和相关光学诊断系统的准确性和有效性,因此准确判别第一镜表面杂质沉积状态对于实时获取并采取有效手段恢复第一镜反射率至关重要.文中采用非平衡磁控溅射等离子体方法制备纳米晶钼材料第一镜,在此基础上利用电子束蒸发镀膜方法在其表面沉积氧化铝非晶涂层,利用分光光度计测得有、无氧化铝沉积膜的钼第一镜全反射率,并通过数据增强方法对原始数据集进行数据扩充,结合卷积神经网络对杂质沉积第一镜的全反射率数据集进行识别、分类.结果表明,当卷积神经网络模型迭代次数为50时,模型分类准确性达到最佳状态,并在包含均值为0,方差为1高斯噪声的数据集中验证了一维卷积神经网络的抗噪能力.最终实现有、无氧化铝沉积膜的钼第一镜分类,正确率达到98.85%,这为在封闭托卡马克环境下的第一镜表面原位清洗与杂质沉积状态识别提供了一种可能的新方法.

基于深度卷积神经网络的色素性皮肤病识别分类

针对当前皮肤病识别分类面临的两个主要问题:一是由于皮肤病种类繁多,病灶外观的类间相似度高和类内差异化大,尤其是色素性皮肤病,使得皮肤病的识别分类比较困难;二是皮肤病识别算法模型设计存在一定的局限性,识别率还有待进一步提高。为此,以VGG19模型为基础架构,训练了一个结构化的深度卷积神经网络(CNN),实现了色素性皮肤病的自动分类。首先,采用数据增强(裁剪、翻转、镜像)对数据进行预处理;其次,将在Image Net上预训练好的模型,迁移至增强后的数据集进行调优训练,训练过程中通过设置Softmax损失函数的权重,增加少数类判别错误的损失,来缓解数据集中存在的类别不平衡问题,提高模型的识别率。实验采用深度学习框架Py Torch,在数据集ISIC2017上进行。实验结果表明,该方法的识别率和敏感性可分别达到71.34%、70.01%,相比未设置损失函数的权重时分别提高了2.84、11.68个百分点,说明该方法是一种有效的皮肤病识别分类方法。

基于卷积神经网络的手术机器人控制系统设计

针对传统系统控制精准度低的问题,提出了基于卷积神经网络的手术机器人控制系统设计;根据基于卷积神经网络的手术机器人控制原理,设计控制系统总体结构,选用PCI插槽上直接内插CAN适配卡作为上位机核心组件,采用C++编写的Lib库和DLL库为驱动程序提供适配卡;通过下位机3个节点,处理相关信号,并进行量程转换和越限判断,确保机器人不会失控;选用80C592微控制器设计关节驱动节点结构,以高速工作方式向控制器提供向总线的发送和接受能力,避免外界干扰;设计基于视觉的持镜臂,为手术过程提供上下、左右、前后的运动的手术视野;分别采用FN3002力传感器和MPS-M拉线式位移传感器获取相关传感数据,采用卷积神经网络深度学习方法,设计持镜臂运动控制步骤,采用VC++6.0工具,控制软件程序,避免抖动或者误操作主手现象的出现;由实验结果可知,采用基于卷积神经系统与期望规划值基本一致,拟合度为100%,而采用传统系统与期望规划值相差较大,拟合度仅为20%;课题设计系统持镜臂轨迹规划与期望轨迹一致,简化了控制系统的复杂性。

融合注意力机制的肠道息肉分割多尺度卷积神经网络

肠道息肉分割能够提供息肉在结肠中的位置和形态信息,方便医生依据其结构变化程度来推断癌变可能性,有利于结肠癌的早期诊断和治疗。针对许多现有的卷积神经网络所提取的多尺度特征有限,且常引入冗余和干扰特征,难以应对复杂多变的肠道息肉分割问题,提出了一种融合注意力机制的肠道息肉分割多尺度卷积神经网络(CNN)。首先,设计不同比例金字塔池化策略提取丰富的多尺度上下文信息;然后,通过在网络中融入通道注意力机制,模型能够根据目标自适应地选择合适的局部上下文信息和全局上下文信息进行特征集成;最后,联合金字塔池化策略和通道注意力机制构建多尺度有效语义融合解码网络,增强模型对形状、大小复杂多变的肠道息肉分割的鲁棒性。实验结果表明,本文模型分割的Dice系数、IoU和灵敏度在CVC-ClinicDB数据集上分别为90.6%,84.4%和91.1%,在ETIS-Larib数据集上分别为80.6%,72.6%和79.0%,其能够从肠镜图像中准确、有效地分割出肠道息肉。

基于集成学习与生成对抗网络的皮肤镜图像分类方法

皮肤镜是辅助皮肤科医生诊断的有效途径,但是人工分类高度依赖医生的临床经验,并且皮肤镜图像本身的复杂性给分类提出了巨大的挑战。为了解决皮肤镜图像分类问题,基于集成学习提出了一种集成投票块的皮肤镜图像分类方法。首先,针对ISIC 2019提供的皮肤镜图像进行预处理,为了缓解数据集较少且分布不均的问题,使用生成对抗网络和旋转图像进行数据增强。然后基于迁移学习的思想训练多个卷积神经网络,从中挑选出分类效果较好的多个卷积神经网络组成投票块,进而集成投票块,最终实现皮肤镜图像的分类。实验结果表明,该方法的准确率、敏感度、特异度可分别达到0.925、0.563、0.927,相比单一的卷积神经网络模型,各个评价指标均有所提高,为皮肤镜图像分类提供了一种有效方案。

面向运动想象脑电图识别的镜卷积神经网络

目的脑电图(electroencephalogram,EEG)是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络(mirror convolutional neural network,MCNN)模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。

基于SDP和MCNN-LSTM的齿轮箱故障诊断方法

齿轮箱在长期使用过程中,不可避免地会产生齿轮故障和轴承故障,严重影响传动精度和设备运行安全。基于此,针对齿轮箱常见故障类型,研究多通道对称点图案(symmetrized dot pattern, SDP)数据处理方法,并利用最小能量误差法实现SDP关键参数的选取。结合多尺度卷积神经网络(multi-scale convolutional neural network, MCNN)的空间处理优势、长短时记忆网络(long short term memory, LSTM)的时间处理优势及其良好的抗噪性和鲁棒性,提出了一种基于SDP和MCNN-LSTM的齿轮箱故障诊断模型。同时利用东南大学齿轮箱数据集,验证了基于SDP和MCNN-LSTM的齿轮箱故障诊断方法对齿轮和轴承常见故障类型特征提取的有效性,并与现有其他故障诊断方法进行对比,结果表明了所提方法具有更高的精度。

基于多CNN的分块镜piston和tip-tilt误差同步检测方法研究

绝大多数大型望远镜采用分块镜的设计方案,为了获得优质的成像效果,需要控制分块望远镜系统的piston和tip-tilt误差。神经网络误差检测方法相较于传统的检测方法具有一定优势,但存在仅检测单一类型误差的局限性。本文提出一种基于卷积神经网络的piston和tip-tilt误差同步检测方法,通过在出瞳面设置具有离散孔的光阑,引发分段镜反射的子波发生干涉-衍射现象,构建包含丰富piston和tip-tilt误差信息的数据集。通过粗测网络和精测网络级联,满足大范围和高精度同步检测的需求。结果表明,该方法实现了对输入光源相干长度内纳米级的piston误差检测,并对10μrad范围内的tip-tilt误差实现了亚微弧度检测;对40 dB的CCD噪声表现出良好的抗干扰性,对面形误差的允差为0.05λ0RMS(λ0=600 nm),同时对六子镜系统具有可扩展性。本文方法光路简单,操作便利,具有实际意义。

基于图像识别的咽喉部窥镜辅助诊断系统

目的喉癌是头颈部常见的恶性肿瘤,因早期症状通常不明显,故一经发现多处于晚期,因此患者生存率与癌前病变早期检测的准确率密切相关。在喉部疾病中,电子鼻咽喉镜因其较强的应用优势,成为一项新型喉部疾病的诊断工具。电子喉镜对于一些经济条件较差的基层医疗机构来说价格昂贵,无法支持配备,医师使用传统额镜进行粗略检查,易导致疾病的漏诊、误诊。本研究研发了基于图像识别的咽喉部窥镜辅助诊断系统,以辅助医师对病情的及时诊断和后续治疗方案的确定,进一步提升喉部疾病的诊断效能。方法使用内窥镜头实时采集咽喉部影像并传输至手机app中,利用图像识别算法对实时检测的喉镜图像进行识别、分类,使用卷积神经网络Res Net-50模型进行预训练,并将模型部署到app中,辅助医师进行临床诊疗工作,提高诊断准确率,推进医疗诊断的精准化与智能化进程。结果成功构建了一个基于深度学习的咽喉部图像识别模型,并且实现了临床检验小样本量训练;体现出较高的诊断效能,对开展早癌自动化辅助检测工作具有重要的现实意义。结论基于图像识别设计的咽喉部窥镜辅助诊断系统能快速、准确地诊断出喉乳头状瘤、声带息肉等喉部病变,具有较强的可操作性和实用性。

基于注意力残差U-Net的皮肤镜图像分割方法

针对皮肤镜图像类内差异性、类间相似性、数据集不平衡等问题,本文提出了一种基于注意力残差U-Net(attention residual block-UNet,ARB-UNet)的皮肤镜图像分割方法。将卷积块注意力机制模块(convolutional block attention module,CBAM)引入到U-Net模型的“跳过连接”中;同时将CBAM模块集成到残差模块DRB(dilated residual networks)中得到注意力残差结构(attention residual block,ARB);且选取Focal Tversky Loss作为该模型的损失函数;在ISIC2016数据集上对所提ARB-UNet模型进行训练和测试,并与传统方法和UNet等经典方法进行了对比实验,实验结果中灵敏度(sensitivity,SE)达到了92.9%,特异性(specificity,SP)达到了94.1%,Dice相似指数(dice similarity cofficient,DSC)达到了92.1%,整体上均优于其他对比方法,从而验证了本文方法是有效的和可行的。

面向多模态医学语料库的皮肤镜图像分类

多模态医学语料库是医学研究、临床诊断和教学的重要工具之一。然而,现有的医学语料库大多仅有文本数据,缺乏匹配的直观图像,信息不够充分。而大量医学图像缺少明确的语义标签,导致构建语料库困难。针对上述问题,该文提出一种面向多模态医学语料库的皮肤镜图像分类方法,通过对皮肤镜图像进行精确分类获取语义标签,并结合自然语言处理方法匹配相关文本信息,从而建立图像与文本相结合的多模态语料库。首先,针对传统机器学习图像分类方法对病灶特征提取较弱且易受背景噪声影响,导致病灶分类精度差的问题,该文构建双流网络,通过融合病灶的形状与纹理特征增强病灶特征提取能力。其次,为减少特征融合导致的信息冗余,引入了基于通道注意力机制的特征筛选方法,关注关键特征并抑制噪声影响。此外,针对皮肤镜图像良恶性样本数量不均衡导致的模型优化困难问题,引入非对称损失函数,提升模型对样本不均衡的鲁棒性。在ISIC皮肤镜图像数据集上的实验结果表明,该文所提方法能够快速准确地分类皮肤镜图像,并将图像与病历文本进行精准匹配以构建多模态医学语料库。

基于皮肤镜图像智能分析的早期蕈样肉芽肿诊断模型构建

目的比较基于皮肤镜图像的卷积神经网络(convolutional neural network,CNN)二分类模型在蕈样肉芽肿(mycosis fungoides,MF)与炎症性疾病鉴别诊断中的应用价值。方法回顾性纳入2016年1月至2020年12月北京协和医院皮肤科门诊确诊的早期MF患者和临床表现与之相似的炎症性皮肤病患者,并按4∶1的比例随机分为训练集和测试集。使用训练集患者的皮肤镜图像对6种经典网络结构利用迁移学习进行训练,以构建CNN二分类模型。同时,在测试集中随机挑选每例患者1幅图像,并结合皮损的临床图像,由13名皮肤科医师对疾病归类进行判读。比较CNN二分类模型与皮肤科医师对测试集病例早期MF与炎症性疾病鉴别诊断的性能,结果以曲线下面积(area under the curve,AUC)、灵敏度、特异度、Kappa值等表示,并采用受试者工作特征(receiver operating characteristic,ROC)曲线进行可视化分析。结果共纳入48例早期MF患者(皮肤镜图像402幅)和96例炎症性皮肤病患者(皮肤镜图像557幅),其中训练集117例(皮肤镜图像772幅),测试集27例(皮肤镜图像187幅)。测试集中,皮肤科医师鉴别诊断早期MF与炎症性皮肤病的灵敏度和特异度分别为70.19%(95%CI:59.68%~80.70%)和94.74%(95%CI:91.77%~97.71%),Kappa值为0.677(95%CI:0.566~0.789)。按图像分类时,CNN二分类模型对早期MF与炎症性皮肤病鉴别诊断的AUC为0.87(95%CI:0.84~0.89),灵敏度和特异度分别为75.02%(95%CI:70.19%~79.85%)和82.02%(95%CI:79.30%~84.87%),Kappa值为0.563(95%CI:0.507~0.620);按病例分类时,CNN二分类模型对早期MF与炎症性皮肤病鉴别诊断的AUC为0.97(95%CI:0.95~0.99),灵敏度和特异度分别为87.50%(95%CI:78.55%~96.45%)和93.85%(95%CI:88.93%~98.77%),Kappa值为0.920(95%CI:0.884~0.954)。ROC曲线显示,按病例分类时网络结构为EfficientNet-B0的CNN二分类模型诊断早期MF的AUC为0.99,灵敏度和特异度分别为88.9%和100%,且13名皮肤科医师诊断的灵敏度和特异度均值对应点位于曲线右下方。结论基于皮肤镜图像智能分析的CNN二分类模型可实现对早期MF与炎症性皮肤病的精确分类,对二者的鉴别诊断能力优于皮肤科医师的平均水平。

基于CNN的滤镜信息检测

网络的高速发展和技术手段的不断进步使人们对照片的美化要求也在不断提高,使得拍照时各种各样的滤镜层出不穷。滤镜不仅能使图像更加美观,有时一些特殊的照片上加滤镜,会对人们产生误导并造成负面影响。基于现存的全图滤镜信息检测的算法较少,我们提出利用 CNN 卷积神经网络进行全图滤镜信息检测。最终经过实验验证检测取得了较好的效果,具有创新性、先进性等特点。

深度学习技术在皮肤影像自动分类中的应用

以“胎儿超声图像”为例,将深度学习技术与皮肤影像自动分类进行充分结合。针对皮肤影像自动分类原理,从CNN原理介绍、网络模型设计、数据预处理及增强、迁移学习策略、模型训练与分类等方面入手,探讨了皮肤影像自动分类方法框架。从数据集及评价方法、模型定量化评价、模型可视化分析、与传统特征分类器对比试验等方面入手,探讨实验设置与结果。结果表明:深度学习技术具有非常高的应用价值和应用前景,不仅可以降低图像复杂预处理流程,还能避免对专业特征工程的过渡依赖,保证了皮肤影像视觉上的出色性能,为进一步提高皮肤疾病医疗诊断水平提供平台支持。

基于深度学习的拼接镜共相检测新方法研究

基于互相关算法的双波长共相检测方法在大量程共相误差检测中,存在检测速度慢、精度低的问题。针对该问题,利用卷积神经网络的方法建立拼接镜的平移(piston)误差预测模型,以实现双波长共相检测方法在大量程共相误差下的快速、准确检测。首先,将两波长下的圆孔衍射图像拼接作为卷积神经网络的训练数据。训练结束后,将包含piston误差信息的圆孔衍射拼接图像输入到训练好的模型中,可直接检测出piston误差值。仿真结果表明:基于卷积神经网络的共相方法具有高的检测精度、快的检测速度及较好的抗噪性和泛化能力。该方法为平移误差的测量提供了一种可行且易于实现的方案。

基于FL-ResNet50的皮肤镜图像分类方法

提出一种采用深度卷积神经网络模型对七类病变皮肤镜图像进行分类的方法。使用数据增强方法扩增训练集,提出一种基于ResNet50模型和多分类Focal Loss函数的多分类模型(FL-ResNet50模型),实现皮肤镜图像的多分类。实验结果表明,FL-ResNet50模型的微平均F1值为0.88,优于传统的ResNet50模型。所提方法实现了对七类皮肤镜图像的分类,将图像预处理、特征提取及预测模型学习形成一个完整连续的系统模型,提高了分类性能和效率,具有重要的应用价值。