seqAFF-ResNet:面向新冠肺炎的诊断模型

新冠肺炎的计算机辅助诊断是一种实现智能化影像诊断、临床诊断及临床分型的方法,在新冠肺炎的辅助诊断过程中,图像的病灶区域与组织边界对比不明显,导致模型不能较好地关注病灶区域,对有效特征的提取不够充分。针对上述问题,提出一个新冠肺炎辅助诊断模型seqAFF-ResNet(sequential attentional feature fusion-residual neural network)。设计串行注意力特征融合(sequential attentional feature fusion,seqAFF)模块,该模块串联条带注意力特征融合(strip attentional feature fusion,SAFF)模块和全局局部注意力特征融合(global local attentional feature fusion,GLAFF)模块,获取图像的纹理信息以及全局和局部信息,弥补卷积神经网络对于细节特征提取能力的不足,使得模型可以更好地关注于病灶区域;构造深浅层特征融合(deep and shallow feature fusion,DSFF)模块,使用深层特征的语义信息来影响浅层信息,同时将浅层的空间信息传入深层特征中,使深浅层特征进行有效融合,捕获丰富的上下文信息,实现跨层注意力特征增强,使网络能够更好地定位病变区域。与残差神经网络(residual neural network,ResNet)相比,seqAFF-ResNet准确率提升了3.42%,精确率提升了3.53%,F1分数提升了2.77%,AUC值提升了0.9%,实验结果表明,所提模型可以提高新冠肺炎的识别准确率,且与同类模型相比具有更好的性能。所提方法为新冠肺炎的辅助诊断提供了有效的识别方法,对新冠肺炎的计算机辅助诊断具有重要意义。

一种基于CP-U-Net的鸡部位分割方法

鸡部位分割是鸡肉分体的主要任务,论文以鸡部位分割为目的,提出了一种基于U-Net的鸡部位图像分割算法。根据鸡部位检测的需求,选择了合适类型的工业相机、摄像头、光源和PC机构成鸡部位图像采集系统。采集3000张鸡部位图像,然后进行数据增强扩充,构建了鸡部位数据集;构建了一种基于CP(Chicken parts)-U-Net鸡部位图像分割模型,提取鸡部位特征,为了实现鸡部位图像的端到端语义分割,采取了以下步骤:首先通过池化计算,能够获得鸡部位的深层特征和浅层。接着,通过多次的反卷积处理,能够得到特征的融合。最后生成了鸡部位区域的二值图像。为了评估分割性能,采用平均交并比(MIoU)、均像素精度(MPA)和精度(PA)这三种评判标准,将CP-U-Net计算网络与三种经典算法进行了比较。实验表明:CP-U-Net在进行鸡部位的语义分割时PA、MPA、MIou分别为93.65%,89.12%,85.37%。比较对比的三种其他图像语义分割方法分别高出11.23%,8.74%,6.68%,且处理单幅鸡部位图像时间比SegNet缩短44 ms。

基于差分卷积和深浅层特征融合的表面缺陷分割

针对弱纹理情况下缺陷特征不明显和小目标缺陷分割准确性较低的问题,提出基于差分卷积和深浅层特征融合的表面缺陷分割方法。首先,基于差分卷积设计特征增强模块,对特征图进行特征增强;其次,在特征融合网络中将深浅层特征进行融合,对浅层网络中的细节特征和深层网络中的语义信息进行有效融合;最后分别采用NEU-Seg和MT-Magnetic数据集对本文方法和现有的代表性方法进行综合对比分析。结果表明:本文研究方法在NEU-Seg和MT-Magnetic数据集上分别实现85.2%、83.3%的分割精度,优于现有的代表性语义分割算法,证明该法可有效提升弱纹理和弱小缺陷的分割准确度,显著提高缺陷分割算法的精度。

增强特征融合并细化检测的轻量化SAR图像船舶检测算法

针对SAR图像船舶检测任务在船舶组合和船舶融合场景下低检测精度的问题,提出了一种轻量化船舶检测算法——RGDET-Ship,有效提高了SAR图像在复杂场景下的船舶检测精度。该算法的创新点包括:①构建基于改进ResNet的基础主干网络,增强深浅网络早特征融合,保留更丰富的有效特征图,并利用RegNet进行模型搜索得到一簇最优结构子网络RegNet and Early-Add(RGEA),实现模型的轻量化;②在FPN Neck基础上,结合EA-fusion策略设计出FPN and Early Add Fusion(FEAF)Neck网络,进一步加强深浅特征晚融合,提高中大船舶目标特征的提取;③通过细粒度分析改进RPN网络得到Two-RPN(TRPN)网络,提高模型的检测粒度和预测框准确性;④引入多任务损失函数——Cross Entropy Loss and Smooth L1 Loss(CE_S),包括分类任务和回归任务,进一步提升检测性能。通过在标准基准数据集SSDD上进行大量实验,验证了RGDET-Ship模型的有效性和健壮性。实验结果表明,相较于Faster RCNN和Cascade RCNN,RGDET-Ship在mAP_0.5:0.95上分别提升了5.6%和3.3%,在AR上分别提升了9.8%和7.6%。

基于特征增强金字塔网络的阿尔茨海默症早期诊断研究

阿尔茨海默症(Alzheimer’s disease,AD)作为一种不可逆转的神经退行性疾病,能在其发病初期进行干预治疗对病情的控制和改善具有重要意义。近年来,研究者广泛地使用深度学习方法对AD的核磁共振成像(Magnetic resonance imaging,MRI)进行分析并做出早期诊断。但AD早期的脑部结构变化与正常人差别较小,目前单一尺度的分析方法难以有效捕捉到这些细小差别的特征。针对以上问题,本文提出特征增强金字塔网络(Feature enhanced pyramid network,FEPN)进行AD的MRI早期诊断,通过设计的浅层特征重提取模型利用上下文信息补充高层特征,并计算融合权重指导高低层特征图的融合,增强了上下文信息交互和多尺度特征融合的匹配度。对比实验采用Kaggle公开的Alzheimer数据集对该方法进行验证,实验结果表明,相比于其他同类方法,FEPN有效提升了4种AD脑状态(非痴呆、非常轻度痴呆、轻度痴呆、中度痴呆)MRI的分类精度。

基于多特征融合的人脸表情识别算法

由于稠密网络(DenseNet)模型具有独特的特征提取和传输方式,使其面对小数据集时在缓解网络过拟合的同时,可以取得不错的分类效果。但是传统的DenseNet模型具有较深的网络结构,可能造成特征冗余和硬件内存的负担。针对该问题,研究了一种相对浅层的稠密网络,通过压缩稠密网络的深度并增加每个模块中卷积核的数量来高效提取表情图像的隐性特征。考虑到该稠密网络在提取特征时也舍弃了部分图像信息以及单一特征可能难以表达人脸表情图像的全部信息,利用LDN(Local Directional Number Pattern,LDN)算法提取表情图像的梯度方向纹理信息,与稠密网络提取的隐式特征进行特征融合,共同进入Softmax层进行表情分类。该算法在CK+和Jaffe数据集上进行仿真实验,获得了不错的识别率,在一定程度上证实了算法的有效性。

基于优化GaitSet模型的步态识别研究

为了能够保留更多的输入步态轮廓图的轮廓和纹理等信息,增加深浅特征融合的输入,提出了基于优化GaitSet模型的步态识别研究.首先,在原模型的基础上,采用了联合Loss优化,步态轮廓图的裁剪对齐为较大图片尺寸,并且进行进一步的论证;其次,增加多尺度的感受野的特征输入和深浅特征融合;最后,在CASIA-B数据库上进行了验证.实验结果表明:LT样本规模及非相同视角下,NM状态下的识别率为97.309%,BG状态下的识别率为94.048%,CL状态下的识别率为81.736%.相比较原模型Rank-1的准确率有较大的提升.

融合浅层特征的深度卷积神经网络互花米草遥感监测方法

基于2018年10月份黄河口入海两侧的LANDSAT8 OLI影像,提取植被指数和缨帽变换分量共9维光谱特征,构建融合浅层特征的8层深度卷积神经网络(deep convolutional neural network,DCNN)分类模型,开展互花米草(Spartina alterniflora Loisel)遥感监测的方法研究,并从不同的浅层特征来具体分析互花米草的监测结果。结果表明:(1)在分类方法上,DCNN模型的总体分类精度最高,达到90.33%,与支持向量机(support vector machine,SVM)、随机森林(random forest,RF)分类器相比,精度分别提高4.78%、2.7%,互花米草的生产者精度分别提高了2.56%、0.47%,说明在滨海湿地遥感影像分类中,DCNN有着更好的应用潜力;(2)融合浅层特征后,DCNN的总体分类精度和互花米草的识别精度分别提高了0.34%和3.25%,有效提高了对互花米草的监测能力。其中,融合归一化植被水分指数(NDII)浅层特征的DCNN分类方法中,互花米草的识别精度提高最多,为2.56%,比值植被指数(RVI)次之,为2.32%。研究结果可为互花米草的监测与管理提供技术与数据支撑。

基于注意力机制的人脸表情识别网络

人脸表情识别一直是计算机视觉领域的一个难题.近年来,随着深度学习的飞速发展,一些基于卷积神经网络的方法大大提高了人脸表情识别的准确率,但未能充分利用人脸图像中的信息,这是由于对于面部表情识别有意义的特征主要集中在一些关键位置,例如眼睛、鼻子和嘴巴等区域,因此在特征提取时增加这些关键位置的权重可以改善表情识别的效果.为此,提出一种基于注意力机制的人脸表情识别网络.首先在主干网络中加入了深浅层特征融合结构,以充分提取原始图像中不同尺度的浅层特征,并将其与深层特征级联,以减少前向传播时的信息丢失.然后在网络中嵌入一种基于两步法的通道注意力模块,对级联后的特征图中的通道信息进行编码,得到通道注意力图,再将其与级联特征图逐元素相乘,得到通道加权特征图,将多尺度特征提取与空间注意力相结合,提出多尺度空间注意力模块,对通道加权特征图的不同位置进行加权,得到空间加权特征图.最后将通道和空间均已加权的特征图输入到后续网络中继续进行特征提取和分类.实验结果表明,所提出的方法与现有的基于深度学习的方法相比,在扩展的Cohn-Kanada数据集上的表情识别准确率提高了0~3%,在OULU-CASIA NIR&VIS数据集上的表情识别准确率提高了1%~8%,证明了该方法的有效性.

基于注意特征融合和联合损失的表情识别网络

针对目前表情识别任务中模型结构复杂、参数量大及准确率低的问题,提出了一种基于注意特征融合和联合损失的人脸表情识别模型。在构建的网络模型中加入注意力特征融合模块,解决融合不同尺度特征时出现的信息丢失的问题。将卷积神经网络筛选得到的浅层特征与深层特征进行融合,以保证网络能够充分学习到图像的不同语义特征信息,提升判别效果。为了减小表情类内距离、增大类间差别,采用了联合损失函数对模型进行训练,提升模型的识别准确率。使用改进后的模型在表情数据集RAF-DB、CK+和Fer2013上测试,分别达到了83.7%、96.5%和70.3%的准确率,在降低模型参数量的同时保证了准确率,对于未来移动端设备进行人脸表情识别具有一定的参考价值。

基于声学和文本特征的多模态情感识别

在语音模态中,利用OpenSMILE工具箱可以从语音信号中提取浅层声学特征,通过Transformer Encoder网络从浅层声学特征中挖掘深层特征,并将深浅层特征融合,从而获取更丰富的情感表征。在文本模态中,考虑到停顿因素与情感之间的关联性,将语音和文本对齐以获得说话停顿信息,采用停顿编码的方式将停顿信息添加到转录文本中,再通过DC-BERT模型获取话语级文本特征。将获得的声学与文本特征进行融合,利用基于注意力机制的双向长短时记忆(Bi-directional long short-term memory-attention,BiLSTM-ATT)神经网络进行情感分类。最后,本文对比了3种不同注意力机制融入BiLSTM网络后对情感识别的影响,即局部注意力、自注意力和多头自注意力,发现局部注意力的效果最优。实验表明,本文提出的方法在IEMOCAP数据集上的4类情感分类的加权准确率达到了78.7%,优于基线系统。

基于图卷积深浅特征融合的跨语料库情感识别

语音情感识别任务的训练数据和测试数据往往来源于不同的数据库,二者特征空间存在明显差异,导致识别率很低。针对该问题,本文提出新的构图方法表示源和目标数据库之间的拓扑结构,利用图卷积神经网络进行跨语料库的情感识别。针对单一情感特征识别率不高的问题,提出一种新的特征融合方法。首先利用OpenSMILE提取浅层声学特征,然后利用图卷积神经网络提取深层特征。随着卷积层的不断深入,节点的特征信息被传递给其他节点,使得深层特征包含更明确的节点特征信息和更详细的语义信息,然后将浅层特征和深层特征进行特征融合。采用两组实验进行验证,第1组用eNTERFACE库训练测试Berlin库,识别率为59.4%;第2组用Berlin库训练测试eNTERFACE库,识别率为36.1%。实验结果高于基线系统和文献中最优的研究成果,证明本文提出方法的有效性。

基于深浅特征融合的人脸识别

针对传统的浅层特征所提取特征的判别性有限、深度特征需要大量带标记样本且训练过程耗时长的问题,提出一种深度及浅层特征融合算法用于人脸识别。首先提取人脸的HOG特征并进行判别性降维;同时,提取人脸图像的PCANet特征并降维;其次,将降维后的深浅特征进行融合,并进一步提取判别性特征;最后,采用SVM分类器进行分类并在AR和Yale B数据库上对算法进行验证。实验结果证明,该算法能够比单独选用深度特征和浅层特征进行分类达到更高的识别率,且对特征维数具有更强的鲁棒性。

融合浅层学习和深度学习模型的语音情感识别

为了构建高效的语音情感识别模型,提出一种利用浅层学习和深度学习优势的决策融合方法。浅层学习为传统的语音情感识别方法,即人工统计特征提取及识别;深度学习采用PCANET网络实现特征提取过程,将携带情感信息的语谱图作为网络输入。将浅层学习特征和深度学习特征分别输入到SVM模型进行分类,并采用差异性投票机制实现决策层融合。实验结果表明,该方法的识别率在自己录制的库和柏林数据库上取得明显提高,与代表性的方法相比优势明显。

深浅层表示融合的半监督视频目标分割

为了解决半监督视频目标分割任务中,分割精度与分割速度难以兼顾以及无法对视频中与前景相似的背景目标做出有效区分的问题,提出一种基于深浅层特征融合的半监督视频目标分割算法。首先,利用预先生成的粗糙掩膜对图像特征进行处理,以获取更鲁棒的特征;然后,通过注意力模型提取深层语义信息;最后,将深层语义信息与浅层位置信息进行融合,从而得到更加精确的分割结果。在多个流行的数据集上进行了实验,实验结果表明:在分割运行速度基本不变的情况下,所提算法在DAVIS 2016数据集上的雅卡尔(J)指标相较于学习快速鲁棒目标模型的视频目标分割(FRTM)算法提高了1.8个百分点,综合评价指标为J和F得分的均值J&F相较于FRTM提高了2.3个百分点;同时,在DAVIS 2017数据集上,所提算法的J指标比FRTM提升了1.2个百分点,综合评价指标J&F比FRTM提升了1.1个百分点。以上结果充分说明所提算法能够在保持较快分割速度的情况下实现更高的分割精度,并且能够有效区别相似的前景与背景目标,具有较强的鲁棒性。可见所提算法在平衡速度与精度以及有效区分前景背景方面的优越性能。

基于改进Faster R-CNN的铁路信号灯与停留车检测方法

在铁路编组站调车作业中,因调车头机车结构特点,司机难以时刻观察地面信号,常因主观误判导致调车头误闯信号灯挤坏道岔和冲撞停留车的事故发生。文章针对铁路信号灯与停留车目标大小悬殊的多尺度目标检测问题,改进Faster R-CNN目标检测算法,采用深浅层特征融合方法和多尺度训练策略,较好地兼顾了对二者的高质量检测。此外,文章采集车载铁路视频图像,标注信号灯和停留车,构建了较大型的目标检测数据集。实验结果表明,改进的Faster R-CNN在所构建数据集中,信号灯检测精确率达到96.6%,停留车检测精确率达到98.9%,检测速度约10帧/秒,能够满足铁路编组站低速调车作业应用场景的实时性要求。

基于分层变换器融合元数据的高级别浆液性卵巢癌轻量级复发预测模型

高级别浆液性卵巢癌恶性程度高,检出时易发生周围软组织浸润、腹腔与淋巴结转移、腹膜种植和远处转移,是否复发成为该疾病手术计划与治疗手段的重要参考依据。目前的复发预测模型未考虑整个卵巢内部组织之间的潜在病理关系,通常使用较为复杂的卷积神经网络提取局部区域特征进行判断,准确率不高且成本开销大。针对此问题,本文提出了一种新的面向高级别浆液性卵巢癌复发预测的轻量级深度算法模型。该模型先使用鬼影卷积(Ghost Conv)和坐标注意力(CA)建立鬼影倒残差模块(SCblock)提取图像的局部特征信息,然后通过提出的分层融合变换器(Transformer)模块(STblock)进行全局信息的捕捉与多层次信息的融合,提升不同层之间的交互能力;Transformer模块则通过先展开特征图使其对应区域块进行计算,再折叠还原,以此降低计算成本开销。最后,将每个STblock模块进行深浅层的深度信息融合,并加入患者的临床元数据共同进行复发预测。实验结果表明,相较于主流的轻量级移动视觉Transformer网络(MobileViT),本文提出的切片视觉Transformer网络(SlicerViT)在准确率、精确率、灵敏度、F1分数上均有提高,计算量仅为其1/6,参数量降低1/2。本文研究证实了所提算法模型在高级别浆液性卵巢癌的复发预测上更加精确高效,未来可作为一种辅助诊断技术提高患者生存率,并有利于将模型应用于嵌入式设备。

全卷积网络多层特征融合的飞机快速检测

针对传统飞机检测方法准确率低、虚警率高、速度慢等问题,提出一种全卷积神经网络多层特征融合的飞机快速检测方法。将浅层和深层的特征经过采样后在同一尺度进行融合,以缓解由于深层特征图维度过低造成的对小目标表达不足的问题;修改区域提取时的选框尺寸以适应实际图像中飞机的尺寸特征;用卷积层代替全连接层以减少网络参数并适应不同大小的输入图像;复用区域提取网络和检测网络的卷积层和学习的特征参数以保证检测的高效性。仿真结果表明,与典型的飞机检测方法相比,所提方法在测试集上取得了更高的准确率和更低的虚警率,同时大大加快了检测速度。

基于轻量卷积网络多层特征融合的人脸表情识别

基于深度学习的表情识别方法存在参数量大、实时性差等问题,针对此问题,提出一种基于轻量卷积网络的多层特征融合的人脸表情识别方法。首先使用改进的倒置残差网络为基本单元搭建轻量卷积网络模型,然后采用池化、1×1卷积、全局平均池化法筛选卷积网络中的浅层特征,并对这些筛选的浅层特征与深层特征进行融合用于表情识别。在两个常用的真实表情数据集RAF-DB和AffectNet上对所提方法进行测试,识别准确率分别达85.49%和57.70%,且模型参数量仅有0.2×10^(6)。