基于多关系视图轴向注意力的文档级关系抽取

文档级关系抽取旨在从文档中提取多个实体之间的关系。针对现有工作在不同关系类型的条件下,对于实体间的多跳推理能力受限的问题,提出了一种基于多关系视图轴向注意力的文档级关系抽取模型。该模型将依据实体间的关系类型构建多视图的邻接矩阵,并基于该多视图的邻接矩阵进行多跳推理。基于两个文档级关系抽取基准数据集GDA和DocRED分别进行实验,结果表明,所提模型在生物数据集GDA上的F1指标达到85.7%,性能明显优于基线模型;在DocRED数据集上也能够有效捕获实体间的多跳关系。

DE-AA:基于词对距离嵌入和轴向注意力机制的实体关系联合抽取模型

实体关系联合抽取为知识图谱的构建提供了关键的技术支持,而重叠关系问题一直都是联合抽取模型研究的重点。现有的方法大多采用多步骤的建模方法,虽然在解决重叠关系问题上取得了很好的效果,但产生了曝光偏差问题。为同时解决重叠关系和曝光偏差问题,提出了一种基于词对距离嵌入和轴向注意力机制的实体关系联合抽取方法(DE-AA)。首先,构建代表词对关系的表特征,加入词对距离特征信息优化其表示;其次,应用基于行注意力和列注意力的轴向注意力模型去增强表特征,在融合全局特征的同时能够降低计算复杂度;最后,将表特征映射到各关系空间中,生成特定关系下的词对关系表,并使用表格填充法为表中各项分配标签,以三重分类的方式进行三元组的抽取。在公开数据集NYT和WebNLG上评估了所提出的模型,实验结果表明其与其他基线模型相比取得了更好的性能,且在处理重叠关系或多重关系问题上优势显著。

基于非局部和门控轴向注意力的行人重识别

为进一步改善行人重识别技术在实际应用中的表现,通过引入自注意力机制,提出一种结合非局部模块和门控轴向注意力模块的行人重识别方法。该方法将自注意力模块插入到重识别网络卷积层中,通过非局部模块同时捕捉全局和局部上下文信息,并引入门控机制的轴向注意力模块提高行人重识别的准确性。在Market1501数据集上进行消融实验,验证同时使用非局部模块和门控轴向注意力模块对模型性能的显著提升效果。实验结果验证了设计的可行性与先进性,对相关领域研究具有一定的参考意义。

融合视觉Transformer和轴向注意的结直肠息肉分割

针对结直肠息肉自动准确分割存在的挑战,提出了一种结直肠分割网络PVTA-Net。该网络由PVTv2、特征金字塔网络(FPN)、空间金字塔(ASPP)、多头自注意机制(MHSA)以及并行轴向注意模块(PAA-d)组成:通过PVTv2提取不同尺度的特征图;利用FPN不同层次特征进行融合,得到增强的特征图;利用ASPP聚合由FPN得到的特征图;通过MHSA获得包含所有输入图像的感受野;利用PAA-d生成具有全局关系的特征。采用ColonDB等5个数据集对PVTA-Net和主流息肉分割网络进行对比测试,结果表明,PVTA-Net优于现有主流基线网络。为了验证PVTA-Net的泛化性能,将其用于COVID-19肺部CT图像分割,结果表明,PVTA-Net优于主流基线网络。

基于多通道轴向注意力的钢索表面损伤视觉检测方法

工业场景中,基于视觉图像的钢索表面损伤实时检测预警存在许多挑战,如特征提取难度大、存在漏检误检、难以满足实时性要求等。为此,提出了一种基于多通道轴向注意力的钢索损伤视觉检测方法。首先,根据钢索的形态学特点提出了一种多通道轴向注意力机制,以更高效地提取和关注更加关键的钢索轴向区域特征信息;然后,通过中心化特征金字塔模块进行多尺度融合,提取不同尺度的特征信息;最后,将轻量化的MobileNetV3特征提取网络与无锚框检测头相结合,兼顾了检测速度与精度。在钢索损伤可见光图像数据集上开展的实验结果表明:该方法相较于常用目标检测的最佳算法提高了1.99%的准确率,能够更好地检测钢索表面的损伤。

深度复数轴向自注意力卷积循环网络的语音增强

单通道语音增强任务中相位估计不准确会导致增强语音的质量较差,针对这一问题,提出了一种基于深度复数轴向自注意力卷积循环网络(deep complex axial self-attention convolutional recurrent network,DCACRN)的语音增强方法,在复数域同时实现了语音幅度信息和相位信息的增强.首先使用基于复数卷积网络的编码器从输入语音信号中提取复数表示的特征,并引入卷积跳连模块用以将特征映射到高维空间进行特征融合,加强信息间的交互和梯度的流动.然后设计了基于轴向自注意力机制的编码器-解码器结构,利用轴向自注意力机制来增强模型的时序建模能力和特征提取能力.最后通过解码器实现对语音信号的重构,同时利用混合损失函数优化网络模型,提升增强语音信号的质量.实验在公开数据集Valentini和DNS Challenge上进行,结果表明所提方法相对于其他模型在客观语音质量评估(perceptual evaluation of speech quality,PESQ)和短时客观可懂度(short-time objective intelligibility,STOI)两项指标上均有提升,在非混响数据集中,PESQ比DCTCRN(deep cosine transform convolutional recurrent network)提高了12.8%,比DCCRN(deep complex convolutional recurrent network)提高了3.9%,验证了该网络模型在语音增强任务中的有效性.

引入门控轴向自注意力的多通道病理图像分割

在苏木精-伊红(HE)染色病理图像中,细胞染色分布的不均匀和各类组织形态的多样性给自动化分割带来了极大挑战。针对传统卷积无法捕获大邻域范围内像素间的关联特征,导致分割效果难以进一步提升的问题,提出引入门控轴向自注意力的多通道分割网络(MCSegNet)模型,以实现病理图像细胞核的精准分割。所提模型采用双编码器和解码器结构,在其中使用轴向自注意力编码通道捕获全局特征,并使用基于残差结构的卷积编码通道获取局部精细特征;在编码通道末端,通过特征融合增强特征表示,从而为解码器提供良好的信息基础;而解码器通过级联多个上采样模块逐步生成分割结果。此外,使用改进的混合损失函数有效解决了病理图像中普遍存在的样本不均衡问题。在MoNuSeg2020公开数据集上的实验结果表明,改进的分割方法比U-Net在F1、交并比(IoU)指标上分别提升了2.66个百分点、2.77个百分点,有效改善了病理图像的分割效果,提高了临床诊断的可靠性。

基于轴向空间注意力和中间融合表示的单图像三维重建模型

提出一种基于注意力和中间融合表示的三维重建模型,旨在重建具有精细化结构的三维模型。该方法利用轴向空间注意力机制学习不同方向的信息,将其嵌入编码器中以捕获局部结构特征;并基于双流网络推测深度图和三维平均形状以设计中间融合表示模块,该模块能够有效地融合可见表面细节信息,从而更好地描绘对象的三维空间结构。实验结果表明:所提出的轴向空间注意力机制和中间融合表示模块增强了特征提取的能力,IoU和F-score比PixVox++分别提升了1.3%和0.4%,三维重建效果更优。

基于多级轴向加性网络的轻量级单图超分辨率

信息技术发展日新月异,视觉信息的质量广受重视,图像超分辨率技术正因此经过了长久的迭代。但作为一个不适定问题,这项技术仍将是一个长久的难题。随着自注意力机制的出现及引入,传统卷积神经网络方法逐渐在性能上落后。然而,包含自注意力的方法通常计算成本高昂,或是只能为节约计算成本在性能上妥协。因此,本文提出了一种多级轴向加性网络,很好地平衡了性能与成本。具体来说,我们首先设计了一种多级轴向注意力模块,在注意力机制内实现了轴向窗口的模式。然后,我们提出了一种高效的加性注意力,使注意力计算免于矩阵乘法运算。同时,我们还构建了一个轻量级的超分辨率网络MLAAN。最后,我们在五个基准数据集上评估了所提出的MLAAN的效果。在与SOTA方法的对比中,MLAAN在参数量较少的前提下体现了优越的超分辨率性能。

SOSNet:一种非对称编码器-解码器结构的非小细胞肺癌CT图像分割模型

非小细胞肺癌严重损害人类健康,早期非小细胞肺癌CT(Computed Tomography)图像中的肿瘤结节体积小,不易发现,极易造成漏诊和误诊.为了精确分割非小细胞肺癌CT图像中的小体积肿瘤结节,本文提出SOSNet(Small Object Segmentation Networks)自动分割模型,利用ResNet(Residual Network)基础层和空洞卷积构造非对称编码器-解码器结构作为分割主网络,利用轴向取反注意力模块ARA(Axial Reverse Attention)逐步擦除背景中对分割有影响的结构,再使用结构细化模块SR(Structure Refinement)对主网络输出的粗略特征图进行结构细化,从而实现非小细胞肺癌肿瘤结节分割.在非小细胞肺癌公开数据集的实验测试表明,本文提出的小目标自动分割模型SOSNet可以有效分割出非小细胞肺癌CT图像中的小体积肿瘤结节,其mDice(mean-Dice)、mIoU(mean Intersection over Union)、Sensitivity、F1、Specificity、平均绝对误差MAE(Mean Absolute Error)均优于当前最先进的小目标分割模型CaraNet(Context Axial Reverse Attention Network).

基于轴-Transformer的医学图像分割模型Axial-TransUNet

针对TransUNet中Transformer自注意力机制计算复杂度高、捕获位置信息能力不足的问题,提出一种基于轴向注意力机制的医学图像分割网络Axial-TransUNet。该网络在保留TransUNet网络编码器、解码器以及跳跃连接的基础上,使用基于轴向注意力机制的残差轴向注意力块代替TransUNet的Transformer层。实验结果表明,在多个医学数据集上,相较于TransUNet等其他医学图像分割网络,Axial-TransUNet的Dice系数、交并比IoU有更好的表现。与TransUNet相比,Axial-TransUNet网络的参数量与浮点运算数(FLOPs)分别降低14.9%和30.5%。可见,Axial-TransUNet有效降低了模型复杂度,并增强了模型捕获位置信息的能力。

基于混合偏移轴向自注意力机制的脑胶质瘤分割算法

为提高脑胶质瘤核磁共振成像(magnetic resonance imaging,MRI)图像分割精度及质量,设计一种混合偏移轴向自注意力机制的脑胶质瘤分割多层级轴向注意力网络(multi-level axial-attention net,MLA-Net)算法。MLA-Net算法框架中设计的混合偏移轴向自注意力机制和混和损失函数,分别用于提取更精确的全局相对位置关系、提升网络对细节结构特征的敏感程度和实现精确地分割胶质瘤模糊边界。试验结果表明,在BraTS 2018和2019的混合数据上,MLA-Net算法的dice系数可达到0.8433,Hausdorff距离为2.587。MLA-Net算法的MRI图像脑胶质分割性能优良,可以融合全局相对位置特征和局部细节特征,更好地分割出脑胶质瘤感兴趣区域。

基于细粒度特征提取的轻量骨龄评估级联方法

针对现有骨龄自动评估模型细节特征提取能力较弱且没有兼顾手骨发育特点的问题,提出了一种基于轻量级网络的两阶段骨龄评估级联模型。首先,定位提取手掌区域进行背景去噪。其次,提出了一种新型的轴向空间注意力与多尺度并行空洞卷积相结合,融入模型中,从而提升模型细节特征提取能力。同时,将每个骨龄标签转化为两点分布向量,充分利用个体手骨发育的信息。实验结果表明,模型预测结果的平均绝对误差为4.80且评估误差在±0.5、±1、±2岁以内的准确率分别为69.26%、95.60%、99.80%。本研究提出的模型不仅能快速准确的评估骨龄,且充分考虑了手骨发育过程中所包含的信息,同时,基于轻量化的架构为其后续推广应用提供了基础,具有良好的临床应用前景。

基于超声影像的甲状腺结节智能分割算法

基于超声影像对甲状腺结节进行精准分割,可以得到病变区域的生理参数信息,从而对甲状腺结节的早期筛查和诊断定性.为实现甲状腺结节的精准分割,提出了一种基于Transformer编码的多层次特征融合网络.针对不同患者的甲状腺结节大小和其在甲状腺超声图像中所处的位置均存在较大差异的特点,该模型以Transformer结构作为特征提取器,使各层次特征的计算都在更大、更灵活的感受野上进行;以CNN作为特征解码器,对编码器所获得的特征进行重构,并降低算法复杂度.编码器与解码器之间采用长距离跳跃连接的方式相连.利用局部-全局策略学习甲状腺超声图像中浅层的全局特征和深层的局部特征.此外,通过将模型中的多头注意力机制改进为残差轴向注意力机制,学习到了甲状腺结节中更多的方向纹理特征.实验数据来源于天津医科大学总医院超声影像科,通过对3828例样本采用旋转变换、翻转变换和随机裁剪3种数据增强方法,得到15312例甲状腺超声图像.经过多轮迭代训练,得到测试集样本上的Dice系数为92.2%,交并比为85.5%.相同数据集上的对比实验表明:相对于全卷积神经网络,该算法在Dice系数上提升了5%~8%,在交并比上提升了7%~13%,模型参数量平均降低了5.67×10^(6),精准地实现了甲状腺结节的全自动分割,降低了模型复杂度,具有一定的临床价值.

联合Self-attention与Axial-attention的机场跑道裂缝分割

机场跑道裂缝形态多样、方向各异、长短不一且粗细不均,通常不具有统计规律。现有的各类裂缝分割算法难以在此类复杂场景中落地。针对上述问题,提出了联合self-attention与axial-attention的机场跑道裂缝分割网络(CSA-net),通过引入自注意力模块、轴向注意力模块、可变形卷积模块,提取裂缝的局部特征和全局语义特征。通过transformer decoder还原特征图的原始尺寸,融合了不同尺度间的分割结果,保留尽可能多的细节信息,使得CSA-net有更好的分割精度。在机场跑道实拍的数据集上进行的测试表明,针对裂缝的像素级分割指标F1-score达到了78.91%,高于目前各类裂缝分割算法。

基于CCT的新冠肺炎胸部CT检测识别

根据国家卫生健康委员会公布的诊疗方案第五版,计算机断层扫描(CT)影像临床诊断结果可作为新冠肺炎(COVID-19)病例诊断的标准。CT图像能够清晰、立体地显示新冠肺炎患者肺部病变特征,针对新冠肺炎的诊断,可以使用胸部CT图像构建新冠肺炎检测模型,为医生提供更精确的诊断。本文提出了基于紧凑型卷积Transformer(CCT)的检测识别模型,首先使用U-Net分割网络提取肺区后,使用CCT对肺区进行识别。将Transformer编码器的注意力机制更改为了轴向注意力机制,并添加位置偏移项,在训练中获取更精确的上下文信息。在CC-CCII数据集中挑选出了1034张新冠肺炎CT图像,1003张社区肺炎CT图像和931张正常CT图像组成测试集,性能达到了98.5%的准确率,98.6%的灵敏度,并且在其他小型数据集上性能表现良好。证明了提出的方法使用胸部CT图像检测新冠肺炎有正向辅助作用。

一种新型编解码结构的结肠息肉分割算法研究

应用人工智能进行结肠息肉检测对医疗辅助系统十分重要,然而目前的分割模型存在准确率低、对部分样本细节难以识别的问题。因此,提出一种基于编解码结构的息肉分割模型。该模型采用跳跃轴向注意力解决梯度问题,利用适应联系训练弥补池化中信息丢失问题,使用双通道门控将低分辨率预测图细化为高分辨率显著图。在数据集CVC-ClinicDB与Kvasir-SEG上对该模型进行验证,从mIoU(平均交并比系数)、Dice(Dice相似系数)、Precision(准确率)和Accuracy(正确率)四个指标上与同类深度学习分割算法进行对比,结果为该模型在CVCClinicDB上,mIoU为0.903,Dice为0.947,Precision为0.933,Accuracy为0.933,在Kvasir-SEG上,mIoU为0.763,Dice为0.868,Precision为0.857,Accuracy为0.867,均优于同类深度学习分割算法,验证了该模型对样本细节部分具有更好的分割效果。

基于Transformer的多模态气象预测

随着气象观测技术的快速发展,气象行业积累了海量的气象大数据,为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系,以及多模态气象要素间存在的复杂跨模态耦合关系,基于深度学习的气象预测是一个具有挑战性的研究课题。针对“温度、相对湿度、纬向风速、经向风速”四种经典气象要素组成的等气压层时序多模态数据,提出了一种基于多模态融合的气象预测深度学习模型。首先采用卷积网络来学习各个模态的特征,并在此基础上引入门控机制实现多模态加权融合;然后引入注意力机制,以并行时空轴向注意力代替传统的注意力机制,从而有效地学习长时依赖关系和大范围空间关联关系。整体结构上,采用了基于Transformer的编码器-解码器结构。在ERA5再分析数据集(子区域)上进行了对比实验,实验结果表明了所提方法在温度、相对湿度、风速等预测任务上的有效性和优越性。

基于轻量级CNN-Transformer混合网络的梯田图像语义分割

梯田是一种传统的农业种植方式,具有稳定作物生产与水土保持的作用。快速、准确地对梯田区域分布信息进行采集,对提高粮食产量、治理水土流失以及规划区域生态等具有重要的作用与意义。无人机图像梯田道路边界模糊、具有较长的带状结构,为了更准确地获取梯田的边缘信息,受MobileVit启发,该研究在MobileViT block中引入了轴向注意力机制(axial attention),并采用编码器-解码器结构,提出了基于轻量级CNN-Transformer混合构架网络模型。模型编码器部分由改进的MobileViT block、融入了条形池化的逆残差模块和空洞空间金字塔池化模块构成,再通过有效设计摆放各模块的位置顺序来实现局部与全局的视觉表征信息交互,得到完整的全局特征表达;利用解码器对编码器提取到的多尺度特征图进行采样和卷积操作得到语义分割结果图。选取PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileViT在相同测试集上进行对比试验,结果表明,该研究所提模型在精度与速度方面均具有一定的优势,其像素精度可达95.79%,频权交并比可达94.86%,模型参数量为8.32 M,实现了使用较少的参数和简单的方法对复杂无规则的无人机图像梯田区域较为准确的分割,将其部署到无人机上可以进一步获取梯田的形状、位置、轮廓等信息,可为预防和修护加固梯田提供重要的依据,同时有助于梯田区域种植面积和范围的统计,为梯田和旱作区农业建设的发展提供参考。

基于SPD多尺度输入的ST-MASA的肺炎智能检测模型

肺部X光片的临床诊断结果可以作为新冠肺炎及其他肺炎诊断的重要依据,而X光片所显示的肺炎病变的相似性及阅片量巨大,医生传统的阅片识别存在误诊、漏诊和时间消耗等问题。因此,提出了一种融合空间金字塔分解(Spatial pyramid decomposition, SPD)模块进行多尺度输入的ST-MASA(Swin Transformer with Multi-Head Axial-Self-Attention)的肺炎智能检测模型,用于COVID-19和多类型肺炎的自动分类。该模型能够自动关注肺炎病灶的判别信息和多尺度特征,进而更好地进行COVID-19、肺不透明(Lung_Opacity)、非COVID的病毒性肺炎(Viral_Pneumonia)和正常(Normal)的X光片进行分类,以便更好地帮助放射科医生进行医疗诊断工作。实验结果表明,所提出的模型在准确率、召回率、F1-Measure等指标上均优于经典的网络模型ResNet 50、ResNet 101、Inception net-V3和Swin Transformer。