基于序列注意力和局部相位引导的骨超声图像分割网络

在超声辅助的骨科手术导航中,需要从采集的超声图像序列中精确分割出骨结构,并展示给医生,来辅助医生进行术中决策.但是,图像噪声、成像伪影以及模糊的骨边界导致从超声图像序列中精确分割提取骨结构十分困难.为解决该问题,提出一种新的基于序列注意力与局部相位引导的骨超声图像分割网络.该网络一方面自适应地利用超声序列帧之间的关系即序列注意力来辅助骨结构的语义分割.另一方面,该网络通过引入局部相位引导模块,突出骨边缘信息,进一步提高分割精度.利用包含19050幅图像的骨超声数据集,进行交叉实验、消融实验并与最新的超声骨分割方法进行比较.实验结果表明所提方法对骨结构分割精度高,优于现有的超声骨分割方法.

时间及通道双维序列注意力音乐声源分离方法

针对音乐中乐器声源表征特异性不足的问题,结合乐器声源与曲式内容相关的结构特征,提出了双维序列注意力/时域端到端音乐源分离方法。首先,由于各乐器声源在曲式不同部分的出现具有显著规律性,因此从时间及特征通道两个维度,对特征基函数进行差异化注意力加权。其次,在损失函数中引入频率多分辨因子,同时从时域及频域衡量分离后声源和理想声源间的差异。在MUSDB18数据集上的实验结果表明,同时强调声源的时域曲式结构特征和离散谐波特征,可以进一步改善乐器声源分离效果。与目前最先进的时域端到端音乐源分离方法Demucs相比,信噪比指标提升了0.40 dB,且在鼓和低音等声源的分离上表现尤为突出,鼓声源信噪比指标提升0.13 dB,低音声源信噪比指标提升0.60 dB。充分利用声源的语义内容及声学特征等多维度先验知识,可以进一步提升声源表征的特异性,从而提升声源的可分离程度。

基于多序列MRI的3D关系注意力网络预测HLA-B27阴性中轴性脊柱关节病

目的建立一种新的3D多序列关系注意力网络,通过探索不同磁共振成像(MRI)序列图像的互补和相关信息,提升对人类白细胞抗原(HLA)-B27阴性中轴性脊柱关节病(axSpA)的诊断性能。方法回顾性收集2010年1月~2021年8月南方医科大学第三附属医院(TAH组)的375例和南海医院(NHH组)的49例HLA-B27阴性参与者(TAH组:164例axSpA,211例非axSpA;NHH组:27例axSpA,22例非axSpA)的两种参数MRI,包括T1加权图像(T1WI)和压脂序列MRI(FS-MRI),以及相关临床数据。提出一个基于多序列MRI的3D关系注意力网络MSFANet,实现对HLA-B27阴性axSpA与非axSpA的自动鉴别诊断。MSFANet由一个浅层共享特征模块和一个类感知特征学习模块组成,其中类感知特征学习模块采用3D多序列关系注意力机制对多序列MRI特征进行细化和融合。提出一种混合损失函数,通过学习不同支路的损失权重系数来提升MSFANet对序列特征的识别能力,从而增强分类性能。结果实验结果表明,MSFANet优于其它几种最先进的多序列融合算法,其中内部验证集上的AUC、准确度、敏感度和特异度分别达到了0.840,77.93%,83.70%和70.29%,独立外部验证集(NHH)上的上述性能分别达到了0.783,74.47%,82.43%和70.40%。各项差异均具有统计学意义(P<0.05)。此外,消融实验显示,相同框架下,MSFANet的性能优于基于单序列MRI的模型,证实了融合多序列MRI的有效性和必要性。深度可视化技术显示MSFANet在分类过程中集中于学习图像异常区域的信息。结论本研究成功构建基于多序列MRI的3D深度神经网络对HLA-B27阴性axSpA和非axSpA进行鉴别诊断,并验证了采用多序列关系注意力机制对提升网络分类性能的有效性。

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(sequential attention,SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明:在数据集TVSum上F 1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F 1-score平均提高7.8%,最高提高3.4%。可见本文方法能有效地学习镜头之间的时序特征。

改进YOLOv8的轻量化轴承缺陷检测算法

针对工业轴承表面缺陷检测算法精度低、模型参数量大的问题,提出一种改进YOLOv8的轻量化目标检测算法(MFA-YOLOv8)。首先,设计了一种轻量化多尺度特征卷积模块EMFC,基于此重构了主干和颈部部分C2f中的Bottleneck结构,保持轻量化的同时还有效地捕获不同尺度信息的细节特征;其次,引入焦点调制模块FM,提升模型对缺陷目标的表征能力和感受野;最后,引入注意力尺度序列融合模块ASF,进一步提升网络对轴承缺陷的检测精度,减小参数规模。实验结果表明,在GGS数据集上,MFA-YOLOv8的检测精度mAP@0.5高达91.5%,较YOLOv8检测精度提升了2.4%,参数量下降了21.9%,可满足工业现场轴承外观缺陷检测要求。

核心词修正的Seq2Seq短文摘要

为使用户能够更快从海量的互联网信息中获得自己想要的信息,需要利用自动摘要技术给这些短文本添加简短的摘要,提出采用深度学习结合核心词修正的方法自动生成中文短文本的摘要。通过对长短期记忆网络(LSTM)进行研究,构建一个基于注意力机制的序列到序列模型(Seq2Seq),采用字词联合特征作为模型的输入进行训练,利用原文的核心词対生成的摘要进行修正,得到最终的摘要结果。通过分析在LCSTS数据集上的实验结果验证了该方法的有效性。