一种阶段重置的知识蒸馏方法研究与仿真

知识蒸馏是一种将知识从教师网络传递到学生网络的模型压缩方法。目前的知识蒸馏方法存在教师网络和学生网络之间的语义信息不一致的问题,具体而言,师生模型之间的前向推理距离不一致导致语义信息不一致,最终损耗蒸馏性能。为了解决这个问题,本文探索一种新的阶段重置知识蒸馏方法。该方法设计了以阶段为单位的知识蒸馏,师生网络相同阶段共享输出,降低了由学生与教师推理路径长度差异过大造成的特征语义不匹配的影响,从而提升学生网络的性能。最后,本文用提出的方法在公共数据集上进行仿真实验,并与最新的方法进行比较,实验结果表明本文提出的方法更具优势。

基于注意力机制与卷积神经网络的不均衡多标签心电图分类方法研究

心血管疾病是全球主要死因之一,及早发现心脏病的风险因素对于预防猝死至关重要,基于心电图的心律失常自动检测是心脏病筛查的重要手段,对降低心脏病死亡率至关重要。临床上同一患者可能同时出现多个心电异常类型,因此,解决心电图数据中多标签问题且考虑标签关系显得尤为重要。本文提出了一个多标签心电图分类模型,包括卷积神经网络、Transformer和注意力机制等模块,其中卷积神经网络用于提取局部特征,Transformer用于提取全局特征,采用非对称损失函数平衡正负标签。对两个心电数据集进行实验,实验结果表明,本文提出的模型相较于现有心电图分类方法,表现更优异。