基于生成式摘要模型和知识蒸馏算法的铁路调度命令解析算法研究

随着铁路信息化的发展,利用算法自动解析大量铁路调度命令(简称:调令)的重要性日益凸显。文章提出了一种基于生成式摘要模型和知识蒸馏算法的铁路调令解析算法,该算法利用生成式摘要模型端到端解析铁路调令,拥有较高的精度和较强的鲁棒性,适应写法多样的调令。采用知识蒸馏算法等多种轻量化策略,设计了新的损失函数和多种模型初始化策略,精简模型尺寸,提升算法速度。该算法在铁路调令数据集上取得了21.6342的Rouge-2分数,推理时间达103 ms,为铁路调令解析技术在铁路场景中的部署提供了参考。

采用复合知识蒸馏算法的黑皮鸡枞菌图像分级方法

为解决黑皮鸡枞菌品质分选速度慢、精度低等问题,该研究提出了一种基于复合知识蒸馏算法的鸡枞菌分级检测方法。采用4800根黑皮鸡枞菌(共分4级,每级1200根)图像对教师模型(Resnet50)进行预训练,然后截留教师模型的前25层输出并对学生模型(Resnet18)前9层卷积模型进行参数训练,最后将经过预训练的学生模型的前9层卷积模型与其后半部分拼接,进行整体模型知识蒸馏。经过复合蒸馏的Resnet18识别精度为96.89%,识别单幅图像所用时间为0.032 s。通过对比发现,该研究提出的复合知识蒸馏算法相比Resnet50识别单幅图像所用时间缩短68.93%,相比未经过知识蒸馏及经过单次知识蒸馏的Resnet18模型,精度分别提升了0.97个百分点和0.52个百分点。结果表明,该研究提出的复合知识蒸馏算法可在不增加运行时间的前提下,使小模型的准确率逼近大型模型训练的准确率,研究结果可为鸡枞菌品质分级生产线提供技术支持。

基于知识蒸馏算法的电缆专业知识库应用

电缆全寿命周期内的标准、规程、法规是电缆从业人员开展工作的依据,而齐全、权威且方便查阅的标准和规程是指导电缆各项工作开展和城市电网安全稳定运行的重要保障。介绍了所开发的电缆专业知识库系统,基于小规模样本知识蒸馏算法,实现电缆专业知识库的关键词匹配搜索、笔记摘抄学习以及论坛的学习探讨等功能,提升了电缆从业人员查阅资料、员工学习的效率。

知识蒸馏算法训练在胎儿心脏超声图像三血管气管切面精细化分割中的应用

目的探索基于知识蒸馏算法训练构建的胎儿心脏超声图像分割网络模型在胎儿心脏超声图像三血管气管切面精细化分割中的应用价值。方法回顾性收集2016年1月至2021年12月在浙江大学医学院附属邵逸夫医院接受胎儿心脏超声检查的正常中晚孕期胎儿1300例,分析胎儿心脏超声三血管气管切面二维灰阶超声图像,将其分为训练集、验证集和测试集。应用训练集与验证集构建辅助诊断网络模型,再用测试集对不同网络模型(U-Net、DeepLabv3+)进行测试,由一名有经验的医生收集并注释三血管气管切面作为参考标准。以交并比(IoU)、像素精度(PA)和骰子系数(Dice)为3个定量评估分割精度指标,评估该知识蒸馏算法训练模型的诊断效能。并对本模型及最常用的分割模型进行识别,对结果进行比较。随机选取101张图像,分别交由低年资医生、AI及低年资医生辅助AI判读,绘制Bland-Altman图像评价其分别与参考标准的一致性,并对三者结果进行比较。结果知识蒸馏算法训练模型在所有评价指标上均取得了比U-Net、DeepLabv3+模型更好的结果,平均IoU、PA、Dice分别为68.6%、81.4%、81.3%。与U-Net及DeepLabv3+模型相比,本模型获得了更精确的分割边界,并且在定量评价指标上均有提高。经过该模型辅助,低年资医生对于诊断的精确度有所提高。结论知识蒸馏算法训练模型分割方法可在胎儿心脏超声图像的三血管气管切面识别胎儿心脏的解剖结构,其识别结果明显优于相关方法,并可提高低年资医生对于其图像识别的准确度。