基于双生成器网络的Data-Free知识蒸馏

知识蒸馏(knowledge distillation,KD)通过最大化近似输出分布使“教师网络”指导“学生网络”充分训练,成为大规模深度网络近端迁移、部署及应用的重要技术.然而,隐私保护意识增强与传输问题加剧使网络训练数据难以获取.如何在Data-Free的自由环境下,保证压缩网络准确率成为重要的研究方向.Data-Free学生网络学习(data-free learning of student networks,DAFL)模型,建立“教师”端生成器获得与预训练网络分布近似的伪数据集,通过知识蒸馏训练“学生网络”.然而,该框架中生成器构建及优化仍存在2个问题:1)过度信任“教师网络”对缺失真实标签伪样本的判别结果,同时,“教师网络”与“学生网络”优化目标不同,使“学生网络”难以获得准确、一致的优化信息;2)仅依赖于“教师网络”训练损失,导致数据特征多样性缺失,降低“学生网络”泛化性.针对这2个问题,提出双生成器网络架构DG-DAFL(double generators-DAFL),分别建立“教师”与“学生”端生成器并同时优化,实现网络任务与优化目标一致,提升“学生网络”判别性能.进一步,增加双生成器样本分布差异损失,利用“教师网络”潜在分布先验信息优化生成器,保证“学生网络”识别准确率并提升泛化性.实验结果表明,该方法在Data-Free环境中获得了更为有效且更鲁棒的知识蒸馏效果.DG-DAFL方法代码及模型已开源:https://github.com/LNNU-computer-research-526/DG-DAFL.git.

药师干预对儿科抗生素合理用药影响的研究

目的研究药师干预对儿科抗生素合理用药的影响。方法方便选择该院儿科在2016年11月—2018年5月内收诊的患儿共472例作为这次研究的对象,根据患儿入院就诊先后顺序按照1∶1比例将其分成对照组与观察组两组,对照组(n=236,先就诊)常规用药指导,观察组(n=236,后就诊)配合药师干预,对比观察两组患儿的临床抗生素用药情况。结果①与对照组相比,观察组抗生素使用率及多联用药率低些(58.89%vs 75.42%;34.32%vs 60.59%),而药敏试验送检率高些(50.42%vs 31.35%),两组数据比较,差异有统计学意义(χ~2=6.194,13.838,7.523,P=0.012,0.000,0.006)。②观察组住院时间短于对照组(14.11±3.19)d vs (17.31±5.27)d,住院费用及抗生素费用比对照组低(6 737.38±134.95)元vs (7 846.71±167.36)元;(945.81±103.84)元vs (1 457.28±119.41)元,差异有统计学意义(t=7.980,79.267,49.653,P=0.000,0.000,0.000)。③观察组满意度高于对照组98.72%vs 91.94%(χ~2=5.162,P=0.023)。结论儿科用药中,加强药师干预,可提高抗生素用药合理性,保证疗效。