-
题名知识蒸馏研究综述
被引量:38
- 1
-
-
作者
黄震华
杨顺志
林威
倪娟
孙圣力
陈运文
汤庸
-
机构
华南师范大学计算机学院
同济大学电子与信息工程学院
华南师范大学哲学与社会发展学院
北京大学软件与微电子学院
达而观智能(深圳)有限公司研发部
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2022年第3期624-653,共30页
-
基金
国家自然科学基金(61772366,U1811263,61972328)
上海市自然科学基金(17ZR1445900)
广东省科技计划项目(2019B090905005)资助
-
文摘
高性能的深度学习网络通常是计算型和参数密集型的,难以应用于资源受限的边缘设备.为了能够在低资源设备上运行深度学习模型,需要研发高效的小规模网络.知识蒸馏是获取高效小规模网络的一种新兴方法,其主要思想是将学习能力强的复杂教师模型中的“知识”迁移到简单的学生模型中.同时,它通过神经网络的互学习、自学习等优化策略和无标签、跨模态等数据资源对模型的性能增强也具有显著的效果.基于在模型压缩和模型增强上的优越特性,知识蒸馏已成为深度学习领域的一个研究热点和重点.本文从基础知识,理论方法和应用等方面对近些年知识蒸馏的研究展开全面的调查,具体包含以下内容:(1)回顾了知识蒸馏的背景知识,包括它的由来和核心思想;(2)解释知识蒸馏的作用机制;(3)归纳知识蒸馏中知识的不同形式,分为输出特征知识、中间特征知识、关系特征知识和结构特征知识;(4)详细分析和对比了知识蒸馏的各种关键方法,包括知识合并、多教师学习、教师助理、跨模态蒸馏、相互蒸馏、终身蒸馏以及自蒸馏;(5)介绍知识蒸馏与其它技术融合的相关方法,包括生成对抗网络、神经架构搜索、强化学习、图卷积、其它压缩技术、自动编码器、集成学习以及联邦学习;(6)对知识蒸馏在多个不同领域下的应用场景进行了详细的阐述;(7)讨论了知识蒸馏存在的挑战和未来的研究方向.
-
关键词
知识蒸馏
模型压缩
模型增强
知识迁移
深度学习
-
Keywords
knowledge distillation
model compression
model enhancement
knowledge transfer
deep learning
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名会话场景下基于特征增强的图神经推荐方法
被引量:8
- 2
-
-
作者
黄震华
林小龙
孙圣力
汤庸
陈运文
-
机构
华南师范大学计算机学院
北京大学软件与微电子学院
达而观智能(深圳)有限公司研发部
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2022年第4期766-780,共15页
-
基金
国家自然科学基金(62172166,61772366,U1811263)
上海市自然科学基金(17ZR1445900)资助.
-
文摘
基于图神经网络的会话推荐(简称图神经会话推荐)是近年来推荐系统领域的一个研究重点和热点,这主要是因为它们引入了会话图拓扑结构信息来提高物品和会话特征表示的准确性,因而,在一定程度上提升了会话推荐的性能.然而,现有图神经会话推荐方法仍然存在两方面的不足,从而影响其性能:1)它们所构建的会话图中物品间的相关性权重均是在模型训练之前就预先指定并保持固定不变,导致不能准确捕捉物品间的相关性;2)它们只从单个会话的物品序列中产生物品和会话的局部特征,而缺乏从整个会话数据集出发,全局考虑不同物品之间以及不同会话之间的相关性,并由此来生成物品和会话的全局特征,从而充分表示物品和会话的语义特征.为此,本文提出了一种新颖的会话场景下基于特征增强的图神经推荐方法FA-GNR(Feature Augmentation based Graph Neural Recommendation).FA-GNR方法首先基于单个会话构建物品间相关性权重可学习优化的会话图,并借鉴GRU(Gated Recurrent Unit)神经网络来产生物品局部特征,同时基于会话数据集,通过GloVe(Global Vectors)词嵌入方法产生物品全局特征,从而融合物品的局部和全局特征来生成其语义特征.然后,FA-GNR方法基于物品语义特征,利用局部注意力机制来产生会话的局部特征,同时基于物品的全局特征,并通过全局注意力机制来产生会话的全局特征,从而融合会话的局部和全局特征来生成其语义特征.最后,在物品和会话语义特征的基础上,FAGNR方法通过交叉熵损失来学习给定会话下不同物品的点击概率分布.在多个公开数据集上的实验结果表明,FA-GNR方法的推荐性能优于目前主流的方法.
-
关键词
会话推荐
图神经网络
特征增强
注意力
深度学习
-
Keywords
session recommendation
graph neural network
feature augmentation
attention
deep learning
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-