期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于权值筛选策略的增量学习方法 被引量:1
1
作者 莫建文 朱彦桥 +1 位作者 欧阳宁 林乐平 《计算机工程与设计》 北大核心 2022年第8期2221-2227,共7页
为提高现有增量学习模型在容量固定环境下学习的持久性,提出一种基于权值选择策略的增量学习方法。根据贝叶斯神经网络携带的不确定性动态地调整权值的学习率,以此优化一个能同时记忆新旧知识的模型;为使模型的学习与记忆更有弹性,在此... 为提高现有增量学习模型在容量固定环境下学习的持久性,提出一种基于权值选择策略的增量学习方法。根据贝叶斯神经网络携带的不确定性动态地调整权值的学习率,以此优化一个能同时记忆新旧知识的模型;为使模型的学习与记忆更有弹性,在此基础上提出一种权值选择策略,该策略可以令模型主动选择性地释放部分网络资源,在不严重损害旧任务性能的前提下促进后续任务的学习。实验结果表明,在模型容量固定的环境下,权值选择策略的引入可以更有效地发掘模型的持续学习能力。 展开更多
关键词 灾难性遗忘 贝叶斯增量学习 不确定性 学习率 权值选择策略
下载PDF
基于神经元正则和资源释放的增量学习
2
作者 莫建文 朱彦桥 +2 位作者 袁华 林乐平 黄晟洋 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2022年第6期71-79,90,共10页
针对深度学习系统在增量式场景下进行图像分类时产生的灾难性遗忘问题,提出了一种基于神经元正则和资源释放的增量学习算法。该算法首先以贝叶斯神经网络为基础框架,以神经元为单位对输入权值进行分组,并按组将权值的标准差限制为相同的... 针对深度学习系统在增量式场景下进行图像分类时产生的灾难性遗忘问题,提出了一种基于神经元正则和资源释放的增量学习算法。该算法首先以贝叶斯神经网络为基础框架,以神经元为单位对输入权值进行分组,并按组将权值的标准差限制为相同的值;然后在训练过程中根据统一后的标准差对每组权值的调整执行相应强度的正则;最后通过在损失函数中引入决定释放比例和释放强度的因子,引导模型有选择地稀释部分权值的正则强度来保持模型的学习能力。在几个公开数据集上的实验结果表明,文中提出的方法可以更有效地发掘模型的持续学习能力,即使在容量有限的环境下,也能学习到一个性能更好的模型。 展开更多
关键词 深度学习 灾难性遗忘 增量学习 神经元正则 资源释放机制 容量有限环境
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部