-
题名基于神经元统计建模分析的模型不确定性度量
- 1
-
-
作者
雷雅婧
-
机构
复旦大学计算机科学技术学院
-
出处
《计算机系统应用》
2024年第7期14-25,共12页
-
基金
国家自然科学基金(62106051)
上海浦江计划(21PJ1400600)
+1 种基金
国家重点研发计划(2022YFC3601405)
上海研究与创新功能项目(17DZ2260900)。
-
文摘
神经网络的不确定性反映模型对自身预测结果的置信水平,能在决策不可靠时促使及时的人工干预,提升系统安全性.然而,现有度量方法常需要对模型或训练过程进行显著修改且实施复杂度高.为此,本文提出一种基于神经元统计建模分析的不确定性度量方法.该方法充分利用模型单次前向传播过程中的激活值,首先以改进的核密度估计技术构建神经元的激活分布,模拟神经元的正常工作范围.接着采用邻域加权密度估计方法计算异常因子,用以量化测试样本与神经元激活分布的偏离程度.最终通过统计方法综合各神经元的异常因子作为样本的异常统计量,为模型不确定性的评估提供新的视角.实验结果涵盖多个公开数据集和模型,通过可视化特征图直观展示本文方法在区分域内外样本方面的显著效果.此外,本文方法在域外检测任务中表现出卓越性能,AUROC指标在多种实验设置下均超越其他现有方法,验证提出方法的通用性和有效性.
-
关键词
不确定性分析
深度学习
激活分布
异常因子
域外检测
-
Keywords
uncertainty analysis
deep learning
activation distribution
anomaly factor
out-of-domain detection
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
TP391.41
[自动化与计算机技术—计算机应用技术]
-