基于可解释性分析的深度神经网络优化方法

近年来,深度神经网络(deep neural network,DNN)在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其内部预测机制,也很难对其进行调试.现有的DNN调试工作主要通过修改DNN的参数和扩增数据集提升DNN性能,以达到优化的目的.然而直接调整参数难以控制修改的幅度,甚至使模型失去对训练数据的拟合能力;而无指导地扩增训练数据则会大幅增加训练成本.针对此问题,提出了一种基于可解释性分析的DNN优化方法(optimizing DNN based on interpretability analysis,OptDIA).对DNN的训练过程及决策行为进行解释分析,根据解释分析结果,将原始数据中对DNN决策行为产生不同程度影响的部分以不同概率进行数据变换以生成新训练数据,并重训练DNN,以提升模型性能达到优化DNN的目的.在使用3个数据集训练的9个DNN模型上的实验结果表明,OptDIA可以将DNN的准确率提升0.39~2.15个百分点,F1-score提升0.11~2.03个百分点.

基于机器学习算法的企业财务舞弊预测及可解释性分析

财务舞弊不仅打击了投资者信心,也对资本市场产生了极大影响。为预测企业的财务舞弊行为,文章选取2016—2020年未发生舞弊行为与首次发生舞弊行为的企业作为研究对象,依据Python机器学习算法建立决策树、支持向量机、神经网络及逻辑回归模型,基于舞弊三因素理论选取44个指标预测企业财务舞弊行为,并通过SHAP可解释性工具重点关注单个指标变化对财务舞弊预测的重要性程度,同时分析财务指标以及非财务指标对预测财务舞弊的相互作用、预测错误的样本查看的影响。研究结果表明,支持向量机对于预测舞弊效果最优,逻辑回归在模型的精确度表现最佳。

基于深度特征融合的鸟鸣识别方法及其可解释性分析

鸟鸣识别是生态监测的重要手段,为进一步提升鸟鸣识别的准确性和鲁棒性,本文提出了1种新的基于深度特征融合的鸟鸣识别方法。该方法首先利用深度特征提取网络对鸟鸣的对数梅尔谱图和补充特征集的深度特征进行提取,再将两种深度特征进行融合,最后使用轻量级梯度提升机(light gradient boosting machine,light GBM)分类器进行分类。本文充分利用深度神经网络的特征提取能力以及light GBM的分类性能,将特征提取和特征分类过程进行分离,从而实现了高准确率的鸟鸣识别。实验结果显示,本文提出的方法在北京百鸟数据集中取得了目前已知的最佳结果,模型的平均准确率达到了98.70%,平均F1分数达到了98.84%。相比传统方法,深度融合特征在鸟鸣识别任务上准确率提升了5.62%以上。同时,引入的light GBM分类器使分类准确率提升了3.02%。此外,在CLO-43SD和Bird CLEF2022比赛的数据集中,本文方法也展现出卓越的性能,分别取得了98.32%和91.12%的平均准确率。本文还引入了类激活图对不同类型鸟鸣的识别结果进行可解释性分析,揭示了神经网络对不同类型鸟鸣的注意力区域差异,为后续的特征选择和模型优化提供了理论依据。研究结果表明,本文方法有效提高了鸟鸣识别的准确率,在3个数据集的测试中均展现出较好的性能,能够为基于鸟鸣识别的生态监测提供有力的技术支撑。

供应链合作伙伴信息在供应链金融信用风险预测中的作用——基于多机器学习模型的比较分析

供应链金融是中小企业缓解融资困难的有效途径。为缓解供应链金融信用风险预测面临的信息不对称和样本选择偏差等问题,文中将供应链合作伙伴信息引入风险指标体系,基于2010-2021年A股上市企业披露数据,通过随机森林、XGBoost、逻辑回归和MLP四种机器学习模型进行比较分析。结果显示,合作伙伴信息的使用提高了供应链金融信用风险预测的准确性与稳定性。最后通过Lime可解释性分析,发现合作伙伴的速动比率、销售利润率、资产负债率等6个指标是供应链合作伙伴信息中影响信用风险预测的主要因素。

基于对比约束的可解释小样本学习

不同于基于大规模监督的深度学习方法,小样本学习旨在从极少的几个样本中学习这类样本的特性,其更符合人脑的视觉认知机制.近年来,小样本学习受到很多学者关注,他们联合元学习训练模式与度量学习理论,挖掘查询集(无标记样本)和支持集(少量标记样本)在特征空间的语义相似距离,取得不错的小样本分类性能.然而,这些方法的可解释性偏弱,不能为用户提供一种便于直观理解的小样本推理过程.为此,提出一种基于区域注意力机制的小样本分类网络INT-FSL,旨在揭示小样本分类中的2个关键问题:1)图像哪些关键位置的视觉特征在决策中发挥了重要作用;2)这些关键位置的视觉特征能体现哪些类别的特性.除此之外,尝试在每个小样本元任务中设计全局和局部2种对比学习机制,利用数据内部信息来缓解小样本场景中的监督信息匮乏问题.在3个真实图像数据集上进行了详细的实验分析,结果表明:所提方法INT-FSL不仅能有效提升当前小样本学习方法的分类性能,还具备良好的过程可解释性.

基于改进单阶段目标检测算法的换流站电气设备目标检测

针对换流站多种电气设备检测时背景复杂干扰性强而又需要快速准确检测出故障的实际情况,提出基于改进YOLOv5(You Only Look Once)的检测方法。首先,为提高算法的准确性和收敛速度,通过K-means聚类算法对YOLOv5模型中的锚框预设进行改进,在数据集预处理阶段得到更适用于换流站电气设备的锚框,使其更加契合换流站电力设备数据集;然后,为提高算法检测过程的识别速度,在特征提取网络添加注意力机制模块,筛选出重要的特征信息。将改进后的算法网络识别效果与YOLOv5中的原始算法网络检测结果进行对比分析。结果表明,检测平均识别精度均值由71.16%提高至92.51%,检测速度由21帧/s提升至31帧/s;同时与R-CNN(Regions with convolutional neural networks)等算法相比,检测精度与速度都有较大提升。添加可解释性分析,将识别结果通过热力图的形式显示,可以更好地应对算法的潜在风险。

基于可解释性机器学习的建筑物物化阶段碳排放量预测研究

现有碳排放计算方法存在数据量大、计算繁琐和仅适用于事中、事后控制等问题,不利于设计人员在设计阶段进行碳减排工作。为此,研究将机器学习引入建筑物碳排放量计算领域,帮助设计人员在早期设计阶段获得建筑物物化阶段的碳排放信息,提供碳减排参考。首先,收集并建立建筑物物化阶段碳排放数据库;其次,基于5个建筑物特征,建立4种不同类型的机器学习模型,并根据评价指标对模型性能进行评价;最后,利用沙普利加和解释(Shapley Additive exPlanations, SHAP)和部分依赖图(Partial Dependence Plot, PDP)验证最优模型应用的合理性,并深入挖掘各特征与碳排放之间的复杂关系,为建筑物碳减排提供新的信息。结果显示:各机器学习模型可以很好地预测建筑物物化阶段碳排放过程,其中建立的极度随机树(Extremely Randomized Trees, ET)模型对碳排放的预测表现最优;机器学习模型各特征对预测结果的影响与现有研究相似,表明了机器学习模型预测结果的可靠性与合理性;机器学习模型可以深入挖掘各特征与碳排放之间的复杂关系,为建筑物碳减排提供新的指导。

基于机器学习的心脏病预测模型研究

心脏病作为当今社会对人类生活健康威胁最严重的血管疾病之一,不仅严重威胁人类的生命安全,而且高昂的治疗费用还会给家庭和社会带来严重的经济负担.针对目前心脏病预测研究中存在准确性不足及缺乏特征可解释性的问题,通过挖掘影响心脏病的重要特征,实现对心脏病准确预测和影响因素可解释性分析.首先,利用T检验来分析特征之间的显著差异性(P-value),通过P-value值降序排列选出特征进行组合.然后,利用十种机器学习模型和SHAP方法实现对心脏病的预测及其特征可解释性分析.在UCI心脏病数据集上进行验证实验,在7个医学领域广泛使用的评价指标上都到达了1,优于对比论文实验结果.最后,利用SHAP方法对13个特征进行可解释性分析,通过特征重要性排序可视化结果,挖掘单个特征与心脏病之间的关联,能为医生对心脏病的精准医疗提供决策支持.

广义线性模型在车险索赔频率预测中的应用及模型改进

为研究广义线性模型在我国车险定价中的应用,基于我国某公司2016年5个省份交强险保单数据,以样本内外损失函数的最小化为标准,对相关模型进行比较以选择相对较优的模型,并对模型进行可解释性分析。研究结果表明:泊松广义线性模型具有较好的拟合效果,并且运用分层重要性方法、局部累积图进行变量重要性测度,根据变量重要性测度结果对广义线性模型加入了交互项,实现了对模型效果的改进,最后根据研究结论提出相关的对策建议。

利用电子健康记录分析心脏瓣膜疾病合并心房颤动的机器学习模型

目的建立基于机器学习的框架,从瓣膜性心脏病患者中快速筛选出可能发展为心房颤动(房颤)的高危患者,并将风险预测的相关信息提供给临床医生作为临床指导,以便及时做出治疗决策。方法回顾性收集四川大学华西医院及其分院的1740例瓣膜性心脏病患者的临床资料,其中男831例(47.76%)、女909例(52.24%),平均年龄54岁。基于以上数据,建立经典的logistic回归、3种标准机器学习模型和3种集成机器学习模型,用于房颤的风险预测和特征分析。将机器学习模型的性能与经典logistic回归进行比较,选择了两种最佳模型,应用SHAP(Sharpley Addictive Explanation)算法,提供群体和单体层面上的可解释性。此外,我们还提供了特征分析结果的可视化。结果Stack模型在所有模型中表现最好(房颤检出率85.6%,F1分数0.753),而XGBoost在标准机器学习模型中表现优异(房颤检出率71.9%,F1分数0.732),且两种模型的表现都明显优于logistic回归模型(房颤检出率65.2%,F1分数0.689)。SHAP算法显示,左心房内径、二尖瓣E峰流速、右心房内径、每搏输出量和心功能分级是影响房颤预测的最重要特征。Stack模型和XGBoost都具有出色的预测能力和可解释性。结论Stack模型具有最高的房颤检测性能和综合表现,加载SHAP算法的Stack模型可用于筛选房颤高风险患者,并揭示相应的风险特征。我们的框架可用于指导房颤的临床干预和监测。

拟VGG16网络的航空传感器故障检测分类

参考计算机视觉等领域的研究与应用进展,提出了拟图智能化故障诊断概念;拟照VGG16图像分类网络,提出了一种航空传感器故障检测与分类方法。首先,基于仿真、实飞等手段建立了航空传感器故障飞行数据库;该数据库包含4型大型客机、通航飞机在5种飞行状态的飞行数据,并可有效模拟气动数据、惯性测量单元等传感器的故障。其次,提出将航空器气动数据、惯性测量单元等传感器的测量数据堆叠成灰度图像数据格式;该图像保留了传感器测量数据的时间、空间耦合特征,将传感器故障检测与分类转换成为图像上的异常区域检测与分类问题。再次,提出了一种数据增强方法,将堆叠形成的传感器测量数据图像的维度增强为VGG16图像分类网络输入维度,并基于预训练的VGG16图像分类网络,采用微调优化网络模型,最终得到了拟图智能化航空传感器故障检测与分类深度神经网络。在多个航空器数据集上的实验结果表明,网络的平均测试准确度可以达到97.6%。最后,参考计算机视觉领域的深度神经网络可解释性分析方法,基于类激活映射图(CAM)对本文发展的传感器故障检测与分类网络进行了分析,初步阐明了网络内部各层卷积核节点特征提取运算的机理,提升了该网络故障检测与分类性能的可信度。