基于LightGBM与SHAP的空腔积水深度可解释性机器学习模型

传统的机器学习模型主要围绕如何提升模型预测精度进行研究,从而忽略了预测结果的可解释性.本研究基于LightGBM (Light Gradient Boosting Machine)建立了预测掺气设施空腔积水深度的黑箱模型,与常用的机器学习模型如RF (Random Forest)、SVM (Support Vector Machine)及XGBoost (Extreme Gradient Boosting)对比结果表明LightGBM拥有较高的预测精度.进一步通过贝叶斯优化技术对LightGBM的四个超参数进行优化,较大程度上提升了模型的R^(2)(决定系数)得分.应用SHAP (Shapley Additive Explanation)事后解释方法对LightGBM的预测结果进行全局解释和局部解释.全局解释结果表明:流速、水舌冲击角、坎高及流量是影响空腔积水形成的主要因素,特征交互解释可以用来解释特征之间的复杂非线性关系,局部解释则可以显示单个样本各特征的影响大小.研究建立的基于LightGBM-SHAP的空腔积水深度可解释性机器学习模型在掺气设施体型优化及模型试验方案优化方面有很好的应用前景.

面向局部可解释性机器学习的数据故事生成方法研究

[目的/意义]针对实践中数据故事应包含哪些内容、创作流程是什么等问题,提出一种数据故事生成方法,以期为数据故事的创作提供理论指导。[方法/过程]在前人的研究基础上,基于数据科学、认知科学、自然语言处理和可解释性机器学习等理论,提出一种面向局部可解释性机器学习的数据故事生成方法,该方法对数据故事的生成步骤和创作方式进行详细的阐述和说明。同时对LIME算法的输出进行改进,使其更易理解。在此基础上对提出的数据故事化方法进行案例实现,以验证方法的可行性。[结果/结论]提出的数据故事生成方法有助于丰富数据故事化研究的理论体系,同时为数据故事的生成研究和数据故事化工具的研发提供一定的启示。

面向机器学习应用的可解释性需求分析框架

基于大数据机器学习的智能软件研发过程需要综合运用软件工程、数据与领域知识工程、机器学习等多方面的知识和工具,涉及的研究主题和人员角色众多,技术实现手段复杂、研发难度大.面向智能软件的需求工程需要面对领域知识、业务知识、数据科学交织带来的挑战.然而,如何将领域知识和端到端的机器学习技术恰当地融合到给定的业务流程之中,以及如何应对工业、医疗等高可信要求场景中的可解释性需求,仍是亟待探索的重要研究问题.调研了近年来面向机器学习应用的需求工程研究文献,对该领域的发展现状、核心问题和代表性方法进行综述.提出了面向机器学习应用的可解释性需求分析框架.基于该框架,通过一个工业智能应用案例分析了未来待研究的重要问题,展望了可行的研究路径.

基于可解释性机器学习的建筑物物化阶段碳排放量预测研究

现有碳排放计算方法存在数据量大、计算繁琐和仅适用于事中、事后控制等问题,不利于设计人员在设计阶段进行碳减排工作。为此,研究将机器学习引入建筑物碳排放量计算领域,帮助设计人员在早期设计阶段获得建筑物物化阶段的碳排放信息,提供碳减排参考。首先,收集并建立建筑物物化阶段碳排放数据库;其次,基于5个建筑物特征,建立4种不同类型的机器学习模型,并根据评价指标对模型性能进行评价;最后,利用沙普利加和解释(Shapley Additive exPlanations, SHAP)和部分依赖图(Partial Dependence Plot, PDP)验证最优模型应用的合理性,并深入挖掘各特征与碳排放之间的复杂关系,为建筑物碳减排提供新的信息。结果显示:各机器学习模型可以很好地预测建筑物物化阶段碳排放过程,其中建立的极度随机树(Extremely Randomized Trees, ET)模型对碳排放的预测表现最优;机器学习模型各特征对预测结果的影响与现有研究相似,表明了机器学习模型预测结果的可靠性与合理性;机器学习模型可以深入挖掘各特征与碳排放之间的复杂关系,为建筑物碳减排提供新的指导。

个人信贷违约预测机器学习模型的解释性方法研究

近年来个人信贷业务需求量激增,金融机构利用机器学习模型对客户进行信贷违约预测,预测结果的可解释性影响着金融机构的决策。首先基于机器学习模型LightGBM、XGBoost、CatBoost构建个人信贷违约预测模型,然后通过超参数优化和Voting投票融合方法提升了模型的性能,最后采用置换特征重要性、LIME、SHAP和反事实解释四种解释方法,从全局和局部层面对模型预测结果进行解释性分析,提高了模型的可信度和实用性。

基于可解释机器学习的黄河源区径流分期组合预报

黄河源区是黄河流域重要的产流区和我国重要的清洁能源基地,提高黄河源区径流预报准确率可为流域水资源科学调配和水风光清洁能源高效利用提供重要支撑。以黄河源区唐乃亥和玛曲水文站为研究对象,基于不同月份径流组分的差异,考虑积雪覆盖率及融雪水当量变化,构建了中长期径流分期组合机器学习预报模型及其可解释性分析框架。研究结果表明:1)年内的径流预报时段可划分为融雪影响期(3—6月)和非融雪主导(以降雨和地下水补给为主)期(7月—次年2月);2)与传统不分期模型相比,唐乃亥站和玛曲站分期组合预报模型的纳什效率系数分别达0.897、0.835,确定系数(R2)分别达0.897、0.839,均方根误差分别降低了10%、17%,提高了径流预报准确率,通过分位数映射校正,唐乃亥站和玛曲站预报模型的R2分别进一步提升至0.926和0.850;3)基于SHAP机器学习可解释性分析框架,辨识了预报因子对径流预报结果的贡献程度,由高到低依次为降水、前一个月流量、蒸发、气温、相对湿度、融雪水当量等,发现了不同预报因子之间交互作用散点分布具有拖尾式或阶跃式的特征。

基于可解释机器学习和文本信息的财务舞弊识别研究

近年来,全球经济一体化与金融市场发展导致上市公司财务舞弊频发。随着上市公司财务数据积累和财务比率多样性增加,大数据与机器学习方法在识别舞弊中的应用成为研究热点。然而,机器学习模型受限于其“黑盒”特性,如何在提高模型精度的同时,增加其透明度和可解释性,已成为学界和业界共同面临的挑战。本文引入一种基于XGBoost框架的可解释机器学习模型,使用加权交叉熵损失函数处理非均衡样本,通过将加权模型简化为单棵决策树,以清晰的树状结构为业界决策者提供明确的逻辑解释。同时,创新性结合上市公司年报中的MD&A文本信息,实证检验文本变量在提升财务舞弊识别性能上的有效性。研究结果表明:加入文本变量后,模型识别准确率达到89.32%,较仅考虑财务与非财务指标时提升了15.73%;利用加权交叉熵为少数类样本赋予更高权重后,召回率提高至86.51%。本文引入的可解释机器学习方法以其简单、透明及高准确性的特点,为财务舞弊识别提供了一种可解释的代价敏感解决方案,为业界决策者提供了指导。

基于可解释性机器学习的ECD敏感性分析与预测技术

当量钻井液循环密度(ECD)计算过于繁琐耗时,且其敏感性规律尚未得到明确认识。为此,采用ProHydraulic软件对克深区带的1928个数据点进行分析,以确定ECD的理论值,并建立了相关的特征参数。同时,利用可解释性机器学习方法SHAP对钻井液特性、钻进参数和环空容积等关键因素进行了敏感性分析。最终,利用线性回归构建克深区带计算ECD的经验公式,涵盖了12个主要特征参数。结果表明,该模型表现优异,测试集决定系数达到0.963,平均绝对误差仅为0.04,为实际工程应用推出了简明、高效的经验公式。

面向强化学习的可解释性研究综述

强化学习作为机器学习的一种范式,因其强大的策略试错学习能力,受到关注.随着深度学习的融入,强化学习方法在许多复杂的控制任务中取得了巨大成功.然而,深度强化学习网络作为黑盒模型,其缺乏可解释性所带来的不安全、不可控及难理解等问题限制了强化学习在诸如自动驾驶、智慧医疗等关键领域中的发展.为了解决这一问题,科研人员开展了对强化学习可解释性的研究.然而,这些研究开展相对较晚,且缺少针对多智能体强化学习可解释性方法的系统性总结,同时,可解释性的定义存在人为主观性,导致系统性面向强化学习过程的可解释性研究较为困难.本文对当前强化学习的可解释性研究工作进行了全面的整理与总结.首先,对强化学习的可解释性进行定义并总结了相关评估方法.随后,基于马尔可夫决策过程,划分了行为级解释、特征级解释、奖励级解释及策略级解释四个类别.此外,在每个类别中,分析了单智能体及多智能体的策略解释方法,并特别关注可解释性研究中的人为因素,描述了人机交互式的解释方法.最后,对当前强化学习可解释性研究面临的挑战以及未来的研究方向进行总结与展望.

XGBoost-SHAP机器学习可解释框架用于轻度认知障碍分类研究

目的利用机器学习算法对轻度认知障碍(mild cognitive impairment,MCI)亚型分类有利于患者的个性化治疗,而复杂模型常因分类过程的内部机制不可洞察而饱受诟病,本研究借助可解释技术梳理模型的输出结果,以期为相关领域研究者的决策提供统计支持。方法本研究联合极限梯度提升(eXtreme Gradient Boosting,XGBoost)与沙普利可加性(SHapley Additive exPlanations,SHAP)构建可解释性框架,用于遗忘型MCI(amnestic MCI,aMCI)和非遗忘型MCI(non-amnestic naMCI)的分类,并根据联合框架输出结果进行解读。结果联合框架输出aMCI和naMCI的最佳分界值为0.51,XGBoost分类准确率、灵敏度、特异度、F1值、AUC分别为92.81%、94.94%、90.54%、0.93、0.96。SHAP个性化预测结果,7号和31号示例个体被预测为aMCI的概率分别为0.27和0.91;全局性解释结果,不同个体随着CEREALL、ORIENT、CDRSUM、LCMF、RSUPMAR、RMEDORBF、LPOSCENM等指标的shapley值增大,患aMCI的风险越大,上述指标可以解释为aMCI发生的危险因素,而RENT、MMSEORDA、CRAFTVRS等则相反,可以解释为aMCI发生的保护因素。结论XGBoost-SHAP联合框架用于MCI亚型分类效果较为理想,实现了特定个体不同特征预测效果的比较、不同个体给定特征预测能力的判断,为相关研究者打开了洞察复杂模型内在机制的大门。

考虑易用性和可解释性的自组织映射-即时学习风险预测框架

为提高风险预测系统的易用性和可解释性,提出基于自组织映射网络(SOM)改进的即时学习(JITL)风险预测框架。首先,应用SOM对数据样本进行聚类,并对聚类特征进行解释。进而,通过基于聚类结果的样本选择算法构建待测数据的相似样本集,在线上调用作为基学习器的支持向量机(SVM)进行建模并输出风险预测结果。最后,采用一个交通事故数据集对风险模型的性能进行测试,检验其精度、易用性和可解释性。结果表明:采用SOM-JITL策略的SVM模型,受试者工作状况曲线面积指标达到0.720,相比不使用该策略的传统SVM模型提高17.5%,精度较高;SOM-JITL模型构建所需参数调节工作少,具有较好的易用性;此外,SOM聚类结果准确识别出处于交通拥堵等高风险场景,与现实场景一致,具有可解释性。综上,SOM-JITL策略能有效提高基学习器的性能,达到精度、可解释性和易用性的平衡,有助于以低成本大规模推广风险预测系统。

基于可解释性深度学习儿童川崎病临床研究进展

川崎病(Kawasaki disease,KD)是一种严重危害儿童健康的疾病,临床主要表现为发热、皮疹、黏膜充血、掌趾红斑、颈部淋巴结肿大等,多发于5岁以下的学龄前期儿童,也是儿童后天性心脏病发生的常见病因。约25%未经过治疗的患儿可出现冠状动脉损害,其中20%的患儿可进展为冠状动脉瘤[1]。

基于可解释性机器学习的阿尔茨海默症痴呆风险预测

阿尔茨海默病(AD)是当今社会面临的重要挑战之一,早期诊断对于有效治疗AD至关重要。本研究探索了机器学习算法在预测AD风险方面的应用,并使用了多种模型进行比较。结果显示选择的多种模型,由于数据集中的缺失值,预测效果并不理想。SHAP特征分析揭示了抑郁症和APOEε4等位基因在模型预测中的关键作用。未来的研究应进一步探索这些遗传和环境因素对AD发病机制的影响,并利用先进技术优化预测模型,以提高早期诊断和干预能力,为阿尔茨海默症的预防和治疗提供更精准有效的方法。

基于机器学习可解释性算法的岩爆指标分析

为探究弹性能指数、应力系数、脆性系数、埋深4种岩爆指标与岩爆等级之间的相关关系,解决复杂机器学习算法的黑盒问题。引入LIME(local interpretable model agnostic explanations)算法,完善岩爆机器学习预测过程中的可解释性。搜集了中外190组岩爆实例工程构建数据集经过预处理后,通过9种机器学习算法比较获得最优算法并采用贝叶斯优化获得算法最优参数,建立岩爆预测模型。基于LIME可解释性算法,对4种岩爆指标进行相关、回归及阈值分析,最后采用弹性能指数及应力系数两种指标阈值对终南山隧道竖井工程进行岩爆预测。研究结果表明:岩爆等级与弹性能指数、应力系数呈线性相关,且弹性能指数线性关系更明显;岩爆等级与脆性系数、埋深呈非线性相关,且脆性系数非线性关系更明显;4个岩爆指标对岩爆等级影响程度依次为:弹性能指数、应力系数、埋深、脆性系数;LIME算法可以准确地表达岩爆等级与岩爆指标之间的相关关系且得到的两种指标阈值与终南山隧道竖井工程实例具有一致性。

预测重症缺血性脑卒中死亡风险的模型:基于内在可解释性机器学习方法

目的构建一种内在可解释性机器学习模型,即可解释提升机模型(EBM)来预测重症缺血性脑卒中患者一年死亡风险。方法使用2008~2019年MIMIC-IV2.0数据库中符合纳排标准的2369例重症缺血性脑卒中患者资料,将数据集随机分成训练集(80%)和测试集(20%),构建可解释提升机模型评估疾病预后。通过计算受试者工作特征曲线下面积(AUC)来衡量预测效果,使用校准曲线及布里尔分数(Brier score)评价模型的校准程度,并绘制决策曲线反映临床净收益。结果本研究所构建的可解释提升机具有良好的区分度、校准度和净收益率,其中模型预测重症缺血性脑卒中预后不良的AUC为0.857[95%CI(0.831,0.887)];校准曲线分析结果显示,可解释提升机模型的校准曲线最接近于理想曲线;决策曲线分析结果显示,当该模型预测概率阈值为0.10~0.80时,其预测净获益率最大。基于可解释提升机模型的前5个独立预测变量为年龄、SOFA评分、平均心率、机械通气、平均呼吸频率,其重要性得分从0.179~0.370。结论建立了一个可解释提升机模型,该模型应用于预测重症缺血性脑卒中患者一年内死亡风险具有良好的表现,通过模型可解释性能帮助临床医生更好地理解结果背后的原因。

25CrMo4合金疲劳寿命预测局部可解释性分析

在使用机器学习的方法对25CrMo4合金进行疲劳寿命预测时,特征变量对疲劳寿命的决策行为一直是关注的重点。基于此,以89组25CrMo4合金高周循环对称疲劳试验样本作为研究对象,使用XGBoost算法预测其疲劳寿命,再使用LIME(Local Interpretable Model-agnostic Explanations)及其改进方法(ElasticNet-LIME)分析各特征变量在不同数值范围内对疲劳寿命的正负增益。结果表明,经过微喷丸强化后25CrMo4合金表面残余应力减小,表面粗糙度增大,疲劳寿命增大,ElasticNet-LIME对此判断比LIME更为合理。研究结果可为25CrMo4合金疲劳性能优化提供依据。

盾构隧道管片土压力的机器学习建模与可解释性

为探究软土地区盾构隧道掘进期间的相关施工因素对管片拱顶土压力的影响,本文针对该地区某盾构工程开展现场测试。通过预埋的传感器测得实际土压力值,同时收集施工期间盾构机相关操作参数。继而使用机器学习中SVR(support vector regression)支持向量回归、XGBoost极端梯度提升树等多种算法构建管片土压力的预测模型,针对预测性能最佳的模型使用SHAP(sHapley additive exPlanations)值法进行参量影响分析。结果表明,SVR支持向量回归在测试集中的预测效果为最佳,均方误差MSE(mean square error)为340.803、平均绝对误差MAE(mean absolute error)为15.819、可决系数R2为0.966 5;掘进总推力对管片土压力的影响最为显著,且与管片土压力成正相关影响关系。

面向电力系统智能分析的机器学习可解释性方法研究(一):基本概念与框架

机器学习的可解释性是其在电力系统领域安全、可靠应用的关键环节与重要基础之一。针对电力系统智能分析的机器学习模型可解释性方法进行初步探讨。首先,阐述了机器学习模型可解释性的基本概念、数学描述与相关评价维度;之后,梳理了实现机器学习可解释的整体思路与技术路线,将可解释方法分为建模前解释、训练后解释与模型自解释3大类,并对其在模型诊断、安全评估、数据纠偏、知识发现等场景的应用进行了分析;最后,对目前电力智能分析的机器学习可解释性研究面临的挑战进行了展望。

面向电力系统智能分析的机器学习可解释性方法研究(二):电网稳定分析的物理内嵌式机器学习

将知识融入机器学习模型是提升算法可解释性与计算性能的重要途径之一。针对电力系统运行的稳定分析问题,提出一种新的物理内嵌式机器学习框架与方法,将描述故障动态过程的微分-代数方程作为先验知识,引导神经网络模型训练。相比于完全依赖数据的通用机器学习方法,物理内嵌式机器学习直接模拟物理过程,通过数据背后所蕴含的物理方程来约束机器学习决策空间,并输出故障后的动态曲线,结果物理含义与可解释性更强。同时,物理内嵌模式也大幅降低了模型训练对海量数据的依赖,为小样本学习及以及模型向真实系统迁移应用过程中的参数辨识提供一种新的思路。

从SHAP到概率——可解释性机器学习在糖尿病视网膜病变靶向脂质组学研究中的应用

目的基于可解释性机器学习算法构建糖尿病视网膜病病变(diabetic retinopathy,DR)的早期识别模型,并探讨SHAP(SHapley Additive exPlanations)在脂质组学数据中的应用。方法基于本项目组的DR靶向脂质组学数据,通过可解释性机器学习的方法进行特征筛选;在建立糖尿病视网膜病变的早期识别模型后,通过全局、特征和个体三个层面对模型进行解释,并将SHAP值转换成概率以增强可解释的能力。结果本研究筛选出了5种内源性脂质代谢物,构建了一个性能较为优秀的糖尿病视网膜病变的早期识别模型,并成功使用SHAP及概率解锁了模型。结论脂质代谢物质可以应用于糖尿病视网膜病变的早期识别;SHAP在进行黑盒模型的解锁时表现出色,且有较高的实践应用价值。