基于LIME的改进机器学习可解释性方法

随着机器学习技术不断取得突破性进展,越来越多的决策交给复杂自动化的机器学习算法去做。但这些高性能的模型就像黑盒子,缺乏决策逻辑的透明度和可解释性。LIME (Local Interpretable Model-agnostic Explanation)是由Marco Tulio Ribeiro等人提出的一种XAI (Explainable Artificial In-telligence)方法,对于复杂的黑盒模型,LIME使用可解释性模型(线性模型)对黑盒模型进行局部近似,局部解释复杂模型的决策行为。LIME中使用的线性模型(Ridge回归等)学习能力较弱,不能很好地局部逼近复杂模型。对于复杂树模型(XGB、RF等)本文提出采用可解释性良好的广义加性树模型EBM去近似它们的局部行为,而对于复杂神经网络模型,本文提出利用广义加性神经网络模型GAMINET去局部逼近其局部行为。EBM (Explainable Boosting Machine)和GAMNET (广义加性神经网络模型)均具备可解释性并且拥有更强的学习能力,能更好地逼近复杂机器学习模型。

基于LightGBM与SHAP的空腔积水深度可解释性机器学习模型

传统的机器学习模型主要围绕如何提升模型预测精度进行研究,从而忽略了预测结果的可解释性.本研究基于LightGBM (Light Gradient Boosting Machine)建立了预测掺气设施空腔积水深度的黑箱模型,与常用的机器学习模型如RF (Random Forest)、SVM (Support Vector Machine)及XGBoost (Extreme Gradient Boosting)对比结果表明LightGBM拥有较高的预测精度.进一步通过贝叶斯优化技术对LightGBM的四个超参数进行优化,较大程度上提升了模型的R^(2)(决定系数)得分.应用SHAP (Shapley Additive Explanation)事后解释方法对LightGBM的预测结果进行全局解释和局部解释.全局解释结果表明:流速、水舌冲击角、坎高及流量是影响空腔积水形成的主要因素,特征交互解释可以用来解释特征之间的复杂非线性关系,局部解释则可以显示单个样本各特征的影响大小.研究建立的基于LightGBM-SHAP的空腔积水深度可解释性机器学习模型在掺气设施体型优化及模型试验方案优化方面有很好的应用前景.

基于可解释性机器学习的ECD敏感性分析与预测技术

当量钻井液循环密度(ECD)计算过于繁琐耗时,且其敏感性规律尚未得到明确认识。为此,采用ProHydraulic软件对克深区带的1928个数据点进行分析,以确定ECD的理论值,并建立了相关的特征参数。同时,利用可解释性机器学习方法SHAP对钻井液特性、钻进参数和环空容积等关键因素进行了敏感性分析。最终,利用线性回归构建克深区带计算ECD的经验公式,涵盖了12个主要特征参数。结果表明,该模型表现优异,测试集决定系数达到0.963,平均绝对误差仅为0.04,为实际工程应用推出了简明、高效的经验公式。

预测重症缺血性脑卒中死亡风险的模型:基于内在可解释性机器学习方法

目的构建一种内在可解释性机器学习模型,即可解释提升机模型(EBM)来预测重症缺血性脑卒中患者一年死亡风险。方法使用2008~2019年MIMIC-IV2.0数据库中符合纳排标准的2369例重症缺血性脑卒中患者资料,将数据集随机分成训练集(80%)和测试集(20%),构建可解释提升机模型评估疾病预后。通过计算受试者工作特征曲线下面积(AUC)来衡量预测效果,使用校准曲线及布里尔分数(Brier score)评价模型的校准程度,并绘制决策曲线反映临床净收益。结果本研究所构建的可解释提升机具有良好的区分度、校准度和净收益率,其中模型预测重症缺血性脑卒中预后不良的AUC为0.857[95%CI(0.831,0.887)];校准曲线分析结果显示,可解释提升机模型的校准曲线最接近于理想曲线;决策曲线分析结果显示,当该模型预测概率阈值为0.10~0.80时,其预测净获益率最大。基于可解释提升机模型的前5个独立预测变量为年龄、SOFA评分、平均心率、机械通气、平均呼吸频率,其重要性得分从0.179~0.370。结论建立了一个可解释提升机模型,该模型应用于预测重症缺血性脑卒中患者一年内死亡风险具有良好的表现,通过模型可解释性能帮助临床医生更好地理解结果背后的原因。

从SHAP到概率——可解释性机器学习在糖尿病视网膜病变靶向脂质组学研究中的应用

目的基于可解释性机器学习算法构建糖尿病视网膜病病变(diabetic retinopathy,DR)的早期识别模型,并探讨SHAP(SHapley Additive exPlanations)在脂质组学数据中的应用。方法基于本项目组的DR靶向脂质组学数据,通过可解释性机器学习的方法进行特征筛选;在建立糖尿病视网膜病变的早期识别模型后,通过全局、特征和个体三个层面对模型进行解释,并将SHAP值转换成概率以增强可解释的能力。结果本研究筛选出了5种内源性脂质代谢物,构建了一个性能较为优秀的糖尿病视网膜病变的早期识别模型,并成功使用SHAP及概率解锁了模型。结论脂质代谢物质可以应用于糖尿病视网膜病变的早期识别;SHAP在进行黑盒模型的解锁时表现出色,且有较高的实践应用价值。

25CrMo4合金疲劳寿命预测局部可解释性分析

在使用机器学习的方法对25CrMo4合金进行疲劳寿命预测时,特征变量对疲劳寿命的决策行为一直是关注的重点。基于此,以89组25CrMo4合金高周循环对称疲劳试验样本作为研究对象,使用XGBoost算法预测其疲劳寿命,再使用LIME(Local Interpretable Model-agnostic Explanations)及其改进方法(ElasticNet-LIME)分析各特征变量在不同数值范围内对疲劳寿命的正负增益。结果表明,经过微喷丸强化后25CrMo4合金表面残余应力减小,表面粗糙度增大,疲劳寿命增大,ElasticNet-LIME对此判断比LIME更为合理。研究结果可为25CrMo4合金疲劳性能优化提供依据。

基于可解释机器学习的信用债违约研究

为解决传统信用风险预测模型的非均衡样本识别不足问题,利用过采样方法和机器学习算法,提升信用债违约预测模型的准确率及稳定性。引入盈利能力、现金流量、营运能力、资本结构、偿债能力5类财务指标和非财务指标,运用SMOTE、Borderline SMOTE、ADASYN方法解决样本不均衡问题,通过逻辑回归、支持向量机、随机森林、XGBoost进行风险识别。结论:对于非均衡信用债违约样本,1000次有放回bootstrap重复抽样下ADASYN-RF模型的AUC、Recall优于LR、SVM和RF模型;ADASYN-SVM模型违约样本实际Recall较不使用过采样法提升36.86个百分点。引入可解释性机器学习方法,发现带息债务/全部投入资本、地方财政收入/债务存量、资产负债率等是信用债违约的重要影响因素。

基于最小不满足核的随机森林局部解释性分析

随着机器学习在安全关键领域的应用愈加广泛,对于机器学习可解释性的要求也愈加提高.可解释性旨在帮助人们理解模型内部的运作原理以及决策依据,增加模型的可信度.然而,对于随机森林等机器学习模型的可解释性相关研究尚处于起步阶段.鉴于形式化方法严谨规范的特性以及近年来在机器学习领域的广泛应用,提出一种基于形式化和逻辑推理方法的机器学习可解释性方法,用于解释随机森林的预测结果.即将随机森林模型的决策过程编码为一阶逻辑公式,并以最小不满足核为核心,提供了关于特征重要性的局部解释以及反事实样本生成方法.多个公开数据集的实验结果显示,所提出的特征重要性度量方法具有较高的质量,所提出的反事实样本生成算法优于现有的先进算法;此外,从用户友好的角度出发,可根据基于反事实样本分析结果生成用户报告,在实际应用中,能够为用户改善自身情况提供建议.

基于可解释性机器学习的丘陵缓坡地区滑坡易发性区划研究

【目的】提出一种基于随机森林与Permutation Importance、PDP和LIME结合的可解释性模型,对滑坡易发性区划进行全局和局部解释,旨为滑坡灾害精准防治与城市规划提供理论依据。【方法】以重庆市江津区为例,选取地形地貌、地质构造、气象水文、环境条件和人类活动共5个方面的21个因子,结合江津区899个历史滑坡点,建立30 m×30 m精度的栅格空间数据库,按照滑坡与非滑坡1∶1的比例选取899个非滑坡点,利用随机森林算法构建滑坡易发性模型,将结果分为极低、低、中、高、极高等5个易发性等级,探讨了随机森林模型在三峡库区滑坡易发性区划中的普适性,最后通过Permutation Importance,PDP,LIME方法研究随机森林模型的可解释性。【结果】滑坡高-极高易发区内滑坡点数占历史总滑坡点的71.3%,面积占区域总面积的20.42%,混淆矩阵准确率为0.968,全体数据集AUC值达0.962。通过模型解释可知地形起伏度、年平均降雨量、坡度是滑坡易发性区划中最重要的因子,且地形起伏度、坡度为正影响,当年平均降雨量小于1300 mm时,对滑坡的发生也产生正影响。【结论】基于可解释性机器学习的滑坡易发性区划模型预测精度高,对滑坡的精准防治有重要的实践意义。

面向局部可解释性机器学习的数据故事生成方法研究

[目的/意义]针对实践中数据故事应包含哪些内容、创作流程是什么等问题,提出一种数据故事生成方法,以期为数据故事的创作提供理论指导。[方法/过程]在前人的研究基础上,基于数据科学、认知科学、自然语言处理和可解释性机器学习等理论,提出一种面向局部可解释性机器学习的数据故事生成方法,该方法对数据故事的生成步骤和创作方式进行详细的阐述和说明。同时对LIME算法的输出进行改进,使其更易理解。在此基础上对提出的数据故事化方法进行案例实现,以验证方法的可行性。[结果/结论]提出的数据故事生成方法有助于丰富数据故事化研究的理论体系,同时为数据故事的生成研究和数据故事化工具的研发提供一定的启示。

基于改进LeNet5卷积神经网络的微震监测波形识别与过程解释

在微震大数据时代背景下,开发高精度、可解释、适应性强的波形自动分类算法变得越来越重要。针对现有网络波形识别和分类的不足,基于LeNet框架提出了一种适用于微震监测波形识别的改进模型。应用改进后的模型对引汉济渭工程8个月内出现的13种微震监测信号进行了研究。结果表明,改进模型中最佳框架的精度为0.98,比原模型提高了0.10。所有改进模型的平均精确度、召回率和F1值分别提高了0.11、0.12和0.12。同时,改进后的模型可以对整个波形的识别过程可视化。在某些信号类别中,改进的模型主要通过关注背景信息而不是波形来分类,为微震监测工程中信号的智能分类提供了参考。

融合LightGBM和SHAP的井漏类型判断及主控因素分析

在塔里木盆地库车山前地区,盐膏层和目的层的地质条件复杂,钻井过程中面临许多挑战。这种复杂性导致井漏在钻井过程中频繁发生,带来巨大的经济损失。研究采用LightGBM算法建立了井漏判断模型,LightGBM模型判别性能较好,平均召回率为85%,精确率为91%,F1-Socre为86.7%。同时利用了基于SHAP值的可解释性机器学习技术分别针对单次井漏事件和所有井漏事件进行分析。SHAP值方法基于合作博弈理论,它将井漏事件的发生分解为不同特征的贡献值,以解释每个特征对于井漏事件的影响。研究发现,Δρ(钻井液密度与地层破裂压力当量钻井液密度的差值)、排量、井深和层位是导致井漏的主要影响因素。同时针对库车山前地区的盐膏层和目的层的地质情况,深入分析了层内地质影响和层间垂直分布影响。由此,现场工程师能够准确、快速地判断井漏类型,为防漏堵漏措施制定提供了有力支持。

机器学习在滑坡智能防灾减灾中的应用与发展趋势

滑坡灾害易发频发、点多面广、隐蔽性强、危害严重.开展“天‒空‒地‒深”观测一体化的滑坡早期识别、易发性评价及预测预报,对于保障人民生命和财产安全,推进滑坡灾害防治能力现代化具有重要意义.目前,依靠人工解译的滑坡识别耗时耗力,采用启发式模型的滑坡易发性评价不能较好地探明环境因子之间的非线性关系,基于传统监测数据的滑坡预测预报精度较低.机器学习算法凭借其强大的非线性处理能力及鲁棒性等优势,逐渐广泛应用于滑坡智能防灾减灾中.基于此,本研究系统阐述了机器学习在滑坡灾害早期识别、易发性评价及预测预报等方面的具体应用,综述了多种机器学习算法在上述3个领域中运用的优劣,最终对机器学习在滑坡灾害中未来的发展趋势进行了展望.

基于SHAP的机上吸烟行为可解释预测模型研究

为预测机上吸烟行为的发生,本文采用决策树、lightgbm、CATBoost、XGBoost、GBDT共5种算法构建机上吸烟行为预测模型,结果表明CATBoost算法在准确率、精确率、召回率、F1值、AUC值5项模型预测效果评估指标上均优于其他模型。进一步运用SHAP可解释方法提高模型的可解释性,识别出年龄、旅客密度、季节、所处位置、航空服务能力、机上非法干扰行为率这6个指标是影响机上吸烟行为的重要指标,使用具体样本验证了各指标对机上吸烟行为发生的影响程度与影响方向,为防控机上吸烟行为的发生提供参考建议。

基于SHAP解释方法的智慧居家养老服务平台用户流失预测研究

【目的】构建智慧居家养老服务平台用户流失预测模型,并使用SHAP解释方法分析不同特征的影响。【方法】基于智慧居家养老服务平台用户在2019年至2021年三年间产生的超过30万条社区居家养老服务订单数据,通过改进的RFM模型(RFM-MLP)、马斯洛需求层次理论、安德森模型并结合Boruta算法确定用户价值特征、服务选择特征、个人特征三类共11个特征。建立5种机器学习模型,从中选择效果最好的XGBoost模型预测用户流失,运用SHAP解释方法完成特征影响全局解释、特征依赖分析、单样本解释分析。【结果】模型预测结果准确率和F1值均达到87%左右,家政服务服务购买次数、留存天数、年龄等是预测养老服务平台用户流失的重要特征。【局限】仅选取一个地区的数据进行分析,数据量和算法复杂度方面还有提升空间。【结论】SHAP解释方法可以兼顾机器学习预测模型的精度和解释性,能够为智慧居家养老服务平台在运营策略和内容设计方面的优化提供依据。

AI治理中的算法解释及其实现方法研究

[目的/意义]算法解释是AI治理的技术基础。正确认识AI治理中的算法解释与通用意义上的可解释性机器学习的差异性是实现负责任人工智能(Responsible Artificial Intelligence,RAI)的关键所在。[方法/过程]从AI事故的后解释、AI公平性的局部解释、以人为中心的算法解释三个方面阐述了AI治理中算法解释的需求特征,并结合IBM、微软、谷歌和阿里巴巴公司的治理实践分析算法解释方法的应用。[结果/结论]AI治理中的算法解释方法包括:以特征重要性分析和可视解释为代表的后解释实现方法、以局部扰动法和反事实解释为代表的局部解释实现方法、多目标进化优化的解释方法。常用的算法解释评价方法有以人为中心的定性评价、基于统计指标的定量评价和基于模糊认知的模糊评价。最后,对AI治理中算法解释的主要存在问题和未来研究应重视的发展方向进行总结。