基于Shapley additive explanations(SHAP)分析乳腺X线检查假阴性乳腺癌的特征

目的:基于Shapley additive explanations(SHAP)分析乳腺X线摄影(MG)检查假阴性乳腺癌的特征。方法:回顾性收集我院2018年1月—2022年5月首诊乳腺癌患者,评估临床病理和影像学表现。通过logistic回归分析确定MG假阴性乳腺癌的独立危险因素。应用SHAP分析各独立危险因素的贡献价值。结果:1505个病灶纳入研究,MG假阴性乳腺癌373个。较小的病灶、致密或不均匀致密的MG密度、无可疑钙化、非肿块样强化(NME)、原位癌和腋窝淋巴结阴性与MG假阴性乳腺癌独立相关,上述参数构建的联合模型具有良好的预测效能(AUC=0.871)。根据SHAP分析,病灶大小、MG密度和病灶MRI强化类型是导致MG假阴性的主要因素;钙化状态、病理类型和腋窝淋巴结状态是重要补充。结论:MG假阴性乳腺癌具有一定的特征,此类患者需补充乳腺MRI检查以提高癌灶的检出率。

基于LightGBM与SHAP的空腔积水深度可解释性机器学习模型

传统的机器学习模型主要围绕如何提升模型预测精度进行研究,从而忽略了预测结果的可解释性.本研究基于LightGBM (Light Gradient Boosting Machine)建立了预测掺气设施空腔积水深度的黑箱模型,与常用的机器学习模型如RF (Random Forest)、SVM (Support Vector Machine)及XGBoost (Extreme Gradient Boosting)对比结果表明LightGBM拥有较高的预测精度.进一步通过贝叶斯优化技术对LightGBM的四个超参数进行优化,较大程度上提升了模型的R^(2)(决定系数)得分.应用SHAP (Shapley Additive Explanation)事后解释方法对LightGBM的预测结果进行全局解释和局部解释.全局解释结果表明:流速、水舌冲击角、坎高及流量是影响空腔积水形成的主要因素,特征交互解释可以用来解释特征之间的复杂非线性关系,局部解释则可以显示单个样本各特征的影响大小.研究建立的基于LightGBM-SHAP的空腔积水深度可解释性机器学习模型在掺气设施体型优化及模型试验方案优化方面有很好的应用前景.

Shapley值及其应用

Shapley值是合作博弈理论中最重要的概念之一,其在经济学、社会管理等领域具有十分广泛的应用.本文回顾了合作博弈的Shapley值的理论研究,并从Shapley-Shubik权力指数、拼车费用分摊、图博弈的Page-Shapley值以及SHAP方法与机器学习等4个方面介绍了Shapley值的应用进展.

基于不同因子筛选方法的LightGBM-SHAP滑坡易发性研究

以重庆市黔江区为例,选取23个评价因子构建滑坡致灾因子数据库,利用地理探测器与皮尔逊-主成分分析2种因子筛选方法选择因子最优组合;基于Bayesian-LightGBM-SHAP混合模型进行滑坡易发性评价,并对模型精度进行验证,分析影响黔江区滑坡发生的主导因子.初始模型的AUC值为0.801,Pearson Correlation Coefficient-BayesianLightGBM模型AUC值为0.824,GeoDetector-Bayesian-LightGBM模型AUC为0.835;由因子重要性可知,多年平均降雨量、高程、POI核密度与距河流距离是滑坡发生的最主要因子,而输沙指数、水流动力指数与坡位对滑坡的发生影响较弱.因子筛选法-Bayesian-LightGBM相结合的混合模型能够提高模型的准确性,为构建合理因子数据库提供参考框架;通过与因子重要性的结合分析,验证了地理探测器能够准确探测各因子对滑坡发生的贡献值,突出各滑坡地理因子组合之间的相关性,从而探究各因子与滑坡之间的关系.

基于XGBOOST-SHAP的地铁建成环境与站点出行距离的非线性关系研究

相较于传统地铁客流量特征分析,地铁站点平均出行距离的研究可以更加精细化了解地铁网络客流流动性特征。为探究多重建成环境与站点平均出行距离之间的复杂关系,以西安市地铁系统为研究对象,从土地利用、兴趣点分布、周边交通建成环境、站点自身属性等方面构建11种建成环境指标,建立基于极端梯度提升的XGBOOST-SHAP归因分析架构的可解释性机器学习模型,以揭示两者之间的非线性关系。同时,将该模型拟合回归效果与梯度提升决策树(GBDT)及最小二乘回归(OLS)进行比较,以验证XGBOOST模型在拟合回归效果上的优势。结果表明:XGBOOST模型的R方、平均绝对误差(MAE)、均方误差(MSE)值分别为0.75、0.95、1.36,其拟合效果要优于GBDT与OLS模型。站点平均出行距离呈现出明显的环状分布的空间异质性。SHAP归因分析结果表明:距市中心距离特征贡献最大,路网密度、土地利用混合度、公交线路数量以及住宅数量对出行距离的贡献度也相对较高;POI香农熵指数、餐饮服务点对平均出行距离的正负反馈不明显;其余指标对平均出行距离的影响均呈现出正负反馈机制结合的趋势。研究结果对交通需求分析、线路容量优化、运营效果评估等提供了数据支撑,可有效提高地铁交通便利性,满足不同区域的出行需求并改善整个地铁系统的效率和可持续性。

基于HA-RF-SHAP的露天煤矿粉尘浓度预测模型

为了有效预测和控制煤矿粉尘浓度,保障煤矿工人健康及环境安全,以宝日希勒露天煤矿现场粉尘监测数据为基础,使用随机森林对粉尘浓度进行预测,提出了4种启发式智能优化算法优化随机森林超参数的方法,通过RMSE、MAE和皮尔逊相关系数R对模型进行评价,采用SHAP可解释模型分析影响露天煤矿粉尘浓度的因素。结果表明:PM2.5、PM10、TSP的最优模型分别为GWO-RF、WOA-RF和HHO-RF;超参数调整使模型整体RMSE指标提升约为1~3,MAE提升约为1~2.5,R提升约4%~6%;PM2.5的预测表现最好,训练集与测试集共同作用时,R为0.9463,MAE为3.059,RMSE为4.919,其次是PM10、TSP;单因素作用时,湿度对于该矿粉尘浓度影响最大,双因素同时影响下湿度和气压对粉尘浓度变化影响最大。研究提供了一个有效的粉尘浓度预测方法,可准确预测粉尘浓度并确定粉尘最影响因素,对矿山粉尘管控具有重要参考价值。

基于SHAP可解释性的焊缝缺陷类型超声识别XGBoost模型

针对焊缝缺陷机器学习超声识别过程中存在特征冗余、可解释性差等问题,提出了一种基于SHAP可解释性的焊缝缺陷超声识别XGBoost(极限梯度提升)模型。在碳钢焊缝试样上加工4类典型缺陷,采用横波斜入射法采集超声反射回波信号,分别提取16个时域特征、16个频域特征以及3个信息熵特征。计算SHAP值并选择其前8个高贡献特征构建特征子集,利用交叉验证和网格搜索优化XGBoost模型进行缺陷识别。试验结果表明,4种缺陷识别的平均准确率为96.7%;其中,横通孔的识别效果最佳,精确率、召回率和F_(1-score)均达到100%,三角槽次之,方形槽略差,矩形槽的识别结果最差,其精确率、召回率和F_(1-score)均为93.3%。最后,讨论了高贡献特征与缺陷类别之间的相关性,并对特征贡献差异及其原因进行了分析。

采用XGBoost+SHAP揭示贵阳市地表温度的驱动力因子

该文在基于数理统计方法揭示贵阳市地表温度(land surface temperature,LST)年际和季节时空演变趋势的基础上,为更好地明晰影响因子及其交互影响对LST的驱动作用,协同极端梯度提升算法(extreme gradient boosting,XGBoost)和Shapley加法解释方法(shapley additive explanations,SHAP),对贵阳市LST时空演变模式背后的原因进行了诊断分析。结果表明:(1)2000-2020年间,贵阳市秋季低温区面积占比呈显著减少趋势,年均减少率约为0.068%。(2)LST增温表现出南高北低的分布特征,云岩区和南明区的亚高温区和高温区变化最为明显。(3)XGBoost可较好地刻画各季节LST与影响因子间的响应关系,获得了较高的建模精度。所构建模型在测试集上的RMSE、MAE和R^(2)分别为0.5169℃、0.3893℃和0.8950。(4)基于SHAP的分析结果表明:影响因子对LST影响的重要性存在季节差异,总体而言,国内生产总值(GDP)、高程、降水和植被覆盖对LST的影响最大;除GDP和人口密度外,各影响因子对LST变化的作用方式主要为非线性关系;高程、降水、植被和水体对研究区LST主要起到降温作用,而不透水面、裸地、农业用地、人口密度及GDP则主要起到增温作用。

基于随机森林模型与SHAP算法的渝东北烟区土壤交换酸含量影响因素分析研究

【背景和目的】土壤交换酸含量在农业生产中对于指导施肥和调节土壤pH具有重要作用,研究环境因子(气候、地形、成土母岩)和种植年限对土壤交换酸(Exchangeable Acidity, EA)含量的影响。【方法】以重庆市东北烟区为研究区,对该区中483个采样点的土壤交换酸数据进行统计分析,构建随机森林(Random Forest, RF)模型并结合Shapley Additive exPlanations(SHAP)算法,探讨影响土壤交换酸含量的主控因素。【结果】(1)研究区土壤交换酸含量在1.56~27.50 cmol/kg之间,与降水、日照时数、坡向、种植年限呈极显著负相关性。二叠系石灰岩发育的土壤交换酸含量显著高于三叠系石灰岩发育的土壤。(2)RF模型可解释土壤交换酸含量空间变异的64%,影响因子对土壤交换酸含量的重要性为气候>成土母岩>种植年限>地形。(3)SHAP算法揭示了土壤交换酸含量在不同气候条件下存在明显的阈值效应。当年均降水量、日照时数和均温分别超过1250 mm、1290 h和12℃时,会导致土壤交换酸含量的减少,反之则会促使其增加。【结论】气候是影响土壤交换酸含量变异最重要的环境因素,其中降水和日照时数是最重要的气候因子,研究结果可为烟田土壤酸化管理调控提供参考。

基于AutoML-SHAP的超高性能混凝土抗压强度可解释预测

超高性能混凝土(UHPC)的抗压强度与其配比成分之间存在高度非线性的复杂关系,利用传统的统计方法难以准确预测抗压强度。为解决这一问题,本文提出一种基于自动机器学习(AutoML)技术的UHPC抗压强度预测办法,同时引入沙普利加和解释(SHAP)增加其可解释性。AutoML和SHAP的集成有助于构建精确、高效且可解释的模型。结果表明,AutoML模型可自动建立,其准确性、稳健性优于基础模型。SHAP通过全局解释性分析、单样本解释分析以及特征依赖性解释分析,阐明了各个特征因素对抗压强度的影响机理,有助于UHPC抗压强度发展机制以及影响参数重要性的理解,可为UHPC的设计与应用提供参考。

基于SHAP的三阴性乳腺癌可解释预测模型的建立

目的为三阴性乳腺癌患者构建一种能够同时获得良好效果的、可解释的预测模型。方法回顾性分析136例乳腺癌患者的临床特征和多序列多参数核磁共振成像,其中三阴性乳腺癌23例,非三阴性乳腺癌113例。通过勾画提取影像组学特征进行筛选并构建模型,最后结合放射组学特征和独立的临床图像特征,构建机器学习框架。此外,还采用为实现个性化临床决策支持提供个性化评估和解释的SHAP模型可解释器。结果经过影像组学特征筛选,11个特征参与计算影像组学评分,其在训练集与测试集的AUC为0.898、0.803。将其与临床模型结合,使预测精度进一步提高。结论多模式可解释预测模型可能会帮助临床医师更准确、更迅速识别三阴性乳腺癌风险,及时、准确为患者治疗。

基于XGBoost-SHAP模型的太湖流域居民生态补偿支付意愿影响因素研究

在对太湖流域居民生态补偿支付意愿调查的基础上,基于可解释机器学习模型XGBoost-SHAP分析了居民生态补偿支付意愿的影响因素,并比较了有支付意愿和没有支付意愿居民之间影响因素的差异。结果表明:影响太湖流域居民生态补偿支付意愿最重要的3个因素为学历、收入和生态环境保护意愿;单个居民之间的支付意愿影响因素呈现一定的差异,尤其是有支付意愿和没有支付意愿居民之间的影响因素差异显著;总体而言,增强居民生态环境保护意识和加大生态补偿政策的宣传可以提升流域居民参与生态补偿的意愿。

融合随机森林与SHAP的恶意加密流量预测模型

加密流量保护用户隐私信息的同时也会隐藏恶意行为,尽早发现恶意加密流量是抵御不同网络攻击(如分布拒绝式攻击、窃听、注入攻击等)和保护网络免受入侵的关键手段.传统基于端口、深度包检测等恶意流量检测方法难以对抗代码混淆、重新包装等复杂攻击,而基于机器学习的方法也存在误报率高和决策过程难以理解的问题.为此,提出一种恶意加密流量检测高可解释性模型EPMRS,以弥补现有研究在性能与可解释性上存在的局限性.在数据去重,重编码及特征筛选等数据预处理的基础上,基于随机森林构建恶意加密流量检测模型,并与逻辑回归、KNN、LGBM等10种主流机器学习模型进行5折交叉验证的实验对比;基于SHAP框架从整体模型、核心风险特征交互效应及样本决策过程三个不同的层面,全面增强恶意加密流量检测模型的可解释性.EPMRS在MCCCU数据集的实证结果表明,EPMRS对未知加密恶意流量的检测准确率达到99.996%、误识别率为0.0003%,与已有工作相比,性能指标平均提升了0.287175%~7.513175%;同时,通过可解释性分析识别出了session(会话)、flow_duration(流持续时间)、Goodput(有效吞吐量)等为影响恶意加密流量检测的核心风险因素.

基于CatBoost-SHAP模型的滑坡易发性建模及可解释性

文章致力于深入探索滑坡易发性建模中集成学习模型的不确定性和可解释性。以浙江省东部沿海山区为研究对象,利用谷歌历史影像与Sentinel-2A影像,记录了2016年超级台风“鲇鱼”触发的552起浅层滑坡事件。研究首先对连续型因子进行了不分级、等间距法和自然断点法的工况设计,进一步划分为4,6,8,12,16,20级。随后,引入了类别增强提升树模型(CatBoost)以评估不同工况下的滑坡易发性值,再结合受试者曲线与沙普利加性解释法分析,对建模过程中的不确定性和可解释性进行了深入研究,目的在于确定最优建模策略。结果表明:(1)在CatBoost模型计算中,河流距离成为最关键的影响因子,其次是与地质条件、人类活动相关的因子;(2)不分级工况下,模型能够获得最高的AUC值,达到0.866;(3)相较于等间距法,自然断点法的划分策略展现出更佳的泛化能力,且模型预测性能随着分级数量的增加而增加;(4)沙普利加性解释法模型揭示了主要影响因子道路距离、河流距离、DEM和坡向对台风诱发滑坡的控制机制。研究成果能够加深对滑坡易发性的理解,提高滑坡预测的准确性和可靠性,为相关地区的防灾减灾工作提供科学依据。

基于机器学习的碳排放预测及SHAP特征分析

碳排放是中国乃至国际社会近年来关注的热点问题,一方面经济发展离不开碳排放,另一方面碳排放过量会使生态环境遭到破坏。因此,对碳排放作出有效预测,有助于平衡生态环境与经济发展。通过机器学习分析人口流动、温度、空气质量等特征并构建碳排放预测模型,同时引入SHAP(SHapley Additive exPlanations,夏普利值)解释模型与分析数据。结果表明,人口流动与温度对碳排放有极大影响。

基于LightGBM与SHAP的信贷违约预测方法研究

机器学习方法在信贷领域取得了较好的成果,但由于缺乏可解释性,应用受到限制,为增加其可信度和透明度,克服“黑盒”模型缺乏可解释性的缺陷,基于LightGBM算法建立信贷违约预测模型,并设计SHAP算法对模型的结果进行解释。结果表明,模型性能更好,预测精度更高,其精度高达88.61%;SHAP算法解释结果表明“信用组合的分类”“要支付的剩余债务”“每月EMI付款”等因素对信贷决策有着重要影响。

基于“XGBoost—SHAP”的可解释性崩塌落石风险预测在公路工程中的应用

文章基于XGBoost与SHAP算法构建崩塌落石风险预测模型,并在省道S463改扩建为G664项目的勘察设计中加以应用。将人工智能技术与工程实践相结合,为崩塌落石的风险预测拓展了思路。此次XGBoost模型预测准确率达到了91.04%~94.12%,基本满足辅助工程勘察设计需求,同时利用SHAP算法对预测模型黑箱进行了解释,找到了该模型主控因子为边坡宽度、视倾角、岩性强度、坡面面积及岩层倾向—坡向夹角,同时对预测结果的影响值给出了定量分析,明确了实际工作方向。该模型准确率高,可操作性强,定量指标明确,可供类似工程实践参考。

基于Shapley加性解释的ChatGPT生成文本检测模型研究

针对如何快速识别文本内容是否为ChatGPT所生成的问题,提出一种基于BERT-BiGRU的AI生成文本检测模型。该模型使用预训练的BERT(Bidirectional Encoder Representations from Transformers)抽取文本的语义特征,并使用BiGRU(Bidirectional Gated Recurrent Unit)进行特征综合提炼;将BERT-BiGRU分类模型在AI生成检测数据集HC3(Human ChatGPT Comparison Corpus)上的分类性能进行相关模型评估;引入Shapley加性解释工具(SHAP)从全局和局部两个维度对不同模型所识别出的关键特征和基准值进行比较分析。实验结果表明,虽然深度学习和预训练BERT分类模型均取得了较好的分类性能,但在未学习过语种数据集上性能下降严重,然而BERT-BiGRU模型表现优秀;不同模型使用可解释工具在同一数据集上计算得到的关键词差异较大,且关键词多为数字、生僻字和标点符号,模型并未真正理解人类撰写文本与AI生成文本的内在特征区别,基于已有封闭数据集训练得到的模型无法真正应对开放式的实际应用场景。

基于深度生存分析与SHAP的电梯风险预测

为解决低频、不规则时间周期的基于统计的电梯预测性维护问题,本文提出了结合深度生存分析与数据切割、补偿的综合方案.本文通过建立动态静态生存状态向量,捕捉影响大型故障风险的因素;此外,针对记录型数据中存在的左删失问题,本文采用数据补充的方式解决,并探究不同补充方式与分割策略对深度生存模型精度的影响.最后,研究对电梯场景下的深度生存模型使用SHAP分析,揭示各因素对故障风险的动态影响.研究结果显示,采用数据粗分割与Cox填充方式组合的模型具有强预测能力和准确性, DeepSurv模型在预测能力和稳定性上表现突出,梯龄、提升高度对大型故障风险的贡献随特定条件的变化会发生转折.

基于LightGBM和SHAP方法的居民投资风险偏好的实证分析

作为金融产品市场的重要客户群体,居民投资者的风险偏好在很大程度上决定了其对不同风险收益特征的金融产品的需求。文章利用LightGBM模型和SHAP方法对2017-2019年中国金融调查数据进行实证分析,基于高维特征充分挖掘居民风险偏好的影响因素及其影响机制。结果显示,年龄、金融素养、家庭收入和收入的跨期变动影响显著,其中年龄和金融素养的影响最为重要,年龄和居民投资风险偏好存在负向关系,而金融素养的提升会抬升风险偏好水平,收入对风险偏好的影响则较为复杂,存在非线性特征。