小微企业违约特征再探索:基于SHAP解释方法的机器学习模型

机器学习方法已经被应用于小微企业贷款审批和监测过程,并且在违约识别方面取得了良好效果,但是机器学习系统决策过程的不可见性导致其在违约特征识别领域未能得到进一步实际应用。基于某银行的小微企业贷款微观数据,在机器学习模型基础上加入SHAP(SHapley Additive exPlanations)解释方法对小微企业的违约特征进行研究比较,研究兼顾了实际情境中判别准确性和指标可解释的要求。研究发现,除传统的贷款信息与企业财务指标外,违约的核心特征中企业年龄、被告案件数量以及客户经理评价“软信息”等非财务指标对于识别小微企业违约具有重要价值。本文从可解释性的角度探讨机器学习方法在小微企业违约特征识别的应用,创新性地引入SHAP解释方法研究评级中的重要指标,同时所挖掘的关键指标对贷款业务开展具有指导意义。

基于无人机图像和SHAP特征筛选的小麦田间产量预测方法研究

为了探寻适宜的小麦产量预测模型并提高其精度,从冬小麦灌浆期的无人机多光谱和RGB图像中提取了14种光谱参数和28种形态参数作为特征变量,利用线性回归、随机森林、神经网络等10种机器学习方法构建小麦田间产量预测模型,并比较了模型间预测能力的差异;同时,引入机器学习事后可解释性方法SHAP对输入的特征变量进行重要性分析和筛选,了解其提高模型预测能力的效果。结果表明:(1)10种机器学习模型中,误差逆传播神经网络BPNN的产量预测表现最好(r^(2)=0.826,RMSE=0.094 t·hm^(-2));(2)根据SHAP确定的特征变量重要性排序,花青素反射指数ARI和三维冠层体积Volume对于预测结果的影响最大,占全部特征重要性总和的45.48%;(3)经过SHAP特征筛选后,确定了在BPNN产量预测模型上表现最优的9个特征变量,其预测结果r^(2)为0.865,RMSE为0.075 t·hm^(-2),比使用全特征的BPNN和事前Pearson相关性分析方法在预测精度上均有提升。因此,在优选产量预测模型基础上,可采用SHAP机制对特征变量的重要性进行筛选和分析,以此进一步提高田间小麦产量预测精度。

基于CatBoost模型和SHAP解释方法的土壤重金属影响因素与程度定量分析

掌握土壤重金属空间特征及定量解析污染源对于精准治污具有重要支撑作用,但定量分析影响因子的贡献和影响程度面临巨大挑战.本文选取空间位置、地形地貌、土壤特征三大类16个影响因素,采用CatBoost-SHAP耦合模型定量评估了土壤重金属空间分布的影响因子和范围边界.结果表明,CatBoost在预测土壤Cd、Pb和Cr含量上具有较高精度,R^(2)分别为0.76、0.71和0.81.空间位置对土壤Cd、Pb分布的影响分别可达71.28%和73.54%,其中,与冶炼厂的距离(DI_(Smp))是土壤Cd空间分布的关键影响因素,影响范围在7.5 km内;与二级公路的距离(DR_(Sec))是土壤Pb空间分布的关键影响因素,影响范围可达8 km;Fe_(2)O_(3)是土壤Cr空间分布的关键影响因素,土壤中氧化铁含量达到4.5%后开始正向影响土壤Cr含量.本研究定量解析了土壤重金属影响因素,可为土壤重金属污染防治提供科学决策依据.

多源数据驱动的轧机振动预测及可解释性分析

为研究轧制过程动态工艺参数对轧机振动的影响规律,改善现有研究中机理模型精度较低且数据模型缺乏可解释性的问题,采用极端梯度提升(Extreme Gradient Boosting,XGBoost)算法建立基于多源数据的轧机振动预测模型,并使用SHapley Additive exPlanations(SHAP)框架对预测模型进行解释。通过与其他预测模型相比,XGBoost预测模型可以利用工艺参数实现对轧机运行状态的高精度预测。基于SHAP框架解释的结果表明,出入口厚度、轧制力、轧制速度对轧机振动影响较大,后张力对轧机振动影响较小。研究为提高轧机设备与工艺参数的匹配度,实现将工业数据应用于轧机振动预测和分析提供理论基础。

影响大学生学业成绩的多维因素探究——基于可解释的机器学习模型

在机器学习模型基础上加入SHAP解释方法,对影响大学生学业成绩的潜在因素进行深入研究,兼顾实际情境中预测准确性和指标可解释的要求。研究结果表明,大学生的个人因素和学校教育因素对其学业成绩影响较大,家庭因素对其学业成绩影响相对较小。从基于GBDT模型的SHAP结果可以看出,大学生的性别、年龄、是否有额外工作、是否有伴侣、上课是否听讲对其学业成绩都具有显著的影响。学校应从疏导大学生克服失败焦虑、引导其树立正确的恋爱观、帮助其树立终身学习理念、关注其实践创新能力四个维度对大学生提前进行干预,有针对性地提升其学业成绩。

特高拱坝变形机理可解释性智能预测模型

针对传统“黑箱”模型可以预测却无法解释拱坝变形的缺陷,利用Shapley Additive Explanation(SHAP)理论对特高拱坝的机器学习变形预测模型进行解构分析,分析水压、温度、时效对特高拱坝不同部位径向水平位移的影响规律。构建特高拱坝变形监测数据的轻量梯度提升算法(Light Gradient Boosting Machine,LightGBM)黑箱预测模型,利用SHAP对存在多重共线性的因子进行剔除,再从整个因子集和单个样本两个角度分析不同影响因子对模型变形预测的贡献度;通过分析拉西瓦特高拱坝坝肩、坝基、拱冠等不同部位的径向水平位移与影响因子间的关系,发现时效因子对高程越高、越靠近拱冠位置的径向水平位移影响越大,温度因子主要影响靠近拱冠位置的径向水平位移,水压因子主要影响高程较高位置的径向水平位移,而坝基和深入坝肩岩体测点的径向水平位移几乎不受水位、温度的影响。解决了以往“黑箱”变形预测模型可视性差、内部机理不明的问题,根据可解释模型得到的相关规律可为特高拱坝的工作性态分析和运行管理提供借鉴。

基于XGBoost的贷前逾期识别模型及可解释性研究

当前互联网经济迅速发展,网络信贷规模不断扩大,贷前识别作为网贷平台风控的重要一环,也成为大家研究的热点问题。论文将集成学习算法XGBoost应用于识别客户贷前逾期风险的问题,选取P2P平台LendingClub数据库中2019年的贷款记录为研究样本,选取12个变量构建贷前预测模型,并引入了SHAP解释框架对模型进行可视化表达,并将最终的结果与XGBoost模型输出的特征重要性作比较,进一步对模型结果进行解释,可以帮助贷款平台更好地进行客户贷款风险判断,从而降低逾期风险。

基于校准窗口集成与耦合市场特征的可解释双层日前电价预测

随着电力市场之间耦合程度不断加深,只局限于单个市场内部的传统特征集不足以支撑高精度预测的需求。而且模型预测性能对校准窗口的选择敏感,而传统电价预测仅使用一个固定时间长度的数据集,同时预测模型的“黑盒”结构导致预测结果在工程应用中可信度偏低。针对上述问题,该文提出一种考虑校准窗口集成与耦合市场特征的可解释双层日前电价预测框架。内层框架为基于改进自适应噪声完备集合经验模态分解(improved complete ensemble empirical mode decomposition,ICEEMDAN)的择优预测,首先分解原始电价序列,然后应用Lasso估计回归(lassoestimated autoregressive,LEAR)、长期和短期时间序列网络(long-term and short-term time-series networks,LSTNet)、卷积神经网络-长短记忆神经网络(convolutionalneuralnetworks-longshort termmemory,CNN-LSTM)、移动平均(autoregressive integrated moving average,ARIMA)和核极限学习机(kernel extreme learning machines,KELM)模型预测子序列并选择最优预测算法。外层框架为基于贝叶斯模型平均(bayes modelaveraging,BMA)的校准窗口集成预测,针对每个不同校准窗口长度数据集下的预测分配权重并集成得到预测电价。最后,通过可解释方法沙普利加性解释模型(shapley additiveexplanations,SHAP)分析耦合市场特征如何影响预测电价。该文通过北欧电力市场数据集的算例分析证明了所提算法的优越性和校准窗口集成方案的有效性。

基于卷积神经网络的液化预测模型及可解释性分析

常规液化判别方法通常是半经验方法,存在人为因素干扰,成功率及均衡性不佳。现有的机器学习方法缺乏足够的样本支撑,存在一定的局限性。通过整合液化数据集,选取修正标准贯击数、细粒含量、土层深度、地下水位深度、总上覆应力、有效上覆应力、门槛加速度、循环剪应力比、剪切波速、震级与地表峰值加速度11个液化特征建立卷积神经网络(convolutional neural network,简称CNN)模型。引入边界合成少数过采样技术消除不平衡数据集的影响。将CNN模型与随机森林模型、逻辑回归模型、支持向量机模型、极致梯度提升模型和规范方法进行对比,并结合沙普利加性解释(SHapley Additive exPlanations,简称SHAP)分析输入特征对预测结果的影响趋势。结果表明,CNN模型准确率达92.58%,各项指标均优于其他4种机器学习模型和规范方法。对SHAP结果分析可知,修正标贯击数小于15的土层液化概率较高,循环剪应力比CSR小于0.25的土层更不易液化。各因素的影响规律均符合现有认知,预测模型合理可靠。

基于LSTM-多头混合注意力的可解释换道意图预测

为了使自动驾驶汽车准确地预测其周围车辆的换道意图,提出了一种基于长短期记忆神经网络(LSTM)-多头混合注意力的可解释换道意图预测模型。该模型可以充分提取目标车辆与其周围车辆之间的时空交互关系,并且提出了一种基于最大熵的Shapley加性解释方法(SHAP)来解释各个特征在特定时间步对模型输出的影响程度,在HighD数据集上进行了实验。并通过SHAP值的可视化,直观解释了换道预测模型在特定时刻的目标车辆的换道行为。结果表明:该换道预测模型在换道前3 s的综合准确率,分别比LSTM、卷积神经网络(CNN)、多头注意力高出4.03%、9.51%、5.16%,这证明了模型在长时域预测的有效性;错误预测样本归因于模型缺陷或样本稀疏。该换道预测模型可为用户进行模型优化提供指导。

公司债券信用利差微观影响因素研究——基于机器学习方法的分析

基于2008—2022年我国A股上市公司发行的公司债券二级市场月度面板数据,使用多种机器学习方法研究债券个性因素与公司个性因素对公司债券信用利差的影响与贡献。研究结果表明,信用评级、月交易天数比例、公司产权性质、公司规模为公司债券信用利差的重要影响因素,企业资产负债率、债券剩余期限、控股股东股权质押比例、资产回报率、公司所属行业、第一大股东持股比例、公司股价波动和债券换手率为公司债券信用利差的次要影响因素;公司债券信用利差预测值与信用评级、公司规模、公司产权性质显著负相关,与债券月交易天数比例显著正相关;月交易天数比例、公司产权性质、公司规模对不同信用评级组别的影响存在异质性。债券月交易天数比例和公司产权性质对AA级及以下的低信用评级公司债券信用利差影响更大,发债公司规模对不同信用评级公司债券信用利差影响的差异性较小。

机器学习分析肱骨近端内侧柱不稳定骨折术后失效的风险因素

背景:切开复位解剖锁定钢板内固定是治疗肱骨近端内侧柱不稳定型骨折的首选,但骨折复位失效是术后主要并发症之一,准确的风险因素评估有利于筛选高风险患者和临床决策的选择。目的:通过机器学习算法构建4种预测模型,分析筛选出最优模型并按照风险变量对结局变量影响的权重评分排序,探讨其对临床诊疗的指导意义。方法:纳入2012年6月至2022年6月期间佛山市中医院收治的262例肱骨近端内侧柱不稳定型骨折患者,年龄(60.6±10.2)岁,所有患者均接受切开复位锁定钢板手术治疗,根据术后5个月随访是否发生复位失效分为复位失效组(n=64)和复位维持组(n=198)。收集患者的临床资料,确定模型变量及其分类,将数据集随机按照7∶3比例分为训练集和测试集,训练集按照5折交叉检验获取最优超参数,构建逻辑回归、随机森林、支持向量机、极端梯度提升4种机器学习预测模型,在测试集用AUC、正确率、灵敏度、特异度和F1得分观察不同算法的表现,综合评价模型的预测性能。将表现最佳的模型利用SHAP评估重要风险变量,并对其临床指导意义进行评价。结果与结论:①两组间三角肌结节指数、骨折类型术前骨折端合并内翻畸形、肱骨头下干骺端碎片长度、术后复位情况、肱骨近端内侧柱皮质支撑情况、肱骨距螺钉置入情况比较差异均有显著性意义(P<0.05);②4种机器模型中综合表现能力最好的是极端梯度提升,其受试者工作特征曲线下面积AUC、准确度和F1分数分别为0.885,0.885和0.743,其次是随机森林和支持向量机,两种模型表现能力基本持平,逻辑回归的综合表现能力最差;在最优模型中利用SHAP解释工具发现三角肌结节指数、肱骨内侧柱皮质支撑、骨折类型、骨折复位质量、肱骨距螺钉状态是骨折术后复位失效的重要影响因素;③利用机器学习分析临床问题的准确性优于传统逻辑回归分析方法,在处理高维度数据时机器学习方法可以很好地解决多变量交互和共线性问题;利用SHAP解释工具不但可以明确各个变量的重要性,也可得到各变量中哑变量对结局影响的详细信息。

弹幕视频网站用户持续使用行为的影响因素及其可解释性分析——基于感知价值的视角

[目的/意义]视频被广泛使用在各种网络应用中,研究弹幕视频网站用户持续使用行为的影响因素,具有重要的学术价值和商业价值。[方法/过程]本文使用Bilibili网站的视频特征数据和用户行为数据,构建多元线性回归及基于机器学习的SHAP可解释模型,从内容感知价值、情感感知价值和社会感知价值3个维度探讨视频用户持续使用行为的影响因素及其影响的重要性和正负性。[结果/结论]研究发现:点赞数量最大程度地代表了用户对于视频的内容感知价值,内容感知价值对用户持续使用行为影响总是最高;在粉丝数量中等偏高的up主(视频制作者)中,情感感知价值对用户持续使用行为影响较高,而在粉丝数量最高的up主中,社会感知价值对用户持续使用行为影响更高。

机器学习驱动的辉光放电等离子体降解碱性紫16性能研究

为了量化研究辉光放电等离子体(GDEP)降解碱性紫16(BV16)的效率影响因素以进一步提升其降解性能,共收集462条降解实验数据建立数据集,训练并评价了9种回归模型.结果表明,基于梯度提升树(GBDT)的集成学习模型预测性能优异,且以类别型特征提升(CatBoost)算法训练的模型性能最佳(R^(2)=0.988,MAE=2.050%).此外,沙普利加和解释方法(SHAP)对最佳模型的参数影响程度定量解析结果显示,反应时间(43.74%)、初始污染物浓度(23.00%)、氯化钾浓度(15.65%)和平均电流(12.63%)是影响BV16降解效率的关键因素.同时,基于部分依赖图(PDP)提出了参数交互影响优化方案.所建立的CatBoost-SHAP-PDP模型不仅能实现GDEP对BV16降解效果的模拟预测,而且是优化GDEP降解过程变量的有效方法,为GDEP降解染料废水复杂体系领域的建模与应用提供科学依据和技术支持.

山区公路交叉口驾驶避险决策行为特性分析

为研究驾驶特征指标与驾驶避险行为决策的关联规则以提升驾驶安全,将驾驶避险决策行为划分为纵向“停车避险”和横向“转向避险”,并运用驾驶模拟系统构建12种山区公路交叉口交通冲突虚拟场景,招募38名驾驶人进行试验,采集车辆特征和驾驶人扫视、眨眼、注视等眼动特征数据。基于随机森林构建驾驶避险决策行为模型,然后引入沙普利加和解释(SHapley Additive exPlanation, SHAP)框架进一步分析车辆、眼动特征与驾驶避险行为之间的非线性关系。结果表明:模型对纵、横向避险行为预测的准确率分别为84.77%、94.70%;纵向速度标准差、扫视持续时间标准差、轨迹偏差标准差、侧向速度标准差与驾驶避险决策行为存在明显关联,如纵向速度标准差过大(约大于10 km/h),纵向“停车避险”可能性明显增加。

京津冀地区kNDVI时空变化及对气候因子的响应

【目的】探究京津冀地区植被动态变化对气候的响应机制,为更好地理解植被变化成因,为指导京津冀地区生态环境修复提供科学依据。【方法】利用趋势分析、偏相关分析、机器学习与可解释性方法,分析2000—2020年京津冀地区核归一化差异植被指数(kNDVI)的时空变化,探讨京津冀地区及不同用地类型kNDVI对降水和气温响应的差异性。【结果】京津冀地区kNDVI呈改善态势,增速为0.025/10 a,西北部改善较明显,林地明显改善面积最多,约占总面积17%;草地kNDVI的增速最快,为0.061/10 a;东南部城市周边退化明显,耕地kNDVI变化频繁,改善较多;京津冀大部分区域kNDVI与气温和降水的相关性均呈正相关,仅在南部城市周边表现为负相关;降水多年SHAP值为0.028,气温的多年SHAP值为0.016,均对京津冀地区kNDVI产生正面影响,总体上,降水对kNDVI的影响强于气温的影响。京津冀地区kNDVI对气候的响应存在区域差异,东南部平原区域的耕地kNDVI及西北部山区林地、草地kNDVI受降水的促进作用较明显,在城市周边和张家口等植被稀疏区域kNDVI受降水负面影响;气温对西北部林地与草地kNDVI的促进作用强于降水,气温对位于南部平原的耕地kNDVI有一定负面影响,而城乡、工矿、居民用地kNDVI受气温的负面影响最大。【结论】京津冀地区植被变化对降水的积极响应更强,不同土地利用类型kNDVI对气候因子响应具有区域空间差异。

基于XGBoost改进模型的高速公路事故多发点鉴别及预测

为准确、快速地预测高速公路事故多发路段,获得事故时空数据的特征样本,明确事故的时空演化规律及关联机制,根据时空热点分析结果鉴别事故多发点的位置和时空演变模式,构建了GA-XGBoost事故多发点预测组合模型。首先,依据样本数据分别构建年尺度、日尺度下的时空立方体,并进行热点分析,根据分析结果得到样本高速的事故多发点位置及其时空演化模式;经过比较分析和相关性检验,选取事故发生时间、里程、事件类型、处理时长、影响车道数、是否处于汇入口附近、是否节假日7项特征预测事故是否处于事故多发点。然后,分别使用CNN-LSTM、CNN-LSTM-ATT、随机森林、XGBoost模型4种算法对事故多发点进行预测,结果显示:相比其他3种,XGBoost模型的预测准确率最高。接着,采用遗传算法对XGBoost模型进行优化,构建了GA-XGBoost组合模型,使预测准确率提高0.06,F1分数提高0.07,精确率提高0.08。这表明,相比既有算法,GA-XGBoost模型能够较准确地预测出路段是否处于事故多发点,明确事故多发点事故的时空特征。最后,通过SHAP分析对预测结果进行解释,发现处于汇入口附近、事件类型为侧翻、故障、处于国庆假期和影响车道数为2的样本处于事故多发点的概率相比不处于汇入口附近和其他事故类型更大。据此,在交通安全和应急管理中可采取预防性措施,提升交通管理的效率和应急响应能力,营造安全、高效的交通环境。

基于CatBoost-MOEAD的大直径泥水盾构姿态多目标预测与优化

为避免盾构掘进过程中出现蛇形、轴线偏离等姿态异常问题影响施工安全,提出一种结合类别提升(CatBoost)算法和基于分解的多目标优化算法(MOEAD)的大直径泥水盾构姿态控制方法;构建一个盾构姿态预测模型,该模型包含19个输入参数和6个输出参数,利用CatBoost算法构建输入参数与输出参数之间的非线性映射关系;采用沙普利加性解释法(SHAP)分析输入参数对盾构姿态的影响;结合多目标优化算法构建CatBoost-MOEAD盾构姿态多目标优化模型,将所提模型运用到武汉长江大直径泥水盾构隧道工程中,分析验证所提方法的适用性和有效性。结果表明:CatBoost预测模型能够高效地预测大直径泥水盾构的姿态,其中6个盾构姿态目标的决定系数范围为0.931~0.974,均方根误差范围为0.030~0.880,误差范围为0.039~1.057;对盾构姿态影响较大的施工参数中推进组推力对盾构姿态的影响最为显著;通过研发的CatBoost-MOEAD盾构姿态多目标优化方法,盾构姿态的优化效果显著,优化率可达38.86%。

基于SMOTE-CatBoost的国省道机动车死亡交通事故特征研究

为降低国省道机动车交通事故严重程度,提取出国省道机动车死亡交通事故的显著特征,提出1种基于SMOTE-CatBoost模型的交通事故显著特征研究方法,对2016—2020年N市国省道机动车交通事故特征进行研究。首先,根据基础数据集的不平衡分布情况采用SMOTE平衡算法形成平衡数据集以训练机器学习模型;其次,选用CatBoost模型构建国省道机动车交通事故预测模型;最后,采用SHAP可解释性算法挖掘国省道机动车死亡交通事故各个特征与事故的关联程度。结果表明:CatBoost模型的综合性能优于其余4种机器学习模型,其准确率、召回率、F1分数、AUC值分别比排名第2模型高8.5%、7.45%、7.09%、7.47%;死亡交通事故中显著特征有驾驶人在驾车时有其他妨碍安全驾驶行为、机动车与行人的碰撞等6种。本研究成果可为公安工作以及道路交通管理部门人员提供国省道道路死亡交通事故的显著特征,为减少死亡交通事故发生以及改善国省道道路行车环境提供一定的理论支撑。

基于XGboost的企业债务违约特征预警分析

债务违约会对企业的正常生产经营带来严重的负面影响。文章以我国2012—2021年上市公司的财务数据和非财务数据共38个指标作为研究对象,首先查询企业的债务诉讼和信用债违约情况以确定企业是否债务违约,采用XGboost机器学习算法构建企业债务违约风险预警模型,实证结果显示,基于XGboost所构建的企业债务违约风险预警模型具有较好的预警效果。其次,将XGboost训练模型与决策树、随机森林、Light GBM、GBDT、Adaboost等多种机器学习模型进行稳健性比较,结果表明,XGboost模型在AUC、准确率、精确率、召回率、F1值等各项性能指标上均优于对比模型。再次,分别引入SHAP映射图和SHAP力图对模型进行了全局性和局部性解释,发现影响企业债务违约风险的因素不仅仅局限于企业的财务状况,企业的股权结构、公司治理也是重要影响因素,对企业开展债务违约风险控制具有指导意义。最后,给企业提出了相关的建议。