基于XGBoost算法的机器学习模型在可疑交易监测领域的应用

当前洗钱手段复杂多样、变化迅速,基于规则的传统模型部分失效,可疑交易监测难度加大,对金融机构的可疑交易监测能力提出了新的挑战。文章创新性地提出基于XGBoost算法的机器学习模型在可疑交易监测领域的实际运用,从结果来看,预测效果优于传统模型。同时,文章将算法与业务相结合,分析了模型的可解释性,并提出金融机构应积极运用基于XGBoost算法的机器学习模型、高度重视构造有效特征集合和持续迭代模型参数的工作建议。

基于机器学习算法的在线推荐系统设计与性能优化研究

传统运营方式已经难以应对日益复杂的业务场景。特别是电商领域,采用个性化推荐系统对于改善用户体验、促进商品销售、提高广告点击率具有重要意义。文章以电商场景为例,设计了基于机器学习算法的在线推荐系统,并对该系统进行了性能优化。

混合增强型机器学习算法在稀土供应链金融中评价中小企业信用风险的研究

稀土是支撑高端技术创新和新能源产业发展的关键原材料之一,研究解决稀土供应链中小企业融资困难的问题,做强我国稀土产业链,更好地维护国家战略利益是当务之急。供应链金融作为创新型融资方式成为实现中小企业融资授信的一种主要手段,但其中信用风险问题成为融资决策中需解决的最关键问题之一。本文提出了一种混合增强型机器学习算法,首先采用动态透镜成像反向学习改进的海洋捕食者算法(IMPA)对支持向量机算法(SVM)进行优化,再采用AdaBoost算法对优化后的SVM进行集成,建立AdaBoost-IMPA-SVM模型。采用该模型对供应链金融风险进行评价,重新建立供应链金融风险体系指标,通过相关性分析进行特效选取,并从计算机通信及其他制造业选取52家中国上市中小企业2019—2021年期间140个样本作为特征变量输入模型。仿真实验结果验证了该模型相较于其他信用风险评价模型具有更好的分类识别性能。

基于KPCA⁃XGBoost机器学习的大跨体育场风荷载预测

大跨空间结构风荷载的取值是该类结构抗风设计关注重点,通常借助风洞试验或数值风洞确定,但其费用高周期长等特点限制其广泛应用.机器学习方法近年受到关注,逐渐应用于结构的风荷载预测并取得了不错的效果.利用核主成分分析(Kernel Principal Component Analysis,KPCA)对数据进行降维处理,借助可以集成学习的XGBoost机器学习模型,采用十折交叉验证对超参数进行选择,编写了基于机器学习的大跨空间结构风荷载预测程序.通过对多个已有工程项目风洞试验结果的学习训练和预测结果比对,证明该方法具有处理数据能力较强、预测效率较高及泛化能力较强等特点.随机选取未参与模型训练的风向角下数据进行模型准确性验证,结果表明模型的R2值均达到0.9左右,预测值与试验值较为接近,体型系数在迎风区的预测精度略低于背风区,而极值风压则在背风区的预测精度好于迎风区.

基于大数据流水线系统的算法模型整合方法研究——以基于机器学习方法的LiDAR数据树木生物量反演为例

【背景】激光雷达(LiDAR)数据在森林资源分析利用方面有着广泛应用,科研人员研制了很多涉及大数据管理和人工智能的专业算法模型,这些算法模型目前多数散落在研究人员手里,尚缺乏新型信息化平台对其进行整合。【方法】大数据流水线系统πFlow软件具有大数据管理能力和大数据算法集成能力,并可以所见即所得方式构建流水线并调度运行流水线,适合于LiDAR数据复杂算法模型的整合,且流水线可定制、可复用。【内容】本文介绍了πFlow的特点和功能,并以基于LiDAR冠层高度模型(CHM)数据的树冠解析及利用机器学习方法估测树木生物量为例,介绍了将算法整合到πFlow并构建LiDAR数据分析处理流水线的方法和技术,且对流水线进行了测试运行。【结果】利用πFlow构建的可重复信息化平台可支撑野外站观测网络的LiDAR数据生物量快速反演,为数据密集型的专业数据处理算法模型的整合提供了创新方法技术。

基于机器学习算法的滑坡土壤含水率预测方法研究

土壤含水率是影响坡体稳定性的决定因素之一。针对滑坡体内部土壤水分信息难以准确感知的问题,建立了一种基于机器学习算法树突神经网络的土壤含水率预测模型(DDNN),通过分析土壤水分垂向变化特征和数据相关性确定关键的影响因子后,将水分预测模型DDNN与GA-BP、RF、RBFNN三种算法进行对比试验。发现DDNN预测模型的拟合优度R2最高为0.998,均方根误差和平均绝对误差均最小,分别为0.091、0.059,其预测精度明显高于其他三种算法。并采用关系谱探究了相关影响因素对土壤含水率的敏感程度。结果表明,敏感度由高到低依次为气温、降水、初始水分、风速、地温,研究结果可为滑坡体稳定性分析提供技术方法支撑。

基于机器学习的煤层气产能标定智能算法及影响因素分析

煤层气是我国常规天然气现实可靠的战略补充资源之一,智能化标定煤层气产能对于天然气工业的发展具有重要意义.对山西沁水盆地某煤层气区块的煤层气井进行了实际地质、生产数据的收集及数据预处理,提出了基于生产井史的煤层气单井产能计算公式.利用预处理后的生产数据及储层数据,建立了基于深度神经网络、支持向量回归机、随机森林的煤层气产能标定智能算法,对煤层气单井产能进行了预测,比较了三种机器学习模型的预测结果,分析了不同排采天数的生产数据作为输入参数对模型精度的影响.基于预测效果最好的机器学习模型,进行了动态参数(排采前期的日产气、日产水和井底流压)和静态参数(煤层埋深、孔隙度、渗透率、煤层厚度和含气量)对煤层气产能标定模型的重要性程度分析.结果表明:三种机器学习模型标定煤层气单井产能的平均决定系数为0.828,其中深度神经网络模型决定系数最高,达0.923;增加生产数据前期排采天数,决定系数增长趋势明显,之后增长趋势减缓并最终趋于平稳;动态参数和静态参数对产能的影响都较强,这两类参数对于产能预测模型的贡献度分别为48%和52%.

机器学习中用Python模拟K近邻算法的实现与应用

本文描述了K近邻算法的实现与应用。首先,以图形的方式介绍了K近邻算法的思想;其次使用Python语言自定义类模拟了系统K近邻算法的实现,在实现的过程中要遵循系统算法API接口规范;接下来,将模拟算法与系统算法进行比较,并优化自定义算法;最后,将自定义模拟算法应用到数据集划分和寻找最优超参数中。

基于认知负荷和机器学习算法的计算机教学平台设计与应用

为提升计算机教学质量,该研究基于认知负荷理论和机器学习算法进行计算机教学平台设计。平台采用分层架构设计,平台软件功能由内容管理、学习者模型、智能教学、互动与反馈及数据分析与报告等五个功能模块构成,并采用Apache JMeter模拟用户行为对本平台进行性能测试。结果表明,该平台在高并发处理、响应速度和智能功能的准确性等方面均优于传统平台,充分证明平台功能有效性,可为计算机教学改革提供技术支持。

大数据技术的机器学习算法

随着互联网的发展和移动设备的普及,人们进入了一个数据量激增的时代,被称为“大数据”。为了有效应对这些大规模数据,传统数据处理方式显得力不从心,需要结合机器学习技术进行处理。基于此,本文探讨了机器学习的定义、分类以及大数据环境下的相关算法,例如分布式决策树、深度学习、聚类算法和降维技术,并进一步探索了这些算法在金融、健康医疗、电商和交通等领域的具体应用。

机器学习算法在5G网络分流提升中的应用

为探索机器学习算法在提升5G网络分流效率中的应用,本研究深度探究机器学习算法在5G网络分流提升中的应用。通过深度学习、支持向量机、随机森林和决策树等算法,实现了流量预测、网络资源优化和异常检测。研究发现,这些算法能有效预测流量趋势,提高资源配置效率,并在异常流量检测和安全威胁分析方面表现突出。测试结果显示,机器学习算法显著提升了5G网络管理的效率和安全性。因此,进一步探索和优化机器学习算法在5G网络应用中具有重要价值。

基于机器学习算法的胃癌淋巴结转移预测模型研究

目的基于4种机器学习(ML)算法构建胃癌淋巴结转移的预测模型并验证。方法回顾性收集531例胃癌根治术患者的临床资料,按3∶1比例将患者随机分为训练集399例和测试集132例。通过单因素分析筛选胃癌淋巴结转移的特征选择变量,分别建立逻辑回归、随机森林、K-邻近算法、支持向量机算法模型并进行变量重要性排序。将所有ML算法模型在测试集中进行验证,绘制受试者工作特征(ROC)曲线,基于曲线下面积(AUC)、灵敏度、特异度、准确度确定最优ML算法模型。基于最优ML算法模型的变量重要性排序构建列线图模型,通过ROC曲线、校准曲线、决策曲线评价列线图模型的区分能力、校准能力和临床适用性。结果4种ML算法模型比较结果显示,随机森林模型为最优算法模型,其在训练集中的准确度、灵敏度、特异度分别为72.7%、69.9%、75.0%,AUC为0.803,其在测试集中的准确度、灵敏度、特异度分别为64.4%、66.7%、62.5%,AUC为0.751。基于随机森林算法模型的变量构建列线图模型,ROC曲线显示列线图模型在训练集、测试集中的AUC分别为0.721、0.776,校准曲线和决策曲线显示列线图模型在训练集与测试集中均有较好的校准能力和临床适用性。结论随机森林模型是4种ML算法模型中的最优算法模型,基于随机森林模型构建的列线图模型能够较准确地预测胃癌淋巴结转移风险,从而更好地指导临床诊断和治疗决策。

基于机器学习算法的森林生物量多源遥感估测

为进一步探索不同空间分辨率影像在10 m×10 m样地尺度下森林生物量估测性能及协同机器学习算法(RF、SVM、DT、GBM、k-NN、Stacking)的估测效果,利用光学遥感GF2(高分二号卫星)、sentinel 2A、Landsat 8 OLI、SUM(整合3种遥感数据源)影像及辅助变量DEM高程数据、环境因子、林分因子(森林类型、优势树种),在Boruta算法变量选择下用机器学习算法对元谋地区乔木林森林生物量(地上+地下)进行遥感估测,并比较4种影像下的估测精度。研究表明:(1)基于Boruta算法分别对3种影像及整合3种影像条件下进行变量选择,单一影像中sentinel 2A的植被指数PEIP、Landsat 8 OLI的纹理因子b2_ME_9×9、GF2的GNDVI分别为3种影像下的最高得分变量,多源融合估测森林生物量中GF2的GNDVI为最佳得分变量;(2)基于Boruta算法选择的变量构建RF、SVM、DT、GBM、k-NN算法以及对5个模型的Stacking集成算法,SUM的Stacking集成算法的估测效果最优,模型决定系数(R2)为0.73,均方根误差(RMSE)为28.46 t·hm^(-2),集成算法下的SUM的估测性能优于sentinel 2A、Landsat 8 OLI,GF2优于sentinel 2A,sentinel 2A的估测性能优于Landsat 8 OLI。研究结果说明在生物量遥感估测中高分辨率影像具有较好的估测效果,同时多源遥感协同估测、集成算法均可提高森林生物量遥感估测精度,可为森林生物量遥感估测提供参考和借鉴。

基于机器学习和遗传算法的非局部晶体塑性模型参数识别

非局部晶体塑性模型考虑了由非均匀变形引起的位错在空间上的重排,使得其本构模型变得复杂,可调节参数众多,因此采用常规的“试错法”难以准确确定这些参数.虽然遗传算法能够稳健地全局优化解决参数确定问题,但对于非局部晶体塑性模型,其计算成本相对较高.为解决这一问题,提出了一种耦合机器学习模型的遗传算法,以有效降低计算成本.针对含有冷却孔的镍基高温合金的拉伸响应问题,以单拉应力-应变曲线为目标,基于屈服应力和最终应力建立评价公式,使得优化结果与实验尽可能接近.在这一方法中,机器学习模型能够通过非局部晶体塑性模型的参数来预测相应的应力值,从而替代了遗传算法中原本需要的有限元计算过程.为了分析本构模型参数对单拉力学响应的影响,研究采用SHAP框架,并通过有限元结果进行验证.结果表明,通过该方法可以有效获取非局部晶体塑性模型参数,使得参数计算得到的应力-应变响应与实验结果吻合较好.此外, SHAP框架能够提供本构模型参数的重要程度分析,以及对屈服应力和最终应力的影响.

机器学习算法在食品气味表征中的应用

食品气味的客观表征对于食品生产工艺优化及品质评价具有重要意义。然而,食品气味形成机理复杂、成分繁杂,加之气味的评价过程易受环境、心理及感知方式等多种因素的影响,使得在表征食品气味时需要处理大量高维复杂的信息,这要求借助具有强大数据处理能力的工具。伴随人工智能、计算机科学以及大数据技术的快速发展,机器学习具备了强大数据处理能力。因此,使用机器学习表征食品气味已成为可能,此过程的实现主要依赖机器学习算法。本文概述各类机器学习算法在食品气味客观表征中的应用情况,总结使用机器学习算法对食品气味进行表征的优势和待解决的问题,并展望机器学习算法应用于食品气味表征的未来发展方向。

基于机器学习算法和能量闭合理论的高标准稻田蒸散估算

为选出模拟长江中下游高标准稻田各生育期实际蒸散(ETa)的最优机器学习模型,并探究能量闭合对机器学习模型模拟ETa的影响,基于南通市2020年高标准水稻田小气候、土壤和通量观测数据,分析各生育期稻田ETa及相关因子的时间变化特征,利用BP神经网络和随机森林两种算法估算各生育期ETa,评估基于波文比的强迫能量闭合对机器学习模型模拟ETa精度的影响。结果表明:(1)在不同生育期,气象和土壤因子对稻田ETa的重要性不同,入射短波辐射(K↓)始终是稻田ETa的主控因子。(2)加入K↓可显著提高机器学习模型对ETa的模拟精度,相关系数提高了14.9%,RMSE降低51.1%。5种变量组合中,包含饱和水汽压差(VPD)、风速(U)、气温(Ta)、相对湿度(RH)和入射短波辐射(K↓)的BP1模型是模拟分蘖期前稻田ETa的最佳模型,包含Ta、RH和K↓的BP3模型更适于模拟分蘖期后的稻田ETa。(3)强迫能量闭合能改善BP神经网络模型对ETa的模拟效果,在分蘖期前更为明显,5种变量组合中,BP2模型(U、Ta、RH和K↓)在能量闭合后的模拟效果提升最明显,相关系数提高了3.5%,RMSE降低25.7%。

基于SMOTE算法和机器学习模型建立原发性肝癌术后的预后预测模型

目的基于合成少数类过采样技术(synthetic minority over-sampling technique,SMOTE)算法和机器学习模型构建原发性肝癌术后的预后预测模型。方法选取美国国立癌症研究所的监测、流行病学及最终结果(Surveillance,Epidemiology,and End Results,SEER)数据库中4297例患者进行回顾性队列研究,通过独热编码和平均值插补法进行数据预处理,利用SMOTE算法解决数据类别不平衡问题,将临床变量纳入机器学习模型,基于决策树(decision tree,DT)、随机森林(random forest,RF)、梯度提升决策树(gradient boosting decision tree,GBDT)、极限梯度提升算法(eXtreme Gradient Boosting,XGBoost)方法构建预后预测模型(SMOTE+DT/RF/GBDT/XGBoost),通过比较多种模型的性能,筛选出最佳的预测模型。结果组合模型SMOTE+RF展示出最优的预测性能,受试者工作特征曲线(receiver operating characteristic curve,ROC)下的面积(area under the curve,AUC)、准确率和精确率均高于其他模型,分别为0.895、0.811、0.806。结论基于SMOTE+RF算法的原发性肝癌的预后预测模型可有效预测原发性肝癌患者的生存结局。

基于梯度提升的优化集成机器学习算法对滑坡易发性评价:以雅鲁藏布江与尼洋河两岸为例

雅鲁藏布江与尼洋河两岸地质构造活跃,山体滑坡时常发生,滑坡易发性评价能有效的减少因灾害发生所造成的对人类生命和财产的伤害。笔者基于基尼系数的加权随机森林、XGBoost和LightGBM算法在滑坡易发性中的性能。选取188个滑坡样本和7个影响因素,应用五折交叉验证法训练模型,训练过程中同时考虑特征选择算法、运用贝叶斯方法优化超参数后,采用precision、recall、F1、Accuracy指标对各个级别的预测结果进行分析。结果表明:在高程为32~1544 m与2722~3752 m、坡度为30°~40°、距断裂带、河流与道路200 m以内的区域最容易发生滑坡;滑坡极高与高易发性分布为12.14%和12.41%,低和极低易发性占比分别为26.47%与29.55%,区内一半以上的地区不容易发生滑坡灾害;LightGBM模型在所有模型中表现最好,AUC值为0.8432,准确度为0.8531,F1分数为0.8345;墨脱县的达木乡、帮辛乡,林芝县的丹娘、里龙、扎西饶登乡,朗县的陇村,工布江达的江达乡位于极高易发区,发生滑坡概率极大,在这些地区应采取相应的地质灾害防治措施。

基于GIS和多种机器学习算法的广东省森林火灾预测模型

森林火灾是严重的自然灾害,造成严重的森林资源破坏和社会经济损失。广东省是我国森林火灾高发区之一,针对该区域的森林火灾发生特点,准确预测可提供有效的防范措施。大多数森林火灾预测研究仅从气象因素或少数特征因素出发考虑,并未考虑到森林火灾的发生的复杂性以及预测准确率较低的问题。因此,本研究提出一种基于GIS和机器学习结合的高准确率的森林火灾预测方法,将XGBoost(eXtreme gradent boosting,XGB)、Light GBM(light gradient boosting machine)、CatBoost(categorical boosting)、深度神经网络(DNN)、随机森林(RF)5种机器学习算法作为预测模型;基于气象数据、地形数据、植被数据、基础设施数据、社会和人类数据,选择了24个特征因素作为模型输入。从更多林火发生特征因素出发,构建广东省日尺度林火发生预测模型;同时引入基于Optuna框架的贝叶斯自动超参数优化方法,其自动超参数优化特性,在面对不同数据结构时可以自动优化参数组合,提升林火预测模型的准确率。结果表明,XGBoost模型最优,准确率为91.30%;利用2018年的数据验证林火预测模型,其验证准确率结果为87.81%;利用GIS绘制广东省森林火灾风险图,同时模型准确率明显优于其他研究的林火预测模型。本研究可为广东省林业防火提供科学参考。

基于机器学习算法的深部页岩储层物性预测及有利勘探区优选

以四川盆地泸州区块龙马溪组页岩为例,在岩心物性测试与测井数据基础上,对比分析了支持向量回归算法(SVR)、梯度提升决策树(GDBT)和极端梯度提升算法(XGBoost)3种机器学习算法预测结果并优选出适宜的评价模型,实现了深部页岩储层物性预测与有利勘探区优选。结果显示:1)3种热门学习算法在深部页岩储层物性预测方面均具有良好的应用效果,经过对比,认为GDBT为预测研究区深部页岩储层孔隙度最适宜的算法,XGBoost为预测研究区深部页岩储层渗透率最适宜的算法;2)基于上述优选模型,泸州区块龙马溪组页岩孔隙度为2.67%~9.67%,平均孔隙度为4.88%,渗透率为3.22~28.63μD,平均渗透率为11.34μD;3)依据龙马溪组页岩储层物性与含气量,可划分出7个I类有利区,3个Ⅱ类有利区和4个Ⅲ类有利区。该研究成果基于研究区实际情况,可为研究区与类似区块页岩储层评价及有利区预测提供参考。