构造性覆盖算法的SMOTE过采样方法

如何提高对少数类样本的识别能力是不平衡数据分类中的一个研究热点。合成少数类过采样技术(SMOTE)是解决此类问题的代表性方法之一。近年来,不少研究者对SMOTE做出了一些改进,较好地提高了该方法的性能。然而,如何有效地选取典型少数类样本进行过采样仍然是一个值得研究的问题。此外,被孤立的少数样本在提高模型性能方面的潜在能力也没有得到足够的重视。针对上述问题,提出了基于构造性覆盖算法(CCA)的过采样技术CMOTE。CMOTE提供了两种不同策略下选择关键样本的方法:基于覆盖内样本个数的方法与基于覆盖密度的方法。在12个典型的不平衡数据集上验证CMOTE算法的性能。实验结果表明,CMOTE算法在总体上优于对比方法,并且通过强化关键样本对模型性能的影响增强了模型的泛化能力。

一种改进的SMOTE过采样方法

本文在文献[1]的基础上提出了一种改进的SMOTE过采样方法,以少数类样本为中心向外扩展,直到遇到多数类样本,以此来确定半径,然后在该范围内进行随机地插值,用该方法来解决不平衡数据的分类问题,通过实验表明,该方法是可行的、有效的。

基于SMOTETomek过采样方法与领域自适应迁移学习的风电机组故障诊断

为在不平衡数据上得到准确分类的故障诊断模型,提出将SMOTETomek过采样方法与领域自适应迁移学习相结合的故障诊断算法框架。首先利用滑动窗口采样技术将数据采样成二维时空窗口数据,然后执行SMOTETomek过采样操作,可保留并丰富完整的时序故障特征。针对过采样算法引入噪声信息的问题,引入领域自适应迁移学习算法在原始数据与过采样后的数据之间提取不变特征,使得过采样算法的引入的噪声信息可被过滤掉。在中国某实际风电场的实验结果显示,所提方法可在高度不平衡的数据上完成模型训练,准确识别各类型故障并精确辨识故障过程对应的时间窗口,诊断性能显著优于基于先前用于应对数据不平衡所普遍使用的过采样方法得到的模型。

水体微塑料的垂向分布及采样方法比较研究——以九龙江河口为例

由于受到潮汐过程的影响,河口区微塑料的调查和研究存在着方法不统一、数据误差较大的问题.2019年夏季使用泵采法在九龙江河口开展原位全水层微塑料采样,对不同水层、不同站位间的微塑料丰度及其赋存特征进行分析,并与其他在该河口的相关调查研究结果进行对比.结果表明:九龙江河口表、中、底层水体中的微塑料赋存量存在明显差异,河流入海口及靠近污染源处表层水中微塑料丰度明显高于中、底层中,在潮汐作用剧烈的河口区,中、底层中微塑料丰度高于表层水中,存在明显分层现象;使用不同采样方法获取的微塑料数量浓度值存在较大差异,泵采法相比拖网法能更有效地截留塑料纤维;使用泵采法过滤水样体积、滤经筛网孔径大小都对收集到的微塑料丰度、尺寸有显著影响.采样方法的不同将导致微塑料丰度结果的显著差异,在潮汐河口进行微塑料监测有必要将潮汐作用考虑在内.因此,建议建立潮汐河口的微塑料业务化监测和通量观测,并采用洪、枯季,大、小潮的全潮时段的观测采样方法.

基于频谱特征自适应采样的傅里叶单像素成像方法

傅里叶单像素成像(Fourier single-pixel imaging,FSI)中成像效率的提升主要借助优化重构算法和采样方法来实现,但在采样次数有限的情况下,FSI无法准确采样关键频率,导致成像质量差。为解决这一问题,提出一种频谱特征自适应采样策略。首先,研究傅里叶域中能量的集中程度,以此确定低频等距预采样的最优半径。进一步,通过预采样低频分量估计关键频谱位置的方式,测量相应的傅里叶系数,最终实现图像重构。与基于高频方向能量连续性的自适应采样方法相比,该方法可以针对不同频谱特征目标,自适应选择较优采样路径,获取关键傅里叶系数,进而改善成像质量,其峰值信噪比提高2.28 dB,结构相似度提高15.83%。因此,该方法在应对FSI对未知特征目标进行成像时,具有高效空间信息采集的优点,有望在单像素快速实时成像中得到应用。

三维点云上采样方法研究综述

随着深度相机、激光雷达等三维扫描设备的普及,用点云表示三维数据的方法越来越流行,对点云数据的分析与处理也引起了计算机视觉研究领域的极大兴趣。其中,点云上采样任务是一项重要的点云数据处理工作,其结果的好坏关系着下游多种任务的优劣,因此一些研究人员从多个角度深入探索并先后提出了多种点云上采样方法,以期提高计算效率和网络性能,解决点云上采样中的各种难点问题。为了促进之后研究的发展,首先从任务类型角度对现有的点云上采样方法进行了全面的分类与综述,然后对这些点云上采样网络的性能进行了详细的分析与对比,最后针对现存的问题与面临的挑战做了进一步分析,并探索了未来可能的研究方向,希望为三维点云上采样任务未来更深入的研究提供新思路。

基于自适应Borderline-SMOTE过采样的LightGBM不平衡数据分类算法

针对传统机器学习算法在面对不平衡数据集进行分类时所导致的错误分类、召回率低等问题,提出了一种自适应Borderline-SMOTE过采样的LightGBM不平衡数据集分类算法。在Borderline-SMOTE的基础上,首先采用动态调整采样倍率来控制合成样本的数量,避免过度生成新样本。然后,随机选择边界样本的两个K近邻合成中间样本,用于线性插值生成新样本,一定程度上避免了样本重叠的问题。最后,使用某运营商新办宽带用户及其使用情况数据集,在自适应Borderline-SMOTE过采样方法前提下,验证了LightGBM比KNN和RF有更好的效果。在数据集上与其他流行过采样方法进行实验比较,结果显示,所提出的算法有效地提高了不平衡数据的分类性能。

煤炭机械化采样中偏倚值的优化方法研究

系统分析了煤炭机械化采样过程中可能存在的偏倚问题及其影响,创新性地提出了一种基于数学模型的采样偏倚的优化方法。经过实验与数据分析发现,该方法能够有效降低采样偏倚值,提高采样精度,改善煤炭采样质量。

一种破碎带及软弱带岩矿心缩分采样技术方法

本文针对破碎带和软弱带岩石和矿物采样方法已不足以满足当前的实际采样需求,提出一种有效的缩分采样技术的观点。在地质勘探和矿产资源的开发行业起到促进作用。在地质勘探和矿产资源评估中,破碎带和软弱带是岩石工程中常见的地质情况,为了更深入地研究这些地质情况,需要进行详细的地质勘探和岩矿采样工作。然而,由于破碎带和软弱带岩石的破碎程度高、稳定性差,呈小岩块、岩屑、盐粉,传统的岩石和矿物采样方法已不足以满足当前的实际采样需求。因此,开发一种有效的缩分采样技术对于提高样品的代表性和分析准确性至关重要。本技术方法针对破碎带和软弱带岩石的特点,提出了一种破碎带及软弱带岩矿心缩分采样技术方法,通过改进的岩矿采样方法,使得在这些地质条件下的采样工作变得可行和有效。

污染地块土壤调查布点及采样方法探讨

自中华人民共和国土壤污染防治法实施以来,全国各地对污染地块开展了土壤污染状况调查,在调查过程中也存在着诸多的问题,点位布设不充分、钻探深度不够、污染因子识别不全、地勘资料不齐全等现象,任一影响因素调查不充分或识别不到位均可能会对土壤调查结果产生影响。本文主要综述了污染地块土壤采样的布点与采样方法作了探讨。

土壤污染采样的不同方法对重金属分布特征的影响研究

土壤污染是全球面临的重要环境问题之一,重金属污染的土壤具有隐蔽性和持久性,对生态系统和人类健康构成重大威胁。合理的采样方法对于评价土壤重金属污染的分布特征至关重要。本研究对随机采样法、分层采样法、网格采样法和关键区域采样法四种不同的土壤污染采样方法进行了比较分析,旨在揭示不同采样方法对土壤中重金属分布特征的影响。研究结果表明,采样方法对重金属的空间分布特征解析具有显著影响。通过综合考虑土壤类型、采样密度和深度,以及质量控制措施的优化,本研究提出了一套土壤重金属采样策略优化方案,以期提高土壤污染评价的准确性和效率。

农用地土壤污染调查中采样和布点方法研究

本论文旨在深入研究农用地土壤污染调查中采样和布点方法,并通过对不同方法的比较,提出了一套科学、高效的适用于该领域的采样和布点策略。随着农业活动增加,土壤污染问题日益严重,影响环境和人类健康。在这一背景下,科学准确的采样和布点方法就显得至关重要。本论文的研究成果有望为农业环境保护提供实际操作指南,帮助全面了解土壤污染状况,评估风险,并为农业可持续发展提供技术支持。

面向类不平衡数据集的重采样方法影响研究

为了评估重采样方法对类不平衡数据集的影响,对被广泛使用的美国威斯康星州的乳腺癌诊断数据集进行研究,基于逻辑斯特回归、支持向量机、随机森林等三种机器学习算法进行实验,对随机上采样抽样、随机下采样抽样、SMOTE以及ADASYN四种重采样方法使用F1值和AUC值进行了分析。实验结果表明,四种重采样方法均可以提升模型性能,其中随机下采样抽样在处理类不平衡数据集时被证明更加有效。

地下水及土壤污染调查中监测与采样方法优化研究

地下水和土壤污染已经成为环境保护和土地管理中的一个重要课题。本次研究目的是对监测和采样方法进行优化,提高地下水和土壤污染调查效率和精度。首先采用文献综述的方法对目前常用监测与采样方法的局限性及问题进行分析。然后,在先进技术基础上提出新办法,主要包括地下水监测井布局优化,采样设备完善和采样时机选择等创新建议。实地试验表明新方法对改善样品质量、减小误差显示了明显的优越性。最后将新方法与传统方法进行比较分析,验证新方法具有可行性及经济性。该研究可为地下水与土壤污染调查工作提供有用的方法学借鉴,并可望推动环境保护与土地管理可持续发展。

关于凸显少数类样本范围的过采样方法的研究

在不平衡数据集中,过采样的主要目的是通过增加少数类样本的数量来平衡数据集,而现有的过采样方法,只考虑了少数类样本之间的分布规律,并在少数类样本之间进行样本合成,这样会导致少数类样本的范围比实际范围小。针对上述问题,对凸显少数类样本范围的过采样方法进行研究。基于3种分类器(SVM、KNN、随机森林)与5种过采样算法(SMOTE、Borderline、KmeansSMOTE、SVMSMOTE、ADASYN)在4种不平衡数据集上开展实验,实验结果表明,应用凸显少数类样本范围的过采样算法在最优和第二优分类结果中占最高比例,因此在数据处理中应用该算法具有较好的效果。

HSMOTE-AdaBoost:改进混合边界重采样集成分类算法

处理类不平衡问题时,已有的采样方法存在易受噪声影响和忽略边界样本的问题,尤其是忽略多数类样本的类内差异,位于边界的样本实例非常容易被错分,而这些样本对划分决策边界具有重要作用。将SMOTE过采样和RUS随机欠采样方法结合并进行改进,提出混合边界重采样算法(HSMOTE-AdaBoost)。HSMOTE-AdaBoost算法首先对少数类运用SMOTE过采样,提高数据的平衡度;再使用K近邻算法清除噪声和采样方法产生的重叠实例;同时,基于与少数类样本的平均欧氏距离识别并保留边界多数类样本,然后对剩余的数据进行随机欠采样;最后,利用AdaBoost算法的优势,对平衡后的数据集进行多次迭代训练得到最终的分类模型。仿真实验结果表明,与传统的SMOTE-Boost、RUS-Boost、PC-Boost及改进后的算法KSMOTE-AdaBoost相比,该分类模型在不平衡数据集上的所有性能指标F-measure,G-mean,AUC值分别最高提升了22.97%,13.88%和10.03%,具有更优的分类效果。

生物气溶胶采样器采样效率计量评价方法研究进展

对生物气溶胶中微生物的采集、种类鉴别与浓度监测是评估生物气溶胶风险性的关键步骤。生物气溶胶采样器对气溶胶中活性微生物粒子的有效采集,是进行气溶胶危险因子分析的前提。通过对生物气溶胶采样器性能、采样物理效率和采样生物效率的不同计量评价方法进行分析和综述,以期为评价方法的规范一致和标准化提供参考。

基于ADASYN和WGAN的混合不平衡数据处理方法

为了解决不平衡数据集中少数类样本分类精度较低的问题,提出了一种处理不平衡数据集的ADASYN-WGAN方法。首先,采用ADASYN(adaptive synthetic sampling)算法生成少数类样本,用这些生成样本代替WGAN(wasserstein generative adversarial networks)中的随机噪声;其次,利用WGAN算法生成符合原始数据集分布规律的少数类样本,构建平衡数据集;然后,在6个公开数据集上,采用随机森林分类器对所提方法和4种过采样算法得出的处理结果分别与原始数据集进行对比;最后,通过F1-Score,G-mean和AUC等分类评估指标的表现验证所提方法的有效性。结果表明:在对比实验中,经过ADASYN-WGAN方法得到的平衡数据集在随机森林分类器的十折交叉验证中,4个公开数据集中的各项分类评估指标值均达到最优,虽然另2个公开数据集中的AUC值略低,但其F1-Score和G-mean取得了最高值。所提出的ADASYN-WGAN方法可生成高质量的数据样本,并可为解决不平衡数据集中少数类样本的预测偏差问题提供参考。

基于GIS辅助的多源地理空间矢量数据挖掘方法

噪声数据干扰下,数据挖掘精确度和效率偏低,为了提高数据挖掘结果的准确性,提出一种GIS辅助下多源地理空间矢量数据挖掘算法。通过非下采样小波变换方法对原始多源地理空间矢量数据多尺度分解,确保噪声和数据得到有效分离,通过变分偏微方程平滑数据内残余的噪声,避免数据内大量细节信息丢失。将GIS应用到多源地理空间矢量数据挖掘中,建立数据挖掘模型,并根据图层之间的关系变换数据,实现多源地理空间矢量数据的离散化处理。利用形式背景构建概念格和Hasse图,根据概念格中的内涵缩减集形成非冗余关联规则,结合数据挖掘模型完成数据挖掘。实验结果表明,所提方法可以有效滤除多源地理空间矢量数据中的噪声,获取满意的数据挖掘效果。

植保无人飞机施药模式下农药残留测定田间采样方法研究

为明确适用于植保无人飞机施药模式下农药残留试验的田间采样方法,本研究探究了最佳施药条件下Z字形法、棋盘法、对角线法及米字形法4种采样方法及不同采样点数下的雾滴密度分布情况,并对由采样方法引入的不确定度进行了评估。结果表明,T30型植保无人飞机的最佳作业参数为:飞行速度3 m/s,飞行高度为距作物冠层2 m,作业间距为5 m;植保无人飞机喷雾作业区域外围的喷雾沉积量对区域平均喷雾沉积量变动影响较大,因而其残留样品采集时应尽量避免从施药作业区域外围采集;为了增加植保无人飞机施药模式下田间样品采集的均匀性和代表性,建议采样点数应设置在18个点及以上,并可选用对角线法、棋盘法或Z字形法采样。