一种基于混合重取样策略的非均衡数据集分类算法

非均衡数据是分类中的常见问题,当一类实例远远多于另一类实例,则代表类非均衡,真实世界的分类问题存在很多类别非均衡的情况并得到众多专家学者的重视,非均衡数据的分类问题已成为数据挖掘和模式识别领域中新的研究热点,是对传统分类算法的重大挑战。本文提出了一种新型重取样算法,采用改进的SMOTE算法对少数类数据进行过取样,产生新的少数类样本,使类之间数据量基本均衡,然后再根据SMO算法的特点,提出使用聚类的数据欠取样方法,删除冗余或噪音数据。通过对数据集的过取样和清理之后,一些有用的样本被保留下来,减少了数据集规模,增强支持向量机训练执行的效率。实验结果表明,该方法在保持整体分类性能的情况下可以有效地提高少数类的分类精度。

面向机器学习的训练数据集均衡化方法

为提高机器学习算法对于不均衡数据的建模效果,提出一种均衡化预处理方法。采用iForest形成每个样本在样本空间中的分布特征评估值,基于负类(多数类)样本的分布特征评估值定义概率分布;根据样本的概率分布,通过轮盘转算法选取负类样本;通过K-means方法形成若干负类样本聚类中心,以聚类中心为最终负类选取样本,实现正负类样本的均衡化。整个过程构成均衡化方法iForest-RM。iForest-RM与其它采样方法在Adaboost模型上的实验对比结果表明,iForest-RM具有更好的均衡化能力,更好获取样本空间分布特性,可有效应用于地震相识别。

欠抽样和DEC相结合的不平衡数据分类算法

DEC算法是一种基于支持向量机的改进算法,但是研究表明,对于某些不平衡数据集,DEC分类器不能达到较高的少数类分类精度。针对这种情况,提出了一种基于欠抽样方法和DEC方法结合的新算法US-DEC来提高少数类分类精度。先用一个新的欠抽样方法来预处理数据集,再用DEC分类器训练处理过的数据集。通过在七个不平衡数据集上的仿真实验,比较了US-DEC算法和支持向量机,欠抽样方法以及DEC方法的分类性能。实验结果表明,在提高每类数据集的少数类分类精度上,US-DEC算法要优于其他算法。

基于Rep-VGG的滚动轴承故障诊断

为解决传统的轴承故障诊断过于依赖人为经验且耗时耗力的问题,文中提出一种基于Rep-VGG模型的故障诊断方法。首先,通过希尔伯特和小波变换对原始振动信号数据进行预处理,将其转化为可供Rep-VGG网络识别的时频图形式;然后,利用Rep-VGG模型进行训练和测试,实验数据来源于凯斯西储大学公开的轴承数据集,并与其他模型进行对比。实验结果表明,所提方法对于轴承故障的诊断准确率达到99.9499%,损失仅为0.0221%;通过混淆矩阵得到Rep-VGG模型将不同类型的故障进行分类的准确率达到99.3%,与VGG-16相比,准确率提升5.3499%,说明该模型具有广泛的应用前景。

基于最大平衡度的自适应随机抽样算法

针对分类算法在非平衡数据集的情况下分类性能不理想的问题,总结了常见的数据平衡化方法,包括改造数据集与改进算法,提出一种全新的基于最大平衡度的自适应随机抽样算法,进一步优化了随机森林算法的分类效果.将其应用在随机森林算法的数据预处理阶段,并通过实验证明了该随机抽样方法的有效性,在合理的整体精度范围内能够较好地处理非平衡数据.产生的新数据比较拟合初始数据,能够提高分类器处理非平衡数据的能力.

不平衡数据集中的组合分类算法

为提高少数类的分类性能,对基于数据预处理的组合分类器算法进行了研究。利用Tomek links对数据集进行预处理;把新数据集里的多数类样本按照不平衡比拆分为多个子集,每个子集和少数类样本合并成新子集;用最小二乘支持向量机对每个新子集进行训练,把训练后的各个子分类器组合为一个分类系统,新的测试样本的类别将由这个分类系统投票表决。数据试验结果表明,该算法在多数类和少数类的分类性能方面,都优于最小二乘支持向量机、过抽样方法和欠抽样方法。

多输入卷积神经网络肺结节检测方法研究

针对传统计算机辅助诊断系统中肺部结节检出过程复杂,检出结果依赖于分类前期每个步骤的性能,以及存在假阳性率高的问题,提出了一种基于卷积神经网络的端到端的肺结节检测方法。该方法首先使用大量带标签的肺结节数据对构建的多输入卷积神经网络进行训练,实现从原始数据到语义标签的有监督学习。然后采用快速边缘检测方法和二维高斯概率密度函数构建候选区域模板,从待检测CT序列中获取候选区域并将其作为多输入卷积神经网络的输入数据。最后采用判定阈值实现疑似肺结节区域标注,同时在相邻的CT影像中进行重点检测。在LIDC-IDRI数据集上的大量实验结果表明,所提方法在肺部CT影像中对微、小结节的检出率较高;同时,重点检测模板能够小幅降低微、小结节检测的假阳率。

基于改进层次方法的无参K-means算法

K-means算法是一种经典聚类算法,其优势是简单高效。特别在面对大型数据集时,上述算法仍能保持高效性和可伸缩性,因此K-means算法仍具有广泛应用前景。K-means算法对初值敏感,初值的选取对算法执行的效率和结果均有影响。为了最好的利用K-means算法在大数据集上的高效,规避其初值敏感等缺点,提出一种算法,通过利用自下而上的凝聚方法对抽样数据进行有监督的迭代划分,最后取抽样数据上CH估分最高的类数k和类中心作为入参输入K-means,在完整数据集上进行聚类。通过对多个UCI真实世界数据集的聚类实验表明,面对样本数为1797、有64维属性的数据集时,基于聚类标签的归一化条件熵度量(V-measure)比随机中心K-means平均改善113%(733/628/3+723/605/3+744/652/3)、时间效率比后者提高10倍(0.79/0.07-1)。在数据集样本数达到2458284、属性达到68维且不进行主成分分析处理(PCA)时,K-means聚类时间提高984%。

基于强化学习的特征提取方法在攻击识别中的应用

针对工控数据集特征数量较大时的分类准确率较低和训练时间较长等问题,提出了一种采用强化学习来进行特征提取对数据集进行预处理的方法.首先,通过强化学习确定过程矩阵和决策矩阵,再根据决策矩阵进行特征提取,获得预处理数据集.将NSL-KDD、自建数据集和密西西比数据集的原始数据集、PCA和强化学习后的数据集分别用神经网络和SVM训练并进行分类,实验结果表明,该方法适用特征关联度较低的数据集进行神经网络训练.强化学习能有效提高分类的准确率、精确率等指标,并减少运行时间,提高效率.

文档级关系抽取技术研究综述

关系抽取是信息抽取研究的重要方向,已逐步从句子级扩展到了文档级。与句子相比,文档通常蕴含更多的关系事实,可为知识库构建、信息检索和语义分析等提供更多的信息支持。然而,文档级关系抽取复杂度更高,难度更大,目前缺乏较为系统全面的梳理和总结。为更好地促进文档级关系抽取的深入研究与发展,文中对已有技术和方法进行了综合深入分析,从数据预处理方式和核心算法角度,将已有文档级关系抽取研究大致分为基于树、基于序列和基于图3种类别;在此基础上,分析描述了各类研究中的部分典型方法、最新进展以及存在的不足;同时,介绍了现有研究中部分常用数据集和性能评价指标,并列出了已有部分典型方法的具体性能;最后,对现有文档级关系抽取研究存在的问题进行了分析和总结,指出了未来可能的发展趋势及可进一步深入关注的研究方向。

中巴经济走廊(喀什至伊斯兰堡段)高分正射影像数据集

中巴经济走廊是“一带一路”倡议大局的重要组成部分,对“一带一路”倡议实施发挥着重大的示范和推动作用。本数据集由高分一号、高分二号国产卫星影像制作而成,空间范围为23°54′N–39°12′N、71°24′E–76°48′E,中巴公路两侧约60 km,中国喀什地区至巴基斯坦伊斯兰堡段,时间范围为2013–2017年,全色与多光谱2 m融合影像,TIFF格式。数据集正射校正精度最大误差X方向为0.35个像元,Y方向为0.4个像元;均方根误差X方向为0.42个像元,Y方向为0.38个像元。从图像融合效果看,高分影像采用PanSharpening方法融合效果较好。本数据集可以丰富本区域空间基础数据资源,能够应用于中巴经济走廊基础设施建设规划、自然灾害预警与生态安全评价等领域。

基于YOLOv5的印制电路板缺陷智能检测

为了检测印制电路板表面的多种缺陷,基于YOLOv5深度学习算法,进行数据集分类、数据增强和神经网络的构建。通过对缺陷图像目标信息的提取,在印制电路板数据集上进行迭代训练,获得最佳检测模型。对测试集中的印制电路板图像进行检测,统计检测精度相关参数,与传统印制电路板检测模型对比分析。建立基于YOLOv5算法的印制电路板缺陷智能检测模型,对印制电路板表面缺失孔、咬伤、开路、短路、杂散和伪铜等六种缺陷检测,结果表明平均准确率达到99.52%。基于YOLOv5算法的印制电路板缺陷检测模型训练速度快,检测准确率高,有助于印制电路板公司进行大批量快速缺陷检测,提高印制电路板生产质量和检测效率。

智能机器狗巡线数据预处理方法探析

智能机器狗作为人工智能端侧设备在生产生活中有广泛的应用场景。基于深度学习模型的智能巡线是机器狗的重要功能,训练巡线模型需要准备丰富的数据集,同时要求结合实际场景对数据集进行合理的预处理。首先,结合机器狗单向巡线功能应用场景指出了巡线图像数据集预处理时应注意的旋转、翻转问题,避免机器狗偏离航线问题;其次,结合图像设备采集数据质量较差的情况,指出图像增强的必要处理方法集,以及在硬件设备性能限制的情况下推荐图像增强方法;最后,根据ResNet50模型训练部署结果,对巡线图像数据集预处理存在的问题和改进空间作了分析。

预训练模型的跨领域跨任务迁移学习

为了解决计算机深度学习时标注数据工作量大、准确度不高、耗时耗力等问题,需要将预先训练好的模型中的数据进行跨领域跨任务迁移学习。基于对不同数据集的迁移效果的研究,试验时将视觉领域中表现良好的ImageNet预训练模型迁移到音频分类任务,通过剔除无声部分、统一音频长度、数据转换和正则化处理这4个步骤,采用经典图像增强和样本混淆两种数据增强方法,以5种不同的方式训练数据集,实验证明:ImageNET目标训练模型的跨领域迁移学习效果显著,但源领域的模型效果和目标领域的最终效果并没有必然联系,且使用同领域相似数据分布的数据集的预训练效果比ImageNet上的预训练效果更差。

儿童青少年大脑发育及脑图谱研究综述

大脑发育是神经系统结构和功能分化及成熟的一系列动态过程。大脑结构的发育包括部分脑区白质体积和完整性的增加,以及灰质体积的下降等;而这些结构的改变往往伴随着认知功能的变化,如智商、工作记忆和问题解决能力的提高以及社会认知的改善等。越来越多的发育研究为儿童青少年的教育干预提供了参考信息,帮助学校和家庭引导其从拥有冲动冒险心理状态的少年儿童阶段平稳过渡到心智更为成熟的成人阶段。脑图谱作为研究脑结构、脑功能及脑疾病的重要手段,是研究者对大脑进行解析的有力工具,在大脑发育研究中发挥着不可缺少的作用。本文立足于发育脑图谱,从3方面对儿童青少年大脑发育及脑图谱研究进展进行综述。首先,介绍儿童青少年发育阶段大脑特征的转变,以此来强调关注儿童青少年阶段大脑健康发育的重要性;其次,介绍现有的包括数据预处理步骤在内的发育图谱绘制的方法和手段;最后,对儿童和青少年图谱的研究进展进行描述,并分析当前研究对理解儿童青少年发育所做出的贡献以及它们的不足之处。对发育中的大脑进行研究,有利于增强对正常发育过程的了解,以针对性地对失衡的发育过程进行早期干预;通过对现有技术手段优缺点的总结,促进相关领域研究者开发更多以研究儿童青少年为导向的数据处理工具;综述具有精细划分的基于特定年龄儿童的大脑发育图谱,为未来的发育研究提供了强有力的研究工具的参考。这一综述有助于促进跨学科研究,推动儿童和青少年大脑发育领域的进展,从而为青少年的教育、健康和神经疾病研究提供更好的指导。