高维数据特征提取算法的研究及比较

This paper introduces and analyzes several feature extraction algorithms. These algorithms use linear or non-linear feature extraction methods to project high-dimensional objects into lower dimensional space, thus the complexity of the operations upon them, such as clustering, the nearest-neighbor search, visualization and etc can be reduced. The paper also presents some comparative experimental results of these algorithms and analyzes briefly their advantages or shortcomings.

基于特征提取的电力客户服务大数据溯源模型

为提高数据溯源算法的运行效率,基于特征提取方法提出电力客户服务大数据溯源模型。定义数据的基因组,查找数据库内的任意两个存在血缘关系的数据,以此建立数据染色体追溯模型;获取电力数据中的四类特征值,建立电力数据多次遗传的转移矩阵,基于特征提取构造电力大数据溯源路径;得出大数据溯源算法,构建电力客户服务大数据溯源模型。实验结果显示,特征提取算法在模型层数以及数据量相同时,溯源所需时间最短,算法运行速度最快。

基于支持向量机DE算法的输变电工程数据特征提取与评估

输变电工程数据繁杂,为提高数据特征提取与评估水平,本文提出基于支持向量机DE算法的模型。通过对支持向量机和DE算法应用原理的了解,明确各自应用特点,采用支持向量机DE算法的综合型方案提取输变电工程数据并做出评估,输入变量采用k-means聚类算法的数据特征子集,在确定SVM核心参数后,通过DE算法进行优化,建立覆盖面广、结果准确的DE-SVM评估模型。结合实例,研究该模型在工程数据预测与评估中的应用效果,结果表明平均误差均在6%以内,精度高,应用效果优于BP神经网络和未优化的SVM算法,可推广基于支持向量机DE算法的DE-SVM模型,准确预测和评估输变电工程数据,为工程造价管控提供依据。

高维数据挖掘中基于中位数回归的特征提取新方法

为降低噪声对数据特征提取(变量选择)效果的不利影响,基于中位数回归分析方法,利用变量选择降维技术(正则化估计),提出了一种稳健、有效的特征提取(变量选择)新方法,并具体给出了估计算法,该算法具有快速计算的特点。实验结果表明,新方法能够有效地对高维数据集进行估计和变量选择,且具有较高的准确性,即使数据中的信噪比很低时,该方法仍具有较好的效果。因此,该方法为高维数据挖掘特征提取提供了稳健且有效的方法。

高维大数据流时间维度特征提取方法仿真

传统大数据流时间维度特征存在提取率低、数据异常值筛选实时性差的问题,提出高维大数据流时间维度特征提取方法。利用反向k近邻技术筛选实时数据的异常值,结合熵值法与多层增量特征提取方法,完成高维数据的初次提取,确定样本类型,将数据纳入大数据信息流时间性算法,实现时间维度下数据分析及二次提取。仿真结果显示,上述方法在提高大数据特征提取率、增强数据提取能力方面具有明显优势,同时能够显著实时更新数据特征,实用性较强。

基于半监督算法的高光谱影像特征提取仿真

高光谱影像包括待测物的空间、光谱和辐射三重信息,且图像信息具有维度高、空间相关性弱、特征非线性强的特点,导致其空间特征序列混乱,特征提取难度大。于是提出基于半监督算法的高光谱影像特征提取方法。应用半监督算法对高光谱图像中的高维数据降维处理,并基于降维结果完成高光谱图像的去模糊。高光谱图像完成降维去模糊后,根据特征学习模型学习高光谱影像数据,获取图像深层特征。在像元空间内对深度特征以及空间信息完成空、谱的联合,实现高光谱影像特征的提取。实验结果表明,所提方法应用下影像特征点在特征空间内聚类效果好,查全率和查准率均能达到95%以上,说明上述方法的应用性能更优。

改进遗传算法的供应链终端高维数据特征筛选

由于供应链终端高维特征和稀疏数据使得特征筛选准确率较低、筛选能力较差,为此,提出了改进遗传算法的供应链终端高维数据特征筛选方法。预处理供应链终端高维数据特征,去除超出边缘范围的特征数据。针对数据的特征进行排序和编码,采用改进遗传算法进行评估和演进,并将数据分布组中被选择的单个数据继续演进。在离散型随机变量中设置筛选条件,根据改进遗传算法,减少数据分布组的组数,获取种族内和种族外已完成特征编码的数据,从而形成新的个体,实现供应链终端高维数据特征筛选。实验结果表明,改进遗传算法的供应链终端高维数据特征筛选方法的准确率可以达到99%,具有很好的高维数据特征筛选能力。

基于启发式参考集选取的复杂数据特征提取算法

对当前具有代表性的几种特征提取算法进行了分析与比较,并在Bourgain算法的基础上,提出一种基于数据类别数及各类代表元素等启发式信息的复杂数据特征提取算法。对于M类复杂数据,该算法可以提取出维向量用来表示这些数据。针对实际数据,对几种算法的降维性能进行了比较实验,实验结果表明该算法具有很好的特征提取效果。

基于多域特征提取的电力数据离群点检测研究

为解决传统方法存在随机检测误差导致检测结果不精准的问题,提出基于多域特征提取的电力数据离群点检测研究。该方法从波动性、趋势性和变动性三方面分析6维数据特征,通过多域特征训练对数据进行降维,有效剔除冗余特征。使用K-means算法任意选择对象作为初始聚类中心,根据聚类对象计算各个对象与聚类中心的距离,以此划分离群点区域。计算误差函数,避免离群点分布位置误差影响检测结果,结合网格算法确定6维区间数目和数据分布密度,汇集每一维区间正常点,由此完成离群点检测。实验结果表明,该方法检测到的离群点位置与实际分布位置一致,且只出现2个离群点丢失的情况,其余离群点均能被检测出来,说明应用该方法检测结果精准。

时序特征提取算法在航空发动机性能模型构建中的应用

时序特征提取算法能够从实际意义出发,高效分析时间序列特征模式,提取可辨识的时间序列特征,挖掘数据蕴涵的规律。随着物联网、大数据和人工智能等技术研究和应用的蓬勃发展,时序特征提取算法在环境、金融、天气预报、工业控制以及天文医学等领域的应用越来越广泛。本文在某型航空发动机数据处理过程中引入时序特征提取算法进行关键特征提取,深入处理分析后获得航空发动机的稳态运行规律,而后基于此完成航空发动机性能模型的轻量化构建。

图像数据库中基于颜色的特征提取和度量算法

介绍了颜色的特征提取和度量。先定义颜色直方图和二值向量两种特征描述方式 ,然后介绍多种特征度量算法 ,例如 Minkowski- form 距、欧几里得距、二进值集的海明距、二次距、Mahalanobis算法等 ,并结合西北大学可视化研究所与西安第四军医大学合作开发的医学影像数据库信息系统 ,将这些算法进行改进和比较 。

面向用户兴趣特征提取的大数据线性回归推荐算法

在时间变量扰动下,现有用户兴趣特征推荐算法会出现阶段性、小范围计算偏差,降低算法可信度,为此提出面向用户兴趣特征提取的大数据线性回归推荐算法。在大数据参量配合下,计算面向用户兴趣特征的矩阵,提取用户兴趣特征,在此基础上分析提取到的特征数据推荐活跃量,完成推荐算法的量化。实验结果表明,经过量化后的算法用户推荐特征计算误差明显减小,整体推荐结果的可信度大幅度提升。

高维数据分析中数理统计的应对策略探究

随着大数据的发展,高维数据分析面临的挑战日益突显。高维数据具有信息量巨大、数据稀疏性、噪声和冗余信息、非线性关系等特点,给数据分析带来了极大的挑战。数理统计方法是数据分析的核心,其可以有效地降低数据的维度,提取数据中的关键特征,方便人们更好地理解高维数据。基于此,对高维数据分析中数理统计的应用进行分析研究,以期为相关领域的人员提供一定的参考和借鉴。

卫星监测时空大数据蠕变特征提取及预警算法

针对山体滑坡等地质灾害发生时间、趋势难以及时精准预警的难题,提出采用最新北斗卫星高精度形变监测技术,开展蠕变运动特征提取及预警算法研究。对卫星监测高精度时空大数据进行分析、清洗,重点研究监测点数据的时间属性、空间属性、不同监测点之间的变化规律;提取蠕变运动多维特征,如位移、位移方向角、瞬间速度、加速度等,并以多维的方式展示监测数据内在的变化趋势。蠕变灾害预警算法能够发现和预警形变过程中的潜在灾害,确保及时防治地质灾害,保障人员生命和财产安全。该研究成果可以在多个不同领域得到广泛的应用,具有很大的理论意义和应用价值。

基于特征与数据增强的城市街景实例分割算法

城市街景分割是智能交通领域中一项关键的技术,对于城市街景环境中的客观因素例如遮挡、小目标等问题,提出一种基于特征增强与数据增强的城市街景实例分割算法DF-SOLO(data augmentation and feature en-hancement SOLO)。针对遮挡问题,通过非对称自编-解码器架构对城市街景图像进行数据增强,与传统方法相比处理后的图像更贴近真实的源数据分布。针对城市街景中的小目标分割问题,引入特征加权和特征融合的思想,特征加权模块在特征处理过程中能够根据特征的重要程度赋予不同的权值,提高对重要特征的利用率;特征融合模块从更细粒度的角度进行多尺度特征融合以解决尺度敏感问题,提高语义特征的描述性。通过在Cityscapes数据集上的实验表明,提出的实例分割算法在保证实时性的同时相较于单阶段SOLO算法和两阶段Mask R-CNN算法的mAP值上分别提升2.1%和2%,改善了对小目标和遮挡目标的分割效果。

反求工程中过渡曲面特征提取算法研究

针对反求工程中常见的过渡曲面特征 ,提出了一种过渡曲面特征的提取算法。该算法包括数据分块和过渡曲面参数提取两部分。在数据分块算法中 ,通过数据精简、曲率估算和曲率比较等步骤 ,将过渡区域的数据点从原始点云数据中分离出来 ;在过渡曲面参数提取算法中 ,通过圆柱拟合和过渡区域跟踪算法 ,计算出一系列过渡曲面的截面线。该算法和已有的过渡曲面特征提取算法相比 ,无需人工交互 ,而且适用于等半径过渡曲面特征和变半径过渡曲面特征。

高维数据挖掘中基于稀疏回归的嵌入式特征提取方法

特征提取是高维数据降维的常用方法之一,特征提取的效果会直接影响后续处理方法的性能。本文提出了联合嵌入学习与稀疏回归进行特征提取的方法,在采用图的拉普拉斯变换描述数据特征的同时,添加了L2,1标准化稀疏约束进行特征选择。此外,本文还包括这种方法的收敛性,计算复杂度的分析,并在典型图像和生物实测数据上开展了方法验证,实验结果表明,该方法能有效地提取出所需的特征,且具有很高的准确率。与传统的非监督的特征提取方法相比,本文提出的方法综合了嵌入学习与稀疏回归的优点。

基于XGBoost特征提取的数据驱动故障诊断方法

针对目前用于故障诊断领域的机器学习方法尚不能够充分挖掘数据中隐含故障特征信息,存在逼近精度不足的问题,提出一种基于XGBoost算法的隐含特征信息提取方法。根据故障数据与故障类型自定义XGBoost算法的损失函数,迭代构建故障分裂树;提取样本在故障树中的叶子节点位置索引向量并进行特征编码重构,得到隐含故障信息的智能化表征;基于该表征矩阵,使用SVM等机器学习算法建立故障诊断模型,实现多故障模式的识别诊断;最后,以某驱动器的故障诊断为例对方法进行了验证,结果表明:与原始特征下的故障诊断模型相比,基于XGBoost算法提取隐含特征下的诊断模型准确度更高,鲁棒性更好,同时能给出特征变量的重要性排序。

二次映射和遗传算法用于鉴别可视化特征提取

多元数据图表示是高维数据可视化最简单的一种处理方法.从多元数据的雷达图中提出了一种图形特征—可视化重心特征.由于雷达图与数据的特征排序有关,导致可视化特征深受特征排序影响,提出了利用二次映射计算出所有特征排序下的可视化特征,基于遗传算法再从中选择出具有鉴别能力的可视化特征.葡萄酒、乳腺癌和糖尿病等UCI真实数据集的实验结果证实了我们的想法,最佳分类错误率分别达到了0%、1.61%和20.7%,优于报道的常用的分类性能,优于传统的鉴别特征提取方法。

基于数据融合和“能量-损伤”的结构状态特征提取

基于一致性数据融合算法和小波包分析,提出了结构状态特征提取方法。采用改进的一致性算法融合多传感器的测量数据,克服了一致性算法中两传感器在测量精度不同时置信距离不同的缺点,对支持矩阵进行模糊化处理,并采用"能量-损伤"特征提取技术对融合后的多传感器测量数据进行处理。利用5层框架结构的数值算例对比了结构各层加速度信号与融合后加速度信号构造的特征向量。结果表明,融合后加速度信号构造的特征向量包含了结构不同位置的不同状态信息,能够全面描述结构的工作状态。