基于MAGAT的风电场功率缺失数据填充方法

风电场功率数据质量对风电预测具有重要意义。然而,由于人为操作、传感器故障、网络故障或通信拥堵等原因,风电场功率数据容易出现大面积缺失问题。因此,结合多头注意力机制(multi-head attention,MA)和图注意力网络(graph attention network,GAT)构建了MAGAT模型,其中GAT层以异质图的方式刻画及提取风电场已知数据与缺失数据的关联关系,MA层挖掘风电场数据特征与缺失功率数据之间的映射关系,从而实现风电场功率缺失数据的高精度填充。在以我国江苏某风电场运行监测数据为对象的算例分析中,与其他先进填充算法相比,所提方法在不同缺失类型、不同缺失率等多个场景下均具有更好表现,表明所提方法在风电场缺失数据填充任务上的有效性及稳定性。

基于阵列码的校验链重组及数据填充技术研究

阵列码因具有较低的编解码复杂度而被广泛应用于存储系统,从而保证数据的可靠性。随着数据量的快速增长,存储系统需要采用与其编码方式相适应的技术来扩大规模,但现有的扩容技术缺乏对扩容后系统性能的考虑。在Cross-Scale扩容方案的基础上,针对扩容后数据分布不均衡、访问性能降低的问题,提出了混合式校验链重组的优化方法 hybrid cross-scale(HCS),在保证其编码正确性的前提下,将条带中的空白块划分到不同带宽的校验链中,并为优化后的编码阵列设计了数据填充方法,且能够进行故障恢复。通过数学分析和实验验证,证明所提出方法有效提高了扩容后的数据访问性能,维持了原编码的性能优势,且在写密集型存储系统中优化效果更为明显。

面向城市固废焚烧过程的缺失数据填充及应用

针对城市固废焚烧(municipal solid waste incineration, MSWI)过程中存在的随机和连续数据缺失问题,提出了一种基于专家经验和约简特征集成模型的填充方法.首先,将过程数据缺失情况识别为随机分布、时间维度和特征维度缺失3种类型.接着,基于专家经验对前2种类型进行缺失填充后,面向第3种类型基于分布相似性和互信息相关性为缺失特征预测模型选择建模数据集和约简特征,建立具有互补特性的随机森林、梯度提升决策树和反向传播神经网络子模型对缺失值进行初步预测,利用贝叶斯线性回归(Bayesian linear regression, BLR)构建集成模型以获得最终填充值.最后,利用填充后的MSWI数据建立基于跨层全连接深度森林回归的二噁英排放浓度软测量模型.实验结果表明所提方法提高了MSWI过程数据的质量.

基于张量分解的多维数据填充算法

在多维数据分析和处理中,经常会出现部分数据丢失或者部分数据未知的情况,如何利用已知数据的潜在结构对这些缺失数据进行填充是一个亟待解决的问题。目前对于缺失数据填充的研究大多是针对矩阵或者向量形式的低维数据,而对于三维以上高维数据填充的研究则很少。针对该问题,提出一种基于张量分解的多维数据填充算法,利用张量分解中CP分解模型的结构特性和分解的唯一性,实现对多维数据中缺失数据的有效填充。通过实验对以三维形式存储的部分数据缺失图像进行填充修复,并与CP-WOPT算法进行比较,结果表明,该算法具有较高的准确度以及较快的运行速度。

基于EM和贝叶斯网络的丢失数据填充算法

实际应用中存在大量的丢失数据的数据集,对丢失数据的处理已成为目前分类领域的研究热点。分析和比较了几种通用的丢失数据填充算法,并提出一种新的基于EM和贝叶斯网络的丢失数据填充算法。算法利用朴素贝叶斯估计出EM算法初值,然后将EM和贝叶斯网络结合进行迭代确定最终更新器,同时得到填充后的完整数据集。实验结果表明,与经典填充算法相比,新算法具有更高的分类准确率,且节省了大量开销。

基于属性重要性的不完备数据填充算法

现有的不完备数据填充算法对所有缺失数据采用统一方式填充,没有考虑数据的重要性,效率低,实时性差.因此,本文提出一种基于属性重要性的不完全数据填充算法.通过差分矩阵求得属性约简,根据约简区分重要属性和非重要属性,对于重要属性数据填充采用改进的马氏距离填充方法,而不重要属性数据填充采用相似度概率填充方法,保证了数据精确度的同时,提高了实时性,具有实用性.最后,实验部分采用数据家庭系统数据和UCI标准数据集分别对算法性能进行了分析,验证了该算法的优越性.

基于深度学习的不完整大数据填充算法

提出一种基于深度学习的不完整大数据填充算法.算法首先以自动编码机为基础建立填充自动编码机.在此基础上,构建深度填充网络模型,分析不完整大数据的深度特征并根据逐层训练思想和反向传播算法计算网络参数.最后利用深度填充网络来还原不完整大数据,对缺失值进行填充.实验表明,提出的算法能够有效提高不完整大数据的填充精度.

基于AP聚类的不完整大数据填充

不完整数据的分析与填充一直是大数据处理的热点研究课题,传统的分析方法无法对不完整数据直接聚类,大部分方法先填充缺失值,然后对数据聚类。这些方法一般利用整个数据集对缺失数据进行填充,使得填充值容易受到噪声的干扰,导致填充结果不精确,进而造成聚类精度很低。提出一种不完整数据聚类算法,对不完全信息系统的相似度公式进行重新定义,给出不完整数据对象间的相似度度量方式,进而直接对不完整数据聚类。根据聚类结果将同一类对象划分到相同的簇中,通过同一类对象的属性值对缺失值进行填充,避免噪声对填充值的干扰,提高填充结果的精确性。实验结果表明,提出的方法能够对不完整数据进行聚类,并有效提高缺失数据的填充精度。

应用数据填充缓解稀疏问题实现个性化推荐

协同过滤是到目前为止最成功和应用最广泛的推荐技术,然而,由于用户-项目矩阵极端稀疏导致推荐不精确。针对该问题,提出了三种数据填充方法和两种推荐策略。对评分矩阵中未评分数据的三种数据填充方法是:(1)采用行和列数据的加权平均值填充;(2)采用行和列数据的众数的平均值填充;(3)采用行和列数据的中位数的平均值填充。一种推荐策略是直接用填充数据作为预测评分进行推荐;另一种推荐策略是将填充数据后的评分矩阵作为伪评分矩阵,应用Pearson相关相似性进行协同过滤推荐。采用MovieLens数据集进行的实验结果表明:上述几种推荐策略均可有效地缓解评分数据稀疏性问题,且提高了推荐精确度。

基于嵌套滑动窗口的数据流缺失数据填充算法

提出了一种基于嵌套滑动窗口的缺失数据填充算法.考虑到传感器数据流的时效特性,采用嵌套滑动窗口选取空间相关度高且距离最近的数据作为样本数据,之后分两种情况对缺失数据进行填充.算法首先通过皮尔逊相关计算对数据的空间性进行分析,应用嵌套滑动窗口对缺失数据相关的数据进行采样,得到强相关数据,之后采用MKNN算法进行精确填充.通过皮尔逊相关分析和嵌套窗口采样,极大地降低了数据样本大小,提高了缺失数据处理实时性;对于不具有强的空间相关的缺失数据,考虑到短时间内采集数据间强的时间相关性,采用线性相关法对数据进行填充,降低算法复杂度.实验表明,该算法能够实时、精确地对数据流缺失数据进行填充.

基于改进遗传算法的不完整大数据填充挖掘算法

传统的大数据填充挖掘过程存在耗时高、效率低的缺陷,对此提出基于改进遗传算法的不完整大数据填充挖掘算法.该算法先融合于BP人工网络神经算法随机产生不完整大数据初始网络权值,并对该组权值进行训练,设计一个不完整大数据基因矩阵,利用遗传算法以该基因矩阵为依据计算出不完整大数据适应值函数,并同时进行编码、杂交、变异等遗传操作,在此基础上进行不完整大数据信息的全局搜索,以其搜索的结果为核心将大数据划分为完整与不完整数据,采用信息论中熵值的概念利用同一类完整数据信息的属性值对缺失值进行填充.实验仿真证明,基于改进遗传算法的不完整大数据填充挖掘方法能实现对不完整大数据的挖掘,提高缺失数据的填充精度.

基于共享知识的不完整大数据填充方法

针对传统大数据填充方法相似度度量方法单一,且通常只考虑原数据集内部联系,使得填充数据容易被原数据集限制、失去自身原有特点、填充结果不客观等问题。提出一种新的概念——共享知识,该方法首先基于共享知识构建不完整数据集与异源相似完整数据集的共享关系,并建立共享信息系统;其次通过新的相似度度量方法建立它们对象间的相似关系,从而用异源相似完整数据集对象对不完整的数据集对象进行相似填充。实验结果表明,新的相似度度量方法比单一的数值型相似度度量方法填充精度更高。与其他填补算法相比,该方法对缺失值的填充精度值能够稳定地保持在0.85以上,均方根误差稳定在0.15之下,充分保留了填充值的客观性,填充效果更好。

基于量化限制容差关系的数据填充算法研究

在对粗糙集模型中的基于容差关系的ROUSTIDA算法和基于量化容差关系的VTRIDA算法进行分析的基础上,提出一种综合量化容差关系和限制容差关系的数据填充方法 VLTA(Valued and Limited Tolerance Algorithm)。VLTA算法克服了ROUSTIDA算法在无差别对象属性值发生冲突情况下无法对相同属性进行补齐的缺陷,改进了VTRIDA算法对容差关系不合理的量化定义。实验表明,VLTA算法填充结果准确率更高,更符合实际。

一种混杂的多核估计数据填充方法

不完全数据填充在数据处理和分析中起着重要的作用,并直接影响到数据挖掘和知识发现的结果.大多数现存的数据填充算法有的不能处理混合属性的数据有的参数确定复杂度高.针对这些问题本文提出一种基于多个核函数的混合属性数据填充算法.首先,为了减少干扰和计算量,算法采用带修正线性单元的降噪深度信念网络对缺失数据进行特征提取和聚类.然后,为了减少算法的迭代次数,定义部分距离策略对缺失值进行初始化,这能使算法快速收敛并且提高准确性.最后,对连续和离散变量分别定义核函数,计算它们的概率密度,进而构造一个估计器对缺失值进行填充.实验结果表明,本文提出的算法,可减少参数确定复杂度和迭代次数,同时保证数据填充的精度.

数据处理中缺失数据填充方法的研究

针对数据处理中常见的缺失数据现象,研究了若干种数据填充方法.分别对拉格朗日插值法、回归分析法、灰色预测法和BP神经网络方法进行了缺失数据计算和算法对比研究.以武汉市2013年3-4月的PM2.5数据作为实验研究对象,用上述四种方法进行了缺失数据验证及估计.对比计算结果发现,对于此类数据,利用拉格朗日插值法进行缺失数据填充效果优于其他三种方法.

一种基于极限学习机的缺失数据填充方法

数据处理过程中经常会遇到不完备数据需要填充的问题,寻求简单有效的缺失数据填充方法非常重要。针对该情况,提出一种基于极限学习机ELM(Extreme Learning Machine)的缺失数据填充方法,通过极限学习机网络建模,建立需要填充的缺失属性与其他属性的非线性映射模型。实验结果表明:该方法具有非常好的填充效果。

一种基于云模型数据填充的算法

协同过滤推荐技术是现如今电子商务系统中最重要的技术之一。针对目前协同过滤推荐技术中存在的因数据极度稀疏而导致相似性度量不准,推荐质量严重受到影响的问题,利用云模型在定性知识表示及定性、定量知识转换时的作用,提出一种基于云模型的数据填充算法,它利用相似用户计算目标用户评分缺失项。利用经典实验数据进行验证比较,结果表明,即使在用户评分数据极端稀疏的情况下,利用此算法对数据进行填充之后,再采用传统的协同过滤推荐算法能取得较理想的推荐质量,从一定程度上解决了推荐系统中普遍存在的稀疏性问题。

基于AOP的数据填充在教学诊改系统中的应用

为了分离教学诊断与改进系统中有关数据填充等大量非系统核心业务的边缘逻辑,提出基于AOP技术实现系统中的数据填充业务分离的方法。使用Spring AOP技术框架作为AOP的实现方式,介绍了Spring AOP框架和IOC容器的实现方法和内在机制,并说明分离横切关注点和核心业务的一般步骤。重点阐述Spring AOP在教学诊改系统中数据填充边缘逻辑处理的研究与实现。系统结果表明,使用AOP技术框架可以有效分离数据填充等边缘逻辑与系统核心业务逻辑,从而实现解耦,使系统可以更加专注于自身的核心业务。

基于朴素贝叶斯的EM缺失数据填充算法

实际应用中大量的不完整的数据集,造成了数据中信息的丢失和分析的不方便,所以对缺失数据的处理已经成为目前分类领域研究的热点。由于EM方法随机选取初始代表簇中心会导致聚类不稳定,本文使用朴素贝叶斯算法的分类结果作为EM算法的初始使用范围,然后按E步M步反复求精,利用得到的最大化值填充缺失数据。实验结果表明,本文的算法加强了聚类的稳定性,具有更好的数据填充效果。

基于会话时序相似性的矩阵分解数据填充

针对已有数据填充方法只考虑评分信息和传统相似性,无法捕获用户间真实相似关系的问题,提出了基于会话时序相似性的矩阵分解数据填充方法来缓解数据稀疏性、提高推荐精度。首先,分析了传统相似性的缺陷,并根据时序相似性和相异性提出了基于会话时序相似性度量,它结合了时间上下文和评分信息,能更好地捕获用户间的真实关系,从而识别近邻;接着,根据目标用户的近邻及其消费的项目抽取了具有用户和项目潜在影响因素的待填充的关键项目集合,并利用矩阵分解填充关键项目集合;然后,利用隐含狄利克雷分布(LDA)抽取用户在每个时间段内的概率主题分布,并利用时间惩罚权值建立用户动态偏好模型;最后,根据用户间概率主题分布的相关性和基于用户的协同过滤完成项目推荐。实验结果表明,与其他数据填充方法相比,基于会话时序相似性的矩阵分解数据填充方法在不同稀疏度下都能降低平均绝对误差(MAE),提高推荐性能。