上下文语义嵌入的变粒度云存储相似数据去重技术

针对云存储环境下现有相似数据去重技术效果不佳以及元数据开销大等问题,提出了上下文语义嵌入的变粒度云存储相似数据去重技术。该技术采用基于子块重组的特征提取算法,对数据块内容内部结构进行初步特征提取,并利用BP(Back Propagation)神经网络上下文感知模型将数据块上下文特征信息嵌入到初始特征中,实现了具有上下文语义嵌入的变粒度数据块。通过控制数据块大小,动态地合并相邻相似数据块或非冗余数据块,减少元数据开销,并对位于相似数据块和非冗余数据块之间过渡区域进行分割,从而获得更好的相似数据块表示形式。最后,为了评估其性能,实现了一个变粒度相似数据检测算法原型rCARD并在真实世界的数据集进行了实验,实验结果表明,与最新相似性检测去重技术Finesse相比,rCARD在实现更高重复数据删除率的同时,显著降低了元数据的大小,并且加速相似性检测速度高达11.07倍。

基于相似数据的支持向量机短期风速预测仿真研究

风电场功率预报是减小大规模风电并网对电网造成不良影响的有效手段,提高短期风速预测的精度是保障风电场功率预报的重要基础。提出了基于相似数据并结合小波分析的支持向量机短期风速预测方法。该方法从大量的数据样本中提取相似数据创建训练样本,采用小波分解技术将风速信号分解成低频趋势信号和高频随机信号,分别采用支持向量机理论建模,合成得到风速预测数据。仿真结果表明,相似数据有效地提高了数据的相关度,小波分解使支持向量机模型更好地拟合风速信号的低频和高频特性,提高了预测精度。通过与某风电场的实际风速数据验证,表明模型具有较强的泛化能力,程序运行时间可满足工程需要。

基于时间相似数据的支持向量机水质溶解氧在线预测

为及时辨识集约化水产养殖水质变化趋势、动态调控水质,确保无应激环境下健康养殖,该文提出了基于时序列相似数据的最小二乘支持向量回归机(least squares support vector regression,LSSVR)水质溶解氧在线预测模型。采用特征点分段时间弯曲距离(feature points segmented time warping distance,FPSTWD)算法对在线采集的时间序列数据进行分段与相似度计算,以缩减规模的子序列数据集对LSSVR模型进行快速训练优化,实现了多个LSSVR子模型在线建模,将预测数据序列与LSSVR子模型的相似度匹配,自适应地选取最佳的子模型作为在线预测模型。应用该模型对集约化河蟹福利养殖水质参数溶解氧浓度进行在线预测,模型评价指标中最大相对误差、平均绝对百分比误差、相对均方根误差和运行时间分别为4.76%、8.18%、5.23%、8.32 s。研究结果表明,与其他预测方法相比,该模型具有较好的综合预测性能,能够满足河蟹福利养殖水质在线预测的实际需求,并为集约化水产养殖水质精准调控提供研究基础。

面向相似数据集的关系数据库压缩

采用关系数据库模型进行建模,对于同一关系框架上的数据定义了相似数据集。对单个数据集,通过关系拆分对数据库模型进行规范化处理,去除了关系内部的数据冗余;对多个数据集之间的压缩提出了一种基于0-1状态标记序列的增量式无损压缩算法,压缩后的数据可以快速地完全解压缩。试验结果表明,算法可以实现对相似数据集的高效无损压缩和快速查询。

高速网络多模式相似数据串隔离式传输仿真

针对传统数据串隔离式传输方法模式单一,数据串相似度不高的问题,为有效提升数据传输成功率以及网络吞吐量,提出了高速网络多模式相似数据串隔离式传输方法。评估不同链路信道上相似节点的可用性,判断链路相互干扰情况,利用信道干扰电平的路由指标函数,计算相似节点链路的网络干扰电平,组建高速网络多模式干扰无向图。在多模式干扰无向图中,结合路由协议计算随机选取两个相似节点的路由平均抗干扰程度,选取干扰程度相对较小的路径,实现高速网络多模式相似数据串隔离式传输。仿真结果表明,相比其它方法,所提方法能够有效降低数据传输延迟,提升网络吞吐量以及数据传输成功率,获取较为理想的数据传输效果。

信息粒化和相似数据结合的短期风速预测

准确地短期风速预测对电网安全稳定具有重要意义。该文将信息粒化和相似数据搜索应用于风速预测中,实现对风速变化区间的预测。对原始风速数据用模糊信息粒化处理,在此基础上运用新的相似数据搜索法和支持向量机结合的模型进行预测,得到变化区间。实例仿真表明,粒化后的数据反映了风速变化特征,减少了数据的冗余,新的相似数据搜索法提高预测模型训练样本和预测样本的相关性,提高了预测精度。通过风电场实际风速数据验证,该模型能有效预测风速的变化范围。

基于相似数据的人工神经网络短期风速预测模型

提出基于相似数据并结合小波分析的数据预处理模型,并运用基于反向传播(BP)神经网络风速预测模型预测风速。该方法从大量的历史数据样本中提取相似数据创建训练样本,采用小波分解将风速信号分解成低频趋势信号和高频随机信号,采用BP神经网络建模,合成得到风速预测数据。通过某风电场的实际风速数据验证结果表明,相似数据有效地提高了数据的相关度,小波分解使BP神经网络模型更好地拟合风速信号的低频和高频特性,提高了预测精度。

基于相似数据选取和改进梯度提升决策树的电力负荷预测

针对高精度电力负荷预测问题,构建了相似数据选取和改进梯度提升决策树的新预测方法。该方法借助灰色关联分析等方法计算历史日与待预测日在气象、时间和前趋势等类特征因子上的局部相似度,依据取小综合相似度选择相似历史日数据组成训练数据集;进而,引入相似度加权损失函数,改进梯度提升决策树算法。仿真结果表明,其预测平均绝对百分比误差小于2.2%,日最大误差不超过6%;与BP神经网络和梯度提升决策树相比,其日平均绝对误差、日最大误差及周平均误差均方差分别减少1.136%和0.316%、4.738%和1.324%以及1.062和0.822。

基于压缩感知的短期风电功率预测相似数据分析方法

准确及时的短期风电功率预测对包含大规模风电的电力系统运行调度、检修计划、备用安排有着重要意义。引入温度、风速、风向及其各自的最大变化范围等对风电功率影响较大的因素作为风电模式特征,利用其时段周期性,提出一种基于压缩感知的相似数据分析方法,用以为预测模型提取历史基础数据。文中提出的基于压缩感知的相似数据分析方法以风电模式特征为数据类别,预测目标时间段数据为原始信息,利用时段周期性历史样本数据构造冗余字典,通过匹配追踪,求得观测值作为相似数据。实验结果表明,相对于一般的相似数据分析方法,本方法提取的相似数据更为切合实际情况,进而可以提高短期风电功率预测的精度,为风电场运行和调度提供更优的数据参考。

自相似数据流下的网络相变与临界现象

随着网络规模的不断扩大和网络用户的不断增加,目前的网络已经发展成为一个海量的非线性复杂系统.对网络非线性动力学的研究,已经引起了计算机和统计物理学等相关领域研究者的浓厚兴趣.论文提出了一种网络仿真模型,并在自相似数据流下进行了各种网络仿真实验.通过实验分析,发现了在自相似数据流下序参数d在整个网络从非拥塞进入间歇性拥塞,再到持续性拥塞的过程中起了重要的标示作用.通过对队列长度的功率谱分析,揭示了序参数d与1/f,1/f2分布之间的关系.

信息熵与模糊综合评判融合的相似数据检测方法

针对大数据环境下数据冗余量大的问题,以粗糙集理论为基础,提出了一种基于香农信息熵(Shannon entropy)融合模糊综合评判的相似重复数据检测方法,首先基于香农熵对数据集中的属性进行约简,然后采用模糊综合评判方法获取约简后各属性的重要性权值,最后依据约简属性及其权值进行相似数据的检测。理论分析与实验对比表明,该方法在结构化大数据集的相似数据检测中,有较高的检测精度与效率。

面向报警根源分析的历史相似数据段查找

当工业现场发生报警时,操作员需要快速找到报警根源,从而采取正确的措施消除报警。为了更好地帮助操作员进行报警根源分析,提出一种多变量的历史相似数据段查找方法。首先,改进一种单变量相似数据段查找算法,消除其在查找相似数据段时存在的误差;然后,提出一种新的基于距离分布来确定时间窗口宽度的方法,用来定义被查找数据段的时长;最后,对多变量历史数据进行相似性查找,并对数据段的相似程度进行排序。通过TE(Tennessee Eastman)过程的仿真实验,验证了该方法相对于传统算法具有更好的有效性和快速性。

有序聚类算法下数据相似性挖掘仿真

由于数据具有多样性与复杂性等特点,且存在较多难以挖掘的隐藏信息,导致数据相似性挖掘精度低。为此提出一种基于有序聚类算法的数据相似性挖掘方法。通过不同类型数据的变化特点,采用有序聚类算法微聚类特征,存储数据信息,调整动态滑动窗口大小,计算不同数据点和聚类中心之间的距离,更新微聚类特征,实现数据有序聚类。采用网络和密度扩散相结合的方式获取数据位置序列,获取对应字符串,建立广义后缀树,完成数据相似性挖掘。仿真结果表明,采用所提方法可以准确对数据有序聚类,聚类运算时间仅为39.88ms,同时还可以获取满意的数据相似性挖掘结果。

基于SVM的多维相似大数据分类系统设计

受大数据自身相似性的影响,传统数据分类方式的分类精度偏低,为此提出基于支持向量机(Support Vector Machine,SVM)的多维相似大数据分类系统设计研究。将MYC-JX8MMA7核心板作为系统设计的开发载体,构建SVM线性回归模型,通过构建一个回归平面,保障所有多维相似大数据与平面之间的距离均处于最小状态,利用待分类数据与最佳分类界面被标记样本之间的相似度,实现对数据的分类。在测试结果中,分类结果F1 Score稳定在0.82以上,明显优于对照组。

基于数据局部相似性的卷积神经网络加速器

为提高卷积神经网络的处理速度,使用零梯度近似处理的卷积方法(梯度卷积)来提高数据的复用率,减少计算量。以卷积核为单位对数据进行梯度计算,针对不同网络的不同层次采用灵活的梯度阈值计算策略,以合理复用相邻窗口的卷积结果。将其中关键的梯度处理模块和卷积计算部分在现场可编程门阵列(Field-Programmable Gate Array,FPGA)上进行实现,与脉动阵列相结合以提高资源利用率,并针对负载不均衡的问题设计出适合梯度卷积的数据流。基于YOLOv3模型和Pascal VOC数据集的目标检测实验中,在付出较小精度损失的前提下,软件端减少约23.2%的计算量,结合硬件加速比约为17.8%。

基于数据相似度和引力理论的密度峰聚类算法

本文针对密度峰聚类算法(DPC)中存在的参数敏感、算法不连续和聚类分块化问题,提出一种基于数据相似度和引力理论的密度峰聚类算法(SLDPC)。该算法基于数据相似度确定局部密度,采用引力理论扩大簇心与非簇心数据点之间的差异,通过设定阈值自动确定簇心,通过基于边缘分布的合并策略对聚类分块化进行合并。实验共采用16个数据集,并与DPC、K-means、基于密度的噪声应用空间聚类算法(DBSCAN)及DPC改进算法进行了对比。实验结果表明,本方法具有优异的聚类准确性和良好的稳定性。

基于曲线拟合与数据相似度的自动对焦算法

开环控制是自动对焦系统中常见的控制方式,但受图像噪声、系统迟滞误差影响,存在对焦精度差甚至对焦失败等问题。为解决这一问题,提出一种基于曲线拟合与数据相似度的自动对焦算法。该算法将曲线拟合与数据相似度算法相结合,准确计算出精准对焦位置。实验结果表明:该算法相比传统自动对焦算法具有更高的精度和抗噪性,可有效避免迟滞误差影响,适用于开环控制的自动对焦系统,适合农用机械的智能化运用。

基于有序聚类方程的数据相似性识别数学建模

针对有序数据由于结构复杂导致数据相似性识别难度增加的问题,建立基于有序聚类方程的数据相似性识别数学模型。归一化处理待识别相似性的有序数据集,依据网格粒化算法将完成归一化处理的有序数据空间划分为多个均匀的网格单元;扫描完成空间划分后的全部网格单元,将有序数据集内的全部数据划分至相应网格单元中;计算各网格单元内有序数据的密度-距离值,依据数据密度-距离值计算结果识别各网格单元中心点;以网格单元中心点为基础,利用有序聚类方程计算各网格单元内有序数据相似性,依据相似性计算结果划分有序数据至不同类簇中,相同类簇内的有序数据具有较高相似性。仿真测试结果表明,所建立模型可以有效识别有序数据的相似性,有序数据相似性识别的标准互信息结果高于0.9。

大数据相似重复记录检测算法在试题库中的运用

为了提高试题库中重复信息自动化检测能力,提出面向试题库建设的大数据相似重复记录检测算法。采用大数据分析方法,构建试题库大数据相似重复记录分布模型,获取随机链路中重复记录的分布区间,采用层次关系入度集特征监测的方法,分析试题库大数据相似重复记录特征结构,根据获取的统计特征量,基于空间网格聚类方法对试题库大数据的相似重复记录进行融合处理,根据处理结果,在空间坐标系中实现大数据相似重复记录的检测。仿真实验结果表明,所提算法进行试题库的大数据相似重复记录检测的错误率较低,时间开销较小。

决策树算法在船舶自主巡航数据消冗中的应用

船舶在进行智能化管理和航行时,需依据可靠的自主巡航数据完成,将大量的传感器数据和监测信息作为输入,以便系统能够作出正确的决策。然而,这些数据可能存在冗余信息干扰,影响着智能决策系统的可靠性,因此研究决策树算法在船舶自主巡航数据消冗中的应用。采用滤波、插值以及混合式时序数据生成的方式,进行船舶自主巡航数据的时序处理,生成规范的船舶自主巡航时序数据;依据处理后的数据生成决策树,划分船舶自主巡航数据类别;通过计算同类间数据相似度,并设计消除器,实现船舶自主巡航数据消冗处理,获取没有冗余的巡航数据。测试结果显示,该算法的数据时序处理效果较好,可以完成不同数据类别之间的划分,同时能够计算同类数据之间的相似度,最大空间缩减比为27.8%。