基于缺失值补全和SVD的手游推荐方法

由于用户数量的巨大使得用户对手游的评分矩阵显得非常稀疏,传统协同过滤算法不能很好地应用在手游推荐领域。针对该问题,提出一种缺失值补全方法,对于某用户对某手游的缺失评分,通过手游标签聚类方法求得该用户的相似用户类群和该手游的相似手游类群,利用这两个类群构建一个相似评分矩阵,将相似评分矩阵中所有评分之和的均值赋予缺失评分。对填补后的评分矩阵使用SVD方法训练,最后得到预测评分。实验所得平均绝对误差(MAE)和均方根误差(RMSE)均优于传统推荐方法。

基于傅里叶变换和kNNI的周期性时序数据缺失值补全算法

在机器学习和数据挖掘过程中,数据缺失现象经常发生。对缺失值的有效补全是数据预处理的重要组成部分,也是后续分析挖掘工作的基础。最近邻填充算法(kNNI)因其易于实现、计算方便和局部填充效果好等特性而被广泛应用。但是,它并不涉及全局信息,因而当大段缺失值发生时,补全效果会有所降低,而对于具有周期成分的时序数据,其效果更是急剧下降。幸运的是,傅里叶变换能够解析出周期数据中的不同周期成分,并能在此基础上通过逆变换基本实现数据复原,只不过其局部复原能力较弱。因此,本文结合傅里叶变换对周期性数据的全局复原能力和kNNI对局部数据的补全能力,提出了基于傅里叶变换的kNNI缺失值补全算法(FkNNI)。通过对大量模拟数据的测试结果表明,该算法比单纯的kNNI算法的缺失值补全准确性有很大提升。

基于缺失值补全与BiLSTM的用电行为异常检测

目前,通常采用深度神经网络根据历史用电数据检测用户用电行为异常,但该方法忽略了电力数据缺失对异常检测性能的影响。为此,提出一种基于缺失值补全和双向长短期记忆神经网络(BiLSTM)的用电行为异常检测模型。首先,采用卡尔曼滤波器和一维卷积神经网络学习电力数据文本信息表示,通过图注意力网络捕获电力数据间复杂的关联关系。然后,以Transformer为生成器,支持向量机(SVM)为判别器构建生成对抗网络(GAN)模型,通过两者相互对抗补全电力数据缺失值。最后,采用BiLSTM进行用电行为异常检测。实验结果表明,所提模型的准确率、F1值、AUROC值和AUPRC值分别为96.82%、60.28%、89.17%和56.73%,优于主流异常检测模型,证明模型能有效提高电力异常检测性能,可以为用电数据检测提供参考与借鉴。

变形分量信息随机森林分析法在缺失数据处理中的应用

完整的变形监测数据是评估大坝运行状态的前提条件,数据缺失将给相关分析带来很大难度。为此,提出了基于随机森林(RF)算法对不同尺度变形分量信息提取缺失值的处理方法。首先,将待处理测点和相似变形测点监测数据变换为不同尺度的分量;然后,以待处理测点各分量为因变量,使用RF法从其他测点分量中提取对其影响显著的分量,记为一组样本,依次提取直至完成所有分量的信息提取;最后,对得到的样本组构建BP模型,并组合得到原始变形缺失数据补全结果。经实例分析可知,相比于其他方法,基于随机森林算法的缺失数据处理方法的变形补全结果更准确,在大坝变形缺失值补全中有明显优势。该方法可为坝工领域其他缺失监测量的处理方法提供参考。

高速公路隧道机电设备数据清洗与标准化

为解决高速公路隧道机电设备采集的海量原始数据量纲不统一、存在异常值和缺失值而造成的数据分析难、可视化错误等问题,立足高速公路机电数据清洗与标准化,构建形成高速公路隧道机电设备数据清洗与标准化模型框架。首先,基于Holt-Winters模型与改进的高斯函数进行异常时间序列的离群点检测,并将异常值进行剔除。其次,对剔除离群点的数据进行Min-Max标准化,将数据映射到[0.1]区间,以消除不同数据指标量纲的影响。最后,基于生成式对抗网络补全被剔除的异常值及原始数据中的缺失值。基于实际隧道机电设备数据对本文提出的方法进行验证,实验结果表明,本文提出的方法能够有效剔除异常值,同时对缺失值进行合理填充,将标准差降低约56.5%,显著提高了数据质量。

基于模糊关联规则的海量气象数据动态挖掘

海量气象数据之间存在模糊关联性,且这种模糊关联性难以确定,所以研究基于模糊关联规则的海量气象数据动态挖掘方法。结合EMD和MIC设计时间序列数据去噪算法,对海量气象数据进行去噪处理。搭建基于生成对抗网络与时间指数的GAN-TRTI缺失值补全函数,填补时间序列缺失值。使用模糊关联规则与粒子群优化算法设计海量数据动态挖掘算法,实现海量气象数据的动态挖掘。测试结果表明,在所设计方法的挖掘结果中,样本对于挖掘规则的平均置信度较高,最终稳定在92%左右,平均支持度最终达到90%,说明该方法的挖掘效果好。

基于人体关节点数据的攻击性行为识别

针对人体攻击性行为识别问题,提出一种基于人体关节点数据的攻击性行为识别方法。首先,利用OpenPose获得单帧图像中的人体关节点数据,并通过最近邻帧特征加权法和分段多项式回归完成由人体自遮挡和环境因素所导致缺失值的补全;然后,对每个人体定义动态“安全距离”阈值,如果两人真实距离小于阈值,则构建行为特征矢量,其中包括帧间人体重心位移、人体关节旋转角角速度和发生交互时的最小攻击距离等;最后,提出改进的LightGBM算法w-LightGBM,并对攻击性行为进行识别。采用公共数据集UT-interaction对所提出的攻击性行为分类识别方法进行测试实验,准确率达到95.45%。实验结果表明,所提方法能够有效识别各种角度的攻击性行为。