基于CUR矩阵分解的网络异常大数据检测算法

大数据通过网络储存与使用信息,若没有相应的安全防护手段,其信息网络内会出现部分异常数据,使用户隐私安全受到威胁,对此提出一种基于CUR矩阵分解的网络异常大数据检测算法,通过二进尺度参数分析数据信号特性,依靠小波模极大值去除数据内干扰噪声,拟定正常区间与观测区间描述数据特征,构建异常大数据检测指标,将大数据转变成二进制表示形式组建邻接矩阵,重构数据获得残差矩阵,以上述两种矩阵和对应参数当作输入,交替更新矩阵,得到数据内残差数值,结合检测指标实现对网络异常大数据的检测。实验证明,所提方法的检测精准度高,在存在白噪声的状况下依然能够成功检测出网络大数据内存在的异常数据,抗干扰性强。

基于不等概自适应抽样和随机SVD分解的CUR矩阵重构

高维大数据矩阵分析中,使用少量主要成分逼近原始数据矩阵是常用方法,这些主要成分是矩阵行和列的线性组合,不易对数据的原始特征进行解释。本文提出将不等概抽样与自适应抽样结合的适用于CUR矩阵分解的抽样方法,并将该抽样方法与矩阵随机奇异值分解(SVD)方法相结合,对抽样得到的列矩阵C和行矩阵R进行随机SVD分解,在控制计算复杂度的同时提高低秩逼近重构矩阵的精度。研究结果表明,在矩阵低秩逼近中,基于不等概自适应抽样和随机SVD分解相结合的CUR矩阵分解方法具有较高的精确度和稳定性。

基于行列联合选择矩阵分解的偏好特征提取

针对奇异值分解(SVD)分析偏好特征不够准确,有时出现不可解释的情况,文中提出利用行列联合选择(CUR)矩阵分解方法获取原始矩阵M(用户对产品的偏好)的低秩近似,提取用户和产品的潜在偏好.首先计算M中行和列的统计影响力得分,并抽取得分较高的若干列和若干行构成低维矩阵C和R,然后由M、C、R近似构造矩阵U,将高维空间中的偏好特征提取问题转化为低维空间中的矩阵分析问题,使其具有较好的可解释性和准确性.最后,通过理论分析和实验发现,与传统分解方法相比,CUR矩阵分解方法在偏好特征提取方面具有更高的准确度、更好的可解释性及更高的压缩率.