面向稀疏数据的协同过滤算法相似度

针对数据稀疏加剧导致传统相似度模型的推荐准确性低的问题,提出一种混合的协同过滤相似度模型。引入Jensen-Shannon(JS)散度作为基函数,利用全局评级概率分布衡量用户间评级偏好相似度。定义融合评级值的结构型相似度作为权重因子,针对用户的共同评级项目设计差异化的相似度计算方式,提高相似用户的区分度,得到基于相对区间跨度的相似度。在不同稀疏度数据集上与7种具有代表性的相似度方法进行对比实验,其结果表明了所提方法在预测和推荐准确性指标上均有良好性能。

基于长短期记忆的稀疏数据过滤推荐算法

采用目前算法对稀疏数据进行过滤推荐时,没有综合考虑用户的整体评分特征和不同项目的单独评分对数据补全的影响,导致MAE值和RMSE值大、F1值小。提出基于长短期记忆的稀疏数据过滤推荐算法,首先通过相关因子对相似性进行计算,利用云模型将稀疏数据缺失项进行补全,然后采用补全后的数据构建长短期记忆网络,通过长短期记忆网络得到简单优化函数并对其求解,最后建立稀疏数据过滤推荐算法模型,完成基于长短期记忆的稀疏数据过滤推荐。实验结果表明,所提方法的MAE值和RMSE值更小、F1值更大。

面向稀疏数据的物品相似度和评分预测算法研究

在基于邻域的协同过滤算法中,相似度和评分预测方法的设计是其核心步骤.由于数据稀疏问题,导致所选邻居的质量和评分预测能力受到较大影响.针对以上问题,提出面向稀疏数据的物品相似度和评分预测算法.首先,根据模糊集和推荐系统的关联,从用户偏好概率的角度提出基于Vague集的KL(Kullback-Leibler)散度,以衡量物品相似度.其次,定义权重因子α,强调评分数量信息的重要性,进一步提高相似度计算的准确性.最后,提出改进的评分预测方法,整合更多的评分信息来调整预测结果,提高稀疏数据下评分预测的能力.在基准数据集上的实验表明,与其余代表性算法相比,本文方法具有较高的预测和推荐质量,并有效缓解了数据稀疏问题.

基于稀疏数据的岛礁边线平滑外推方法

岛屿、礁石等附近的洋流呈现错综复杂的特征,增加了民用船只航行的危险。对此,可以通过对航线内的岛屿、礁石基于边线进行外推的方法,计算出一个较为合理的适合航行的安全区域。提出了一种基于稀疏数据的岛礁边线平滑外推方法,该方法从岛屿、礁石等地理要素在边线数据稀疏、精度较低情况下所呈现的形状特征出发,通过将岛礁抽象为平面上的一个多边形,并设定符合要求的外推距离,同时引入满足航行误差要求的拐角平滑处理半径,实现岛礁边线的平滑外推。并通过实验验证了该方法的有效性,具有一定的实用价值。

面向稀疏数据场景的生成对抗网络推荐算法

提出一个改进的基于生成对抗网络的协同过滤(CFGAN)的模型,通过引入增强的置换注意力机制,强化其面向稀疏数据集的特征聚焦能力,并考虑用户可能交互物品对推荐结果的影响.此外,将协同用户社交网络从用户反馈中提取的语义好友特征嵌入CFGAN,以实现负样本的个性化抽取,进一步提升模型面向稀疏数据场景的推荐效果.

稀疏数据下复杂流域的水质模拟:以赣江为例

以赣江流域为例 ,对稀疏数据条件下复杂流域水质模型的建立和参数识别进行了探讨 .采用了结构相对比较简单的CSTR模型 ,将其参数划分为水文参数和水质参数 ,并分别进行识别 .水文参数采用回归方法进行识别 ,对水文参数的扰动实验表明 ,水质对于水文参数在可能的取值范围内的变化不敏感 ,因此在随后的水质参数的识别中 ,将其固定在回归方法求出的最优值上 .水质参数的确定则采用了模型方法和资料方法相结合的手段 ,综合考虑了赣江流域可获得的数据信息、文献资料中对于参数的经验取值和模拟者在大量数学建模中的经验 ,最终根据河流的不同类型确定了赣江流域的水质参数 。

基于信息扩散的稀疏数据插值算法

为了解决实际海洋观测资料中存在的零散、稀疏问题,提出了一种基于信息扩散思想的插值方法——正态扩散插值模型。该方法基于模糊映射思想,通过对稀疏数据点的信息进行模糊扩散和插值映射,进而实现有限数据点信息向其邻近区域点的概率插值。运用该算法思想和途径,建立了信息扩散插值正态模型。通过对海温资料的插值试验和对比分析,验证了该方法的合理性和有效性,可为海洋观测资料的客观分析和标准化处理应用提供实用方法和技术参考。

一种解决稀疏数据和冷启动问题的组合推荐方法

针对传统推荐算法所面临的冷启动与稀疏数据问题以及现有ARM(association rule mining)算法大多用于购物篮顾客行为分析,并不适用于特定用户推荐业务且效率较低等现象,提出一种基于相似度的关联推荐模式,实现一种新的结合关联规则推荐与协同过滤推荐方法.采用基于指定后件项的关联规则推荐,直接对目标用户和目标项目进行关联规则挖掘,并利用兴趣因子对活跃用户(或项目)与非活跃用户(或项目)进行权值均衡,以加权方法推荐最优解(规则).同时,采用相似度测量方法,过滤低相似度的项目,为用户推荐既有高评分又具有较高相似度的项目集合.最后,结合规则推荐与CF(collaborative filter)推荐形成最终推荐结果,实现基于用户(或项目)的协同过滤推荐.在MovieLens数据集上的实验结果表明,同已有成果相比本文方法能够更好地处理稀疏数据和冷启动问题,推荐质量明显提高.

稀疏数据插值问题的回归克里格方法

针对稀疏数据的插值问题,基于克里格方法提出了一套应用于数据量少、插值空间广泛的回归克里格方法。研究结果表明,该方法可有效解决稀疏数据无法给出合理理论变异函数的问题,且插值结果与基于最小二乘法的简单克里格相比平稳性更好。回归克里格方法应依据具体问题选择变量,以满足强相关为首要条件,过多增加相关变量往往不能取得很好的插值效果。

基于排序思想的高维稀疏数据聚类

针对CABOSFV聚类算法对数据输入顺序的敏感性问题,提出融合排序思想的高属性维稀疏数据聚类算法,通过计算首次聚类中两两高属性维稀疏数据非零属性取值情况确定所需要计算差异度的集合组合,减小了算法复杂度。应用结果表明,该方法能提高CABOSFV聚类的质量。

基于稀疏数据规约的CMAC大气腐蚀数据补偿方法

材料腐蚀带来巨大的损失。对于大部分地区来说,大气腐蚀等级是未知的。如何准确地补偿缺失的大气腐蚀等级数据成为函待解决的问题。分别针对大气腐蚀等级的两个关键因素氯离子浓度、二氧化硫浓度单独缺失的情况进行数据建模补偿。针对中国地区腐蚀等级以及相关环境参数数据稀疏分布的特性,提出了一种基于稀疏数据规约的CMAC大气腐蚀数据补偿方法。同时,针对二氧化硫浓度缺失的情况,根据现有的有效数据,提出了二氧化硫浓度的经验公式。结果表明,氯离子浓度单独缺失时预测准确率为86.5%,二氧化硫浓度单独缺失时预测准确率为82.6%。该算法提高了大气腐蚀等级数据补偿准确率,为材料选择提供了重要依据。

面向稀疏数据的协同过滤用户相似度计算研究

基于用户的协同过滤通过获取最近邻的偏好实现对目标用户偏好的预测推荐,相似度计算为其核心步骤。传统数值相似度计算依赖于用户共同评分项的评分数值,用户-项目评分矩阵稀疏程度的加剧导致数值相似度计算准确性降低,难以为目标用户选取可靠的最近邻,影响推荐效果;现有结构相似度大多利用用户共同评分项占比度量,计算简单,受数据稀疏影响较小但区分度低。针对上述协同过滤任务中数据稀疏带来的相似度计算问题,提出一种稀疏余弦相似度。首先定义新的结构相似度——稀疏集合相似度,将用户区分为高相关用户与低相关用户,并进一步针对不同类型用户设计差异化的数值相似度计算方式,以缓解传统数值相似度在面临数据稀疏时的不足,最终综合数值相似度与结构相似度形成稀疏余弦相似度。实验结果表明,与七种相似度计算方法相比,稀疏余弦相似度解决了传统数值相似度受数据稀疏影响严重和结构相似度计算结果区分度低的问题,可更准确计算用户相似度,提升推荐效果。

稀疏数据频繁项集挖掘算法研究综述

频繁项集挖掘FIM是最重要的数据挖掘任务之一,被挖掘数据集的特征对FIM算法的性能有着显著影响。在大数据时代,稀疏是大数据的典型特征之一,对传统FIM算法的性能带来严峻挑战。针对在稀疏数据中如何高效进行FIM的问题,从稀疏数据的特征出发,分析了稀疏数据对3种类型FIM算法性能的主要影响,对已经提出的稀疏数据FIM算法进行了综述,对算法中采用的优化策略进行了讨论,最后通过实验对代表性的稀疏数据FIM算法进行了性能分析。实验结果表明,采用伪构造策略的模式增长算法最适合用于稀疏数据的FIM,在运算时间和存储空间上,相比其他算法该算法具有较大的优势。

我国网上拍卖竞买者出价行为特征分析——基于函数性稀疏数据聚类方法的实证研究

近年来,如何从个人角度分析竞买者出价行为成为研究难点。本文运用基于函数性稀疏数据聚类方法从竞买者个人角度定义了基于条件期望的距离矩阵,并结合多维尺度分析方法(MDS)和相平面图分析法对竞买者出价行为特征进行聚类分析。结果表明,按出价时间、金额、出价能量以及获胜概率可将竞买者分为显著的四类。其中,经验丰富型竞买者获胜概率最高,势在必得型竞买者获胜意愿最强烈,缺乏经验型竞买者退出竞拍时间较早导致获胜概率较低,围观型竞买者由于竞拍意愿不强烈所以获胜概率最低。

稀疏数据下基于用户偏好的协同过滤算法

协同过滤(collaborative filtering,CF)是推荐系统中最常用和最成功的推荐技术之一。现实中的数据往往比较稀疏,用户之间缺少共同评定项目,使一些传统的相似性度量无法进行计算;此外,传统的协同过滤算法忽视了用户偏好问题,这样会造成推荐精度的下降。针对这些问题,从用户全局项目和地方评级信息分析影响用户兴趣偏好的因素,通过计算用户评级信息在全局的概率分布和使用海明贴近度计算用户的兴趣偏好度,利用Jeffries-Matusita距离得出关于用户偏好的相似度算法,将相似度算法与加权的Jaccard相似度算法有效结合,提出了一种在稀疏数据下基于用户偏好的协同过滤算法模型。实验结果表明,提出的模型性能优于传统协同过滤算法,并且在更为稀疏的数据集上也有很高的准确率。

基于深度学习的高维稀疏数据组合推荐算法

传统方法在对高维稀疏数据进行检测的过程中,受到高维特征扰动的影响,数据误差较大,因此提出一种基于深度学习的高维稀疏数据组合推荐算法。采用相空间重构方法进行高维稀疏数据的特征重构,根据重构结果结合非线性统计序列分析方法进行高维稀疏数据的回归分析和点云结构重组,在此基础上提取高维稀疏数据的组合特征量;依据特征量提取结果采用特征提取技术抽取高维稀疏数据的平均互信息特征量,并结合关联规则挖掘方法进行高维稀疏数据的主成分分析,挖掘高维稀疏数据的相似度属性类别成分,最终采用深度学习方法进行高维稀疏数据组合推荐过程中的自适应寻优,实现高维稀疏数据的组合推荐。仿真结果表明,采用该算法进行高维稀疏数据推荐的属性归类辨识性较好,特征分辨能力较强,提高了数据的检测和识别能力。

基于概念格的稀疏数据协同过滤校正自然噪声方法

针对推荐系统中存在的自然噪声问题,提出一种基于概念格的稀疏数据协同过滤校正自然噪声的方法.首先将用户和项目划分为强、平均和弱三类检测自然噪声,然后采用基于概念格的稀疏数据协同过滤校正这些自然噪声,最后从获得的无自然噪声数据集中预测未评级的项目.在含自然噪声的数据集上进行实验的结果表明,该方法具有较高的推荐精度,且在数据稀疏的情形下仍具有良好的性能.

事件触发稀疏数据传输下NNCS的满意容错控制

基于离散事件触发通讯机制,研究了在稀疏数据传输情形下非线性网络化控制系统(Nonlinear Networked Control System,NNCS)的满意容错控制问题。基于事件触发稀疏数据传输背景建立了带执行器饱和约束的闭环故障系统模型;利用提出的安全度定义和Lyapunov稳定性理论,推证出使NNCS具有广义H_∞/H_2性能和α-安全度的容错收缩不变集充分条件和相应的协同设计方法;通过仿真算例验证了理论方法在协同设计方面的可行性和节约网络资源方面的有效性,并提出了实际应用中应遵循的折中类定性原则。

稀疏数据源频繁模式挖掘并行算法

针对频繁模式挖掘中一类特殊的稀疏数据源,设计了一种链表结构体FI-list,并据此提出一个并行搜索频繁项集(PMFSD)的算法.该方法基于一个分布式共享内存系统——面向视图的分布式集群计算(VODCA)而设计.详细描述了链表结构体FI-list的设计和构建过程,论述了在VODCA上挖掘稀疏数据源频繁模式的问题中,视图的划分依据及划分结果,讨论了算法实现的动态任务分配策略.实验结果证明了PMFSD算法的正确性和有效性.

高维稀疏数据频繁项集挖掘算法的研究

传统挖掘算法不适用于挖掘高维稀疏数据集。提出了一种针对高维稀疏数据的频繁项集挖掘算法FIHS。FIHS引入了一种新的数据结构用来存储频繁项集,该结构不但可以减少存储空间,而且可以降低计数代价。该算法只需扫描一次数据集,通过优化连接剪枝操作避免产生非频繁的候选项集,基于K-频繁项集使用"与"、"或"操作产生K+1-频繁项集,且数据结构易于维护。理论分析和实验表明,该算法用于高维稀疏数据集上具有挖掘速度快,存储空间少等优点。