协同过滤下混合大数据无损挖掘算法研究

大数据具有大规模性、多样性以及价值性,由于海量数据间的较高相似度,导致数据挖掘过程易受冗余干扰,出现数据丢失、损坏等问题。为解决上述问题,提出基于协同过滤算法的混合大数据无损挖掘方法。对混合大数据集成预处理,去除冗余,将不同来源的相同数据无损融合。采用协同过滤算法的时间衰减函数,计算挖掘项目间相似性。在混合大数据特征关联度的约束下,实现混合大数据无损挖掘。实验结果表明,所提方法应用下,混合大数据量高达25000MB时,数据挖掘所需时间仅为45ms左右,且挖掘精度高达95%以上,数据挖掘结果与目标具有一致性。

算法偏见背后的数据选择、信息过滤与协同治理

算法驱动的人类智能系统与人工智能系统交互中,数据选择与信息过滤是不容忽视的关键环节,一方面与算法运行的不透明性有关,另一方面也受到人机协同的信息过滤影响。算法偏见已经造成了现实生活中信息圈层之间的分化,并可能延续甚至加剧社会发展多个方面的失衡。因此,有必要审慎地看待算法偏见的影响要素,透视技术本身及其应用过程中的潜在风险和问题,从而为应对人工智能嵌入社会系统过程中所带来的阶段性偏见提供思路。

基于SE模块的神经协同过滤

基于传统推荐方法对辅助信息利用不足,为优化用户、项目间内在联系挖掘有限等问题,采用将Squeeze-and-Excitation Networks结构嵌入神经协同过滤的方法提出SE-NCF模型,利用SE模块学习权重,去除不同特征中权重较低的噪声来实现特征融合,通过神经协同过滤层获得用户-项目间的线性与非线性关系,实现模型优化。通过茶评与Amazon_Food两公开数据集对同类推荐方法进行实验,实验结果表明,相比于原神经协同过滤,SE-NCF模型在两数据集中MSE指标与NDCG指标均得到改善,在茶评数据集下MSE降低10%,NDCG提升5.1%;在Amazon_Food下MSE降低4.3%,NDCG提升9.3%。

结合矩阵补全的宽度协同过滤推荐算法

协同过滤是推荐系统中最经典的方法之一,能够满足人们对个性化推荐任务的需求,但许多协同过滤算法在面对评分数据稀疏性问题时推荐效果不佳。为解决此问题,提出一种结合矩阵补全的宽度协同过滤推荐算法。先使用矩阵补全技术对用户项目评分矩阵进行补全,再利用补全后的矩阵对已评分的用户和项目分别寻找其近邻项,进而构造用户与项目的评分协同向量,最后使用宽度学习系统来构建用户项目与评分之间的复杂的非线性关系。在MovieLens和filmtrust数据集上对所提出算法的有效性进行检验。试验结果表明,与当前最先进的方法相比,该方法能够有效地缓解数据稀疏性问题,具有较低的计算复杂度,在一定程度上提升了推荐系统的性能。

考虑数据稀疏性的图书推荐协同过滤算法仿真

图书推荐算法易忽略数据稀疏性问题,导致推荐结果与用户感兴趣内容之间存在较大的偏差。在考虑数据稀疏性的基础上提出一种图书推荐协同过滤算法,对数据预处理,通过对用户和用户之间综合信任度分析,利用分布估计算法对用户兴趣建模;构建用户兴趣簇类集,划分用户兴趣,从中选择出与检索对象最接近的邻居;计算邻近项目得分,按照从大到小的顺序排列,排名靠前的资源项即为图书推荐结果。实验结果表明,所提方法在推荐500本图书时,用时在12s内,且降低了平均绝对误差和均方根误差,实现了最精准的图书推荐。

面向稀疏数据的协同过滤算法相似度

针对数据稀疏加剧导致传统相似度模型的推荐准确性低的问题,提出一种混合的协同过滤相似度模型。引入Jensen-Shannon(JS)散度作为基函数,利用全局评级概率分布衡量用户间评级偏好相似度。定义融合评级值的结构型相似度作为权重因子,针对用户的共同评级项目设计差异化的相似度计算方式,提高相似用户的区分度,得到基于相对区间跨度的相似度。在不同稀疏度数据集上与7种具有代表性的相似度方法进行对比实验,其结果表明了所提方法在预测和推荐准确性指标上均有良好性能。

基于大数据和协同过滤技术的个性化教学平台的研究应用

协同过滤技术属于推荐算法,能够实现对不同用户资源的个性化推荐。我国在推进教学改革过程中,强调教学资源共享和个性化推荐,实现教学平台打造。本文将大数据技术、协同过滤技术,应用到个性化教学平台建设中,阐述系统基本功能、架构,使用个性推荐算法,实现个性化资源的推广和应用。该平台既可实现资源的共享,又能展示个性化资源,以满足实践教学的基本需求,改善教学资源不平衡的情况。研究结果表明,该平台功能强大、性能良好,可基于用户推荐不同资源,辅助开展个性化教学活动。

融合协同过滤的神经Bandits推荐算法

针对数据稀疏性和“冷启动”对协同过滤的限制以及现有的协同多臂老虎机算法不适用于非线性奖励函数的问题,提出一种融合协同过滤的神经Ba ndits推荐算法COEENet.首先,采用双神经网络结构学习预期奖励及潜在增益;其次,考虑邻居协同作用;最后,构造决策器进行最终决策.实验结果表明,该方法在累积遗憾上优于4种基线算法,推荐效果较好.

协同过滤算法在微信推荐小程序的应用

为了使客户能够方便、快速从大量数据中获取有效信息,本文对微信小程序采用Mvc的开发模式,并以Node.js技术进行设计,其总体架构主要包括交互层、数据访问层、控制层和数据库层。采用基于用户的协同过滤推荐算法和基于特征的协同过滤推荐算法结合的方式进行商品的推荐。对于基于用户的算法,采用IG特征选择算法进行商品特征的选取,再采用改进的Pearson相关系数进行相似性计算,获取推荐商品。对于基于特征的算法,采用改进的余弦相似性进行用户相似度的计算,根据相似性用户推荐商品。将推荐商品按照比例结合,最终进行商品的推荐。为了验证该微信小程序的性能,对其进行微信推荐小程序运行测试和商品推荐测试。试验结果表明微信小程序的各移动端均可正常运行,各项功能可进行操作,且向用户推荐的有效信息符合设计要求。

一种基于信任矩阵的协同过滤推荐方法

协同过滤算法是当今电子商务推荐系统中主要采用的技术之一,然而用户-物品矩阵的稀疏性问题却是协同过滤算法的主要限制之一。为了解决这一问题,文章提出了一种基于信任的协同过滤算法。该方法利用用户对物品的评分来计算用户间的直接信任,然后基于信任推理生成信任矩阵,以找到最近的邻居并为用户进行推荐。与传统的协同过滤算法相比,提出的方法能够利用额外的信息来帮助缓解稀疏性问题。实验结果表明,该算法可以显著改善推荐性能。

一种修正评分偏差并精细聚类中心的协同过滤推荐算法

协同过滤作为国内外学者普遍关注的推荐算法之一,受评分失真、数据稀疏等问题影响,算法推荐效果不尽如人意。为解决上述问题,文章提出了一种改进的聚类协同过滤推荐算法。首先,该算法利用无监督情感挖掘技术将评论情感映射为一个固定区间中的值,通过加权修正用户评分偏差;然后,构建修正后用户-产品评分矩阵的数据场,利用启发式寻优算法计算最佳聚类数和最优初始聚类中心,进而对用户进行划分聚类,结合最近邻用户相似性与评分产生推荐结果;最后,基于三个自建真实数据集对所提算法性能和有效性进行全面评估。实验结果表明,改进算法在精度Precision、召回率Recall和F1-Score评价指标上的表现均优于其他算法,能够有效应对数据稀疏的问题,提升推荐系统的推荐效果。

神经网络推荐系统协同过滤算法研究

针对传统协同过滤算法中的冷启动和推荐准确度问题,提出一种在神经网络的基础上的算法。利用卷积神经网络对用户以前的历史行为和评价项目属性建立卷积神经网络模型,然后,提取用户和其项目属性的特征,通过全连接的方式对评分进行拟合,其次,运用关联和推理思想,利用关联矩阵计算方法,结合用户使用信息的评测和系统内的关联项目进行对接,并自动生成关联矩阵所对应的信息项目集。最后,算出实际用户与其他用户之间的评分信息相似性大小,依据评分的相似性大小。依照最相似邻居的评分信息算出实际用户没有评过的项目预测大小值,接着根据预测值排名在前面项目对用户进行推荐,此推荐算法通过在数据集MovieLens采用对比试验进行验证,得出该研究的算法解决了冷启动问题并同时提高了推荐的准确率。

融合动态K近邻Slope_One的协同过滤推荐算法

传统协同过滤推荐算法存在数据稀疏的问题,这会导致算法精确度不足。Slope_One算法简单高效,可以预测用户对某个物品的评分。因此,论文提出融合动态K近邻Slope_One的协同过滤推荐算法,提高推荐算法的精确度。首先利用改进余弦相似度公式计算用户相似度,筛选出K个近邻用户进行平均评分偏差计算,利用Slope_One算法预测相应的用户评分并对评分矩阵进行有效填充,然后在新的评分矩阵上,利用基于物品的协同过滤算法进行推荐。

融合原型对比与特征筛选的图协同过滤模型

图卷积在协同过滤推荐系统上取得了巨大的成功,但在真实的推荐场景中基于协同过滤的推荐方法往往会受到稀疏数据的影响,同时现有的图协同过滤方法又普遍存在对用户-项目交互信息的分析和利用不彻底的问题,如未对交互特征中的噪声进行处理,这些问题使得现有方法的推荐效果不理想。针对上述问题,提出了一种融合原型对比与特征筛选的图协同过滤模型,在对交互信息进行噪声特征过滤的同时,利用提出的原型对比学习任务捕捉节点间的潜在联系,以此增强用户和项目的表示。在3个真实的数据集上的实验结果表明,该方法在缓解数据稀疏问题的同时,提高了推荐的效率和性能。

基于降低数据稀疏度的协同过滤算法

协同过滤算法是推荐系统的一种常见算法,其核心思想是通过历史数据挖掘用户偏好,计算对象相似近邻项进行推荐。但是一般真实数据都存在严重的数据稀疏性问题,用户或者项目之间的共同评分项目过少,使得一些传统相似度算法计算不准确、推荐准确度不高。传统Slope One算法准确度不高,但其实现简单,运行效率高,可以用做稀疏数据预填充,从而改善相似度计算的准确度。因此,结合Slope One算法,该文提出了一种基于降低数据稀疏度的协同过滤算法。首先对用户评分数据进行分层聚类,再使用Weighted Slope One算法对高稀疏度数据集部分空白数据进行预测填充,从而大幅度降低数据稀疏度,提高了皮尔逊相似度计算的准确度,最后再引入对象属性偏好相似度进行融合。通过MovieLens 100 K数据集进行算法验证,从结果中可以清晰地看出其平均绝对误差(Mean Absolute Error,MAE)有所降低,证明该算法能在一定程度上提升推荐结果的准确度。

基于数据挖掘和聚类分析的协同过滤推荐算法

为了提高推荐系统的可扩展性和用户满意度,设计基于数据挖掘和聚类分析的协同过滤推荐算法。基于双向关联规则原理,构建标签资源矩阵,利用K-means聚类算法对标签进行聚类。结合用户偏好标签,算法能计算标签与资源的紧密程度,实现基本推荐。通过标签计算用户与资源的兴趣度,实现个性化推荐。将基本推荐和个性化推荐线性组合,得出最终结果。实验表明,该算法不仅能保持数据集的平衡状态,准确性也高。通过聚类捕捉更复杂的用户兴趣模式,显著提高了推荐结果的命中率和NDCG值,为用户提供更符合个性化需求的资源。

基于协同过滤和深度学习的信息分析算法

针对在结构复杂的大型人力资源数据库中,传统协同过滤算法存在冷启动的问题,文中开发了一种数据信息的综合分析算法。该算法在传统协同过滤算法的基础上融合了深度学习模型,采用栈式去噪自编码器和概率矩阵分解模型求出项目的隐语义矩阵。同时还构建了相关项目的评分矩阵,并利用该矩阵对项目得分加以预测,且将其作为冷启动项目的分数。通过协同过滤算法进行项目推荐,从而解决了算法的冷启动问题,并提高了综合性能。实验测试结果表明,文中所提算法较传统协同过滤算法的推荐准确率提高了约20%。

基于LDA主题模型的协同过滤推荐算法

传统的协同过滤推荐算法直接根据用户对物品的评分进行推荐,忽略了评论文本中隐含的重要信息,当用户对物品的评论较少时,由于数据的稀疏性会造成推荐效果的不准确和单一。本文提出了一种基于LDA主题模型的协同过滤推荐算法LDA-CF(Latent Dirichlet Allocation model-LDA-Collaborative Filtering),在传统的协同过滤算法基础上,通过LDA模型对评论文本中的主题进行分类,从各个主题层面挖掘用户的情感偏好,计算用户之间的相似度,进而向目标用户推荐商品。对京东平台牙膏的评论数据集的实验结果表明,该算法不仅可以缓解由于评分数据较少造成的稀疏性问题,推荐的精确度也有所提高。

基于协同过滤和室内三维定位的智慧校园精细化学生动态信息推荐研究

智慧校园作为一种全新的教育环境,由于其内部资源数量庞大,易出现信息过载的问题.当前的无差别信息推荐技术容易忽视学生的个体差异,难以满足不同年级和专业在校学生的具体需求.为了解决此类问题,研究首先利用基于改进K-means聚类算法的室内三维定位算法对学生位置进行定位,然后通过基于权重矩阵的协同过滤算法对在校学生需求进行精细化与动态化的信息推荐.结果表明,室内三维定位算法的定位准确率与误差分别为91.13%、0.930 1 m,明显优于改进前的室内三维定位算法.且当相关相似性与Tanimoto系数的调节参数β取值为0.4时,基于权重矩阵的协同过滤算法的MAE值普遍低于0.51.研究提出的室内三维定位算法与协同过滤算法性能优越,在智慧校园背景下,对于不同学生的需求能够做出适当推荐.

基于协同过滤和TransH改进的图书智能推荐算法

目前市场上普遍使用的图书推荐系统是基于传统协同过滤算法实现,这类系统需要大量用户的借阅或者评分交互数据,忽视了图书之间的联系,容易导致系统推荐准确率低、过拟合以及冷启动等问题。因此,采用协同过滤算法与知识图谱TransH模型结合实现对图书的推荐,通过对图书构建相应的知识图谱,将图书知识图谱映射到低维向量空间中获取其实体以及关系的向量表示,计算出图书之间的语义相似度,结合协同过滤算法计算出的用户相似度得出推荐图书的混合相似度推荐列表,根据混合相似度列表进行预测生成Top-K推荐列表。实验结果表明,推荐结果更加合理准确,提高了用户寻找目标图书的效率。