协同过滤下混合大数据无损挖掘算法研究

大数据具有大规模性、多样性以及价值性,由于海量数据间的较高相似度,导致数据挖掘过程易受冗余干扰,出现数据丢失、损坏等问题。为解决上述问题,提出基于协同过滤算法的混合大数据无损挖掘方法。对混合大数据集成预处理,去除冗余,将不同来源的相同数据无损融合。采用协同过滤算法的时间衰减函数,计算挖掘项目间相似性。在混合大数据特征关联度的约束下,实现混合大数据无损挖掘。实验结果表明,所提方法应用下,混合大数据量高达25000MB时,数据挖掘所需时间仅为45ms左右,且挖掘精度高达95%以上,数据挖掘结果与目标具有一致性。

算法偏见背后的数据选择、信息过滤与协同治理

算法驱动的人类智能系统与人工智能系统交互中,数据选择与信息过滤是不容忽视的关键环节,一方面与算法运行的不透明性有关,另一方面也受到人机协同的信息过滤影响。算法偏见已经造成了现实生活中信息圈层之间的分化,并可能延续甚至加剧社会发展多个方面的失衡。因此,有必要审慎地看待算法偏见的影响要素,透视技术本身及其应用过程中的潜在风险和问题,从而为应对人工智能嵌入社会系统过程中所带来的阶段性偏见提供思路。

考虑数据稀疏性的图书推荐协同过滤算法仿真

图书推荐算法易忽略数据稀疏性问题,导致推荐结果与用户感兴趣内容之间存在较大的偏差。在考虑数据稀疏性的基础上提出一种图书推荐协同过滤算法,对数据预处理,通过对用户和用户之间综合信任度分析,利用分布估计算法对用户兴趣建模;构建用户兴趣簇类集,划分用户兴趣,从中选择出与检索对象最接近的邻居;计算邻近项目得分,按照从大到小的顺序排列,排名靠前的资源项即为图书推荐结果。实验结果表明,所提方法在推荐500本图书时,用时在12s内,且降低了平均绝对误差和均方根误差,实现了最精准的图书推荐。

算法治理下平台版权分级过滤义务探析

技术的发展带来版权规则的不断演进,厘清平台“必要措施”司法适用的认定规则和“必要措施”适用的考量因素,都成为新的治理要求的体现。考虑到技术实施的可行性、用户权益的保护以及与现有法律体系的衔接,有必要设计一个科学合理的版权过滤义务机制,明确适用主体、对象和方式,确保既能有效预防侵权行为,又能保护用户的合法权益。平台在算法推荐和版权过滤方面的责任认定,要综合考虑平台的性质、算法适用的场景以及平台对内容的控制能力等因素,应当在享受技术带来的红利的同时,也要防范技术可能引发的侵权风险,通过优化算法、采取必要措施等方式,积极履行其在版权保护方面的义务。

应对过滤气泡:算法策展对用户信息消费行为选择性和态度极端化的影响

[目的/意义]“过滤气泡”是个性化推荐算法仅向用户推荐他们所认同、感兴趣的信息而造成的不利结果,体现为信息消费行为的选择性及个体态度的极端化。本研究旨在探索不同信息排序方式对于过滤气泡的干预效果。[方法/过程]共招募38位参与者访问模拟新闻推荐系统,并将其划分到不同信息排序方式的组别中,通过服务器日志观测参与者的新闻点击与阅读行为,使用量表测量其态度极端性变化情况。[结果/结论]信息排序方式不会影响用户的新闻标题点击行为的选择性,但会影响其新闻文章阅读行为的选择性及态度极端性变化:相较于基于偏好的排序方式,基于时间与基于质量的排序方式均会显著降低用户阅读行为的选择性,同时基于质量的排序方式还显著降低了用户的态度极端性。本研究不仅为过滤气泡研究提供了新的研究视角与有效的方法论,还为个性化推荐算法设计提供了实践启示。

基于过滤冗余信息相似性的电影推荐算法

现有的基于内容相似性的推荐算法在处理文本内容时,往往忽略了词序和上下文信息的重要性,并且计算复杂度较高。因此,文章提出了一种基于过滤冗余信息相似性的启发式方法,并成功地将该方法应用于电影推荐领域,实现了更精准的推荐效果。与其他算法对比,该算法在预测1部电影时的准确率提升了0.07百分点~0.24百分点,在预测3部电影时的准确率提升了0.05百分点~0.30百分点。以该算法的召回率作为基准(设为100%),在预测1部电影时,其他算法的召回率仅为该算法的2.38%~70.24%;在预测3部电影时,其他算法的召回率仅为该算法的3.78%~84.87%。以上结果证明了该算法的有效性和可行性。

算法推荐背景下网络服务平台过滤义务负担研究

算法推荐技术使得传统版权法体系受到冲击,“通知删除”规则在算法推荐背景下逐渐失灵,无法有效平衡版权人与传播者之间的利益关系,由此所形成的价值差将有损版权人的创作积极性进而严重阻碍互联网文化产业的发展。过滤义务既不是注意义务也不是普遍审查义务,而是一种特殊的版权审查义务,引入网络服务平台的版权过滤义务既有利于缓解现实矛盾,也符合法经济学、公共政策学及知识产权基本原则的基本理论。为了有效平衡版权人与传播者等相关主体的利益,过滤义务负担的标准不宜过高,应根据网络服务平台提供的不同服务类型,对版权人上传的作品类型及网络服务平台的预见能力进行综合设定,网络服务平台对于侵权行为的判断难度越高则其负担的过滤义务越低,反之亦然。

数智时代短视频过滤推荐算法的形成机理及治理进路

【目的】本文旨在理解短视频平台用户信息获取及观念形成之动态机制,提出对过滤机制算法治理的进展途径,促进短视频内容生产高质量发展的治理策略。【方法】通过理论解构与实证分析,总结短视频过滤推荐算法的具体表征与负面效应,并从算法信息服务、平台运营机制、用户选择心理等维度分析过滤推荐算法的形成机理。【结果】在此基础上从用户维度、算法维度、平台维度提出过滤推荐算法的多元化治理进路。【结论】在过滤推荐算法的挑战下,推动短视频内容的高质量发展,一方面,应注重质量把关,加强价值引领。另一方面,应加强内容创新,提高用户社交互动性。

融合协同过滤的神经Bandits推荐算法

针对数据稀疏性和“冷启动”对协同过滤的限制以及现有的协同多臂老虎机算法不适用于非线性奖励函数的问题,提出一种融合协同过滤的神经Ba ndits推荐算法COEENet.首先,采用双神经网络结构学习预期奖励及潜在增益;其次,考虑邻居协同作用;最后,构造决策器进行最终决策.实验结果表明,该方法在累积遗憾上优于4种基线算法,推荐效果较好.

协同过滤算法在微信推荐小程序的应用

为了使客户能够方便、快速从大量数据中获取有效信息,本文对微信小程序采用Mvc的开发模式,并以Node.js技术进行设计,其总体架构主要包括交互层、数据访问层、控制层和数据库层。采用基于用户的协同过滤推荐算法和基于特征的协同过滤推荐算法结合的方式进行商品的推荐。对于基于用户的算法,采用IG特征选择算法进行商品特征的选取,再采用改进的Pearson相关系数进行相似性计算,获取推荐商品。对于基于特征的算法,采用改进的余弦相似性进行用户相似度的计算,根据相似性用户推荐商品。将推荐商品按照比例结合,最终进行商品的推荐。为了验证该微信小程序的性能,对其进行微信推荐小程序运行测试和商品推荐测试。试验结果表明微信小程序的各移动端均可正常运行,各项功能可进行操作,且向用户推荐的有效信息符合设计要求。

基于索引布隆过滤器的DDS自动发现算法

数据分发服务(DDS)被广泛用于分布式系统的网络搭建,其中自动发现机制是DDS的关键部分。现有的DDS自动发现机制大都采用简单发现协议(SDP),但这种协议在大规模分布式系统的网络环境中会产生网络负载过高、匹配效率低下等问题。针对这些问题,提出一种基于索引布隆过滤器的轻量级DDS自动发现算法。该算法基于多维向量结构和索引值间的位操作设计一种索引布隆过滤器,用于压缩分布式系统网络节点间的传输信息,同时提供比标准布隆过滤器更低的误判率。结合索引布隆过滤器与SDP,能够减少DDS自动发现过程中的资源消耗并提高匹配效率。实验结果表明,在节点匹配率为10%的情况下,所提出的DDS自动发现算法相比基于标准布隆过滤器的SDPBloom算法,发现过程的数据包数量减少了46.39%,匹配时间缩短了73.30%。

一种基于动态空间划分和压缩布隆过滤器相结合的分布式元数据负载均衡算法

分布式元数据管理系统利用多个元数据服务器对大量元数据进行存储和管理。该系统将海量元数据通过不同的映射策略分配到不同的元数据服务器上,减少单台元数据服务器所处理的数据量,从而减少磁盘访问次数,进而提高整个元数据管理系统的性能。元数据管理系统通常会使用哈希函数将元数据键映射到不同的元数据服务器中。然而,当数据特征值相似时,由于散列函数的单向性,会导致数据分布不均衡的问题,造成元数据服务器性能下降。为解决上述问题,提出了一种动态空间划分和压缩布隆过滤器相结合的元数据负载均衡算法,该算法首先构建一个哈希桶来组织元数据键,通过哈希算法将元数据键映射到不同的哈希桶中;在映射过程中,根据元数据服务器的负载情况动态调整目标哈希桶,并在上述哈希桶中有序地保存元数据键的映射信息。当访问元数据时,首先通过压缩布隆过滤器对元数据键进行预处理,然后通过二分查找在指定的哈希桶中进行元数据映射信息的查找。与近年来提出的元数据管理算法相比,所提算法在映射键发生倾斜时仍能保证元数据服务器负载均衡,并通过对比实验表明,所提算法相比最优的元数据管理算法,在内存占用仅提升2%的条件下,获得了20%的搜索性能提升。

神经网络推荐系统协同过滤算法研究

针对传统协同过滤算法中的冷启动和推荐准确度问题,提出一种在神经网络的基础上的算法。利用卷积神经网络对用户以前的历史行为和评价项目属性建立卷积神经网络模型,然后,提取用户和其项目属性的特征,通过全连接的方式对评分进行拟合,其次,运用关联和推理思想,利用关联矩阵计算方法,结合用户使用信息的评测和系统内的关联项目进行对接,并自动生成关联矩阵所对应的信息项目集。最后,算出实际用户与其他用户之间的评分信息相似性大小,依据评分的相似性大小。依照最相似邻居的评分信息算出实际用户没有评过的项目预测大小值,接着根据预测值排名在前面项目对用户进行推荐,此推荐算法通过在数据集MovieLens采用对比试验进行验证,得出该研究的算法解决了冷启动问题并同时提高了推荐的准确率。

融合动态K近邻Slope_One的协同过滤推荐算法

传统协同过滤推荐算法存在数据稀疏的问题,这会导致算法精确度不足。Slope_One算法简单高效,可以预测用户对某个物品的评分。因此,论文提出融合动态K近邻Slope_One的协同过滤推荐算法,提高推荐算法的精确度。首先利用改进余弦相似度公式计算用户相似度,筛选出K个近邻用户进行平均评分偏差计算,利用Slope_One算法预测相应的用户评分并对评分矩阵进行有效填充,然后在新的评分矩阵上,利用基于物品的协同过滤算法进行推荐。

改进的k-modes聚类算法在协同过滤就业推荐算法中的应用

为了给高校毕业生提供精准的个性化就业推荐服务,将基于动态权重相互依存距离的改进k-modes聚类算法应用于协同过滤推荐算法中。定义不同样本点属性之间的距离等于属性值内部距离和属性间外部距离的加权和,选择初始簇质心时,动态调整样本点与簇质心的距离以及簇密度的组合权重,动态设置簇密度计算公式的半径,根据样本点的概率值选出初始簇质心;迭代计算和优化得到满足精度的学生簇和职位簇;构建学生-职位矩阵,计算应届生和往届生的相似度、往届生和入职岗位的相似度,选择二者的相似度超过阈值的应届生簇和职位簇组合为匹配对进行匹配,并将匹配信息降序排列形成匹配列表,依据匹配列表进行双向推荐和信息推送,为高校的就业推荐和指导提供信息导向和技术支持。

基于LDA主题模型的协同过滤推荐算法

传统的协同过滤推荐算法直接根据用户对物品的评分进行推荐,忽略了评论文本中隐含的重要信息,当用户对物品的评论较少时,由于数据的稀疏性会造成推荐效果的不准确和单一。本文提出了一种基于LDA主题模型的协同过滤推荐算法LDA-CF(Latent Dirichlet Allocation model-LDA-Collaborative Filtering),在传统的协同过滤算法基础上,通过LDA模型对评论文本中的主题进行分类,从各个主题层面挖掘用户的情感偏好,计算用户之间的相似度,进而向目标用户推荐商品。对京东平台牙膏的评论数据集的实验结果表明,该算法不仅可以缓解由于评分数据较少造成的稀疏性问题,推荐的精确度也有所提高。

融合电影流行性与观影时间的协同过滤算法

相似度评估作为协同过滤推荐算法的核心,尽管研究人员对其不断改进,却仍难以在各个维度上充分利用评价数据。针对这一挑战,首先以用户与电影之间的相互影响方式作为切入点,对二者间可能存在的自洽逻辑进行探究,提出了电影流行度计算公式用于对电影进行加权;接着以用户观影时间作为研究对象,探究用户观影喜好的转变与观影时间顺序之间的联系,并结合肯德尔相关系数提出了观影顺序一致性度量公式;最后将以上研究内容与传统相似度算法融合,并基于Netflix Prize数据集与豆瓣电影评价数据集对改进后的相似度算法进行验证。实验结果表明改进后的相似度算法拥有更高的推荐准确度。

一种改进相似度的K均值聚类协同过滤推荐算法

协同过滤算法被越来越多地应用于课程推荐领域,但传统协同过滤算法也存在一定的缺陷,如冷启动问题。针对这一问题,提出一种改进相似度的K均值聚类协同过滤推荐算法,该算法引入学习者标签以改进用户相似度计算,用于缓解新用户冷启动问题;利用K均值算法进行优化,将用户聚类,进而从同一类别中进行推荐,聚类效果更为精确;采用平均绝对偏差(MAE)作为评价指标进行算法效果验证,采用平均召回率(recall)、平均精准率(precision)2个指标进行新用户冷启动缓解效果验证。结果表明,该改进算法能有效缓解新用户冷启动问题,显著提高推荐效率。

基于GAIFWFCM和TFNs的协同过滤算法

针对传统推荐系统中使用离散评分未能合理表达用户偏好的问题,将遗传算法引入优化特征加权模糊C均值,通过梯形模糊聚合相似目标用户,提出基于遗传算法的优化加权模糊C均值聚类融合梯形模糊数的协同过滤模型。通过遗传算法进行增强初始聚类中心,利用优化加权模糊C均值聚类融合梯形模糊数,分析类内与类间属性特征关系,实现用户精细划分,合理过滤推荐。在两组数据集中以MAE和RMSE作为评估指标进行实验,实验结果表明,所提算法在与其余6种算法对比中分类误差更低,对用户意愿识别更加清晰。

基于协同过滤算法的英语视听资源个性化推荐技术

对英语视听资源进行深度语义分析,提取资源关键特征;分析英语视听资源用户的学习偏好特征,将其与视听资源语义特征匹配;利用卷积神经网络深度融合学习偏好,构建英语视听资源个性化推荐模型;引入免疫进化算法优化协同过滤算法,求解推荐模型,实现英语视听资源个性化推荐.测试结果表明该方法的推荐命中率和推荐准确率均在90%以上,召回率始终稳定在87.11%以上,具有较好的个性化推荐效果.