面向稀疏数据的物品相似度和评分预测算法研究

在基于邻域的协同过滤算法中,相似度和评分预测方法的设计是其核心步骤.由于数据稀疏问题,导致所选邻居的质量和评分预测能力受到较大影响.针对以上问题,提出面向稀疏数据的物品相似度和评分预测算法.首先,根据模糊集和推荐系统的关联,从用户偏好概率的角度提出基于Vague集的KL(Kullback-Leibler)散度,以衡量物品相似度.其次,定义权重因子α,强调评分数量信息的重要性,进一步提高相似度计算的准确性.最后,提出改进的评分预测方法,整合更多的评分信息来调整预测结果,提高稀疏数据下评分预测的能力.在基准数据集上的实验表明,与其余代表性算法相比,本文方法具有较高的预测和推荐质量,并有效缓解了数据稀疏问题.

基于稀疏表示的财务数据集判别分析维数压缩模型构建

企业财务数据较为庞大,不利于数据存储与管理,因此构建基于稀疏表示的财务数据集判别分析维数压缩模型,实现财务数据的降维处理。使用扩展主元分析算法中范式约束优化稀疏表示模型,获得财务数据测试样本的稀疏数据集。引入迹比率优化主元分析方法,以稀疏数据集作为目标数据,使用优化后的迹比率主元分析法提取该稀疏数据集相对于背景财务数据的低维表示,实现财务数据集判别分析维数压缩。试验通过特征提取效果评价维数压缩效果,该模型能够实现海量财务数据的降维,针对不同类型的财务数据,均能呈现出较好的特征提取精度与贡献度,具有较高可信赖性与连续性。财务数据集大小为2000维时,该模型的压缩能力最佳。

基于SS/OSF实现高维稀疏数据对象的聚类

为了解决传统聚类方法处理高维稀疏数据对象时聚类结果不理想的问题,提出了SS/OSF聚类方法.该方法基于对象组相似度(SS)和对象组特征向量(OSF),并借助对象组特征向量的可加性实现.采用本方法得到高维稀疏数据对象的聚类结果后,可以根据聚类结果中各个对象集合的上确界和下确界为新对象进行对象组分类.实验表明,与传统K-means聚类方法相比,随着数据对象数目的增加,该方法无论是在运行时间上,还是在聚类结果的准确度方面都有明显的改进.

相关子空间中的局部离群数据挖掘算法研究

针对高维数据集,采用局部稀疏差异和局部密度差异的度量因子,给出一种相关子空间中的局部离群数据挖掘算法.该算法根据K最近邻(K-NN),确定数据集中各数据对象的局部数据集,并依据属性值的稀疏因子生成全局的稀疏因子矩阵和局部稀疏因子矩阵,从而有效地反映了数据对象的局部稀疏程度;根据局部稀疏因子矩阵,计算属性维对应的局部稀疏差异因子,并确定数据对象对应的子空间定义向量,从而体现了具有任意性相关的相关子空间;如果数据对象存在相关子空间,则采用高斯误差函数体现相关子空间中各数据对象的局部密度差异,有效地降低了"维灾"的影响,使得离群数据的度量与相关子空间的维度无关,并能够度量相关子空间的数据对象,否则设置数据对象的局部密度差异为0,表明其为正常数据;选取局部密度差异(离群程度)最大的若干数据对象作为局部离群数据;最后采用UCI和恒星光谱数据集,实验验证了该算法的有效性.

基于多层次混合相似度的协同过滤推荐算法

针对传统协同过滤推荐算法在数据稀疏的情况下存在的性能缺陷和相似性度量方法的不足,为了提高推荐精度,改进原算法得到了一种基于多层次混合相似度的协同过滤推荐算法。该算法主要分为三个不同的层次:首先采用模糊集的概念将用户评分模糊化,计算用户的模糊偏好,并结合用户评分的修正余弦相似度和用户评分的Jarccad相似度总体作为用户评分相似度;再对用户评分进行分类来预测用户对项目类别的兴趣程度,从而计算出用户兴趣相似度;然后利用用户的特征属性来预测用户之间的特征相似度;其次根据用户评分数量来动态地融合用户兴趣相似度及用户特征相似度;最后融合三个层次的相似度作为用户混合相似度的结果。利用Movie Lens公用数据集对改进前后的算法进行对比实验,结果表明:当在邻居集合数量较少时,改进的混合算法相对修正余弦相似度算法的平均绝对偏差(MAE)下降了5%左右;较改进的修正的Jaccard相似性系数的协同过滤(MKJCF)算法也存在略微的优势,随着邻居集合数的增加MAE也平均下降了1%左右。该算法采用多层次的推荐策略提高了用户的推荐精度,有效地缓解了数据稀疏性问题和单一度量方法的影响。

临床数据中挖掘关联规则算法的选用

对典型的挖掘关联规则的Apriori算法和FP-growth算法进行比较分析.然后,结合临床数据的特点,建议在临床数据关联规则挖掘中采用FP-growth算法.

基于对象组特征向量的聚类与分类的实现

高维稀疏数据的聚类分析是目前数据挖掘领域内亟待解决的问题之一。传统的聚类方法中,大部分不适用于高维稀疏数据,不能得到满意的结果。该文借助对象组相似度和对象组的特征向量,提出了一种实现聚类的方法。根据聚类结果后,根据聚类集合的上确界和下确界给出新对象的分类。该方法思想明了,实现起来简单轻松,结果准确可靠。

面向室内动态场景的VSLAM

传统VSLAM算法基于静态场景实现,其在室内动态场景下定位精度退化,三维稀疏点云地图也会出现动态特征点误匹配等问题。文中在ORB-SLAM2框架上进行改进,结合Mask R-CNN进行图像的语义分割,剔除位于动态物体上的动态特征点,优化了相机位姿,得到了静态的三维稀疏点云地图。在公开的TUM数据集上的实验结果表明,结合Mask R-CNN的ORB-SLAM2有效提高了智能移动机器人的位姿估计精度,绝对轨迹的均方根误差可提高96.3%,相对平移轨迹的均方根误差可提高41.2%,相对旋转轨迹的误差也有明显改善。相较于ORB-SLAM2,文中所提方法能更准确地建立无动态物体特征点干扰的三维稀疏点云地图。

改进的关联规则在食品安全预警上的应用

为将海量的食品检测数据有效地应用于食品安全预警,首先分析了食品检测数据的特点,以及传统的Apriori算法在挖掘食品检测数据上的不足,进而提出过滤算法,并将其作为Apriori算法的前置组件对算法进行改进,然后建立了食品安全预警模型,最后将实际的食用油检测数据用改进后的算法进行挖掘,发现其存在的潜在安全隐患进而做出风险预警。通过实验对比Apriori算法,发现改进后的算法摒弃了大量的伪关联规则,能有效提高食品安全预警的效率和准确度,具有十分重要的实际意义。

基于用户兴趣变化和评论的协同过滤算法研究

传统协同过滤算法中,随着用户和商品数量的日益增多,用户-项目评分矩阵越来越稀疏。针对这一问题,提出了一种基于用户兴趣变化和评论的协同过滤算法。该算法将用户评论和遗忘曲线引入传统协同过滤算法中,将评论文本作为商品特征描述文本,使用主题模型计算商品主题特征,引入艾宾浩斯遗忘曲线来协同计算用户的评论分布及评论相似度。将用户评论相似度和用户评分相似度相结合,以得到最终的用户相似度,进而对商品评分进行预测。对网络爬取的真实数据进行验证,结果显示该算法能够在稀疏数据集上获得较好的推荐结果。

基于稀疏数据预处理的协同过滤推荐算法

随着推荐系统规模的不断扩大,用户-项目评分矩阵呈现出极端稀疏性,导致基于传统相似性度量方法的协同过滤推荐系统推荐质量的下降。针对该问题,文中提出了一种基于项目特征属性的稀疏数据集预处理方法来提高算法的推荐质量。首先,通过引入项目的特征属性信息,根据项目间特征属性相似度,初步预测用户对未评分项目的评分,可以使得用户-项目评分矩阵完全饱和。接着再对稀疏数据集的未评分项目进行混合填充预处理,避免了传统均值填充法中的用户对项目的评分不可能完全相同的问题以及众数填充法中的"多众数"和"无众数"问题。实验结果表明,文中提出的方法更能有效地提高推荐系统的推荐质量和推荐覆盖率。

时滞相关Logistic函数浮点数据模糊加密稀疏集构造

提出一种基于时滞相关Logistic函数线性调频采样的浮点数据模糊加密算法优化技术,给出时滞相关Logistic函数及相关定义,研究了浮点数据的模糊编码算法,设计实时交互网络的浮点数据模糊加密方案,实现密钥稀疏集构造,采用基于稀疏矩阵的存储格式下的时滞相关Logistic函数浮点数据加密运算,构造密钥稀疏集,优化了算法性能。仿真结果表明,算法数据加密和解密性能较好,具有较高的数据吞吐量,能实现对大数据库的数据加密,提高了密文的不可预测性。

基于频率数据与稀疏正则化的悬臂梁损伤识别

振动频率是描述结构自身振动特性的数据,因其比较容易获取,常被用于识别结构损伤。但由于频率数据的量相对较少,损伤识别通常是非适定的。文章构造了一个新的基于频率数据的目标函数,发展了一种新的稀疏正则化方法以克服损伤识别问题的非适定性。该方法运用少量的频率数据就能识别出梁结构的损伤位置。最后,将该方法运用到悬臂梁结构的损伤识别实验当中去,发现识别出的损伤与实际相符,验证了该方法的正确性。

基于异质信息网络的模糊推荐算法

随着互联网信息的爆炸式增长,推荐系统扮演着越来越重要的角色。为了解决传统推荐系统存在的信息稀疏问题,并且合理表达用户的偏好,提出基于异质信息网络的模糊推荐算法(HFR)。HFR方法构建三角模糊评分模型将用户离散的评分信息模糊化,此外,还加入了项目的属性信息并使用元路径表示;在此基础上充分利用多源信息,提出了一种新的相似性度量,并预测评分获得最终的推荐结果。实验结果表明,HFR方法有效解决了信息稀疏问题,提高了推荐质量。

基于数据相似度的自适应半监督随机森林算法

提出一种基于数据相似度的自适应半监督随机森林算法.利用随机森林对带标签和无标记数据进行路径编码、相似度分析和无标签数据的伪标记选择;再选择满足条件的数据迭代训练随机森林,改善其分类性能.实验结果表明:提出的算法可以有效地利用无标记数据信息,提高分类精度.

改进地标点采样的加速谱聚类算法

传统的基于地标点的大规模加速谱聚类算法易受分布不均匀地标点和离群地标点影响。K-means等采样方法在面对大规模数据时,时间空间消耗较大。针对以上问题,文中提出了一种改进地标点采样的加速谱聚类算法。该算法通过地标点间成对相似度矩阵的标准差来衡量地标点的分布均匀程度,选取随机的多组地标点集中分布最均匀的一组,去除局部密度较低的离群地标点;利用获得的地标点集与原始数据集构造稀疏相似度矩阵,并对该矩阵奇异值分解得到的前k个右奇异特征向量矩阵进行K-means聚类,得到最终聚类结果。文中从理论上分析了该算法时间复杂度和空间复杂度。验证结果表明该算法在一些数据集上比随机采样方法的准确率高3%~10%,和K-means采样方法相比时间消耗少50%~60%。

“无师自通”机器学习方法的核心算法分析

机器学习的发展趋势，就是不断地使用易获得的、廉价的数据作为样本数据，来辅助训练数据进行学习。“无师自通”学习是迁移学习的一种改进，它使用未标记的数据集作为样本数据集，且并不假设未标记数据集和标记数据集有着同样的数据分布，它运用稀疏编码方法来对未标记数据集得到一个更高层次的表示。然后，再使用经典的监督学习方法如SVM方法来对得到的新的数据集进行机器学习。该文将介绍“无师自通”学习法的主要原理，并对其核心算法一稀疏编码算法进行深入分析并通过实验给出具体的实例。