分类数据的Word2Vec与Jaccard相似度聚类方法的比较分析

在实际问题中,使用K-means算法进行聚类的数据点往往有很多特征值,这些特征值大多以文本形式存在,因此如何将大量特征值形成的稀疏数据集进行有效编码,再进行数据点聚类是一个重要的研究方向。本文提出了一种优化思路:将贝叶斯优化应用于Word2Vec和K-means聚类算法的参数调优过程,通过多次迭代寻找最优参数解。通过计算分析,并与基于独热编码的Jaccard相似度计算方法实现的聚类算法结果进行比较,证明本文提出的优化改进思路聚类效果更好,准确率更高。

基于Jaccard相似度和位置行为的协同过滤推荐算法

协同过滤是现今推荐系统中应用最为成功且最广泛的推荐方法之一,其中概率矩阵分解算法作为一类重要的协同过滤方式,能够通过学习低维的近似矩阵进行推荐。然而,传统的协同过滤推荐算法在推荐过程中只利用用户-项目评分信息,忽略了用户(项目)间的潜在影响力,影响了推荐精度。针对上述问题,首先利用Jaccard相似度对用户(项目)做预处理,而后通过用户(项目)间的位置信息挖掘出其间的潜在影响力,成功找到最近邻居集合;最后将该邻居集合融合到基于概率矩阵分解的协同过滤推荐算法中。实验证明该算法较传统的协同过滤推荐算法能够更有效地预测用户的实际评分,提高了推荐效果。

融合多维度相似算法的中药复方个性化煎煮推荐研究

目的:为实现中药汤剂智能煎煮设备煎煮参数快速推荐,提出一种融合方剂多维度相似算法,借鉴古代经典名方的个性化煎煮推荐。方法:选取30首经典名方,给出算法推荐的煎煮参数值,比较与典籍记载对应的煎煮参数值之间的差异。针对中药复方的组成成分、剂量以及功用维度特性,分别采用Jaccard相似系数、夹角余弦相似度和潜在狄利克雷分布(LDA)主题模型相似度算法,计算实验方剂与煎煮数据库中方剂间的相似度,将各维度最为相似方剂的煎煮参数加权融合,获取30首经典名方的个性化煎煮参数。结果:加水量、武火及文火时长参数值之间的相对误差分别为5.3%、3.4%、7.1%。结论:2组煎煮参数值较为接近,较好地借鉴和传承经典名方煎煮工艺。

一种基于词向量及位置编码的Jaccard相似度算法

针对句子的词序问题,提出了一种基于词向量及位置编码的Jaccard相似度算法。该方法首先使用词向量模型将每个词映射成高维语义向量,然后结合词位置编码计算出各个词向量的相似度,最后使用Jaccard算法计算出句子之间最终的相似度。实验结果证明:本工作提出的方法与传统的Jaccard算法和基于词向量的Jaccard相似度算法相比,有效提升了相似度准确率,对词序也有很好的辨别能力。

基于词向量的Jaccard相似度算法

通过对传统Jaccard算法的研究和改进,提出了一种基于词向量的Jaccard句子相似度算法。传统的Jaccard算法以句子的字面量为特征,因而在语义层面的相似度计算方面受到了一定的限制。而随着深度学习的兴起,尤其是词向量的提出,词语在计算机中的表示有了突破性的进展。该算法首先通过训练将每个词语映射为语义层面的高维向量,然后计算各个词向量之间的相似度,高于阈值α的作为共现部分,最终计算句子的相似度。实验表明,相较于传统的Jaccard算法,该算法在短文本相似度计算的准确率上有较明显的提升。

基于改进的Jaccard系数文档相似度计算方法

文本相似度主要应用于学术论文查重检测、搜索引擎去重等领域,而传统的文本相似度计算方法中的特征项提取与分词环节过于冗杂,而且元素的随机挑选也会产生权重的不确定性.为了解决传统方法的不足,提出一种基于改进的Jaccard系数确定文档相似度的方法,该算法综合考虑了各元素、样本在文档中的权重及其对多个文档相似度的贡献程度.实验结果表明,基于改进的Jaccard系数的文档相似度算法具有实效性并且能够得到较高的准确率,适用于各种长度的中英文文档,有效地解决现有技术中存在的文档间相似度计算不精的问题.

挖掘机构别名的Jaccard相似度数据空间转换方法

针对同一机构实体对应多个机构名称的问题,提出了一种基于Jaccard相似度数据空间转换的机构别名挖掘方法。根据机构与作者间的隶属关系,建立机构-作者二部图模型;采用Jaccard相似度度量两机构名称所对应作者姓名集合间的相似度;根据机构间的相似度矩阵,将集合型数据转换成数值型数据;通过计算机构名称对应的相似度向量间的余弦相似度,实现了机构别名的有效挖掘。最后用真实数据进行对比实验验证了该方法的优越性。

基于Jaccard相似度的协同过滤算法挖掘针灸处方核心腧穴

以中医针灸决策系统中的处方数据为基础,利用协同过滤思想推荐核心腧穴集合,为医生提供决策支持。通过处理历史针灸处方数据,将改进的Jaccard算法计算各腧穴的平均相似度,根据平均相似度选取关键腧穴,推荐与关键腧穴相似的TOP-N腧穴作为核心腧穴。实验挖掘了26种疾病的核心腧穴,其中可用的有21种,可用度达到80.77%。实验表明改进的Jaccard相似度协同过滤能算法能有效的推荐出治疗特定疾病的核心腧穴。

XRF分析结合jaccard系数对陶瓷原料进行快速相似度评估

利用波长色散型X射线荧光光谱仪(XRF)对不同产地的陶瓷原料高岭土进行成分分析,采用压片法制样以提升分析效率,并将分析结果与原料的标称值进行了对比。基于python3.6.4语言搭建程序,利用jaccard系数对分析结果进行了相似度评估。结果表明,压片法制样结合XRF分析能快速对陶瓷原料成分进行分析,结果满足相似度评估要求;Jaccard系数可量化评估不同产地原材料的相似度且无需进行数据训练,计算过程便捷高效。本文构建的XRF+jaccard评估模型具备较强实用意义,有助于帮助陶瓷企业提升原料一致性进而提升产品质量。

基于修正的Jaccard相似度的区间数多属性决策方法

针对具有区间数属性但属性权重完全未知的多属性决策问题,定义了区间数之间的Jaccard相似度和修正的Jaccard相似度并研究了它们的性质,用非线性规划模型确定各属性的权重,构建了用综合相似度对方案进行排序的决策方法,计算过程简单,仿真结果表明该方法可行且有效。

集合和字符串的相似度查询

相似度查询是计算机学科中一个重要的问题,它的应用遍及多个领域,例如数据库、数据集成、互联网、数据挖掘以及生物信息学等.该文主要讨论在集合和字符串上的相似度查询.学术界从2000年来在这个领域内取得了大量的进展.作者总结了主要工作,并给出了作者的分析和归类.最后,该文提出了一些未来工作的方向.

基于FP-tree和MapReduce的集合相似度自连接算法

利用集合相似度自连接算法找出一个集合集中所有相似度大于给定阈值的集合对有着广泛的应用.基于过滤-验证框架和并行分布式计算框架MapReduce的集合相似度连接是近年来的研究热点.但现有算法在阈值低时产生较大规模的候选集,导致性能不理想.针对这一问题,提出采用频繁模式树FP-tree及其派生结构FP-tree*将数据压缩在内存中计算集合相似度自连接以减小候选集规模.首先设计并讨论基于现有FP-tree*的集合相似度连接计算及其优缺点,提出遍历效率更高的线性频繁模式树结构模型TELP-tree及基于它的算法TELP-SJ(TELP-tree self join),其包括分别面向构建树和遍历树的2阶段过滤算法,这些算法可以减小树规模和减少树遍历.然后,设计基于MapReduce的并行分布式算法FastTELP-SJ.最后,基于4组真实应用数据集进行3组性能比较实验.实验结果表明FastTELP-SJ算法面向高维大规模集合相似度自连接计算时,包括执行时间、内存占用率、磁盘使用量和可扩展性的运行效率最好.

基于相似度计算的ABAC静态策略更新算法

为了解决ABAC模型中大量策略所带来的系统复杂和冲突问题,提出了一种基于相似度计算的ABAC静态策略更新算法.该算法利用Jaccard相似度计算策略之间的相似度值,根据相似度值对策略集分组,在各组中再次根据相似度值处理冲突策略、删除冗余策略和合并相似度值高的策略.仿真实验结果表明了算法的准确性和有效性,在不影响最终决策的前提下可以较大程度地减少ABAC的策略数量和决策的时间,减轻系统负担.

基于API依赖关系的代码相似度分析

针对传统系统调用依赖图(SCDG)不能很好地消除API噪声、API重排等API特征混淆的问题,提出一种基于API依赖关系的恶意代码相似度分析方法。采用由API控制依赖关系和4类数据依赖关系组成的SCDG程序行为描述方式,通过数据依赖关系分析和控制依赖关系归一化,消除SCDG中的API噪声和API重排。实验结果表明,与API序列相似度分析方式相比,该方法能提高恶意代码相似度分析的准确性。

基于相似度的保障资源相似性识别计算方法研究

直升机保障资源仍普遍存在型号多、种类杂、功能单一和体积庞大等问题,整体上落后于直升机装备发展,与当前高强度、全疆域、快速部署的保障理念相违背,制约着直升机航空兵部队的整体战斗力和快速机动能力。通过融合Jaccard与余弦方式,首次提出了直升机保障资源相似度识别方法以识别异形保障资源中各个属性的相似度,为后续保障资源优化提供输入。

基于近邻协同过滤算法的相似度计算方法研究

基于近邻的协同过滤算法是目前最为成功的个性化推荐算法之一,相似度计算方法是其核心内容.然而,该算法通常存在冷启动,数据稀疏性以及在相似度计算的时候只能使用共同评分之类的问题.为了有效改善上述算法推荐质量不高的问题,本文介绍了巴氏系数(Bhattacharyya Coefficient),结合修正余弦相似度、杰卡德相似度和皮尔森相关系数的优点,提出一种考虑了项目全局评分信息和局部评分信息的多重相似度融合的协同过滤算法(CFSI).在数据集MovieLens上的实验表明,CFSI在一定程度上有效缓解了数据稀疏性和冷启动问题,并且提高了推荐质量.

基于改进句子相似度算法的释义识别研究

针对现有句子相似度算法无法处理同义词、准确率低和复杂度高等不足,结合词向量技术改进Levenshtein相似度算法和Jaccard系数,提出一种新的句子相似度算法用于释义识别,并对多种句子相似度算法的优劣进行分析,设计多相似度特征组合的应用模式。基于MRPC释义识别数据集的实验结果表明,使用该算法的释义识别模型准确率与F1值分别达到74.4%和83.1%,与使用TF-IDF算法、词袋算法等传统算法的模型相比识别性能更优。

融合用户标签相似度的矩阵分解算法

随着互联网时代的到来,推荐系统已经成为人们在网络上筛选资源的得力助手,传统推荐系统通过用户的评分信息来计算用户相似度并为用户进行资源的推荐,但仍存在冷启动、数据稀疏性等各种问题,极大地影响推荐质量.近年来,标签的出现带给推荐系统新的机遇,它能够具体准确地描述用户的兴趣偏好,使推荐系统可以通过标签属性来更准确地了解用户喜好,从而为用户进行个性化推荐,极大提高了推荐精度和用户满意度.结合标签属性与评分的关系来计算用户标签相似度,结合用户和资源信息来计算用户相似度,将两者同时融入矩阵分解模型中,从而加强了推荐依据,提升了推荐的准确性.实验结果表明,在ml-latest-small数据集上,提出的算法UTagJMF的尺MSE降低2%左右;在Hetrec2011-movielens-2k数据集上,UTagJMF的RMSE降低2.2%左右.证明提出的算法模型明显优于其他算法的预测效果.

属性分布相似度吸引子传播聚类算法研究

传统吸引子传播聚类算法对数据类型敏感,文中提出一种改进的吸引子传播聚类算法,将JACCARD系数引入对象间属性分布相似度,并与吸引子传播聚类算法结合。仿真实验结果表明,该算法收敛速度快,聚类精度高,明显提高高维稀疏数据的聚类性能。

基于LSH技术的试题相似度检测方法

试题内容重复率是评价试题库及试卷质量的重要指标之一,为了快速找出题库中的相似试题,本文主要研究了基于K-shingles的Jaccard相似度、MinHash和LSH技术应用于相似试题的检测方法。此方法首先将题干内容进行中文分词,进行适当处理后转换成K-shingle集,通过MinHash计算出签名,最后使用LSH技术快速地找出候选相似试题对并计算出相应的Jaccard相似度,若该相似度大于给定的阈值,则发现相似试题。该方法通过在题库系统中的使用,充分验证了该方法的可行性,达到了很好的效果。