分类数据的Word2Vec与Jaccard相似度聚类方法的比较分析

在实际问题中,使用K-means算法进行聚类的数据点往往有很多特征值,这些特征值大多以文本形式存在,因此如何将大量特征值形成的稀疏数据集进行有效编码,再进行数据点聚类是一个重要的研究方向。本文提出了一种优化思路:将贝叶斯优化应用于Word2Vec和K-means聚类算法的参数调优过程,通过多次迭代寻找最优参数解。通过计算分析,并与基于独热编码的Jaccard相似度计算方法实现的聚类算法结果进行比较,证明本文提出的优化改进思路聚类效果更好,准确率更高。

基于Jaccard相似度和位置行为的协同过滤推荐算法

协同过滤是现今推荐系统中应用最为成功且最广泛的推荐方法之一,其中概率矩阵分解算法作为一类重要的协同过滤方式,能够通过学习低维的近似矩阵进行推荐。然而,传统的协同过滤推荐算法在推荐过程中只利用用户-项目评分信息,忽略了用户(项目)间的潜在影响力,影响了推荐精度。针对上述问题,首先利用Jaccard相似度对用户(项目)做预处理,而后通过用户(项目)间的位置信息挖掘出其间的潜在影响力,成功找到最近邻居集合;最后将该邻居集合融合到基于概率矩阵分解的协同过滤推荐算法中。实验证明该算法较传统的协同过滤推荐算法能够更有效地预测用户的实际评分,提高了推荐效果。

融合多维度相似算法的中药复方个性化煎煮推荐研究

目的:为实现中药汤剂智能煎煮设备煎煮参数快速推荐,提出一种融合方剂多维度相似算法,借鉴古代经典名方的个性化煎煮推荐。方法:选取30首经典名方,给出算法推荐的煎煮参数值,比较与典籍记载对应的煎煮参数值之间的差异。针对中药复方的组成成分、剂量以及功用维度特性,分别采用Jaccard相似系数、夹角余弦相似度和潜在狄利克雷分布(LDA)主题模型相似度算法,计算实验方剂与煎煮数据库中方剂间的相似度,将各维度最为相似方剂的煎煮参数加权融合,获取30首经典名方的个性化煎煮参数。结果:加水量、武火及文火时长参数值之间的相对误差分别为5.3%、3.4%、7.1%。结论:2组煎煮参数值较为接近,较好地借鉴和传承经典名方煎煮工艺。

一种基于词向量及位置编码的Jaccard相似度算法

针对句子的词序问题,提出了一种基于词向量及位置编码的Jaccard相似度算法。该方法首先使用词向量模型将每个词映射成高维语义向量,然后结合词位置编码计算出各个词向量的相似度,最后使用Jaccard算法计算出句子之间最终的相似度。实验结果证明:本工作提出的方法与传统的Jaccard算法和基于词向量的Jaccard相似度算法相比,有效提升了相似度准确率,对词序也有很好的辨别能力。

基于相似度计算的物联网传输流丢包节点检测

针对传统丢包节点检测方法存在的检测效率低、丢包节点定位精准度差、节点转发率低的问题,设计一种基于相似度计算的物联网传输流丢包节点检测方法。首先构建传感器节点分布模型,并运用二元有向图对其描述,然后根据传输关联信息熵结果创建传输任务信道分布模型;在此基础上,根据丢包节点检测的基本原理对未知分类的节点实施分类检测,并且计算出每个分类的最大似然值,最后对节点进行感测向量检测处理,并将跨度和实际节点之间的相似度作为对应的判定标准,完成丢包节点检测。仿真结果表明:与传统检测方法相比,该方法检测过程效率更高,且通过相似度计算提高了丢包节点定位的精准度,确保了较高的节点转发率,能够很好地适用于对物联网传输任务的检测。

面向众包平台的偏好和结构相似度融合式设计团队发现

在复杂产品的众包设计项目中,往往需要设计人员组成团队,不断交互与协作地完成相关任务.为了解决在组建团队时成员偏好不一的问题,提出一种基于成员偏好相似度和结构相似度相结合的团队发现算法S_Louvain,考虑了团队成员之间的偏好并改进了模块度指标.计算节点的偏好属性相似度和拓扑结构相似度,结合用户给定的节点及其邻居节点,综合考虑其偏好与结构相似性,扩展得到目标团队的候选节点集.以候选节点集为核心,挖掘设计团队的兴趣偏好来计算改进的模块度,并更新优化团队划分.在公开数据集和众包工程实例数据集上的实验结果表明,团队划分的模块度指标得到提高,验证了所提算法的可行性和实用性.

基于词向量的Jaccard相似度算法

通过对传统Jaccard算法的研究和改进,提出了一种基于词向量的Jaccard句子相似度算法。传统的Jaccard算法以句子的字面量为特征,因而在语义层面的相似度计算方面受到了一定的限制。而随着深度学习的兴起,尤其是词向量的提出,词语在计算机中的表示有了突破性的进展。该算法首先通过训练将每个词语映射为语义层面的高维向量,然后计算各个词向量之间的相似度,高于阈值α的作为共现部分,最终计算句子的相似度。实验表明,相较于传统的Jaccard算法,该算法在短文本相似度计算的准确率上有较明显的提升。

基于改进的Jaccard系数文档相似度计算方法

文本相似度主要应用于学术论文查重检测、搜索引擎去重等领域,而传统的文本相似度计算方法中的特征项提取与分词环节过于冗杂,而且元素的随机挑选也会产生权重的不确定性.为了解决传统方法的不足,提出一种基于改进的Jaccard系数确定文档相似度的方法,该算法综合考虑了各元素、样本在文档中的权重及其对多个文档相似度的贡献程度.实验结果表明,基于改进的Jaccard系数的文档相似度算法具有实效性并且能够得到较高的准确率,适用于各种长度的中英文文档,有效地解决现有技术中存在的文档间相似度计算不精的问题.

挖掘机构别名的Jaccard相似度数据空间转换方法

针对同一机构实体对应多个机构名称的问题,提出了一种基于Jaccard相似度数据空间转换的机构别名挖掘方法。根据机构与作者间的隶属关系,建立机构-作者二部图模型;采用Jaccard相似度度量两机构名称所对应作者姓名集合间的相似度;根据机构间的相似度矩阵,将集合型数据转换成数值型数据;通过计算机构名称对应的相似度向量间的余弦相似度,实现了机构别名的有效挖掘。最后用真实数据进行对比实验验证了该方法的优越性。

基于Jaccard相似度的协同过滤算法挖掘针灸处方核心腧穴

以中医针灸决策系统中的处方数据为基础,利用协同过滤思想推荐核心腧穴集合,为医生提供决策支持。通过处理历史针灸处方数据,将改进的Jaccard算法计算各腧穴的平均相似度,根据平均相似度选取关键腧穴,推荐与关键腧穴相似的TOP-N腧穴作为核心腧穴。实验挖掘了26种疾病的核心腧穴,其中可用的有21种,可用度达到80.77%。实验表明改进的Jaccard相似度协同过滤能算法能有效的推荐出治疗特定疾病的核心腧穴。

XRF分析结合jaccard系数对陶瓷原料进行快速相似度评估

利用波长色散型X射线荧光光谱仪(XRF)对不同产地的陶瓷原料高岭土进行成分分析,采用压片法制样以提升分析效率,并将分析结果与原料的标称值进行了对比。基于python3.6.4语言搭建程序,利用jaccard系数对分析结果进行了相似度评估。结果表明,压片法制样结合XRF分析能快速对陶瓷原料成分进行分析,结果满足相似度评估要求;Jaccard系数可量化评估不同产地原材料的相似度且无需进行数据训练,计算过程便捷高效。本文构建的XRF+jaccard评估模型具备较强实用意义,有助于帮助陶瓷企业提升原料一致性进而提升产品质量。

基于修正的Jaccard相似度的区间数多属性决策方法

针对具有区间数属性但属性权重完全未知的多属性决策问题,定义了区间数之间的Jaccard相似度和修正的Jaccard相似度并研究了它们的性质,用非线性规划模型确定各属性的权重,构建了用综合相似度对方案进行排序的决策方法,计算过程简单,仿真结果表明该方法可行且有效。

基于相似度计算的计算机网络内部丢包节点检测方法

通过检测计算机网络内部丢包节点,可以及时所反馈的信息开展精准的分析与判断。在检测过程中,必须要针对性地对其网络内部可信节点进行获取,并并其节点列为参考。通过这样的方式,与邻近节点状态进行对比,然后完成对其状态的判断,从而实现对计算机网络内部丢包节点的检测。但通常所采用的过滤方法,在一定程度对其内部良性特征进行了保留,在对其节点以及事件源之间计算与感知进行计算时会存在一定的差异性。这种方式在一定程度上无法精准地获取网络内部邻居节点状态,从而会对其检测精度形成影响。基于此,本文提出了一种相似度计算的计算机网络内部丢包节点检测方法,可以有效提升检测精度。

集合和字符串的相似度查询

相似度查询是计算机学科中一个重要的问题,它的应用遍及多个领域,例如数据库、数据集成、互联网、数据挖掘以及生物信息学等.该文主要讨论在集合和字符串上的相似度查询.学术界从2000年来在这个领域内取得了大量的进展.作者总结了主要工作,并给出了作者的分析和归类.最后,该文提出了一些未来工作的方向.

一种基于短文本相似度计算的知识子图融合方法

知识图谱作为语义网的数据支撑,被广泛应用于语义搜索、深度问答和在线教育等领域.知识融合是构建知识图谱的一个重要环节,将知识图中结构信息和语义信息进行融合是目前的研究热点.本文结合众包的方式,提出了一种基于短文本相似度计算的知识子图融合方法.该方法平衡各结点的结构连接和语义信息,通过学习融合权重,将高维向量转换为双邻接矩阵,得到具有高属性语义相似性的密集连接图.实验结果表明,本文提出的"群体智慧"方法能提升文本相似度计算的准确率,提高融合的质量.

基于FP-tree和MapReduce的集合相似度自连接算法

利用集合相似度自连接算法找出一个集合集中所有相似度大于给定阈值的集合对有着广泛的应用.基于过滤-验证框架和并行分布式计算框架MapReduce的集合相似度连接是近年来的研究热点.但现有算法在阈值低时产生较大规模的候选集,导致性能不理想.针对这一问题,提出采用频繁模式树FP-tree及其派生结构FP-tree*将数据压缩在内存中计算集合相似度自连接以减小候选集规模.首先设计并讨论基于现有FP-tree*的集合相似度连接计算及其优缺点,提出遍历效率更高的线性频繁模式树结构模型TELP-tree及基于它的算法TELP-SJ(TELP-tree self join),其包括分别面向构建树和遍历树的2阶段过滤算法,这些算法可以减小树规模和减少树遍历.然后,设计基于MapReduce的并行分布式算法FastTELP-SJ.最后,基于4组真实应用数据集进行3组性能比较实验.实验结果表明FastTELP-SJ算法面向高维大规模集合相似度自连接计算时,包括执行时间、内存占用率、磁盘使用量和可扩展性的运行效率最好.

基于相似度计算的ABAC静态策略更新算法

为了解决ABAC模型中大量策略所带来的系统复杂和冲突问题,提出了一种基于相似度计算的ABAC静态策略更新算法.该算法利用Jaccard相似度计算策略之间的相似度值,根据相似度值对策略集分组,在各组中再次根据相似度值处理冲突策略、删除冗余策略和合并相似度值高的策略.仿真实验结果表明了算法的准确性和有效性,在不影响最终决策的前提下可以较大程度地减少ABAC的策略数量和决策的时间,减轻系统负担.

基于API依赖关系的代码相似度分析

针对传统系统调用依赖图(SCDG)不能很好地消除API噪声、API重排等API特征混淆的问题,提出一种基于API依赖关系的恶意代码相似度分析方法。采用由API控制依赖关系和4类数据依赖关系组成的SCDG程序行为描述方式,通过数据依赖关系分析和控制依赖关系归一化,消除SCDG中的API噪声和API重排。实验结果表明,与API序列相似度分析方式相比,该方法能提高恶意代码相似度分析的准确性。

基于相似度的保障资源相似性识别计算方法研究

直升机保障资源仍普遍存在型号多、种类杂、功能单一和体积庞大等问题,整体上落后于直升机装备发展,与当前高强度、全疆域、快速部署的保障理念相违背,制约着直升机航空兵部队的整体战斗力和快速机动能力。通过融合Jaccard与余弦方式,首次提出了直升机保障资源相似度识别方法以识别异形保障资源中各个属性的相似度,为后续保障资源优化提供输入。

基于近邻协同过滤算法的相似度计算方法研究

基于近邻的协同过滤算法是目前最为成功的个性化推荐算法之一,相似度计算方法是其核心内容.然而,该算法通常存在冷启动,数据稀疏性以及在相似度计算的时候只能使用共同评分之类的问题.为了有效改善上述算法推荐质量不高的问题,本文介绍了巴氏系数(Bhattacharyya Coefficient),结合修正余弦相似度、杰卡德相似度和皮尔森相关系数的优点,提出一种考虑了项目全局评分信息和局部评分信息的多重相似度融合的协同过滤算法(CFSI).在数据集MovieLens上的实验表明,CFSI在一定程度上有效缓解了数据稀疏性和冷启动问题,并且提高了推荐质量.