基于文本Embedding和相似度计算的FA范围准确性校核方法研究

在现代电力系统核心运营中,馈线自动化扮演着提高供电可靠性和服务质量的核心角色。针对FA系统故障定位的精确性挑战,提出了一种基于文本向量化和相似度技术的创新校核方法。与传统手动校核流程相比,该方法显著提升了故障诊断的准确度和操作效率。此项研究为电力系统故障响应与维护流程提供了一种高效、可靠的技术解决方案,对确保电网运行的稳定性和安全性具有极为重要的意义。

一种PST_LDA中文文本相似度计算方法

为了降低中文文本相似度计算方法的时间消耗、提高文本聚类的准确率,提出了一种PST_LDA(词性标注潜在狄利克雷模型)中文文本相似度计算方法。首先,对文本中的名词、动词和其他词进行词性标注;然后,分别对名词、动词和其他词建立相应的LDA主题模型;最后,按照一定的权重比例综合这三个主题模型,计算文本之间的相似度。由于考虑了不同词性的词集对文本相似度计算的贡献差异,利用文本的语义信息提高了文本聚类准确率。将分离后的三个词集的LDA建模过程并行化,减少建模的时间消耗,提高文本聚类速度。在TanCorp-12数据集分别用LDA和PST_LDA方法进行中文文本相似度计算模拟实验。实验结果显示,PST_LDA方法不仅减少了建模时间消耗,同时在聚类准确率上有一定的提高。

文本相似度计算的一种新方法

1引言 目前信息检索技术已应用于许多领域,尤其广泛应用在Intcrnet网络、图书馆等领域,为快速查阅文本信息提供极大便利.文本信息检索利用文本相似度描述文本与查询式之间的匹配程度.

基于属性相似度云模型的网络异常检测

针对网络异常检测虚警率偏高的问题,提出了一种基于属性相似度云模型的网络异常检测新方法。基于各属性对分类的不同贡献,结合数据对象空间和属性空间的相似度概念,给出了属性相似度和属性权重的计算方法,该方法可降低网络数据空间的维数,提高目标识别的准确率。试验表明,该方法具有先验知识需求少和参数容易确定的优点,能比较准确地检测出对网络数据的异常行为。

基于公共块“补偿-对称”模型的微博文本相似度计算

结合微博文本的特点,提出一种基于公共块的"补偿-对称"模型算法。该算法对预处理的微博文本使用word2vec计算词项之间的相似度,并进一步将微博公共词块数量、词项顺序和微博标签话题等融入算法,以对称计算的方式计算微博文本相似度。实验证明,与传统公共块算法相比,该方法对于微博文本相似度的计算更加准确,文本分类准确率和召回率更高。

属性论在文本相似度计算中的应用

在文本信息检索中 ,相似度是用以反映用户需求与数据库系统中文本内容的相近程度。相似度越大 ,表明文本越符合用户的需要 ,相似度越小 ,表明文本越不符合用户的需要。本文以属性论中的一个模型———属性重心剖分模型 (又称属性坐标系 )为基础 ,探讨属性论在文本相似度计算中的应用。

一种DF—LDA的文本相似度计算方法

首先用DF方法对文本进行特征选择，然后使用LDA建模的方法获取文本主题分布；用降维后的文本主题分布计算文本相似度。这种DF和LDA结合的文本相似度计算方法，在考虑到词频信息特征的同时，也考虑了语义信息特征。两次降维不仅降低了算法时间复杂度，而且在文本相似度计算过程中消除了低价值词项的干扰，提高了计算的精度。实验结果表明，DF-LDA算法在Tancrop数据集上F值较LDA方法有了7％的提高。

基于相似度矩阵的K-Means算法的MapReduce并行化实现

为了提高基于相似度矩阵的K-Means算法(SMK-means)处理大数据的能力,它使用MapReduce分布式编程模型,并结合SMK-means算法自身的特点,设计出了SMK-means算法基于MapReduce的并行化实现。通过设计Map和Reduce函数实现了SMK-means算法的并行化。Map函数通过计算样本和聚簇中心的相似度来确定样本的聚簇归属,Reduce函数用于完成聚簇中心的计算。实验结果证明,基于MapReduce的并行化的SMK-means算法在保证文本挖掘性能不降的前提下,使得运行效率得到了大幅度提升。

对数似然相似度算法的MapReduce并行化实现

为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于MapReduce模型计算相似度的方法。通过设计4个MapReduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量小键值对合并为大键值对,以减少中间计算量和通信开销。实验结果表明,和Mahout中的单机版相似度算法相比,基于Hadoop平台的对数似然相似度算法具有很好的加速比和可扩展性,能够提升推荐算法的效率。

利用深度学习的文本相似度计算方法

针对在自然语言处理中起着关键作用的文本相似度计算问题,提出了一种神经网络深度学习的词向量模型计算方法.利用词向量计算文本语义相似度,并采用高频词滤波的方法削弱扰动的影响.对百度新闻、新浪新闻等的中文词库进行训练,并与传统的检测方法进行对比.实验结果证明了提出方法的有效性和准确性.

基于深度学习方法的三维模型相似度计算

利用基于深度学习技术的点云模型识别方法,构建多种识别点云模型的深度神经网络,并进行识别性能对比分析。提出了一种基于深度神经网络的三维模型相似度计算方法,利用深度神经网络提取出表征三维模型形状特点的特征信息,然后用皮尔逊相关系数计算出点云模型的相似度。经过实验证明,基于深度神经网络特征的相似度计算方法能有效地计算三维模型的相似性。

云计算环境下朴素贝叶斯文本分类算法的实现

采用分布式编程MapReduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的MapReduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明:朴素贝叶斯文本分类算法MapReduce并行化后在Hadoop云计算平台上部署运行,具有较好的加速比,对中文网页文本分类识别率达到了86%。

一种新的句子相似度度量及其在文本自动摘要中的应用

本文提出了一种新的句子相似度度量的方法并应用于文本自动摘要中。其创新处在于相似度计算不仅考虑句子中的uni gram ,还考虑了bi gram和tri gram ,通过回归方法将这几种相似度结果综合起来。实验证明这种相似度计算方法是有效的。同时本文还提出了一种新的 ,利用句子间相似度以及句子的权重的抽句式文摘算法 ,在抽取出句子的同时也去掉了冗余。DUC2 0 0 3、DUC2 0 0 4 (DocumentUnderstandingConference 2 0 0 3,2 0 0 4 )的评测结果征明了方法的有效性。我们的系统在DUC2 0 0 4的评测中列第二位。

一种结合云模型的文本分类方法

为了降低在传统的文本分类方法中自然语言的不确定性对分类效果的影响,提出了一种结合云模型的文本分类方法。该方法分别定义文本和类别的云模型,通过计算测试文本和每个类别的云相似度,根据最大相似度原则确定测试文本所属的类别。实验结果表明,与传统的K-NN算法相比,该方法在分类准确率等方面有所提高。

基于云计算的电力能源大数据清洗模型构建

为了提高电力能源大数据的清洗效果,以及电网数据分析的智能程度,对电力能源大数据清洗模型进行构建。其中,运用云计算进行大数据存储。创新性地运用时间序列符号化方法对时间序列进行降维,以欧氏距离算法进行相似度度量,并使用相似度曲线对负荷数据进行数据清洗。结果表明:当数据块数量从10块增加到30块时,相应的数据传输数量由28个增加到136个,消耗时间从0.117 h增加到0.165 h。序列相似性排序为:序列1和序列4>序列2和序列5>序列3和序列4。清洗以后,各网供区域的数据都清晰可见,不同系列之间的数据也能清楚辨别和区分,误差也在可接受范围内。由此说明:电力大数据清洗模型效果良好,能够为电力企业内部不同部门、不同需求、不同层次的决策者提供准确数据分析。该研究在电力领域具有很强实用价值。

基于云模型的选煤厂效能评估数据融合研究

选煤厂效能评估对于决策的制定起着至关重要的作用。本文首先引入了数据融合的思想,并由该思想产生了评价指标分级处理的方法,建立了效能评估数据融合模型,并根据该模型提出了基于云模型的选煤厂效能评估求解算法,该算法引入计算机模拟技术和相似度比较算法,避免了图形显示不能很明显的反映评估结果的同时提高了精度。最后,在详细分析选煤厂生产流程的基础上,创建了选煤厂效能评估数据融合的评估模型,并进行了仿真实验,仿真结果证明算法的评估效果较好。

基于云模型的Web服务QoS预测

随着近年来Web服务数量的快速增长,用户-服务QoS(Quality of Service)记录矩阵变得日益稀疏。为了解决传统协同过滤算法在稀疏数据集上预测精确性不高的问题,利用欧几里得距离对数值敏感的特点,将云模型特征向量的欧几里得距离转换成云模型的相似度。对基于云模型的协同过滤算法改进,并将改进算法用于Web服务QoS的动态预测。考虑用户调用同一服务提供商的不同服务有相似体验,再结合云模型的相似度对QoS记录矩阵进行填充,在预测用户调用某服务的QoS时使用填充后的QoS记录矩阵进行计算,从而有利于解决稀疏矩阵下预测准确度难以提高的问题。实验表明,使用该算法的预测结果相较于传统的协同过滤算法有更低的平均绝对误差(MAE),能获得更高的推荐质量。

基于云计算的区域医疗主数据管理系统设计

随着医改的推进和区域医疗信息化的进一步建设,区域内各机构系统的业务协同需要建立在有效的数据标识统一的基础上。需从居民、医疗机构、医务人员、医疗设备、术语/字典几大类全面进行标识整合。由于区域一般是行政级别的部、省、市、区等,其中涵盖大量临床数据、居民健康数据及行政管理数据,因此进行区域数据整合需要强大的数据存储力、数据分析力和计算能力。从整体业务分析切入,描述了采用云计算架构体系下,通过相似度算法分析、模糊匹配、阈值模型等技术实现主数据关联的系统设计,以及获取居民最优记录的方式方法。同时对主数据管理系统(MDM,Master Data Management)的设计在未来发展趋势进行了叙述。

基于融合文本主题模型的学者兴趣挖掘研究

在学者兴趣标签的抽取研究中,因学术数据具有非结构化、稀疏性特征,经常会导致分类效果不理想。本文通过融合Latent Dirichlet Allocation和改进的Doc2vec算法得到一种新的结合主题向量和文档向量表示的融合模型,对学者兴趣标签进行研究,通过加权投票法集成策略融合模型最终得到兴趣标签的评分。为了评估算法的有效性,对几种相关方法做了性能比较,实验结果表明,通过融合加权方法生成的学者数据标签优于其他方法。

计算文本相似度阈值的方法

基于VSM(向量空间模型)的相似度分类器的相似度阈值通常由经验确定导致分类精度不高。该文提出一种基于Boosting机制在不同文档集上自动计算相似度阈值的方法。它利用Boosting迭代生成多个基于相似度划分的子分类器,通过加权把决定这些子分类器的相似度阈值组合起来,得到对理想相似度阈值的一种逼近。实验表明:这样得到的相似度分类器的平均精度比传统方法高15%左右,甚至可以与一些复杂方法相比。它在处理网络实时文本信息处理问题(分类、过滤和检索)中的效率是这些复杂方法的3倍以上,且问题规模越大、越复杂,其优势越大。