基于语义指纹和LCS的文本去重方法

为了解决传统中文文本去重准确率低的问题,本文提出了一种基于语义指纹和LCS的文本去重方法。针对中文文本,预处理后抽取出文本摘要,然后使用tf-idf算法分别得出文本内容特征向量和摘要特征向量,分别将这两个向量作为simhash算法的输入,计算得到文章的内容指纹和摘要指纹。计算两个文本对应的两个指纹的汉明距离,代入本文公式,最终得到这两文本的指纹距离;使用指纹对文本对进行初步筛选,对判定为相似的两个文本使用LCS算法进行进一步对比,避免误判,最终实现中文文本快速去重。实验过程中,通过与LCS算法、simhash算法等多种算法的结果进行对比,可以体现该方法在算法精确度方面的优势,同时,该方法的运行速度优势也能较好地支持大数据量文本的去重操作。

基于语义指纹的海量文本快速相似检测算法研究

相似检测算法在海量文本信息处理中具有广泛的应用,尤其是Simhash算法因其指纹局部敏感特性、检测效率高在文本查重、网页检测等大规模数据处理中都十分常见。针对传统Simhash算法无法支持近义词、多义词等自然语言处理上的语义问题,通过对现有同义词扩展方案的研究,提出基于语义指纹的相似检测算法。在Simhash算法基础上,融入同义词扩展编码信息,生成文本语义指纹进行匹配检测,以提高文本相似度检测性能。另外,根据文本语义指纹建立多层分段索引,实现在海量文本信息中快速匹配出相似文档。通过与传统的Simhash算法进行实验对比,体现出该方法在准确率、效率等方面的优势。

基于语义指纹的中文文本快速去重

针对中文文本,抽取出文本内容特征,结合Simhash算法生成中文文本的语义指纹,通过语义指纹的海明距离判断文本间相似程度。整合Single-Pass快速聚类算法对语义指纹快速聚类,所得的语义指纹聚类即为文本去重的最终结果,从而实现面向中文文本的快速去重流程。实验过程中,通过与Shingle算法对比,可以体现该方法在算法精确度、鲁棒性等方面的优势,同时该方法的运行速度优势也能较好地支持大数据量文本的去重操作。

USPTO专利发明人重名辨识方法综述

英文专利发明人姓名歧义现象越来越严重,极大阻碍了英文专利数据的研究应用。为了解英文专利发明人重名辨识方法的研究现状,进行了方法调研和总结:首先,介绍专利发明人重名辨识研究的意义及困难;其次,对国内外现有的专利发明人重名辨识方法进行梳理,主要将其分为基于规则的方法和基于机器学习的方法;最后,对发明人重名辨识方法的优缺点进行总结分析,并对未来方法研究进行展望。建议将深度学习算法和语义指纹算法融入到专利发明人重名辨识方法中,以便更加高效准确地进行发明人重名辨识。

基于稀疏分布式表征的英文著者姓名消歧研究

为将稀疏分布式表征理论应用到著者姓名消歧,了解其在解决姓名消歧问题时的效果,提出了基于稀疏分布式表征的英文文献著者姓名消歧方法。该方法选择论文摘要文本信息作为消歧特征,将其生成二进制表示的SDR码。根据待消歧论文的SDR与同名作者的论文SDR相似度对比来实现著者姓名消歧。最终得到的结果为准确率98. 21%,召回率76. 75%,F值86. 17%,证明提出的消歧方法具有较好的效果。通过将该方法与利用合著者特征进行消歧的方法进行对比,说明该方法能够较好地解决文献著者姓名歧义问题。此外,该方法还可将作者未收录在作者库中的论文识别出来并将其指派给新作者,无须重新学习和更新模型。

社交网络中意见领袖的敏感舆论倾向识别

为准确识别意见领袖的敏感舆论倾向,有效把控敏感类舆情的发展,提出基于多任务学习的敏感舆论倾向识别模型(MTL-SA-LSTM)和基于指纹汇聚技术的快速识别模型。以准确识别意见领袖的敏感舆论倾向为目标,兼顾其识别效率。采用指纹汇聚技术关联原始敏感词和变形敏感词,采用语义指纹技术快速识别重复或相似度较高文本的敏感舆论倾向,通过MTL-SA-LSTM模型,对文本中的敏感舆论及舆论倾向两个任务进行识别。对比实验结果表明,该模型具有较高的识别准确率及识别效率。

FAST TEXT LOCATION BASED ON DISCRETE WAVELET TRANSFORM

The paper describes a texture-based fast text location scheme which operates directly in the Discrete Wavelet Transform (DWT) domain. By the distinguishing texture characteristics encoded in wavelet transform domain, the text is fast detected from complex background images stored in the compressed format such as JPEG2000 without full decompress. Compared with some traditional character location methods, the proposed scheme has the advantages of low computational cost, robust to size and font of characters and high accuracy. Preliminary experimental results show that the proposed scheme is efficient and effective.