隐含语义索引及其在中文文本处理中的应用研究

信息检索本质上是语义检索 ,而传统信息检索系统都是基于独立词索引 ,因此检索效果并不理想 .隐含语义索引是一种新型的信息检索模型 ,它通过奇异值分解 ,将词向量和文档向量投影到一个低维空间 ,消减了词和文档之间的语义模糊度 ,使得文档之间的语义关系更为明晰 .实验和理论结果证实了隐含语义索引能够取得更好的检索效果 .本文论述了隐含语义索引的理论基础 ,研究了隐含语义索引在中文文本处理中的应用 ,包括中文文本检索、中文文本分类和中文文本聚类等 .

基于概率潜在语义分析的中文信息检索

传统的信息检索模型把词看作孤立的单元,没有考虑自然语言中存在大量的同义词、多义词现象,对召回率和准确率有不利的影响。概率潜在语义模型使用统计的方法建立"文档-潜在语义-词"之间概率分布关系并利用这种关系进行检索。该文将概率潜在语义模型用于中文信息检索,实验结果表明,概率潜在语义模型相对于传统的向量空间模型能够显著地提高检索的平均精度。

中文信息检索中多索引策略融合的研究

索引策略是中文信息检索系统中重要的研究内容之一。对基于字、词和二元文法的索引策略进行研究,分析各自的特点,进行性能对比,在此基础上提出将词的索引策略与二元文法索引策略进行线性融合。应用2-泊松模型的BM25公式在TREC公开数据集上进行测试。实验表明,融合后的索引策略在主要性能评测参数平均精确率、R-精确率参数上相对较优。

全文检索单元词索引技术研究

单汉字索引是中文全文检索索引技术中一个主要方法,此方法在索引的空间和检索的效率方面都存在不足。本文引入单元词索引,并分析试验数据,表明引入单元词索引后,索引的空间效率和检索的时间效率均有提高。

基于博主背景的博客倾向性检索归一化策略

博客倾向性检索的目标是检索出不仅与特定查询主题相关而且包含针对该主题的评论的博文单元,并依据倾向性强度进行排序。目前大多数研究工作仅仅通过单个博文单元包含的主题倾向性强弱对博文进行排序。然而,博客是博主表达自己观点情感的媒介,博主的个性风格很大程度上影响着倾向性强度,忽略博主因素仅仅使用单个博文单元获取倾向性评分,会给倾向性评分带来偏差。针对这个问题,该文首先分析博主背景因素对倾向性评分的影响并建立博主背景模型,然后提出基于博主背景的博客倾向性检索归一化策略,最后使用该策略对基于概率推理模型的博客倾向性检索算法进行归一化。实验结果表明,基于博主背景的倾向性检索归一化策略能够更加合理地对博主单元进行排序。

基于文档实例的中文信息检索

传统的信息检索系统基于关键词建立索引并进行信息检索.这些系统存在查询返回文档集大、准确率低和普通用户不便于构造查询等不足.为此,该文提出基于文档实例的信息检索,即以已有文档作为样本,在文档库中检索与样本文档相似的所有文档.文中给出了基于文档实例的中文信息检索的解决方法和实现技术.初步实验结果表明该方法是行之有效的.

潜在语义标引在中文信息检索中的研究与实现

随着网络信息的迅猛发展,信息检索已经成为人们获取信息不可缺少的工具。基于向量空间模型的检索方法是语义检索的重要研究方向,潜在语义标引模型是向量检索方法的一个有力扩展。对LSI中所涉及的关键技术,包括传统的向量空间模型的原理,以及潜在语义索引模型的原理、设计、实现,进行了研究和探讨,同时开发了一个适合中文信息检索的系统原型。对系统进行了测试,取得了较好的实验效果。

统一的中国医学语言系统研究进展

“统一的中国医学语言系统“旨在建立一个计算机化的可持续发展的生物医学检索语言集成系统。该系统由 3个部分组成 :中国医学用语数据库 ,中国医学用语语义网络系统 ,中国医学用语与标引检索语言对应转换系统。该系统的研制在医学文献计算机辅助标引方面发挥着积极作用 ,在一体化信息检索系统的开发研制方面具有重要作用。

中文学术期刊信息的综合检索

文章分析了中文学术期刊出版发行、级别、目录、文摘、索引、全文等各种信息的检索策略,为学术期刊的利用者提供检索捷径。

中文信息检索中二元文法索引策略的改进

本文将部分语义信息加入到二元文法中,提出改进的二元文法索引策略。本文应用2-泊松模型的BM25公式在TREC公开数据集上进行了测试。实验表明,改进的二元文法索引策略与基于字的索引策略、基于词的索引策略和基于二元文法的索引策略对比,在主要性能评测参数平均精确率、R-精确率参数上相对较优。

信息检索策略性能的云模型评价方法

在信息检索中 ,目前常见的评价方法仅能反映检索策略的平均性能 ,不能反映策略的稳定性、随机性等问题 ,因此对检索策略的评价不够全面。本研究提出了基于云模型的检索策略评价方法 ,该方法建立了定性评价和定量数据之间的自然转换 ,这种转换是通过严格的数学方法来实现的 ,用该方法评价检索策略 ,不仅能反映策略的平均性能 ,而且能反映策略的稳定性。实验数据表明 ,该方法是切实可行的 ,评价结果更加逼近实际情况。该方法也可以用于文本分类策略的评价。

概率潜在语义检索模型中中文索引技术的比较研究

概率潜在语义检索模型使用统计的方法建立“文档—潜在语义—词”之间概率分布关系并利用这种关系进行检索。本文比较了在概率潜在语义检索模型中不同中文索引技术对检索效果的影响,考察了基于分词、二元和关键词抽取三种不同的索引技术,并和向量空间模型作了对比分析。实验结果表明:在概率潜在语义检索模型中,词的正确切分能提高检索的平均精度。

全标引汉字情报检索系统研究

本文从构字、书写、词语结构、构词方法和使用等5个方面阐述了汉字的性质与特点,并说明以此为基础实现单汉字全标引情报检索系统的可能。从已开发的一些系统来看,这种系统能显著地提高情报检索系统的总体效率,与西文检索软件相比,在检索效率、一致性匹配、书写适应性、响应时间、用户接口、空间开销等方面表现出许多优点和独特的检索风格,是一种发扬我国民族语言特色的高效率的情报检索系统。

大规模中文搜索引擎的架构和设计技术

信息检索技术已经发展了多年.然而,随着WWw的发展,网络信息空前膨胀.据2000年2月份统计,可索引的网页己达到10亿,而且每天以几百万速度递增.2000年6月份,索引的网页达到20亿[1].

潜语义标引与汉语信息检索研究

1 引言典型的传统信息检索系统,如布尔逻辑模型、向量空间模型,根据用户提供的查询条件,依据关键词的匹配或向量空间的相似系数,返回相关查询结果。对于相同的概念,使用不同的词汇表示,如同义词或近义词,或同一词汇在不同的语言环境中拥有不同的语义,即一词多义,因此基于语词匹配的查询方法,其准确性和完整性都不够理想。尽管同义词词典的使用,在一定程度上,提高了信息检索的查全率(recall),但却降低了查询的精度,且在实际应用中,需要不断更新同义词库,才能满足系统不断变化的要求。

一种适用于汉语的索引文件结构

本文给出一种以词语为索引项的索引文件存储结构,以及基于这种结构的索引查询算法.首先分析中文索引库的分布规律,接着在此基础上设计了一种逆序存储的三层索引结构,这种结构在创建索引时能根据词语频率自动调整存储顺序,最后给出一种基于自动机和逆向最大匹配的索引查询算法.实验系统T IFS将三层索引结构与B树、哈希方法在时间和空间复杂度方面进行对比,结果表明,对于大规模的中文文本检索,三层索引结构的综合效果最好.

论《中国中医药学主题词表》在中医药信息学中的作用

本文简要回顾了《中国中医药学主题词表》的发展概况，论述了作为中医药专业主题词表，在数据库建设、文献检索、图书编目、期刊索引编制和信息标准化工作的地位和作用，阐述了其在中医药信息组织、数据资源整合等方面的意义。