从全文检索到语言计量和语言智能——语料库研究应用的三个层次及资源

20世纪中后期,随着计算机软硬件技术的快速发展,语料库在规模、深度甚至模态上都有了长足进步,实现了由全文检索到语言智能的巨大飞跃。语料库的分类一般从收录语言材料的地域、时代、语种、语体、语域等层面,或语音、词法、句法、语义、篇章等标注层级,或面向具体的研究问题等角度来划分。但更基本的、却较少关注的问题是语料库的构建和应用是面向学者的语言研究需要,还是面向计算机的语言计算建模需要。本文从语料库研究和应用的角度出发,将语料库研究划分为面向全文检索、语言计量和语言智能等三个层次,着重介绍了与后两者相关的期刊、会议和成果资源,助力研究者确定研究范式,构建和使用相匹配的标注语料库,实现多学科的交叉融合和应用。

一种新型高效全文检索引擎的设计

为了改善常规存储方式模糊查询性能较低的问题,提出一种针对大文本文档数据的高效模糊查询方法。通过对文档建立倒排索引,将索引以及部分文档信息提取到内存中以降低磁盘输入和输出(Input/Output,I/O)。根据内存中的倒排索引和数据库中主键形成的映射查询数据,然后通过相关度算法对这些数据进行排序,并以字典树作为搜索提示,实现高效的全文检索。实验结果表明:与ElasticSearch使用相同词集时,随着测试数据量的变化,所设计的全文检索引擎的查询效率是ElasticSearch效率的80~1200倍,其效率优势随着数据量增加呈现反比例关系变化,并且在17919条文档数据下,其内存占用不超过2.5 GB,适合用于海量文档数据检索。

基于ElasticSearch的输变电工程全文检索研究

随着输变电工程建设工作的开展,多源异构的全过程非结构化文档体量日益增大,需要对这些非结构化文档进行稳定管理。为实现输变电工程非结构化文档的高效检索,研究了基于ElasticSearch的输变电工程全文检索方案,构建电网专用术语词典对智能化分词进行辅助优化,融合输变电工程资料的特征信息,对分词成果进行语义赋值,基于语义标签改进分词算法,进一步提升全文检索效率和准确率,搭建了输变电工程全文检索系统,以验证此技术方案的可行性。

全文检索技术在图书检索中的应用

现有的图书检索方法多是对馆藏图书进行编目、分类、标注等处理后形成书目数据库,用户根据书名、作者和出版社等信息来检索图书。这种方式不能满足用户根据任意关键词来检索图书的需求,效率较低。全文检索是基于倒排索引技术对文本中的所有词组和关键词进行索引,支持快速检索到文本中任何一个单词和关键词。若将全文检索技术应用于图书检索中,可使用户根据任意关键词检索图书,可根据检索量和用户习惯推荐热门图书。文章介绍了如何在图书检索过程中应用全文检索技术,分析了全文检索引擎选择、图书文本解析、图书文本分词、图书索引设计、图书文档提交等主要过程,并给出了全文检索技术的最终实现效果,以期对提升图书检索系统的易用性提供一定借鉴。

基于Coreseek+Python的分布式全文检索方法

将Coreseek全文检索引擎应用到分布式数据检索引擎的构建中,利用Python数据源程序接口对多种类型的数据库进行连接,使检索引擎能够同时对不同类型的数据库进行检索。该方法较好地解决了海量数据查询系统中,单极查询性能有限、数据融合复杂问题,提高了系统的数据检索速度和对不同数据库服务器的兼容性。

大数据背景下OCR全文检索对档案著录带来的机遇与挑战研究

一、研究背景及内容(一)研究背景当前,许多机构和企业开始应用OCR全文检索技术对档案进行管理,以达到提高检索效率、提升档案利用价值的目的。然而,这一技术的应用也出现了新的问题。为探究OCR全文检索技术在大数据背景下对档案著录带来的机遇和挑战,本文将从归档者和档案用户两个角度出发,分析其应用现状、存在问题和解决办法。

全文检索字索引技术的研究与实现

针对中文全文检索字表法检索索引的创建,提出了快速的建立方法,并根据中文文本的特点,提出了有效的索引压缩方法。实验表明,使用虚拟内存技术可以大大节省索引的建立时间;采用字节对齐的索引压缩技术,不但可以有效地减少索引占用的磁盘空间,而且可以加快检索时间,索引的空间和时间效率都得以提高。

面向网络的全文检索中索引文件的组织

为了提高网络中全文检索的效率 ,需要对Web页面中内容进行分析、建立全文索引 ,并对索引的结构进行高效率的组织。讨论了索引的组织结构及其实现方法 ,并分析了不同的组织方法的性能。

中文全文检索技术的研究及实现

本文设计了一个中文全文检索系统,在单汉字全文数据库的基础之上进行了全文检索的算法研究,提出了针对特定检索策略的计算公式.同时还对检索结果集的排序问题进行了讨论,并采用用户反馈信息量,使最后检出的结果在应用中不断得到优化.

采用合作缓存技术的并行全文检索

全文检索是一种资源消耗型操作，并行全文检索可以缩短全文检索的响应时间，以前的并行检索研究主要集中在磁盘资源和ＣＰＵ 资源的优化利用方面，本文提出了一种采用合作缓存技术的并行全文检索模型，以优化对内存资源的利用，并对该模型进行了分析和评价，说明该模型可以有效地提高检索性能．

基于Lucene全文检索引擎的应用与改进

Lucene全文检索技术以其开放源代码的良好特性、优异的索引结构、有效的系统架构获得了广泛的应用。分析了Lucene的系统组织结构与核心类,同时指出其检索算法中的不足。给出了一个基于Lucence全文检索技术的信息导航系统中的设计。最后特别针对检索算法中的不足,设计和实现了利用PageRank算法的检索器。

一种基于Lucene的中文全文检索系统

在开源全文索引引擎Lucene的基础上,设计了一个中文全文检索系统模型,该模型系统由7个模块组成,索引模块、检索模块是其中的核心部分。论述了模型的整体结构,分析设计了索引及检索模块,通过具体的索引技术和检索技术来提高整个系统的检索效率。该系统增加了加密模块,实现对建立的全文索引进行加密处理,增强了信息的安全性。

基于全文检索技术的商业信函处理系统的设计与实现

分析了现有商业信函处理系统检索方式存在的缺点和全文检索的有关技术,利用全文检索技术与数据库技术的有机结合实现了商业信函处理系统,介绍了商业信函处理系统中全文检索的实现过程。系统的成功应用提高了企业的服务质量和经济效益。

一种高效的全文检索索引技术

针对目前比较流行的基于词的倒排文档索引模型 ,结合全文检索数据的特点 ,提出了变长编码的索引压缩算法。利用该压缩编码 ,研究了基于内存缓存的快速创建索引的流程。通过实验 ,对索引膨胀率、创建时间和检索响应速度进行了对比分析 。

一种全文检索系统的设计与实现

在对全文检索有关技术进行分析和研究的基础之上,提出并实现了一个实用的全文检索系统UFRS,它能够处理中英文文档并可以扩展到其它语言,支持多种不同的索引存储方案以及分布式检索。依次讨论了该系统中的存储层、词法语法分析层、系统核心接口层。最后给出了该系统的一种分布式部署方案。

基于Lucene全文检索引擎的应用研究与实现

Lucene全文检索技术是信息检索领域广泛使用的基本技术。它是一个优秀的开源全文本搜索技术框架。按照Lucene的框架规范,扩展Lucene的功能,可以将Lucene很好地嵌入到自己的搜索引擎中。首先介绍了一个高性能的全文检索引擎——Lucene开源系统,详细分析了Lucene的系统结构,程序运行逻辑,以及在Lucene上的扩展;然后将其引入具体应用,给出了一个基于Lucene全文检索技术的校园网Web搜索引擎的设计与实现。

中文Web文档库全文检索技术研究与实现

全文检索是一种非常有效的信息检索技术，本文结合国家８６３项目《ＷＷＷ文档协同写作系统》的设计与开发，研究对中文Ｗｅｂ文档库实现全文检索的主要技术，着重讨论了字表法全文检索技术细节，最后介绍了一个实用的全文检索系统的实现。

基于Lucene的全文检索系统的研究与实现

Lucene是一个优秀的开源全文搜索技术框架,Lucene全文检索技术是信息检索领域广泛使用的基本技术。它能非常方便地为各种应用程序加入全文索引和搜索功能,快速有效地索引企业累积的大量信息资源。文中阐述了建立全文检索系统的必要性,介绍了全文检索系统的概念并分析了Lucene的系统结构和实现机制,最后结合实际应用背景从系统设计、文挡抽取、索引的建立及执行检索等方面介绍了全文检索系统的实现过程。实践证明,该系统的查准率、查询速度等均达到了设计要求。

Lucene的全文检索的研究与应用

为了改善传统全文检索方法在检索效率上的不足,结合Lucene构建了一个全文检索系统模型。介绍了全文检索的基本过程、Lucene源码结构和逻辑结构,分析了Lucene的索引组成,对比了Lucene全文检索和其它全文检索的区别。该模型可用于中小型的全文检索系统的实现,同时可基于此模型开发定制个性化的搜索引擎。最后通过实验对比了其与传统检索方式的响应时间,利用Lucene的全文检索具有更快的响应速度。

基于Lucene.Net的分布式全文检索系统

随着互联网的发展,现代信息量急剧增加,人们对于信息的检索要求越来越高,一个好的检索系统必须具有较快的检索速度和较高的查准率。针对海量文本数据提出一种基于Lucene.Net全文检索引擎构建的分布式全文检索系统,使用.NET Remoting实现分布式的全文索引与全文检索,具有较好的扩展性和很快的索引与检索速度,并成功地将该技术应用于军队某部信息管理系统,取得了很好的效果。