从全文检索到语言计量和语言智能——语料库研究应用的三个层次及资源

20世纪中后期,随着计算机软硬件技术的快速发展,语料库在规模、深度甚至模态上都有了长足进步,实现了由全文检索到语言智能的巨大飞跃。语料库的分类一般从收录语言材料的地域、时代、语种、语体、语域等层面,或语音、词法、句法、语义、篇章等标注层级,或面向具体的研究问题等角度来划分。但更基本的、却较少关注的问题是语料库的构建和应用是面向学者的语言研究需要,还是面向计算机的语言计算建模需要。本文从语料库研究和应用的角度出发,将语料库研究划分为面向全文检索、语言计量和语言智能等三个层次,着重介绍了与后两者相关的期刊、会议和成果资源,助力研究者确定研究范式,构建和使用相匹配的标注语料库,实现多学科的交叉融合和应用。

一种新型高效全文检索引擎的设计

为了改善常规存储方式模糊查询性能较低的问题,提出一种针对大文本文档数据的高效模糊查询方法。通过对文档建立倒排索引,将索引以及部分文档信息提取到内存中以降低磁盘输入和输出(Input/Output,I/O)。根据内存中的倒排索引和数据库中主键形成的映射查询数据,然后通过相关度算法对这些数据进行排序,并以字典树作为搜索提示,实现高效的全文检索。实验结果表明:与ElasticSearch使用相同词集时,随着测试数据量的变化,所设计的全文检索引擎的查询效率是ElasticSearch效率的80~1200倍,其效率优势随着数据量增加呈现反比例关系变化,并且在17919条文档数据下,其内存占用不超过2.5 GB,适合用于海量文档数据检索。

基于ElasticSearch的输变电工程全文检索研究

随着输变电工程建设工作的开展,多源异构的全过程非结构化文档体量日益增大,需要对这些非结构化文档进行稳定管理。为实现输变电工程非结构化文档的高效检索,研究了基于ElasticSearch的输变电工程全文检索方案,构建电网专用术语词典对智能化分词进行辅助优化,融合输变电工程资料的特征信息,对分词成果进行语义赋值,基于语义标签改进分词算法,进一步提升全文检索效率和准确率,搭建了输变电工程全文检索系统,以验证此技术方案的可行性。

全文检索技术在图书检索中的应用

现有的图书检索方法多是对馆藏图书进行编目、分类、标注等处理后形成书目数据库,用户根据书名、作者和出版社等信息来检索图书。这种方式不能满足用户根据任意关键词来检索图书的需求,效率较低。全文检索是基于倒排索引技术对文本中的所有词组和关键词进行索引,支持快速检索到文本中任何一个单词和关键词。若将全文检索技术应用于图书检索中,可使用户根据任意关键词检索图书,可根据检索量和用户习惯推荐热门图书。文章介绍了如何在图书检索过程中应用全文检索技术,分析了全文检索引擎选择、图书文本解析、图书文本分词、图书索引设计、图书文档提交等主要过程,并给出了全文检索技术的最终实现效果,以期对提升图书检索系统的易用性提供一定借鉴。

中文全文检索技术的研究及实现

本文设计了一个中文全文检索系统,在单汉字全文数据库的基础之上进行了全文检索的算法研究,提出了针对特定检索策略的计算公式.同时还对检索结果集的排序问题进行了讨论,并采用用户反馈信息量,使最后检出的结果在应用中不断得到优化.

采用合作缓存技术的并行全文检索

全文检索是一种资源消耗型操作，并行全文检索可以缩短全文检索的响应时间，以前的并行检索研究主要集中在磁盘资源和ＣＰＵ 资源的优化利用方面，本文提出了一种采用合作缓存技术的并行全文检索模型，以优化对内存资源的利用，并对该模型进行了分析和评价，说明该模型可以有效地提高检索性能．

浅谈数字图书馆与全文检索技术

本文从数字图书馆的起源、发展 ,以及特点和功能等方面 ,简要阐述了全文检索技术。

基于全文检索和流媒体技术的素材库设计建设

网络教学需要多媒体素材库的支持。多媒体素材库必须有着强大的多媒体信息存储、管理功能。采用全文检索系统来实现多媒体素材库强大的信息检索功能。采用流媒体技术实现多媒体素材库中流媒体的管理与发布。设计建设一种采用全文检索技术和流媒体技术核心的多媒体素材库,检索精度与效率高,功能十分强大。

全文检索算法设计及全文检索系统概述

该文首先介绍了全文检索在我国的研究历程 ,然后阐释了三种全文检索算法 ,比较了彼此的优缺点 ,最后对国内的全文检索系统做了一个概要的介绍。

全文检索系统概述

本文介绍了全文检索系统的组成及索引和检索算法 ,重点阐述了混合算法的实现思路 ,并对网络全文检索系统作了说明。

基于Lucene全文检索引擎的应用研究

Lucene是一个用Java编写的全文搜索引擎工具包,支持多用户访问,访问索引速度快,可以跨平台使用。文章首先介绍了全文检索系统与全文检索引擎Lucene,以及Lucene的系统结构和实现机制,最后结合实际应用背景给出了全文检索系统的主要实现步骤。

全文检索在数字图书馆中的发展与应用

简要介绍了全文检索的特点、功能及应用 ,论述了网络时代全文检索的发展趋势和在数字图书馆中的应用问题。

Lucene在数据库全文检索中的性能研究

通过Lucene API实现对MYSQL数据库的全文检索,并将Lucene全文检索的性能和查全率同数据库全文检索和Like子句检索作对比。通过对比发现Lucene全文检索在性能上接近数据库全文检索,检索耗时约为Like子句检索的1/5。在对中文检索方面能达到77.2%的查全率,大大高于数据库全文检索。因此对于数据量较大的MYSQL数据库,Lucene全文检索将是一个很好的选择。

浅析基于超文本的全文检索技术

本文重点探讨了全文检索的概念及其实现方式 ,以及超文本的概念和结构组成 。

面向网络世界的全文检索技术的应用问题研究

本文总结了全文检索技术在网络中的应用情况 ,归纳出衡量全文检索系统的基本指标 ,分析了在全文检索技术应用中出现的问题 ,并提出了具体的解决方法 。

信息检索的发展概况(下)—中文全文检索简述

全文检索就是以文本数据为主要处理对象,提供根据资料内容而不是外在特征来实现的先进检索查询手段。“文海捞针”是对全文检索的形象描述。全文检索技术的出现,导致了信息检索领域的一场革命。

基于分布式消息队列的企业级全文检索模型研究

针对传统集中式全文检索系统的查询性能不足的问题,提出基于分布式消息队列构建的企业级分布式全文检索模型。该模型充分利用分布式消息队列将查询集群中的各个节点去耦合,以异步方式对查询请求进行处理,提高整个集群的查询吞吐量。从该模型的总体结构、分布式全文检索算法过程设计、算法验证三个方面进行了阐述,验证了该模型的可行性,并且验证结果表明具有良好的查询性能。

全文检索字索引技术的研究与实现

针对中文全文检索字表法检索索引的创建,提出了快速的建立方法,并根据中文文本的特点,提出了有效的索引压缩方法。实验表明,使用虚拟内存技术可以大大节省索引的建立时间;采用字节对齐的索引压缩技术,不但可以有效地减少索引占用的磁盘空间,而且可以加快检索时间,索引的空间和时间效率都得以提高。

全文检索模型综述

全文检索的应用导致了信息检索领域的一场革命,是文档数据库研究的核心。全文检索的首要问题是全文检索模型的选择。本文介绍了目前国内外主要的全文拴索模型,总结了全文检索模型的评价标准,按照此标准对各种模型进行了分析比较,并对全文检索模型构建中一些关键问题进行了分析。

面向网络的全文检索中索引文件的组织

为了提高网络中全文检索的效率 ,需要对Web页面中内容进行分析、建立全文索引 ,并对索引的结构进行高效率的组织。讨论了索引的组织结构及其实现方法 ,并分析了不同的组织方法的性能。