从全文检索到语言计量和语言智能——语料库研究应用的三个层次及资源

20世纪中后期,随着计算机软硬件技术的快速发展,语料库在规模、深度甚至模态上都有了长足进步,实现了由全文检索到语言智能的巨大飞跃。语料库的分类一般从收录语言材料的地域、时代、语种、语体、语域等层面,或语音、词法、句法、语义、篇章等标注层级,或面向具体的研究问题等角度来划分。但更基本的、却较少关注的问题是语料库的构建和应用是面向学者的语言研究需要,还是面向计算机的语言计算建模需要。本文从语料库研究和应用的角度出发,将语料库研究划分为面向全文检索、语言计量和语言智能等三个层次,着重介绍了与后两者相关的期刊、会议和成果资源,助力研究者确定研究范式,构建和使用相匹配的标注语料库,实现多学科的交叉融合和应用。

基于融合矩阵的文本相似度计算实现检索结果聚类

目的/意义弥补医学文本语义表示方面的不足,实现PubMed数据库检索结果聚类。方法/过程采用Jaccard系数和TF-IDF构建融合矩阵方法,建立短语间、文档间、短语与文档内容间的相似性关系融合矩阵,训练聚类算法,将PubMed数据库检索结果集合分组,随后生成类别标签,描述每一类簇文档的含义。结果/结论基于融合矩阵的聚类效果较好,提取出描述类别的高频词能很好地区分类别含义,对检索结果文本聚类任务有效。

一种多视角新闻信息快速检索方法

信息检索一直是数据挖掘研究的重要领域,也是情报搜集的重要手段。如果采用人工手动搜索方式在数据库中检索信息,检索效率较低。为此,以新闻信息搜集为应用背景,以提高信息检索效率为目的,提出了一种多视角新闻信息快速检索方法。该方法以用户需要检索的多视角新闻描述信息为检索依据,利用关键词权重分割法处理多视角新闻描述信息来构建词汇向量,以词汇向量在新闻信息库中的检索结果为依据来构建词汇检索向量,以向量相似度计算模型为信息筛选规则,在新闻信息库中快速检索并筛选出用户需要搜集的新闻信息。文中给出了所提方法的设计模型、涉及的关键技术实现策略、数据处理流程以及实验对比分析。实验结果表明,该方法能够根据用户指定的多视角新闻描述信息,在新闻信息库中快速高效地检索并筛选出符合用户需求的新闻文章信息。

基于细粒度特征的面料图像检索

面料图像检索对于纺织工厂面料库存和样品管理意义重大,但面料外观的多样性以及织物纹理的精细性,使得在面料检索时面料的特征提取较困难。该研究提出一种基于细粒度特征的面料图像检索算法。该算法使用坐标注意(coordinate attention,CA)模块来提取图像的精准位置信息,并将缩放系数法用于在宽度和高度方面整体缩放MobileNetV3的网络结构以减少模型参数数量,达到减少网络训练时间的目的。据此筛选出提取面料图像细粒度特征的最佳模型,在面料图像数据集(fabric image dataset,FID)上进行面料检索实验。结果表明,该算法有效提高了面料图像细粒度特征提取的准确性,检索精度达到91.82%,浮点运算数达到175.34 MB。检索精度比MobileNetV3原模型提高了13.49个百分点,同时减少了网络训练时间,速度提高了25.14%。该算法具有实际应用价值。

基于互信息量均方差提取关键帧的激光视频图像检索研究

为保证激光视频图像检索结果中不存在重复性冗余图像,提出了基于互信息量均方差提取关键帧的激光视频图像检索方法。基于互信息量均方差的关键帧提取方法,以激光视频图像颜色的互信息量均方差最大化,为激光视频图像关键帧的聚类中心设置标准,以此聚类提取不重复的视频图像关键帧;通过基于关键帧的激光视频图像检索方法,将所提取关键帧作为激光视频图像检索的核心判断内容,提取与所需图像关键帧相似度显著的激光视频图像,完成激光视频图像检索。实验结果显示:此方法使用后,提取的激光视频图像关键帧冗余度仅有0.01,激光视频图像检索结果的MAP指标测试值高达0.98,检索结果中不存在重复性冗余图像。

基于词向量扩展的语义信息检索研究综述及应用展望

运用词向量技术,对检索关键词进行语义相似度计算和查询扩展,得到查询扩展词集,实现更好的检索效果,提高数字学术文献信息检索的查准率和查全率,并提出基于词向量扩展的数字学术文献语义信息检索框架。

面向无人机绝对定位的遥感影像快速检索方法

针对在复杂环境下无人机景象匹配导航中的视觉绝对定位问题,提出了一种聚合深度学习特征的实时影像快速检索方法。首先,引入可训练软分配深度学习框架—NetVLAD,结合VGG16网络提取并聚合生成影像稳定的全局特征表达向量;其次,在初始检索阶段,使用KD树结构对影像全局特征向量构建检索索引,在不损失检索精度的前提下提高检索速度;最后,使用皮尔逊积矩相关系数对初始检索结果进行快速预判断,自动过滤初始检索结果,对于需要重排序的影像则采用特征学习匹配算法——图神经网络SuperGlue进行匹配重排序。所提方法在公开的夏季和冬季遥感影像数据集分组进行实验,实验结果表明:未重排序条件下,初始检索结果第一张影像平均准确率达到了58.27%,部分特征较好地区准确率达到了85%,对不同时相遥感影像也有很好的适应性,平均检索一张影像耗时3.7 s,可为无人机景象匹配导航的初始定位提供参考。

融合全局聚合与局部挖掘的建筑图像检索

针对建筑图像易受到尺度变化和局部遮挡干扰而导致检索准确率低的问题,本文提出了一种融合全局聚合与局部挖掘的建筑图像检索网络。以ResNet50为骨干网络并在其后引入多尺度特征聚合的全局分支和注意力引导特征挖掘的局部分支,再通过正交融合策略高效整合双分支互补特征。其中,多尺度特征聚合模块结合混合空洞卷积和通道注意力对全局不同尺度的目标进行自适应加权聚合,增强网络对建筑多尺度显著特征的提取;注意力引导特征挖掘模块通过信息互补注意力对最显著特征标记擦除,实现对局部区域中潜在的细节信息的挖掘。所提方法在主流建筑数据集ROxf和RPar上的平均精度均值(mAP)指标分别达到了81.54%(M)、62.43%(H)和90.28%(M)、78.35%(H)。实验结果表明,该方法有效克服了尺度变化和局部遮挡的干扰,显著提升了建筑图像检索的准确率。

智能云平台异构数据库协同检索算法研究

智能云平台是一种集成各种资源和功能的高效计算平台,可以为用户提供灵活的数据存储和高效的数据检索服务.随着信息技术飞速发展,异构数据库中数据呈爆炸式增长.为了提升网络异构数据库检索效果,提出智能云平台异构数据库协同检索算法.构建智能云平台异构数据库,均衡异构数据库中的节点能耗;排序云平台多源异构数据,预处理异构数据;建立以索引库为核心的检索服务引擎,利用神经网络提取多源异构数据特征,实现异构数据库的匹配检索.测试结果表明,所提算法查准率为96%,查全率为94%,数据丢失量仅为1.由此证明,所提方法有效提高了网络异构数据库检索效果.

基于数据挖掘的智慧图书馆信息自动化检索系统设计

由于检索系统信息种类检索准确性低,提出基于数据挖掘的智慧图书馆信息自动化检索系统。优化中央控制器的开发板和芯片,选定NAND Flash芯片构建系统数据存储器。采用MAX232芯片完成信息传输电路。通过数据挖掘算法计算图书信息中的关键词相似性并进行滤波处理,使用数据挖掘算法中的关联规则算法优化信息分类模块,实现图书馆信息自动化检索系统。实验表明,系统信息检索精确度较高,有效提高了信息种类检索准确性。

眩晕病中医古今文献检索系统构建研究

从数据来源、构建方法、技术架构及功能模块等方面介绍眩晕病中医古今文献检索系统的构建情况,该系统全面采集、整理了涉及眩晕病因病机、证候分类、方药治疗等方面的历代古籍及部分现代期刊文献,可以对眩晕文献数据进行快速数据挖掘分析及可视化展示,还实现了眩晕相关古今文献的互通检索,可以为临床医生和科研人员研究提供丰富的原始资料,为进一步开展眩晕病文献相关特色分析研究提供可靠的数据支持与信息保障。

基于对抗学习的查新检索式自动生成

科技查新是科研人员获取前沿信息的重要途径,但伴随着信息量的剧增,传统查新检索式的构建方法存在效率低、关键词提取不全面、一词多义等问题,因此提出了融合基于Transformer的双向编码器表达与SequenceGAN的查新检索式自动构建模型BSGAN。通过BiLSTM-CRF构建领域词表及概念同义词词表,解决了查新检索式构建过程中关键词不够全面的问题;采用基于Transformer的双向编码器表达模型中多头注意力机制,解决了检索式中一词多义问题;使用BSGAN检索式自动构建模型,实现了查新检索式的自动生成与逻辑构建,解决了传统方法中专家手工构建检索式效率低的问题。最后,通过万方中文数据库中的检索结果来评价检索式,实验结果表明,自动构建模型BSGAN生成的查新检索式在医药、化工、计算机等领域均达到了较高的查准率与查全率。

特征融合的装修案例跨模态检索方法

目前家装客服系统中主要依靠人工方式进行装修案例检索,导致该系统不能满足用户对咨询服务快捷、及时的需求而且人力成本高,故提出一种基于特征融合的装修案例跨模态检索算法。针对多模态数据的语义信息挖掘不充分,模型检索精度低等问题,对现有的风格聚合模块进行改进,在原始模块中引入通道注意力机制,以此来为每组装修案例中不同图片的特征向量添加合适的权重,从而增强包含更多有用信息的重要特征并削弱其他不重要的特征。同时,为充分利用多模态信息,设计一种适用于检索场景下的多模态特征融合模块,该模块能够自适应地控制2种不同模态的特征向量进行一系列的融合操作,以实现跨模态数据间的知识流动与共享,从而生成语义更丰富、表达能力更强的特征向量,进一步提升模型的检索性能。在自建的装修案例多模态数据集上将该方法与其他方法进行比较,试验结果表明本文方法在装修案例检索上具有更优越的性能。

一种两阶段的中文专利语义检索方法

专利检索系统主要以传统的术语匹配方式提供检索服务,语义扩展性不足,使得具有语义相似的专利在Top_N的检出率较低.为了提升相似专利的Top_N检出率,该文提出了一种两阶段的中文专利语义检索方法.第1阶段基于Sentence-BERT进行语义编码,然后基于近似最近邻算法进行语义匹配,能够从海量专利文献库中快速匹配到语义相似的专利.第2阶段以BERT为基础模型,基于交叉编码器(Cross-Encoder)捕获专利文本之间更细粒度的语义相关性,对第1阶段的候选专利集进行重新排序.此外,该文还提出了难负例(hard negative)采样和白化转换(whitening)两种简单有效的模型训练优化策略,使模型从简单的训练数据逐渐过度到复杂的训练数据,提高模型区分相似专利的能力.实验表明,该文提出的方法相比于主流的方法在检出率上均有提升,且相比市面上现有的检索系统同样具有优势.

《第三次全国土壤普查暂行土壤分类系统》土类检索系统构建

【目的】国务院第三次全国土壤普查领导小组办公室(简称国务院三普办)2023年下发了《第三次全国土壤普查暂行分类系统(试行)》(简称《三普暂行分类》),但没有建立检索系统。为在土壤调查过程中避免发生同土异名、同名异土问题,特构建土类检索系统。【方法】依据农业重要性优先、确名先易后难、涵义先窄后宽、类型相似集中、体现土壤空间演变和发育规律等检索秩序原则,通过引用已有的诊断层/诊断特性、修改已有的诊断层/诊断特性、简洁化描述性语句、归纳特征土层等方法,从《三普暂行分类》土类划分依据中提炼各个土类的检索指标,构建土类检索系统。【结果】建立了包含《三普暂行分类》中62个土类的检索系统,检索秩序依次为:1工程土、2水稻土、3菜园土、4灌淤土、5灌漠土、6碱土、7寒原盐土、8漠境盐土、9酸性硫酸盐土、10滨海盐土、11草甸盐土、12火山灰土、13寒冻土、14紫色土、15磷质石灰土、16石质土、17粗骨土、18龟裂土、19新积土、20风沙土、21黄绵土、22红黏土、23石灰(岩)土、24白浆土、25灰化土、26棕色针叶林土、27暗棕壤、28棕壤、29黄棕壤、30黄褐土、31灰色森林土、32黑土、33灰褐土、34褐土、35燥红土、36黑钙土、37栗钙土、38栗褐土、39黑垆土、40棕钙土、41灰钙土、42灰漠土、43灰棕漠土、44棕漠土、45山地草甸土、46林灌草甸土、47砂姜黑土、48草甸土、49潮土、50沼泽土、51泥炭土、52砖红壤、53赤红壤、54红壤、55黄壤、56黑毡土、57草毡土、58寒钙土、59冷钙土、60冷棕钙土、61寒漠土、62冷漠土、63类型待定土。【结论】总体上,《三普暂行分类》的土类是可以通过剖面形态、土壤理化性质建立起检索指标的,但是高山土纲的多数土类没有完全遵循整个分类系统的分类原则,彼此之间难以从剖面形态和土壤理化性质上进行区分,需要利用分布区域、海拔等非土壤本身属性才能区分;《三普暂行分类》的土类还需要进一步完善,建议对部分土类要进行适当归并,同时增加一个“性土”土类。

我国图书馆实施孤儿作品勤勉检索研究——以欧盟《孤儿作品指令》及其转化为视角

文章分析欧盟成员国对孤儿作品勤勉检索的阐释及其规则运行成效,指出欧盟成员国孤儿作品勤勉检索面临的检索来源数量庞大、检索成本较高、部分检索来源不可访问等问题,并提出我国图书馆孤儿作品勤勉检索规则构建路径,即厘清孤儿作品勤勉检索的法律性质,明确孤儿作品勤勉检索的基本原则,制定孤儿作品勤勉检索指南,建设孤儿作品勤勉检索记录智能平台,认清孤儿作品勤勉检索客体,提高勤勉检索来源质量。

基于语义特征挖掘的图书馆文献资源智能检索方法

为提升图书馆文献资源检索精度,使检索结果与索引标准、用户需求适配,文章提出基于语义特征挖掘的图书馆文献资源智能检索方法。构建图书馆元数据特征空间,计算特征空间量化结果与特征信息的聚类范围;对图书馆文献资源信息进行编码重构与分布采集,提取图书馆文献资源检索特征;计算特征相似度分数,提取显性关键词;利用加权向量组合控制方法优化图书馆文献检索,实现文献资源智能检索输出。实验结果表明,利用所提方法获取的检索结果,适配度均在98%以上,最高检索精度达到0.97,有较好实际应用效果。

含金属衬底复合材料的有效电磁参数检索方法

复合材料的有效电磁参数获取对研究其电磁性质具有重要作用。然而,基于S系数的传输反射方法不适用于含金属衬底的复合材料目标,导致其有效电磁参数难以检索。为解决该问题,提出了一种新型的信息融合有效电磁参数检索方法。首先,通过主成分分析(Principal Component Analysis,PCA)对有效电磁参数样本的S系数进行关联性分析和全局特征提取,简化模型复杂度。其次,构建了多输出回归信息融合网络(Multi-output Regression Information Fusion Network,MRIFN)模型对电磁参数进行检索。该模型结合了双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)处理主成分信息,并通过卷积层纵向融合特征信息,从而提高了检索性能。最后,通过非磁性吸波材料数据集和蜂窝有效电磁参数数据集验证了该检索方法有效性。结果表明,该方法对介电常数实部和虚部的平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)分别为0.21%和0.57%。同时考虑介电常数和磁导率的综合影响,该方法对介电常数实部和虚部的MAPE分别为2.34%和9.28%,对磁导率实部和虚部的MAPE分别为2.40%和6.40%,验证了其有效性和泛化能力。

基于潜在语义以及关键字的油气田工程智能知识信息检索方法

在油气田工程智能知识信息中,有效信息分布结构及其检索目标特征语义分析程度不同的影响,很难在特定条件下完成有效信息的全局检索,且所得检索结果与预期结果偏差较大,严重影响油气田工程智能知识信息分析进度。为了解决这一难题,提出基于潜在语义与关键字对其展开检索方法研究。建立基于潜在语义的油气田工程智能知识信息数据预处理模型,基于模型进行潜在语义分析、关键字信息空间的多重分析、知识信息检索相似度识别,实现高精度检索信息的效果。实验结果表明,提出方法能够有效提升目标信息检索精准度,在检索速率、完整度及检索稳定性方面具有提升优化作用。

专利审查中合理利用移动互联网检索工具

在专利审查的过程中,检索是必要的基本步骤,是核心的一环。审查员通过检索,了解专利涉及的技术领域,本申请的背景技术和当前的技术问题,领悟本申请的发明构思;进而才能找到最接近的现有技术,判断本申请的新颖性/创造性。由于现有技术资料如烟波浩渺,彻底、完全的检索是客观上无法达成的。因此目前在审查工作中,主要是采用智能化检索系统,它集成了世界专利文摘翻译库和国内外专利中文翻译全文库,多个非专利库等,具有语义分析功能,可以自动地按照内容相关性进行排序,极大提升了审查员的检索效率。