基于词模式规则的轻量级日志模板提取方法

传统基于规则的日志解析方法针对每类日志需单独编写规则,且随着系统更新,出现新的日志模式时,需人工再次干预;基于深度学习的日志解析方法虽准确率高,但计算复杂度高。为解决日志解析方法人力成本和计算复杂度高的问题,文中提出一种基于词模式规则的轻量级日志模板提取方法,该方法由初始规则集生成、词模式规则应用、潜在错误样本发掘三个部分构成。首先,原始日志基于自适应随机抽样获取彼此间相似度较低的代表性日志;然后,基于专家反馈提取初始词模式规则集,在词模式规则应用模块对原始日志进行处理并提取日志模板;最后,在潜在错误样本发掘模块检查生成的日志模板聚类,发现潜在的错误分类样本并对其进行规则集更新。经过实验验证,在16个公开日志数据集上,文中方法的平均准确度达到97.8%,与基于深度学习的日志解析算法准确度基本持平;在计算效率方面,文中方法的单线程解析速度达到每秒20000条,且随着可用内核数量的增加,性能持续提升,满足系统日志的故障诊断和安全分析需求。

基于词汇搭配的蒙古语兼类词语法和语义信息标注研究

通过对《蒙古文学语料库》中的兼类词文本进行语法和语义信息标注得出了以下结论:蒙古语兼类现象主要集中在形容词、名词、动词和副词之间;兼类词的语义分类信息最多为名词义类,其次为形容词义类、动词义类;兼类词的语义格信息最多为受格,其次是性状格、情态格。本实验对基于语义分类和语义格信息的蒙古语兼类词搭配的语义关系描述提供知识依据。

基于BERT字句向量与差异注意力的短文本语义匹配策略

短文本语义匹配是自然语言处理领域中的一个核心问题,可广泛应用于自动问答、搜索引擎等领域。过去的工作大多只考虑文本之间的相似部分,忽略了文本之间的差异部分,从而使模型无法充分利用到决定文本之间是否匹配的关键信息。针对上述问题,提出一种基于BERT字句向量与差异注意力的短文本语义匹配策略,利用BERT对句子对进行向量化表示,使用BiLSTM并引入多头差异注意力机制获取当前字向量与文本全局语义信息之间表征意图差异的注意力权重,结合一维卷积神经网络对句子对的语义特征向量进行降维,最后拼接字句向量并送入全连接层计算出2个句子之间的语义匹配度。通过在LCQMC和BQ Corpus数据集上的实验表明,该策略可以有效提取文本语义差异信息,从而使模型表现出更好的效果。

一种改进的视觉词包模型的船舶识别方法

船舶识别在船舶贸易和军事活动中具有重要意义。目前的研究主要依赖于深度学习的方法,但这类方法对数据集规模和硬件要求较高,通常需要GPU等高性能硬件,限制了其在实际应用中的推广。针对这一挑战,提出了一种改进的视觉词包模型,用于快速识别船舶目标。首先利用SIFT和SURF方法提取船舶图像的局部特征,并将两种特征进行快速匹配和融合。随后,采用基于图论的方法确定图像的感兴趣区域(ROI),以减少背景的影响。接着,通过聚类算法将ROI区域内的特征转换为视觉单词,并构建视觉词典,从而用视觉单词直方图描述每幅图像。该方法还采用空间金字塔核式模型描述图像特征之间的空间关系,并通过支持向量机进行有监督的学习分类。在模型中,视觉词典的大小和分辨率水平是关键参数,通过实验对其进行了深入研究。当视觉词典大小设置为300,分辨率水平设置为2时,模型的准确率、精确率超过了96%,实验结果验证了该模型的有效性。

汉语双字名词识别的时间进程——基于视觉单模态词形匹配任务的脑电研究

书面词语的识别是阅读的基础,但是在特定实验任务下汉语双字名词各种信息加工的时间进程并不清晰。使用视觉单模态的词形匹配任务,发现在识别的早期阶段(~130-230ms),目标词和首词之间词形的不同或字的失匹配在头皮前区会引发增大的P2效应,其不受语义变量的调节,主要反映了正字法信息的加工;在N400时间窗口,真词对照条件下的目标词比语义相关条件下的目标词在顶区引发的负走向脑电波更大。这些发现说明在N400阶段,即使被试没有被明确要求关注语义,词的语义表征也被自动激活。汉语双字名词识别的时间进程较为清晰地限定在P2至N400之间。

基于要素关联图的汉越跨语言事件检索方法

汉越跨语言事件检索旨在根据输入的中文事件查询短语,检索出相关的越南语新闻事件文档。由于查询文档的新闻文本较长,中文事件查询短语与越南语的查询文档长度不一,表达差异较大,且查询文档中往往会包含大量与其描述的核心事件无关的噪声文本,现有的模型不能很好地捕获事件匹配特征,匹配效果欠佳。基于此,文中提出基于要素关联图的汉越跨语言事件检索方法。首先,预训练一个汉越双语词嵌入来解决跨语言问题;然后,抽取查询文档中的关键信息(关键词和实体)以构建要素关联图;最后,通过引入一个图编码器对构建的要素图进行编码,生成结构化的事件信息来增强传统的事件检索模型。实验结果表明文中提出的方法优于传统的基线方法。

融入法律知识的问句匹配

问句匹配是问答系统的重要任务,当前方法通常采用神经网络建模两个句子的语义匹配程度.但是,在法律领域中,问句常存在文本表征稀疏、法律词的专业性较强、句子蕴含法律知识不足等问题.因此,通用领域的深度学习文本匹配模型在法律问句匹配任务上效果并不好.为了让模型更好的理解法律问句的含义、建模法律领域知识,首先构建一个法律领域知识库,在此基础上提出一种融合法律领域知识(如法律词汇和法律法条)的问句匹配模型.具体地,构建了合同纠纷、离婚、交通事故、劳动工伤、债务债权等5种法律纠纷类别下的法律词典,并且收集了相关法律法条,构建法律领域知识库.在问句匹配中,首先查询法律知识库检索问句对所对应的法律词汇和法律法条,进而通过交叉关注模型同时建模问句、法律词汇、法律法条三者之间的关联,最终实现更精准的问句匹配,在多个法律类别下的实验表明提出的方法能有效提升问句匹配性能.

利用词袋模型估计尺度差异的异源影像匹配方法

针对影像匹配中因影像间尺度差异过大导致同名特征点数目不足甚至误匹配的问题,提出一种利用词袋模型估计尺度差异的异源影像SIFT匹配方法(BS-SIFT)。该方法通过提前感知待匹配影像间存在的尺度差异,将异源影像匹配转化为在同一尺度上开始,提高匹配的内点率,进而增加大尺度差异影像的匹配点数量。首先,通过将连续变化的不同尺度影像特征点在特征空间聚类,并将各尺度影像特征重分配到特征中心,得到各尺度下的特征分布关系;然后,结合影像特征中心的空间信息熵定权,得到待匹配影像间尺度描述符;最后,分析尺度描述符距离分布可得到最佳影像尺度差。实验结果表明,本文提出的BS-SIFT算法在超过10倍尺度差的影像匹配上仍能取得较好结果,相较于经典的SIFT算法,本文算法在取得较高效率的同时可得到更多的同名特征点,匹配正确率至少提升9个百分点,最大可达37个百分点。

城市公共服务设施供需空间匹配研究——以北京市回天地区为例

通过IWOM数据量化餐饮、购物、休闲娱乐、便民服务4类市场主导型公共服务设施的服务能力,同时构建基于NA-MCR模型的城市公共服务设施空间供需匹配框架,并以北京市回天地区为例开展实证研究。结果表明:(1)在供需强度分布上,回天地区东西两侧各形成1~2处高强度供给区,需求空间强度分布相对分散;(2)在综合供需空间匹配上,回天地区公共设施的供需匹配度和匹配模式存在一定空间分异,该现象由高口碑分值设施过于集中的分布和低适宜性步行空间的负面影响所致;(3)在分类空间匹配上,除便民服务类外,回天地区其他3类设施在匹配度方面差异明显。

双匹配焦点融合的开放域答案选择模型

开放域答案选择模型通过对同一问题的不同候选答案打分,寻找与问题最匹配的答案,是问答(QA)系统的重要组成部分。现有开放域QA系统中的答案选择模型较少关注词级与句子级的融合,导致在匹配关系上缺乏上下文的语义联系,或损失个别单词在语法语义上的细节信息。基于相邻相似原理,提出一种融合双匹配焦点的答案选择模型。根据问答任务多语句关联的特点,设计一种可以将词语的问答承接关系和问答语义关系嵌入进词向量的词嵌入方式,并利用该词向量直接计算词对的余弦相似度,得到词级匹配焦点。通过引入注意力机制的Encoder-Decoder模型提取句子级词对匹配焦点,以问题为基准对齐两个焦点分布矩阵,并使用焦点间的相对距离融合词级与句子级匹配矩阵,获得问题与答案的相关性得分。在Wiki-QA、TREC-QA两个公开问答数据集上的实验结果表明,该模型与多跳注意力模型、层级排序模型相比,平均准确率均值分别提高0.0801和0.0571,平均倒数排名分别提高0.0176和0.0066。

基于深度学习与规则匹配的Word文档实体识别与属性抽取融合算法及其在油气勘探领域中的应用

针对油气勘探领域积累的大量历史Word文档中的知识未能很好地应用于实际生产和研究的问题,提出了一种基于深度学习与规则匹配的融合算法,从文档中抽取文本,从表格中抽取实体值与属性值。抽取文档中的内容,分析所要抽取的实体和属性的语义规则以及在文档、表格的位置规则,并以源数据的相关语料作为训练数据,基于BiLSTM+CRF模型完成实体、属性抽取模型的训练,结果准确率和召回率均在97%以上。将深度学习和规则匹配模型相结合,可实现实体和属性的高效准确抽取。目前,该融合算法在塔里木智能方案编写项目上取得了良好的应用效果,具有广阔的发展前景。

多功能雷达建模中的雷达字提取技术研究

雷达字为有限数目脉冲的固定排列,能够反映多功能雷达的工作状态和威胁等级。针对漏脉冲和虚假脉冲所造成的雷达字不能正确提取的问题,提出了一种基于三级匹配的雷达字提取算法。该算法首先对分选后的辐射源脉冲列进行数据库级的匹配过滤,确定模板雷达范围,然后分别利用脉冲配对和序列相关技术进行精确识别。仿真实验表明,该方法不仅能提取多功能雷达辐射源的雷达字,而且对噪声环境具有较好的适应能力。

文本褒贬倾向判定系统的研究

为了满足当今对评论性信息进行分析的需要,本文设计并实现了一个基于关键词模板的文本褒贬倾向判定系统.本系统定义了关键词类别、建立了关键词库、关键词模板库,并设计了模板匹配算法和文本褒贬倾向值算法,对测试文本进行关键词及模板匹配进而判断测试文本的褒贬倾向.本文还对文本褒贬倾向判定系统进行了测试,并在集内测试取得了较好的效果.进一步分析结果表明在语料充足的条件下,本系统可以更有效的判定文本的褒贬倾向.

基于内容的个性化信息过滤系统的研究与设计

以典型的向量空间模型为例,剖析了个性化信息服务中内容过滤面临的主要问题及基本对策,并结合用户的实际需求,设计实现了“天罗”个性化信息过滤系统,实验结果表明,系统达到了很高的准确率、召回率和处理速度。

Web中文文本分词技术研究

中文自动分词技术是中文Web信息处理的基础。文中以最大匹配法(MM)为基础,充分考虑上下文(MMC),在内存中采用二分法进行分词匹配,有效地提高了分词的准确率和时效。并给出了评析报告,以及在生成Web文档中的关键词与自动摘要中的应用。

中文字段匹配算法

首先介绍了几个英文字段匹配算法，然后给出了一个字段匹配过程框架，最后重点描述了几个中文字符型字段匹配算法。

面向Web的计算机基础课程考试系统的设计与实现

现代远程教育体系中,考试系统的网络化是非常重要的一环.在对网络化考试系统的深入研究基础上并结合用户的需求,文章设计并实现了一套完善的面向 Web 的多题型的计算机基础课程考试系统.文章介绍了系统的整体架构、功能设计以及数据流设计,并就系统的几大关键技术的实现展开论述.

用语义模式提取实体关系的方法

研究了信息抽取中的汉语实体关系提取技术,在使用模式匹配技术的基础上引入了词汇语义匹配技术对汉语实体关系进行提取。比较了一般模式匹配技术和词汇语义模式匹配技术在汉语实体关系提取任务中的性能。实验结果表明,一般模式匹配技术在处理中文时效果较差,而词汇语义模式匹配技术更适合于处理汉语实体关系提取任务。

基于汉语高频名词下词图匹配语义判断任务的设计与运用范式

目的探索基于汉语高频名词的词图匹配语义判断任务的设计思路,以及该任务下的功能磁共振成像(fMRI)和事件相关电位(ERP)实验研究方法,为该领域研究提供范式。方法阐述汉语高频名词的词图匹配判断任务的材料来源和设计流程,并纳入1例健康受试者,进行词图匹配语义判断任务下的f MRI、ERP实验,将任务下采集的fMRI/ERP数据进行分析,判断该任务在fMRI/ERP实验中的可行性。结果 fMRI结果显示,与注视"+"时相比,受试者在词图呈现时右侧额中回激活增高;与词图匹配条件相比,受试者在词图不匹配条件下右侧颞中回激活增高。ERP结果显示,词图匹配条件下受试者左侧额颞区激活较明显,词图不匹配条件下右侧额叶区激活较明显。结论基于本实验设计,采用fMRI、ERP技术均可以获得语言相关脑区激活效应,提示本任务可用于探索汉语语言的脑加工机制。

中文“非多字词错误”自动校对方法研究

针对目前中文文本中的"非多字词错误"自动校对方法的不足,提出了一种模糊分词的"非多字词错误"自动查错和自动校对方法。首先利用精确匹配算法与中文串模糊相似度算法对中文文本进行精确切分和模糊全切分,建立词图;然后利用改进的语言模型对词图进行最短路径求解,得到分词结果,实现"非多字词错误"的自动发现和自动纠正。实验测试集是由2万行领域问答系统日志语料构成,共包含664处"非多字词错误"。实验表明,所提方法能有效发现"非多字词错误",包括由于汉字替换、缺字、多字引起的"非多字词错误",该方法的查错召回率达到75.9%,查错精度达到85%。所提方法是一种将查错与纠错融于一体的方法。