基于动态门限与自适应插值的外引导平滑算法

为了实现靶场光电经纬仪外引导数据的实时平滑,确保外引导数据驱动下光电经纬仪稳定获取图像,提出基于动态门限的野值处理算法和基于自适应插值的处理算法。对于外引导数据中的野值,提出一种利用影响函数动态计算样本方差的方式,构建动态判别门限实时完成野值的处理;对于外引导数据的插值处理,判断插值计算的连贯性,并将外引导的“卡顿”数据进行分类,采取不同的策略实时自适应插值。实验结果表明:基于动态门限的五点外推野值剔除方法,野值检测率平均在80%以上,同时虚警率较低;插值处理算法能同时应对卡顿与非卡顿的外引导数据,处理结果平滑连贯。算法已成功应用于海军某观测站的光电经纬仪,满足了靶场弹道测量系统的需要。

大语言模型评测综述

大语言模型(Large Language Models, LLMs)在多种自然语言处理(Natural Language Processing, NLP)任务中展现出了卓越性能,并为实现通用语言智能提供了可能。然而随着其应用范围的扩大,如何准确、全面地评估大语言模型已经成为了一个亟待解决的问题。现有评测基准和方法仍存在许多不足,如评测任务不合理和评测结果不可解释等。同时,随着模型鲁棒性和公平性等其它能力或属性的关注度提升,对更全面、更具解释性的评估方法的需求日益凸显。该文深入分析了大语言模型评测的现状和挑战,总结了现有评测范式,分析了现有评测的不足,介绍了大语言模型相关的评测指标和评测方法,并探讨了大语言模型评测的一些新方向。

汉语中人称代词的消解研究

人称代词的消解是自然语言处理中十分重要的问题 .人称代词消解 ,就是确定人称代词与先行语之间的相互关系 ,从而明确人称代词究竟指代什么对象 .现有的许多应用系统 ,如文本摘要、信息抽取等采取了从文本中直接抽取句子的做法 ,而结果可能会含有某些无先行语的人称代词 ,使理解变得非常困难 .人称代词消解无疑可以解决类似的问题 .该文主要结合句类基本知识 ,根据人称代词所在语义块中的语义角色和人称代词对应的先行语可能的语义角色 ,给出了消解人称代词的基本规则 ;同时 ,作者也从句法的角度 ,结合局部焦点法给出了优选性规则 .

鲁棒性的汉语人称代词消解

指代消解在自然语言处理中起着越来越重要的作用.许多自然语言处理应用系统都需要高效、鲁棒的指代消解策略.然而,传统的指代消解方法需要用到句法知识、语义知识、上下文知识,甚至领域知识等多级知识,在目前的自然语言处理水平下,要有效获取这些知识是相当困难的.结合汉语的特点,提出了一种弱化语言知识的人称代词消解方法,仅仅用到了单复数特征、性别特征和语法角色特征.该方法主要分为两步,首先,利用这3种特征的简单约束关系,过滤与人称代词特征不一致的词,并形成可能的先行语候选集;然后,使用一个权值算法,计算候选的权值,并将最高权值的候选作为代词最终的先行语.权值算法并不是枚举式地计算每个候选的权值,而会通过动态评测机制,在合适的条件下自动终止计算,因而有效地控制了计算复杂度.此外,该方法不需要对文本进行深层的分析处理,实现起来也很容易.测试结果表明,该方法达到了满意效果.

指代消解的基本方法和实现技术

指代是自然语言中常见的语言现象 ,大量出现在篇章或对话中。随着篇章处理相关应用日益广泛 ,指代消解也显示出前所未有的重要性 ,并成为自然语言处理上热门的研究问题。针对指代和指代消解的有关问题 ,本文对基本概念作了说明 ,分析了语言中典型的指代现象和指代消解所需的基本语言知识 ;同时 ,介绍了指代消解中有代表性的几种计算模型和近 10年来采用的若干实现技术。

基于句子对齐的汉语句法结构推导的计算模型

基于句子的相似性,提出了无指导的汉语句法结构推导方法.基本思想是:首先,在汉语句子库的基础上,通过句对之间的对齐,得到交替的相同片断和相异片断.然后,根据相同片断优先或相异片断优先策略,选取相应的对齐片断作为句子成分候选,并对可能因片断交叉而导致边界摩擦的候选进行歧义消解.最后,通过逐步归约句子成分,推导出汉语句法结构树.为了避免对齐过程中词的稀疏问题,还对部分具有明显规律的词事先作了归类处理.分别以词、词性以及词联合词性作为句子基本构成单元,评测了推导的句法结果.测试结果表明:对于3种构成单元,相异片断优先归约得到的结果的F值都超过了46%,均优于相同片断优先归约所得到的结果,最好的达到了49.52%,好于已报道的结果.

汉语句法结构标注的研究

在自然语言处理中，利用语料库标注词性已获得了极大成功．本文利用语料库的思想。

汉语篇章的指代消解浅论

本文简要分析了汉语指代消解的问题。主要包括三个方面 :1 照应语的识别 ,尤其是零形式照应语和无标记的普通名词或名词短语作为照应语的辨识缺乏标记 ;2 有些照应语对先行语的属性分析和构成形式的判断没有指导作用 ,从而导致了潜在先行语识别的困难 ;3 最重要的是 ,指代消解所需要的语言知识在目前分析技术下不容易得到。因此 ,完全的指代消解仍然是困难的。

汉语缩略语自动处理研究现状

缩略语是自然语言中广泛使用的一类典型语言单元,也是最主要的新词来源。而新词会造成自然语言处理多个层面的困难。该文分析了汉语缩略语的特点,对汉语缩略语的构成形式作了总结,对汉语缩略语处理的问题作了划分,并针对不同的问题,重点介绍了在汉语中的研究现状;之后简要比较了汉语缩略语与英语缩略语的差异,并对英语缩略语处理的一些典型方法作了分析。

基于语料库句法结构分析的动态规划模型

语料库方法在词性标注上获得了较大的成功，但句法分析中仍存在许多问题．针对句法分析方法的不足，文中给出了一个基于语料库的动态规划分析模型．其算法按自底向上的方式逐层构造各种句法树．它可以像枚举分析那样，从所有可能的句法树中选择最合理的句法结构，还可以将复杂度控制在多项式范围内．作为比较，还详细讨论了基于语料库的枚举分析方法。

句类中E块的作用及其判定策略

1 引言在一个句子中,谓语起着极其重要的作用。多年来,无论是以句法分析为主的自然语言处理,还是以语义分析为主的自然语言理解,都把对谓语的确定作为句子分析的关键因素。首先,从句子的构成形式上看, 可以通过谓语的类型,判断句子是无宾语,单宾语,还是双宾语,甚至是小句作宾语;其次,从意义上看,又可以通过它得到句子的主语和宾语所具备的基本语义信息,是人还是物,是具体概念还是抽象概念,或者,从格的角度讲,是施事格还是受事格等。HNC理论同样肯定谓语所起的作用,同时认为,一方面“谓语”的内涵过泛,另一方面对谓语的复合构成缺乏深层的揭示。为此,它引入了表示特征的E(igen)语义块基元的概念, 由它构成特征语义块EK。

基于实例的机器翻译——方法和问题

介绍了基于实例的机器翻译方法,并对基于实例的机器翻译中的若干问题,如双语实例的加工对齐、实例的相似度计算和实例模板提取等问题作了说明。

计算语言学歧义消解研究——兼介绍北京大学计算语言学教育部重点实验室

本文介绍了近年来计算语言学歧义消解中的典型方法以及重点研究问题,并简要介绍了北京大学计算语言学教育部重点实验室的发展情况以及目前的重点研究方向。

向量子程序预处理系统

在程序设计中,子程序有着独特的优点。然而,过多地调用子程序又必然要花费许多额外代价。为此,我们针对SEG协会提出的一套具有向量特征的子程序设计了预处理器VPPS。它将调用SEG子程序的语句用相应的Fortran Do-循环取代,可以使速度提高近10倍。

单词排版的两种算法

在对英文排版时，我们既应考虑单词之间的间隔，以便清晰可读，又应考虑节省版面，以便降低费用。本文通过详细地讨论两种算法可以解决这一矛盾。

文式程序设计

本文阐述了什么是文式程序设计及这一思想出现的背景,介绍了 D.E.Knuth教授设计的文式程序设计系统 WEB 以及进行文式程序设计的几种方法。

关键词自动标引的最大熵模型应用研究

关键词是文档管理、文本聚类 /分类、信息检索等领域可利用的重要资源 ,因此该文提出了利用最大熵模型进行自动标引的技术 .最大熵模型为一个成熟的数学模型 ,已经应用到计算语言学的各个领域 .然而它的应用非常灵活 ,针对标引任务和现有资源的实际情况 ,作者首先建立了最大熵模型的特征集合 ,然后提出了三种试验方法 ,并给出了相应的试验结果 ,最后针对最大熵模型在关键词自动标引任务中的应用做了有益的分析和探讨 .该研究对于关键词标引研究以及最大熵在其他领域中的应用将有所启示 .

语言计算的重要国际前沿

该文在互联网规模语言信息处理的语境下,从语言计算基础模型、语言分析、语言资源建设、机器翻译、文本内容理解与问答等多个方面,对国内外相关重要动态进行了评述,讨论了语言计算的若干前沿问题及其对中文信息处理近期研究工作所提出的要求。

自然语言处理中主题模型的发展

主题模型在自然语言处理领域受到了越来越多的关注.在该领域中,主题可以看成是词项的概率分布.主题模型通过词项在文档级的共现信息抽取出语义相关的主题集合,并能够将词项空间中的文档变换到主题空间,得到文档在低维空间中的表达.作者从主题模型的起源隐性语义索引出发,对概率隐性语义索引以及LDA等在主题模型发展中的重要阶段性工作进行了介绍和分析,着重描述这些工作之间的关联性.LDA作为一个概率生成模型,很容易被扩展成其它形式的概率模型.作者对由LDA派生出的各种模型作了粗略分类,并选择了各类的代表性模型简单介绍.主题模型中最重要的两组参数分别是各主题下的词项概率分布和各文档的主题概率分布,作者对期望最大化算法在主题模型参数估计中的使用进行了分析,这有助于更深刻理解主题模型发展中各项工作的联系.