融合时序分类的科技领域实体增长预测研究

[目的/意义]科技领域实体增长机制是进行预测型科技情报分析的核心,要有效地进行科技发展态势感知和预测,必须深入了解科技领域细粒度知识增长机制。文章提出并验证了融合时序分类的科技领域实体增长预测方案。[方法/过程]首先,根据实体词频时间序列的增长模式,将实体分为可拟合、有趋势和无规律3种类别;其次,利用曲线拟合、局部加权回归方法抽取特征,构建特征向量,再用MLP模型实现了高精度的实体分类;最后,构建融合时序分类的集成模型与基线模型进行对比验证效果。[结果/结论]根据实验结果,验证显示集成预测模型相对于基线模型,误差减少了13%以上,进一步证实了预测结果在科学性和准确性方面的优势。综合考虑,所提出的融合时间序列分类的实体增长预测方案在可行性和应用价值方面具备潜力。

融入互注意力的风险领域实体关系抽取研究

风险领域实体关系抽取是扩充现有知识图谱与泛化知识工程应用的关键问题.当前特定领域实体关系抽取面临人工标注语料的严重依赖、实体间关系的交叉互联以及远程监督标注存在噪声数据等核心难题,简单的解决方案是运用风险领域已有的知识图谱作为指导.然而,相比通用领域知识图谱,风险领域知识图谱的规模往往较小,难以满足当前领域实体关系抽取的知识需求.因此,本文既要利用已有的风险领域知识图谱,又要充分挖掘蕴含于领域文本数据中规律性的风险知识.本文提出基于知识图谱与文本互注意力的风险领域实体关系抽取方案.首先,根据已有的知识图谱抽象出风险领域实体关系及其约束条件;其次,运用少量高质的实体关系与大规模风险领域语料训练知识图谱与文本的互注意力机制模型,并融合文本表示学习与深度神经网络的方法进行风险领域实体关系的抽取.最后,针对给定的领域文本数据,综合关系约束与关系抽取结果得出风险领域实体关系类型.本文以风险领域数据为例,仅用少量的领域知识,即可获取较好的实体关系抽取效果.

融合多特征图及实体影响力的领域实体消歧

实体消歧作为自然语言处理的关键问题,旨在将文本中出现的歧义实体指称映射到知识库中的目标实体。针对现有方法存在仅实现单实体指称消歧、忽略了实体影响力及候选实体间相似度对消歧结果的影响以及冗余图节点增加图计算复杂性等问题,提出了一种融合多特征图及实体影响力的领域实体消歧方法,以金融领域为例,提取CN-Dbpedia中金融类别相关关键词三元组,构建金融领域知识库;针对金融活动类文本,提取待消歧实体指称,融合字符串及语义的相似特征,筛选出候选实体,利用知识库三元组信息获取候选实体间2-hop内的关系,同时计算候选实体间相似度作为边权值,进而将多特征信息充分融合到图模型当中,完成多特征图构建;采用动态决策策略,利用PageRank算法,并结合实体影响力计算多特征图中候选实体的综合评分,进而获得可信度较高的消歧结果。实验结果验证了提出方法在特定领域实体消歧的精确度及效率。

小规模知识库指导下的细分领域实体关系发现研究

细分领域实体关系的获取是知识工程深化与泛化应用的关键问题,当前面临对人工标注语料严重依赖这一核心难题,一种自然的解决思路是利用细分领域已有的(或可低成本获取的)知识库作为指导。与通用型知识库不同,细分领域知识库往往规模较小,因此不仅要利用其中的现成知识内容,还有必要充分发掘蕴含于领域知识库中规律性的"领域元知识"。本文提出一种融合领域元知识和词嵌入向量类比的细分领域实体关系发现方案:首先,根据已有知识库抽象出特定细分领域的实体关系约束条件,如症状表征关系由<疾病,症状>实体对构成;其次,依据相应领域语料计算领域实体的词嵌入向量;随后,针对知识库中少量高质实体关系学习各类关系词嵌入类比的正负例向量基准,以此为基础训练实体关系分类器;最后,针对给定的领域实体,综合关系约束、词嵌入相似度、词嵌入类比结果分类,得到与其构成不同类型关系的实体。以心血管领域数据为例,仅用少量从百科抽取的领域知识,即可取得较好的实体关系识别效果。

基于维基百科的领域实体发现研究

提出一种基于维基百科的领域实体发现方法,该方法将构成领域实体的典型字或词作为种子元素,利用少量种子元素作为实体发现的初始知识,有效地克服了传统方法在获取种子词条时过分依赖领域专家的局限,同时还利用维基百科词条中的分类信息,通过计算维基百科类与领域类间的隶属度实现领域实体的有效扩充。人工抽样对实体发现结果进行检验,平均准确率达到80%左右,同时还将构建出的领域实体知识应用到文本分类中,结果显示,当训练集具有一定规模时,以实体为特征的分类模型的准确率较以词为特征分类模型的准确率有显著提高,说明实体知识在实际应用中的有效性。提出的方法具有较好的领域独立性和语种独立性,可较为便捷地移植到其他语种与领域。

面向预测的科技领域实体增长时间序列模式分类研究——以人工智能领域为例

【目的/意义】对科技领域实体增长时间序列模式进行分类,是有效开展知识增长预测的前提。本文提出并验证了科技领域实体增长时间序列可预测性分类方案。【方法/过程】首先,从科技文献摘要中抽取问题、方法两类实体,并标注可拟合、有趋势、无规律三类实体时间序列样本;其次,利用动态时间规整算法计算实体时间序列形状相似度,利用曲线拟合和加权局部回归来提取时间序列特征;最后,比较了基于形状相似度和基于特征的两大类时间序列分类算法的效果。【结果/结论】通过人工智能领域实验,发现基于曲线拟合和加权局部回归算法提取的特征能够有效开展实体增长时间序列模式分类,F1值可达0.91;将分类结果应用在时间序列趋势预测,能够有效降低实体增长时间序列预测的误差。【创新/局限】本文将时间序列挖掘应用到实体增长预测中,为科技预测提供了新的解决思路。未来需要更加关注时间序列局部特征,进而对实体变化过程和原因进行深入思考。

基于本体的汉语领域命名实体识别

命名实体识别是众多自然语言处理任务的核心内容之一,也是近年来的领域研究热点。本文将命名实体分为两大类：常规命名实体和领域命名实体。基于已经构建的领域本体MPO,本文提出一种基于本体知识规则与统计方法相结合的领域命名实体识别方法。该方法通过本体化实例,获取实体构成词性规则模板,结合CRFs机器学习模型,进行领域命名实体识别。实验结果表明：相比运用单一统计方法而言,该方法能使领域实体的识别性能显著提高,F值达到92.36%。同时表明本体化知识规则的有效运用,能够在领域实体边界和特殊形式领域实体识别的准确率上发挥积极作用。

基于笔画ELMo嵌入IDCNN-CRF模型的企业风险领域实体抽取研究

【目的】有效学习风险领域文本特征和上下文语义关联性,提升企业风险领域实体抽取的性能。【方法】提出基于笔画ELMo嵌入IDCNN-CRF的企业风险领域实体抽取模型。使用双向语言模型预训练大规模非结构化的企业风险领域数据得到的笔画ELMo向量作为输入特征;将其送入IDCNN网络进行训练,运用CRF对IDCNN的输出层进行处理,获得全局最优的企业风险领域实体序列标注。【结果】模型对企业风险领域实体抽取的F值为91.9%,相对于BiLSTM-CRF模型的抽取性能提升了2.0%,且测试速度快2.36倍。【局限】未考虑本模型扩展于更多领域实体抽取任务的普适性。【结论】本文模型能够为企业风险领域实体语料库构建提供参考借鉴。

基于MacBERT-BiLSTM-CRF的反恐领域细粒度实体识别

为验证基于深度学习的命名实体识别框架在反恐领域的有效性,参照ACE 2005实体标注规范,制订了细粒度反恐实体标签体系,构建了反恐实体语料集Anti-Terr-Corpus;提出基于MacBERT-BiLSTM-CRF的实体识别模型,通过能减少预训练和微调阶段差异的MacBERT(masked language modeling as correction bidirectional encoder representations from transformers)预训练语言模型获得动态字向量表达,送入双向长短时记忆(bidirectional long short-term memory,BiLSTM)和条件随机场(conditional random field,CRF)进行上下文特征编码和解码得到最佳实体标签;替换框架中的预训练语言模型进行对比实验。实验表明该模型可以有效获取反恐新闻中的重要实体。对比BiLSTM-CRF模型,MacBERT的加入提高了24.5%的F1值;保持编码-解码层为BiLSTM-CRF时,加入MacBERT比加入ALBERT(a lite BERT)提高了5.1%的F1值。可见,深度学习有利于反恐领域实体识别,能够利用公开反恐新闻文本为后续反恐形势预判服务,同时有助于反恐领域信息提取、知识图谱构建等基础性任务。

结合GAN与BiLSTM-Attention-CRF的领域命名实体识别

领域内命名实体识别通常面临领域内标注数据缺乏以及由于实体名称多样性导致的同一文档中实体标注不一致等问题.针对以上问题,利用生成式对抗网络(generative adversarial network, GAN)可以生成数据的特点,将生成式对抗网络与BiLSTM-Attention-CRF模型相结合.首先以BiLSTM-Attention作为生成式对抗网络的生成器模型,以CNN作为判别器模型,从众包标注数据集中整合出与专家标注数据分布一致的正样本标注数据来解决领域内标注数据缺乏的问题;然后通过在BiLSTM-Attention-CRF模型中引入文档层面的全局向量,计算每个单词与该全局向量的关系得出其新的特征表示以解决由于实体名称多样化造成的同一文档中实体标注不一致问题;最后,在基于信息安全领域众包标注数据集上的实验结果表明,该模型在各项指标上显著优于同类其他模型方法.

反馈式K近邻语义迁移学习的领域命名实体识别

领域命名实体识别是构建领域知识图谱的重要基础。针对专业领域语料匮乏的特点,构建基于深度学习的BiLSTM-CNN-CRFs网络模型,并提出一种反馈式K近邻语义迁移学习的领域命名实体识别方法。首先,对专业领域语料和通用领域语料分别训练得到语料文档向量,使用马哈拉诺比斯距离计算领域语料与通用语料的语义相似性,针对每个专业领域样本分别取K个语义最相似的通用领域样本进行语义迁移学习,构建多个迁移语料集。然后,使用BiLSTM-CNN-CRFs网络模型对迁移语料集进行领域命名实体识别,并对识别结果进行评估和前馈,根据反馈结果选取合适的K值,作为语义迁移学习的最佳阈值。以包装领域和医疗领域为例进行实验验证,结果表明:本文方法取得了很好的识别效果,可以有效解决专业领域语料匮乏问题。

中文领域命名实体识别综述

命名实体识别(Named Entity Recognition,NER)作为自然语言处理领域经典的研究主题,是智能问答、知识图谱等任务的基础技术。领域命名实体识别(Domain Named Entity Recognition,DNER)是面向特定领域的NER方案。在深度学习技术的推动下,中文DNER取得了突破性进展。概括了中文DNER的研究框架,从领域数据源的确定、领域实体类型及规范制定、领域数据集的标注规范、中文DNER评估指标四个角度对国内外已有研究成果进行了综合评述;总结了目前常见的中文DNER的技术框架,介绍了基于词典和规则的模式匹配方法、统计机器学习方法、基于深度学习的方法、多方融合的深度学习方法,并重点分析了基于词向量表征和深度学习的中文DNER方法;讨论了中文DNER的典型应用场景,对未来发展方向进行了展望。

结合字形特征与迭代学习的金融领域命名实体识别

针对中文金融文本领域的命名实体识别,该文从汉字自身特点出发,设计了结合字形特征、迭代学习以及双向长短时记忆网络和条件随机场的神经网络模型。该模型是一种完全端到端且不涉及任何特征工程的模型,其将汉字的五笔表示进行编码以进行信息增强,同时利用迭代学习的策略不断对模型整体预测结果进行改进。由于现有的命名实体识别研究在金融领域缺乏高质量的有标注的语料库资源,所以该文构建了一个大规模的金融领域命名实体语料库HITSZ-Finance,共计31210个文本句,包含4类实体。该文在语料库HITSZ-Finance上进行了一系列实验,实验结果均表明模型的有效性。

基于卷积神经网络的食品安全领域谣言检测方法

近年来,食品安全已经成为政府和社会最关心的问题之一。与此同时,大量食品安全领域的谣言也在社交媒体平台上疯狂传播。现有的研究大多针对通用领域的谣言进行检测,忽视了不同领域谣言之间存在的差异性。针对食品安全这一领域谣言的特点,提出一种基于卷积神经网络的食品安全领域谣言检测方法。用领域实体抽取策略得到的实体特征与文本卷积神经网络提取的深度文本特征做拼接融合,再进行谣言判断。实验结果表明,在食品安全领域谣言数据集上,采用该方法检测效果明显优于通用的谣言检测方法,在准确率、召回率和F1值等评价指标上都表现最优。

实体关系抽取技术研究进展综述

实体关系抽取是指从句子中抽取两个实体之间的关系类别的任务。作为自然语言处理的关键性技术,实体关系抽取在信息检索、知识图谱、自动问答系统等领域具有广阔的应用前景。对于实体关系抽取研究历程作出了详细评述,包括从传统的实体关系抽取到目前基于深度学习的实体关系抽取。重点阐述了基于深度学习的实体关系抽取的主要模型以及流程框架,并对实体关系抽取存在的技术难点加以总结,最后对实体关系抽取的发展进行展望。

基于领域本体的油气勘探开发知识获取模式及实现

油气勘探开发行业的信息数据资源涉及多学科、多地域,结构复杂,类型多样。提出一种基于领域本体的油气勘探开发知识获取模式,提取知识源的领域命名实体,将海量知识与已知的领域本体关联起来,实现快速知识获取;通过改进Trie索引树词典构造方法、创建节点失败指针优化正向最大匹配分词方法,快速匹配并提取已登录领域命名实体;采用领域命名实体规则特征和聚类统计分析方法,识别未登录领域命名实体(包括疑似命名实体和新增命名实体)。该模式能够提高油气勘探开发领域知识源的命名实体提取效率和准确率,有效解决油气勘探开发行业获取知识的难题。

一种新的视景仿真软件体系结构

构造符合仿真要求的被仿真领域实体集合是视景仿真软件开发的主要内容。因此设计出可复用的领域实体库对于提高仿真软件的开发效率具有重要意义。目前,主要的视景仿真引擎没有对此提供相关支持。为此,文中借鉴了XP方法学,提出了一种支持重构的实体库演化开发方法,并设计了一种支持这一方法的实体库开发架构。该架构允许开发者采取不同策略将实体集合分解为一组相对独立的功能构件,并利用事件机制将这些构件装配为满足要求的领域实体。该技术不仅能够减少因重复实现类似实体功能带来的开销;而且在进行功能扩展时将其影响限制在较小范围内。

基于LINQtoSQL的应用软件通用开发模式研究

目前企业级应用软件开发均采用分层逻辑架构。重点讨论了应用软件开发中使用LINQtoSQL技术后的软件项目开发模式,也即是研究得到一种适用于一般项目架构设计与开发的模式:能够基于LINQtoSQL数据库访问技术,围绕分层架构中的领域实体层、业务逻辑层的其它分析进行设计实现。

透视观念的歌剧——保罗·罗宾逊的歌剧批评观

作为一位思想历史学家,罗宾逊对歌剧的关注带有明显的"思想"意识和学术旨趣,始终带着思想历史学家的观念来引导歌剧的解读已是无需质疑。很显然,作者并非从纯粹的"观念"入手,而是从歌剧的体裁入手,将歌剧体裁最擅长蕴藏何种观念作为切入点,最终落在两点上即主观性强的心理观念和高级抽象的共享性观念。并针对这两种观念,罗宾逊从音乐自身入手,抛弃较为传统如"反映论"的观点来思考音乐,采用异质同构的原理解读音乐本身承载的范围和特质,抓住音乐与观念之间的亲和关系和声音模式与概念模式之间的呼应关系,用歌剧批评家的视角来解读歌剧作品,很好地平衡了作为思想历史学和歌剧批评家之间的关系。