基于BERT与XGBoost的航天科技开源情报分类

航天科技开源情报文本内容较长且含有大量专有名词,影响了情报分类的效果,为了提升相关情报的分类准确率,提出一种基于BERT与XGBoost融合模型的航天科技开源情报分类算法。首先通过BERT模型的深度结构提取情报中的关键特征,然后利用XGBoost模型取代BERT最后的输出层,并依据BERT提取到的关键特征对相关情报进行分类。为了验证算法的有效性,设计了与TextRCNN、DPCNN等部分主流语言模型的对比实验,实验结果表明该算法在航天科技开源情报分类中的准确率与TextRCNN、DPCNN模型相比,分别提高了1.9%、2.2%,证明了该算法在相关分类任务中的有效性。

基于BERT模型的航天科技开源情报分类

提出一种基于BERT模型的航天科技开源情报分类算法。通过双向Transformer机制捕捉航天科技开源情报中句子间的关系;采用Multi-head Self-attention机制关注文本中的大量专有名词;结合Softmax分类器对提取的特征进行分类。与TextRCNN、DPCNN等主流语言模型相比,该算法在测试集上的准确率分别提升1.7%、3.33%,验证了该算法在航天科技开源情报分类上的有效性。

泛娱乐情报主题的感知研究

针对泛娱乐情报存在繁杂、异构、信息量较少的特点以及传统主题发现方法感知结果准确率低等问题,提出了一种基于潜在语义索引结合常识知识库的泛娱乐情报主题感知方法。根据泛娱乐情报的语料特征,首先在预处理阶段采用HowNet知识库进行语义去重、同义词合并,形成文本向量作为潜在语义索引模型的输入;然后通过潜在语义索引模型,对泛娱乐情报进行主题感知。该方法是主题模型在泛娱乐领域情报分析中的一次尝试,具有一定的实践意义。

搜索引擎的情报感知与刻画功能协同研究

针对情报领域数据存在的收集、处理、感知、刻画困难等问题,提出了一种以知识图谱为刻画结果的搜索引擎,从而感知领域细微的变化态势;使用领域本体库进行知识抽取及挖掘,构建了领域知识图谱;采用基于知识图谱的分布式索引的动态构建、分布式倒排索引查询机制和智能排序算法等技术,构建了基于知识图谱的检索系统,改善了传统搜索引擎检索结果内容单一、召回率低的问题;实现了高效快速地提炼出可满足情报人员需要的、可理解的、可利用的资源,从而为企业决策者提供数据支持。

基于路径分析和关系描述的知识图谱补全方法

面对相对复杂的互联网信息,知识图谱能够将其表达成更加便于理解的形式,通过可视化技术加以显示并提供有价值的参考。但伴随数据实体及实体关系的快速扩增,知识图谱的稀疏性和连通性不足等问题日趋凸显。提出一种基于路径分析和关系描述的知识图谱补全方法,并以泛娱乐领域相关数据为例,对该方法的有效性进行验证。构建基于泛娱乐知识特点的泛娱乐领域知识图谱,并在该知识图谱上进行验证实验。实验结果表明,提出的方法能够很好地推理出知识图谱中的隐含与遗漏路径,有效地实现知识图谱补全,从而发现具有丰富价值的隐含知识。

面向泛娱乐文本的层次多标签分类方法

针对泛娱乐领域文本情报预测类别标签具备有向无环图(DAG)结构的特点,提出一种考虑标签层次结构的基于最优路径层次多标签分类方法。根据现有标签构建DAG结构并将其转化为较易处理的树形结构;采用局部策略为树形结构中每个节点分别训练基分类器,同时为每个节点设置贡献值,贡献值由分类器输出概率与层次权重组合而成,贡献值大于阈值时该节点设置为1,否则为0;对树形结构进行深度优先遍历生成路径,计算各路径得分,选择满足层次约束并得分最高的路径作为最终预测集合。在泛娱乐公开文本信息数据集上进行了4组实验,结果表明该方法相较于分类器链、二元分析、SVM多标签分类和MLKNN算法,分类效果更优。

基于DCNN和GLU的武器领域实体关系抽取方法

武器领域的非结构化文本数据通常十分复杂,单句内可能存在“一武器与多个武器相关联”或“两武器之间存在多种关系”等情况,为此提出基于膨胀卷积神经网络和门控线性单元的实体关系抽取方法以处理该类型数据中存在的关系重叠问题。该方法将拼接了词向量和位置向量的句子编码向量传入带有门控机制的膨胀卷积神经网络模型,引入可以快速抽取句内命名实体特征信息的自注意力机制,通过分层次的序列标注方式识别出句中全部实体以及每个主实体对应的所有关系和客实体,进而生成武器领域实体关系三元组。实验结果显示,该方法在自行标注的武器领域数据集上的F1值达81.1%,具备一定的实体关系抽取能力,在不同重叠类型下的F1值均高于78%,能够解决非结构化数据的关系重叠问题,同时在公开数据集NYT上也有良好的表现。

无模型强化学习研究综述

强化学习(Reinforcement Learning,RL)作为机器学习领域中与监督学习、无监督学习并列的第三种学习范式,通过与环境进行交互来学习,最终将累积收益最大化。常用的强化学习算法分为模型化强化学习(Model-based Reinforcement Lear-ning)和无模型强化学习(Model-free Reinforcement Learning)。模型化强化学习需要根据真实环境的状态转移数据来预定义环境动态模型,随后在通过环境动态模型进行策略学习的过程中无须再与环境进行交互。在无模型强化学习中,智能体通过与环境进行实时交互来学习最优策略,该方法在实际任务中具有更好的通用性,因此应用范围更广。文中对无模型强化学习的最新研究进展与发展动态进行了综述。首先介绍了强化学习、模型化强化学习和无模型强化学习的基础理论;然后基于价值函数和策略函数归纳总结了无模型强化学习的经典算法及各自的优缺点;最后概述了无模型强化学习在游戏AI、化学材料设计、自然语言处理和机器人控制领域的最新研究现状,并对无模型强化学习的未来发展趋势进行了展望。

机器学习设计新型有机分子研究进展

新型有机分子一直是有机化学领域的研究重点,其在开发高性能材料方面具有重要意义.传统的有机分子发现是一个类似于“炒菜”的试错过程,它耗时耗能且效率相对低下.常见的量子化学方法试图根据期望属性值筛选出合理的分子结构,以更好地指导实验,然而,由于计算资源相对于算法复杂度严重不足,精确给出实验指导在大多数情况下难以实现.近年来机器学习的出现改变了这种情况,训练好的模型可以快速推测出分子的属性.更令人兴奋的是机器学习可以逆向进行分子设计,拓宽人类的想象力,给出其在分子设计领域的“神之一手”.本综述首先介绍了逆向分子设计所必须的分子描述方式,随后对几种常见的深度生成模型加以归纳,对新型有机分子设计研究现状进行了总结,最后探讨了新型有机分子设计所面临的挑战,展示了笔者做出的部分探索.