专利分类序列和文本语义表示视角下的技术融合预测研究

为了丰富专利分类的网络和文本语义表示,实现两者更有效的语义融合,提高技术融合预测效果,提出基于专利分类序列和文本语义表示的技术融合预测方法。首先,综合考虑专利分类位置及其上下文语境,直接对专利分类序列进行语义表示,提出基于专利分类序列语义表示的技术融合预测方法;其次,根据专利分类在序列中的重要性排序研究专利分类文本分配方法,形成基于专利分类文本语义表示的技术融合预测方法;在此基础上,设计多种特征融合方法,提出融合专利分类序列结构和文本内容语义表示的技术融合预测方法;最后,基于链路预测的理论和方法对提出的多种技术融合预测方法进行定量评价。在无人机领域的实验证实,专利分类序列语义表示模型的效果明显优于其他网络表示学习方法;依据重要性排序的专利分类文本赋予方式优于文本平均分配方式,基于此的专利分类文本语义表示能更好地进行技术融合预测;“SVM (support vector machine)+哈达玛积”的特征融合方法在所有方法中表现最优,较单一方法均有提高。本文提出的方法能够提高技术融合预测的效果,更好地为技术布局、技术研发提供借鉴和参考。

LDA模型在专利文本分类中的应用

对传统专利文本自动分类方法中,使用向量空间模型文本表示方法存在的问题,提出一种基于LDA模型专利文本分类方法。该方法利用LDA主题模型对专利文本语料库建模,提取专利文本的文档-主题和主题-特征词矩阵,达到降维目的和提取文档间的语义联系,引入类的类-主题矩阵,为类进行主题语义拓展,使用主题相似度构造层次分类,小类采用KNN分类方法。实验结果:与基于向量空间文本表示模型的KNN专利文本分类方法对比,此方法能够获得更高的分类评估指数。

基于BERT-BiGRU的中文专利文本自动分类

针对中文发明专利文本的文字描述专业性强、人工分类耗时耗力等问题,提出一种基于BERT-BiGRU模型的中文专利文本自动分类方法,利用预训练的BERT模型完成对中文发明专利文本进行向量化语义表征,引入词嵌入和多头注意力机制等方法抽取专利文本中词语的上下文语境语义信息,最终通过双向GRU门控网络完成对中文发明专利的分类。以Incopat专利数据库中的专利文本构建数据集,设计多组对比实验,实验结果表明,所提方法可以有效提高分类模型对中文专利文本的差异性特征提取能力,对8类专利文本的分类准确率达到了85.44%。

基于多示例学习框架的专利文本分类方法研究

[目的/意义]为了满足对海量专利数据进行自动分类的需求,提出了一种基于多示例学习框架的专利文本分类方法。[方法/过程]将专利文本当作包,专利文本的标题和摘要分别作为两个示例,通过数学建模将专利文本映射成无向图,构建基于无向图的高斯核函数,运用SVM方法训练分类器,完成对无标记专利文本的预测。[结果/结论]实验结果表明,该方法相较于传统的SVM、KNN方法能更加有效准确地预测未标记专利文本的分类,为文本挖掘领域相关方向的研究提供新的视角。[局限]实验样本数量有待进一步丰富。

基于改进三体训练法的半监督专利文本分类方法

针对信息增益算法只能考察特征对整个系统的贡献、忽略特征对单个类别的信息贡献的问题,提出改进信息增益算法,通过引入权重系数调整对分类有重要价值的特征的信息增益值,以更好地考虑一个词在类别间的分布不均匀性.针对传统专利自动分类中训练集标注瓶颈问题,提出基于改进三体训练算法的半监督分类方法,通过追踪每次更新后的训练集样本类别分布来动态改变3个分类器对同一未标记样本类别的预测概率阈值,从而在降低噪音数据影响的同时实现对未标记训练样本的充分利用.实验结果表明,本研究所提出的分类方法在有标记训练样本较少的情况下,可以取得较好的自动分类效果,并且适当增大未标记样本数据可以增强分类器的泛化能力.

融合RoBERTa的多尺度语义协同专利文本分类模型

针对静态词向量工具(如word2vec)舍弃词的上下文语境信息,以及现有专利文本分类模型特征抽取能力不足等问题,提出了一种融合RoBERTa的多尺度语义协同(RoBERTa-MCNN-BiSRU++-AT)专利文本分类模型。RoBERTa能够学习到当前词符合上下文的动态语义表示,解决静态词向量无法表示多义词的问题。多尺度语义协同模型利用卷积层捕获文本多尺度局部语义特征,再由双向内置注意力简单循环单元进行不同层次的上下文语义建模,将多尺度输出特征进行拼接,由注意力机制对分类结果贡献大的关键特征分配更高权重。在国家信息中心发布的专利文本数据集上进行验证,与ALBERT-BiGRU和BiLSTM-ATT-CNN相比,RoBERTa-MCNN-BiSRU++-AT部级专利的分类准确率分别提升了2.7%和5.1%,大类级专利的分类准确率分别提升了6.7%和8.4%。结果表明,RoBERTa-MCNN-BiSRU++-AT能有效提升对不同层级专利的分类准确率。

考虑标签层级结构的专利文本分类算法研究

针对海量的中文专利文本,为提高人工分类的效率,减少由分类人员主观知识和客观因素影响导致的错误分类,本研究提出一种融合标签层次结构信息的专利文本分类模型。以2017年中国专利申请数据为实验数据集,针对国际专利分类号的层次结构信息构建一个全局的层级多标签分类模型,并在专利文本表征中融入专利标签的层次结构信息。实验结果表明,在中文专利文本分类领域融入标签的层次结构信息有助于提升模型性能。