基于专利实体语义表示的技术主题演化路径识别

[研究目的]从专利实体抽取和语义表示角度,识别语义相同但表达方式不同的专利实体,更准确地发现技术主题演化路径,更好地辅助科技创新和管理决策。[研究方法]提出一种基于专利实体语义表示的技术主题演化路径识别方法。首先,构建BERT-BiLSTM-CRF模型自动抽取专利实体,利用表示学习方法研究专利实体的语义向量表示。其次,基于K-means算法对实体向量进行聚类,识别技术主题。最后,基于实体语义相似度,识别语义相同但表达不同的专利实体,进而基于相同实体数量设计知识流入和知识流出指标,根据主题之间的知识流入和流出比例共同识别分裂、发展、融合等演化关系,构建技术主题演化路径。[研究结论]实证研究表明,该方法能有效识别语义相同但表达不同的专利实体,进而更加准确地识别主题间演化关系,构建技术主题演化路径。

基于表示学习的图书馆专利信息语义融合模型研究

在对表示学习、图书馆专利信息、图书馆专利信息语义融合、基于表示学习的图书馆专利信息语义融合相关研究进行概述的基础上,分析表示学习在图书馆专利信息语义融合中的优势,通过对图书馆专利信息语义实体描述,从专利实体类、机构类、人员类、事件类、内容类及各类的核心属性5个维度构建了基于表示学习的图书馆专利信息语义融合模型,旨在促进图书馆为用户提供专业的专利信息语义检索服务。

融合专利表示的技术路线图构建研究

[目的/意义]通过对专利数据进行定量分析,结合深度学习方法对专利文本进行表示,构建技术路线图,弥补技术路线图易受专家主观认识限制的问题。[方法/过程]提出一种基于深度学习的技术路线图构建方法,通过专利文本表示构建专利聚类;提出专利簇技术主题生成算法及语义距离计算方法,融合时间信息和领域知识生成技术路线图。[结果/结论]选取冠状病毒领域专利进行实证研究,依据所提出的方法构建冠状病毒领域技术路线图。充分发挥技术路线图效用对相关技术发展进行探究,并提出有利疫情防治的相关建议。

基于属性异构网络表示学习的专利交易推荐

融合异构信息进行专利交易推荐可以促进交易,但存在因忽略专利属性而影响推荐结果的问题。本研究提出基于属性异构网络(attribute heterogeneous network,AHN)表示学习的专利交易推荐模型(patent transaction recommendation based on AHN representation learning,AHNRL-PTR)。首先筛选专利和组织中影响专利交易的属性;其次构建专利交易AHN,然后在AHN中引入网络表示学习,并基于多维高斯分布解决节点表示的不确定性,基于KL散度(Kullback-Leibler divergence)解决节点间距离非对称性。最后,以粤港澳大湾区有效发明授权专利数据进行实证研究,得出结论:第一,相比于metapath2vec、TADW(text-associated DeepWalk)和AHNRL-PTR模型的两个变体方法,AHNRL-PTR模型的推荐精度最高,超过86%,说明融合组织及专利属性,并聚焦节点表示的不确定性和非对称性问题的解决,能大幅提高推荐精度;第二,在非准确指标IntraSim和Popularity上,AHNRL-PTR的表现优于metapath2vec和两个变体方法,反映该方法的推荐结果具有一定的多样性,且可以挖掘推荐冷门专利;第三,基于两个非准确指标将组织聚类为六类,分别为中介型、领域骨干型、研究型、族群型、成长型、专业型,体现了推荐结果的可解释性和个性化水平。本研究可为专利交易智能化推荐服务提供决策支持。

综合位置和语义权重的专利文本向量表示方法

[目的/意义]专利文献包含着丰富的创新知识信息,是一种重要的知识载体。世界各国专利文献均有统一的内容编排体例,具有专利文献自身的用词特点。[方法/过程]通过构建领域专利知识库,用于计算专利文本词项的专利语义权重,具体过程为:假设两待比对的专利文本为和,首先通过词包法将其表示成实词向量;然后通过构建的领域专利知识库赋以各词项专利语义权重,进一步表示成带有专利语义信息的向量;再结合TF-IDF规则,最后将专利文本表示成带有专利语义权重信息以及词频权重信息的文本向量和。[结果/结论]研究为构建领域专利知识库提供一般方法,可应用于专利文本向量表示过程中专利词项语义信息的表达;并结合词项在专利文献中的位置信息赋以词项位置权重,从而为提高后续的专利文本相似度的计算的精确率和召回率提供基础保障。

专利分类序列和文本语义表示视角下的技术融合预测研究

为了丰富专利分类的网络和文本语义表示,实现两者更有效的语义融合,提高技术融合预测效果,提出基于专利分类序列和文本语义表示的技术融合预测方法。首先,综合考虑专利分类位置及其上下文语境,直接对专利分类序列进行语义表示,提出基于专利分类序列语义表示的技术融合预测方法;其次,根据专利分类在序列中的重要性排序研究专利分类文本分配方法,形成基于专利分类文本语义表示的技术融合预测方法;在此基础上,设计多种特征融合方法,提出融合专利分类序列结构和文本内容语义表示的技术融合预测方法;最后,基于链路预测的理论和方法对提出的多种技术融合预测方法进行定量评价。在无人机领域的实验证实,专利分类序列语义表示模型的效果明显优于其他网络表示学习方法;依据重要性排序的专利分类文本赋予方式优于文本平均分配方式,基于此的专利分类文本语义表示能更好地进行技术融合预测;“SVM (support vector machine)+哈达玛积”的特征融合方法在所有方法中表现最优,较单一方法均有提高。本文提出的方法能够提高技术融合预测的效果,更好地为技术布局、技术研发提供借鉴和参考。

基于表示学习的专利科学关联度分析

创新驱动发展战略下,科学知识与技术创新间关系愈发的多层面化和高复杂化。从引用科学知识的专利入手,利用表示学习从语义层面上分析专利科学关联关系,特别是高价值专利引用何种特征的科学知识,并比较中美两国专利科学引文主题的异同,从中美两国产学研合作网络中关键创新主体的演化情况来探索引发该现象的原因。以人工智能领域为例,研究表明,高价值专利的科学关联度更高,生物医学领域对高价值专利的支撑作用更为明显;中国在高价值专利数量上处于劣势,且在智能医学领域及基础硬件的技术创新能力较弱,但近年来在电力领域的优势越来越明显,这离不开国家电网在产学研合作网络的核心位置。此外,值得关注的是未来人工智能在地震监测等新兴领域的应用。

美国化学文摘(CA)中日本专利文献的表示方法

介绍了CA近年来收录日本专利文献出现的一些新变化及日本专利文献在CA中的表示方法。

基于图神经网络的专利文本分类研究

传统专利分类由专家逐件审阅,随着大数据、人工智能和自然语言处理技术的快速发展,专利文本自动分类正在成为学界、业界的重要研究方向之一。文本分类技术可以用于判断专利申请是否获得授权,帮助审查员自动化处理和分析专利申请文件,从而提高工作效率。针对海量专利的英文文本,提出一种基于图神经网络模型的专利文本自动分类方法,用于测度专利申请是否可获得授权。使用深度学习算法TextGCN对专利摘要语料进行学习和训练,利用图结构数据的邻居信息和节点特征,通过神经网络产生专利文本的表示向量,进而实现专利授权与否的预测。实验结果表明,本文采用的深度学习算法能够得到较好的分类效果,并且与Doc2vec和TFIDF表示方法相比,该模型在精确度、召回率、准确率及F1方面均有所提高,可为专利授权与否的自动预测提供可靠的研究依据。

中国专利数据元素的XML表示方法研究

本文阐述了一种用XML表示中国专利数据元素的方法,结合中国专利数据元素的特点,能够实现对专利文献信息准确而详尽的描述。

基于网络快照的核心专利预测方法研究

[目的/意义]提出一种专利网络快照分析方法,可应用于核心专利预测,进一步发展专利网络分析理论。[方法/过程]首先,利用专利网络快照记录专利技术在不同快照时刻的状态,保留其在发展演化过程中的关键信息;其次,应用图嵌入方法获取记录专利技术演化过程信息的技术关系特征,并开展核心专利预测实验;最后,从不同图嵌入方法、特征表示维度和专利被引时滞等角度,探究技术关系特征对预测效果的影响。[结果/结论]网络快照提供了专利技术演化过程信息,这是静态网络分析方法所不能获取的;利用网络快照和图嵌入方法获取的技术关系特征能够预测核心专利。实证研究发现,技术关系特征的预测效果在一定程度上优于专利指标特征;受专利网络规模的影响,特征表示维度的增大并不会显著提高预测效果,维度在增加至一定数量后预测效果会出现波动;增加专利被引信息可以提高预测的精准性,但会降低预测结果的时效性。

中文专利文献摘要的知识表示

在分析与领域相关的中文专利文献摘要内容和结构的基础上,提出用三元组语义网络表示知识以及知识间的语义关系,并用一阶谓词逻辑分析语义三元组的语义。推导出专利文献知识融合将要面临的问题,包括句法分析后获取的描述性知识的不一致、信息的补足、冗余的发现和模糊信息的处理等。研究成果为后续中文专利文献知识融合分析和推理奠定了基础。

基于时序图神经网络的潜在高价值专利识别研究

高价值专利是构建当前“国内国际双循环”新发展格局的核心资源,也是促使我国在国际经济新秩序中立足战略制高点、全面推进科技自立自强的核心要素,准确识别潜在的高价值专利是对其进行价值培育与技术转化的关键性步骤。本文在充分挖掘中国专利奖获奖专利特征的基础上,综合利用Patent-BERT(bidirectional encoder representations from transformers for patent)与图深度学习算法,在融合专利评估指标、文本特征的基础之上,提出了基于图卷积神经网络(graph convolutional network,GCN)与长短时记忆网络(long short-term memory,LSTM)的潜在高价值专利识别模型。本文的创新点主要体现在两个方面:(1)修正了已有研究中仅关注诸如专利增长速度、合作潜力等“数量”特征而缺乏对文本语义深度理解的弊端,从文本语义与专利计量维度构建专利价值的表示模型;(2)考虑到专利价值的时序变化性,从动态视角探索了专利价值的演化规律,为专利价值的挖掘与评估提供了新的研究思路。最后,本文对node2vec、doc2vec、GCN、MLP(multilayer perceptron)等多种模型进行性能对比,研究结果表明,本文模型在多项指标上的表现均优于对照模型,从而有效验证了本文方案的高效性与稳健性。

机械产品专利作用结构知识提取方法研究'

机械产品专利包含了产品改进和创新的技术知识,对专利知识有效提取和合理表示是利用专利知识辅助产品创新的关键技术之一。分析了现有专利技术方案提取方法和知识表示所存在的问题,提出了针对英文专利包括技术对象和技术关系两方面提取任务的专利作用结构知识提取方法,建立了基于可扩展标记语言结构XSD表示和统一建模语言UML的专利作用结构知识表示模型。研究了机械产品专利语言的特点,采用最大熵原理和专利术语词典识别提取技术对象,通过建立组成类动词库识别核心动词提取技术关系。该专利作用结构知识表示模型具有表达直观和提取过程计算机自动处理等特点。结合专利实例,提出了从专利中提取专利作用结构知识,写入XSD结构化文档,最后转化为专利作用结构表示图的获取过程。

基于技术功效矩阵的专利聚类分析

专利文献蕴含着重要的技术、法律、经济信息,每年的出版量占世界各种图书和期刊的四分之一.随着专利数量的不断增多,对专利聚类分析显得尤为重要.我们主要研究专利聚类分析中的文本表示和结果可视化两个关键问题.首先将专利以技术功效对的方式表示,然后基于技术功效矩阵的进行专利聚类,最终形成一种多层次的专利地图.其实验结果表明这种方法比传统的向量空间模型的方法具有更高的效率和更好的聚类效果,并且其聚类结果的可视化更强的实用性和更好的扩展性.

基于专利分析的产学研合作特征与关系预测研究——以区域装备制造业为例

以产学研合作申请专利为研究对象,从合作主体、合作技术等方面对装备制造业的产学研合作特征进行分析,并利用网络表示学习算法node2vec进行合作预测研究。以辽宁、江苏、广东和北京的装备制造业为例进行对比分析,结果表明:各省市专利增长体量及申请人组成存在较大差异,发展缓慢省市的产学研合作局限在小团体内部,与其他区域相比校企合作较少;在技术特征中,不同省市的发展既各有侧重点,又有相同之处;最后通过合作预测发现最具有合作潜力的机构,为促进产学研合作提供决策支持。

基于ERNIE的中文专利分类研究

依据中文专利文本内容实现专利的自动分类,可以为专利申请审查快速匹配一个或多个IPC分类号,以提升该工作的自动化水平。在对文本分类中的文本表示模型技术分析后,提出基于ERNIE并结合CNN和RNN构建用于中文专利自动分类的模型。模型以专利标题和摘要作为输入,以子类分类标签作为输出。在完成数据集制作基础上进行了相关实验,结果显示,方案的分类准确率达到了88.23%,性能优于基于Word2Vec和BERT的方法。

一种专利知识图谱的构建方法

专利知识图谱对专利精准检索、专利深度分析和专利知识培训等应用起到了重要作用。文中提出了一种实用的基于种子知识图谱、文本挖掘以及关系补全的专利知识图谱构建方法。在该方法中,为确保质量,首先人工建立一个种子专利知识图谱,然后采用专利文本模式的概念和关系抽取方法扩展种子专利知识图谱,最后对扩展的专利知识图谱进行定量评估。文中针对中医药领域专利进行了种子知识的人工提取和词法句法模式的人工总结,并使用机器学习的方法在学习到新的词法句法模式后对种子专利知识图谱进行扩展和图谱补全。实验结果表明,中医药领域专利种子知识图谱中的节点数和关系数分别为19453个和194775条,经过扩展后,它们分别达到了558461个和7275958条,即分别增加了27.7倍和36.3倍。

基于word2vec的专利文本自动分类研究

针对传统文本表示方法无法解决专利文本近义词多、语义少的问题,提出了一种词向量(word2vec)专利文本表示方法。该方法应用word2vec模型训练专利文本词向量,得到词向量后通过文档的词平均值进行文本表示,采用SVM和KNN算法实现专利文本的自动分类。最后,使用incopat专利数据库的专利文本数据集进行了方法有效性验证。实验结果表明,该方法可以有效提升专利文本分类效果,F 1值最高可提高56%。

基于预训练语言模型的中文专利自动分类研究

目的:支撑大规模中文专利精准自动分类工作,利用改进中文专利文本表示的预训练语言模型实现专利的自动分类。方法:基于中文预训练语言模型RoBERTa,在大规模中文发明专利语料上分别使用单字遮盖策略和全词遮盖策略遮盖语言模型任务进行迁移学习,得到改进中文专利文本表示的RoBERTa模型(ZL-RoBERTa)和RoBERTa-wwm模型(ZL-RoBERTa-wwm);将模型应用到专利文本分类任务中进行实验研究,并与典型深度学习模型(Word2Vec+BiGRU+ATT+TextCNN)和当前先进的预训练语言模型BERT、RoBERTa进行对比分析。结果:基于ZL-RoBERTa和ZL-RoBERTa-wwm的中文专利自动分类模型在专利文本分类任务上的分类精准率/召回率/F1值更为突出。结论:改进文本表示的中文专利预训练语言模型用于专利文本分类具有更优效果,这为后续专利情报工作中应用预训练模型提供了模型基础。