基于AutoPhrase-SBERT论文-专利文本挖掘的技术演化研究

[目的/意义]通过对制氢领域的论文和专利文本分析,揭示该领域的技术演化趋势,为科研人员、工程师了解该领域的关键技术和发展趋势提供参考。[方法/过程]采用AutoPhrase-SBERT算法对2000—2022年期间我国制氢领域的论文和专利进行主题提取与识别。通过皮尔逊相关系数对相邻时间窗口下论文-专利主题进行关联计算,并利用桑基图对主题关联性进行可视化,从而揭示我国制氢领域技术演变过程。[结果/结论]该方法能够展示领域技术随时间的变化趋势,并能揭示论文和专利主题之间的关系和相互影响。

基于Jump-SBERT的二进制代码相似性检测技术研究

二进制代码相似性检测技术在不同的安全领域中有着重要的作用。针对现有的二进制代码相似性检测方法面临计算开销大且精度低、二进制函数语义信息识别不全面和评估数据集单一等问题,提出了一种基于Jump-SBERT的二进制代码相似性检测技术。Jump-SBERT有两个主要创新点,一是利用孪生网络构建SBERT网络结构,该网络结构能够在降低模型的计算开销的同时保持计算精度不变;二是引入了跳转识别机制,使Jump-SBERT可以学习到二进制函数的图结构信息,从而更加全面地捕获二进制函数的语义信息。实验结果表明,Jump-SBERT在小函数池(32个函数)中的识别准确率可达96.3%,在大函数池(10000个函数)中的识别准确率可达85.1%,比最先进(State-of-the-Art,SOTA)的方法高出36.13%,且Jump-SBERT在大规模二进制代码相似性检测中的表现更加稳定。消融实验表明,两个主要创新点对Jump-SBERT均有积极作用,其中,跳转识别机制的贡献最高可达9.11%。

基于SBERT与少量标注样本的文档查重句子相似度评估技术

文档查重是自然语言处理领域中的一项重要应用。准确评估句子相似度,对生成高质量的文档查重报告具有重要意义。但目前主流的句子相似度计算方法得到的相似度值较为集中,结果无法直接应用于查重报告。为了改进这一问题,本文提出一种基于SBERT与少量标注样本的句子相似度评估技术,利用SBERT构造句子对特征向量,利用少量人工标注的句子对相似度构造监督学习任务,确保模型能够更好地捕捉句子间的相似性。在某公司科技项目文档数据集上的实验结果表明,本文方法与句子相似度人工标注结果更为接近,在评估句子相似度方面优于传统方法。

基于SBERT的专利前沿主题识别方法研究--以我国制氢技术为例

[目的/意义]提出一种基于深度学习的前沿主题识别方法,使识别结果更加准确客观,为专利前沿主题的识别工作提供新思路。[方法/过程]采用专利之星检索系统数据库,通过SBERT预训练模型和聚类算法进行主题抽取工作;利用主题相似度计算和LDA模型对主题进行关联和标识;并从关注度和质量水平两方面构建前沿性指标,确定前沿主题。[局限]在数据源以及指标构建多样性方面尚需进一步研究和构建。[结果/结论]以我国制氢领域的专利数据作为实证研究对象,发现电解制氢、重整制氢、光制氢、水解制氢和燃料电池发电5个前沿主题,并通过对比分析验证了主题抽取与指标建立的正确性与有效性。

基于Elasticsearch和Sbert语义向量搜索引擎研究与设计

本文讨论如何利用语义相似度模型sbert为海量数据提供向量表示,以弥补Elasticsearch在精细化检索方面的不足,从而实现基于语义的向量搜索引擎,在智能问答、智能客服等方面提供服务。文章提出了实现该搜索引擎的具体方案,如使用sbert提取语义特征,并结合多步精细化检索的实践经验,得出基于sbert的向量搜索引擎能够显著提高搜索结果的准确性和召回率的结论,对于搜索引擎技术的发展具有启示作用。

基于动态主题网络的新兴技术主题识别——以氢燃料电池领域为例

[研究目的]新兴技术代表着未来的技术发展方向,是抢占科技前沿制高点必须把握的关键技术,准确识别新兴技术对国家发展具有重要战略意义。[研究方法]综合专利文本信息和分类信息,构建SBERT-LDA-IPC模型,识别各时间段的技术主题;根据主题相似度矩阵绘制动态主题网络,识别具有创新性和连续性的主题为候选主题,评估候选主题的新颖性和影响力,确定新兴技术主题;以氢燃料电池领域为例进行实证检验。[研究结论]研究表明,SBERT-LDA-IPC模型提高了主题聚类的连贯性和准确性,结合国家在氢燃料电池产业发布的系列政策作为验证依据,识别出的三个新兴技术主题,与国家政策制定和产业发展方向一致。

改进CapsNet的文本自杀风险检测模型

针对现有模型未充分利用社交媒体中文本历史动态信息进行自杀风险检测的问题,引入CapsNet模型。在CapsNet模型中,层与层之间传递的是有向神经元组,能够更好地感知长文本中的空间信息,发现社交媒体用户的情感趋势,为自杀风险检测提供依据。文中对CapsNet模型进行改进,首先改变尺度空间,增加网络宽度,充分提取隐藏在句子中的特征信息;其次,使用指数函数对Squash函数进行优化,放大胶囊输出,充分利用胶囊提取用户历史动态中的特征信息;最后,在动态路由中采用优化算法对耦合系数进行初始化,去除噪声胶囊的干扰。使用预训练的SBERT模型对社交媒体文本数据进行特征提取,得到改进CapsNet文本自杀风险检测模型二分类的准确率达到95.93%,F1分数达到95.86%,优于自杀风险检测的其他模型。

基于滑动窗口注意力网络的关系分类模型

实体关系抽取是构建知识图谱过程中至关重要的一步。将注意力机制引入卷积神经网络或循环神经网络是目前关系抽取任务中比较主流的解决方法,谷歌最新提出的BERT模型在多项自然语言处理任务中都取得了非常好的效果。为了充分融合局部信息和全局信息,并提高处理效率,该文提出了滑动窗口注意力网络模型(Sliding Window Attention Network,SWAN)。该模型首先通过预训练的word2vec生成词向量,加入位置表示并使用TransE模型对实体进行表征以充分突出实体信息,再采用基于BERT的SBERT模型对句子进行表征,在此基础上采用多种滑动窗口注意力机制捕获局部信息,然后在聚集层对抽取到的局部信息进行聚合,最后利用softmax函数来实现实体关系的分类。实验结果表明,提出的SWAN模型在SemEval2010 Task 8数据集上取得了较高的准确率,优于对比的现有关系抽取模型,同时模型训练效率也得到极大提升。

企业数字化转型与颠覆性技术创新——来自专利网络与SBERT模型的微观证据

企业数字化转型发挥突破市场圈层、颠覆业务分布的作用,改变了传统技术创新范式,有利于催生颠覆性技术创新。本文基于专利间引用与被引用信息构建专利网络,利用自然语言处理领域前沿的SBERT模型对专利文本进行嵌入,并基于对已有技术的突破性和对后续技术发展的影响力双向维度刻画颠覆性技术创新。在此基础上,本文实证检验了上市企业数字化转型对颠覆性技术创新的影响。结果表明,企业数字化转型通过正向的市场重塑效应与治理整合效应推动颠覆性技术创新。异质性分析结果显示,国有企业、战略性新兴产业企业以及高竞争压力企业能够更好地利用数字化转型推进颠覆性技术创新。进一步分析表明,颠覆性技术创新的重塑与规范效应随企业数字化转型呈现正向调节作用,即数字化水平更高的企业发展颠覆性技术创新,会对规范研发操纵、促进持续创新等产生积极影响。本文研究为探索数字经济时代推动颠覆性技术创新、加速发展新质生产力的有效路径提供了理论与经验证据。