融合BERT、双向长短记忆网络和条件随机场的电力设备缺陷文本实体抽取

随着智能电网建设的全面展开,产生了大量与设备缺陷相关的电力设备缺陷文本,蕴含着故障类型、故障原因及设备消缺方法等关键信息,是电力领域的研究热点。但缺陷文本存在着体量大、多源异构和内容杂乱冗余的问题,目前缺乏对其进行高效整合利用的方法。针对以上问题,该文基于BERT(bidirectional encoder representation from transformers)模型对命名实体抽取技术展开研究。一方面,增加了双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)层进一步提取文本语义信息;另一方面,采用条件随机场(conditional random field,CRF)替换了BERT的输出层,克服了预测标签的局部最优问题。最后融合以上2种策略提出了改进BERT算法,即将BERT与双向长短记忆网络和条件随机场相结合,实现了缺陷文本的命名实体抽取。实验结果表明,改进BERT算法在7类实体上均取得了较高的F1值(精确率和召回率的加权调和平均值)。与BERT相比,实体抽取的总体精确率和召回率分别提升了0.94%和0.95%。

基于BERT词嵌入的专利检索策略研究

专利分析作为评判科技创新能力、识别市场转化趋势的有力工具,是国家新一轮科技革命与产业变革先手布局的重要依据,而制定合理、高效的专利检索策略是实现专利分析的有效前提。本文提出了一套基于深度学习算法的检索策略,补足了已有研究动态性不足、智能化不够的短板。本文模型主要包括检索策略的制定和检索结果的修正两个部分。在检索策略构建方面,本文旨在系统剖析技术组成原理的基础上,融合深度学习算法,从通用语料与领域语料两个维度训练模型,以完成检索要素的筛选,并基于此,依据要素间的语义关联进行初始检索策略的构建;在检索结果修正方面,综合聚类分析、文献计量与BERT (bidirectional encoder representations from transformers)深度学习算法,进一步采用动态修正策略,对检索结果进行多轮迭代修正,有效提升检索结果的精准性与全面性。本文以“微波无线能量传输”领域为例展开实证分析,验证了本文方案的可行性与通用性,为科技数据的精准获取提供了有意义的研究方案。

基于BERT的海上船舶安全隐患分类

为准确分析出影响海上船舶安全的隐患类别,提高船舶、船员、设备的管理制度,提出一种基于双向编码器(BERT)的海上船舶安全隐患分类。采用Text Rank算法对隐患文本进行关键词提取,将提取的关键词输入到BERT预训练模型,提升模型在分类任务上的性能。试验结果表明,训练前采用Text Rank算法进行关键词提取,准确率、召回率和F1值都有所提升,验证了模型的有效性,达到了快速准确对海上船舶安全隐患分类的目的。

基于BERT模型的文本对抗样本生成方法

针对现有对抗样本生成方法需要大量访问目标模型,导致攻击效果较差的问题,提出了基于BERT(Bidirectional Encoder Representations from Transformers)模型的文本对抗样本生成方法(TAEGM)。首先采用注意力机制,在不访问目标模型的情况下,定位显著影响分类结果的关键单词;其次通过BERT模型对关键单词进行单词级扰动,从而生成候选样本;最后对候选样本进行聚类,并从对分类结果影响更大的簇中选择对抗样本。在Yelp Reviews、AG News和IMDB Review数据集上的实验结果表明,相较于攻击成功率(SR)次优的对抗样本生成方法CLARE(ContextuaLized AdversaRial Example generation model),TAEGM在保证对抗攻击SR的前提下,对目标模型的访问次数(QC)平均减少了62.3%,时间平均减少了68.6%。在此基础之上,进一步的实验结果验证了TAEGM生成的对抗样本不仅具有很好的迁移性,还可以通过对抗训练提升模型的鲁棒性。

融合密度和划分的文本聚类算法

文档聚类是聚类的经典应用,它是将相似的文档归为同一类,可以有效地组织、摘要和导航文本信息,也可以用来提高分类效果。论文使用BERT模型处理文档向量化,将文档表示为高维向量。传统的密度聚类算法不适用于高维数据集,划分聚类算法中的K-均值算法可以有效地聚类文档,但是算法的性能非常依赖于初始中心点的选择。论文提出了一种新的融合密度和划分的文本聚类算法。首先,通过密度选择适当的聚类中心点集合,然后使用最远距离的想法逐渐选择初始类中心点,最后使用划分方法对数据集进行聚类。实验表明,该算法的聚类效果稳定,聚类效果良好。

基于深度学习的图书资源借阅推荐算法研究

图书馆借阅系统的升级与创新是提升图书馆服务质量和读者体验的关键,也是智慧图书馆建设的重要工作。本研究通过采集图书馆的借阅信息、读者信息和图书信息等数据,采用基于Transformer的双向编码(Bidirectional Encoder Representations from Transformers,BERT)模型提取图书特征,应用多层感知机(Multilayer Perceptron,MLP)深度学习方法,对读者的历史借阅记录信息进行全面的数据挖掘,分析读者的借阅偏好。结果表明,BERT-MLP模型的性能明显优于基础神经网络模型,且可以更有效地找到图书推荐数据的重要特征。本研究可为提高图书馆个性化服务水平提供理论依据。

基于BERT双向预训练的图模型摘要抽取算法

近年的自动摘要算法大多是基于监督学习机制,没有考虑到人工标记语料的烦琐,并且大多数摘要模型在句子嵌入时不能结合上下文来更充分表达语义信息,忽略了文本的整体信息。针对上述问题提出了一种基于改进的BERT双向预训练语言模型与图排序算法结合的抽取式摘要模型。根据句子的位置以及上下文信息将句子映射为结构化的句子向量,再结合图排序算法选取影响程度靠前的句子组成临时摘要;为了避免得到有较高冗余度的摘要,对得到的临时摘要进行冗余消除。实验结果表明在公用数据集CNN/DailyMaily上,所提模型能够提高摘要的得分,相对于其他改进的基于图排序摘要抽取算法,该方法效果更佳。

融合相似度算法与预训练模型的中文电子病历实体映射方法研究

采用自标注中文电子病历标准数据集,融合相似度算法与预训练模型并分别应用于实体映射的候选实体生成和实体消歧阶段,对不同相似度算法和预训练模型的性能进行比较分析。提出基于别名间相似性改进药物类实体映射效果的方法,结合Jaccard相似度算法与BERT预训练模型,高效实现海量中文电子病历实体映射任务。

融合文本信息的多模态深度自编码器推荐模型

针对以评分信息做辅助推荐时数据稀疏和深层次语义信息无法学习的问题,提出了一种新的推荐模型。以隐式反馈评分矩阵作为深度自编码器的原始输入,通过编码解码操作,实现评分信息的特征学习;用户电影类型矩阵为模型嵌入层的输入,经过平坦层和全连接层的操作,实现类型文本信息的特征学习;同时,使用BERT+BiLSTM结构对电影标题文本进行上下文信息的特征提取和特征学习。3种特征融合后,通过自编码器的处理得到预测评分。以Movielens 1M和Movielens 100k为数据集,平均绝对误差和均方误差为评价指标,SVD、PMF、PMMMF、SCC、RMbDn、Hern为对比模型。结果表明:本文模型在MAE上分别降低到0.0458和0.0460,在MSE上分别降低到0.0273和0.0390,优于对比算法,新的推荐模型性能提升效果较好。

一种基于TextRank的中文自动摘要方法

自动摘要技术能够快速掌握原文关键内容,在数据安全防护领域具有广阔的应用前景。在TextRank摘要算法的基础上,提出一种融合了BERT模型、典型摘要特征修正和冗余消除的中文摘要算法SummRank。SummRank算法通过使用自然语言预训练模型BERT进行句向量编码,考虑了句子位置、线索词等典型摘要句特征带来的累加权重修正,并使用最大边缘相关MMR算法去除摘要中的冗余。实验证明,SummRank摘要算法提取的摘要具有更高的相关性和多样性,能够用于多种数据安全防护应用。

融合信任关系与评论文本的矩阵分解推荐算法

针对推荐系统中用户评分数据稀疏所导致推荐结果不精确的问题,本文尝试将用户评分、信任关系和项目评论文本信息融合在概率矩阵分解方法中以缓解评分数据稀疏性问题.首先以共同好友数目及项目流行度改进皮尔逊用户偏好相似程度并将其作为用户间的直接信任值,然后考虑用户间信任传播过程中所有路径的影响构建新的信任网络;其次通过BERT预训练(Pre-training of Deep Bidirectional Transformers for Language Understanding)模型提取项目的评论文本向量,构造项目的评论文本特征矩阵;最后基于概率矩阵分解(Probabilistic Matrix Factorization,PMF)模型融合用户的评分数据、用户的信任关系以及项目的评论文本信息进行推荐.通过不断的理论分析并在真实的Yelp数据集上进行实验验证,均表明本文算法的有效性.

基于混沌映射与飞行策略的短文本分类算法

针对极限学习机对文本分类所存在分类精度低的问题,使用结合变压器的双向编码器(BERT)和改进极限学习机(ELM)的短文本分类算法,提出引入Lévy飞行策略的混沌优化麻雀搜索算法(Lévy-CSSA)对ELM的权重与偏置进行寻优。该算法采用混沌映射使初始个体尽可能分布均匀,以增加初始种群的多样性,利用Lévy飞行搜索策略提高全局搜索能力。以电力客服工单为对象验证,结果表明,使用该方法可以更好地表达电力客服工单语义信息,相比所列举的其他经典模型,F_(1)值有明显提升,从而验证了模型的有效性。

人工智能在司法量刑中的应用沿革与技术演进

近年来,人工智能在智慧司法领域的应用方兴未艾。智慧量刑是人工智能为智慧司法赋能的重要环节。国内外实践案例从应用场景、算法设计上有所突破,但仍存在重点难攻克、算法不明确、效果不明晰的困境。本文聚焦智慧量刑问题,深入挖掘以随机森林算法、IP&MV算法、BERT算法为核心的解决方案,打通算法体系与法律体系的屏障。未来,智慧量刑系统将坚持司法审判的辅助性角色,实现人工智能在司法实践的全流程渗透,维护司法审判公平正义。

数字人文视角下的领域知识图谱自动问答研究

[目的/意义]从数字人文视角下构建古汉语典籍领域的知识图谱自动问答系统,促进中华传统文化发展与创新。[方法/过程]文章以《左传》为具体研究对象,在此基础上使用支持向量机(SVM)算法实现问句的意图识别,基于BERT-LSTM-CRF的深度学习算法实现问句的实体识别功能,再通过构造Cpyher查询表达式在Neo4j数据库中检索并返回结果;前端则基于Flask框架搭建展示平台供用户使用,最终实现问答系统的搭建。[结果/结论]该问答系统可以实现古文领域问题的智能检索,具有应用价值。

一种基于融合递归机制的长文本机器阅读理解算法

目前对于机器阅读理解的研究大多都使用预先训练的语言模型如BERT来编码文档和问题的联合上下文信息,相较于传统的RNN结构,BERT模型在机器阅读理解领域取得了显著的性能改进.但是当前基于BERT的机器阅读理解模型由于输入长度有限(最大长度为512),在进行特征提取时,存在一定程度的语义丢失,且不具备建立长距离依赖能力.为了解决这个问题,提出了一种基于BERT-Base的长本文机器阅读理解模型BERT-FRM.通过添加重叠窗口层以更灵活的方式切割输入文本,使用两个BERT模型独立编码问题和文档,并且在模型中添加递归层来传递不同片段之间的信息,赋予模型建立更长期依赖的能力.实验结果表明,BERT-FRM模型与BERT-Base基线模型相比,在TriviaQA和CoQA两个机器阅读理解数据集上的F1值分别提升了3.1%和0.8%.

基于孪生网络和字词向量结合的文本相似度匹配

文本相似度匹配是许多自然语言处理任务的基础,本文提出一种基于孪生网络和字词向量结合的文本相似度匹配方法,采用孪生网络的思想对文本整体建模,实现两个文本的相似性判断.首先,在提取文本特征向量时,使用BERT和WoBERT模型分别提取字和词级别的句向量,将二者结合使句向量具有更丰富的文本语义信息;其次,针对特征信息融合过程中出现的维度过大问题,加入PCA算法对高维向量进行降维,去除冗余信息和噪声干扰;最后,通过Softmax分类器得到相似度匹配结果.通过在LCQMC数据集上的实验表明,本文模型的准确率和F1值分别达到了89.92%和88.52%,可以更好地提取文本语义信息,更适合文本相似度匹配任务.

一种基于用户偏好分析和论坛相似度计算的改进LFM推荐算法

针对用户的偏好推荐需求,提出一种改进的LFM算法BBLFM算法,通过引入隐含特征将稀疏的相关矩阵分解为两个相对稠密的矩阵,减少了空间复杂度,同时实现LFM的隐语义分析功能,深入挖掘了用户的潜在特征,提高了推荐的准确性。具体地,设计了一种基于BM-25的精确用户关注点查找与权重赋值方法,同时引入软概率情感分析方法的结果,合成出一种基于语义的标签体系。此外,还构建了一个基于BERT的用户偏好分析网络,根据用户曾经浏览或点击的历史论坛数据,来为用户画像,给出用户的主题偏好。在真实的百度贴吧数据集上进行的对比实验结果,表明算法在推荐准确性上优于比较的算法。

大数据背景下CPI预测问题的文本挖掘技术设计与应用

本文创新地将半监督交互式关键词提取算法词频-逆向文件频率(Term FrequencyInverse Document Frequency,TF-IDF)与基于Transformer的双向编码表征(Bidirectional Encoder Representation from Transformers,BERT)模型相结合,设计出一种扩展CPI预测种子关键词的文本挖掘技术。采用交互式TF-IDF算法,对原始CPI预测种子关键词汇广度上进行扩展,在此基础上通过BERT"两段式"检索过滤模型深入挖掘文本信息并匹配关键词,实现CPI预测关键词深度上的扩展,从而构建了CPI预测的关键词库。在此基础上,本文进一步对文本挖掘技术特征扩展前后的关键词建立预测模型进行对比分析。研究表明,相比于传统的关键词提取算法,交互式TF-IDF算法不仅无需借助语料库,而且还允许种子词的输入。同时,BERT模型通过迁移学习的方式对基础模型进行微调,学习特定领域知识,在CPI预测问题中很好地实现了语言表征、语义拓展与人机交互。相对于传统文本挖掘技术,本文设计的文本挖掘技术具有较强的泛化表征能力,在84个CPI预测关键种子词的基础上,扩充后的关键词对CPI具有更高的预测准确度和更充分的解释性。本文针对CPI预测问题设计的文本挖掘技术,也为建立其他宏观经济指标关键词词库提供新的研究思路与参考价值。

基于BERT-BiLSTM-CRF模型的算法术语抽取与创新演化路径构建研究

【目的/意义】从海量论文元数据中抽取算法术语并构建它们之间的创新演化关系,有利于对算法的有效管理和运用,以帮助科研工作者提升研究效率、采纳前沿成果。【方法/过程】首先,以GAN算法论文摘要为语料,通过人工标注与规则抽取相结合的方式进行算法术语标注,并利用BERT-BiLSTM-CRF模型实现算法术语的自动抽取。然后,将建立的模型应用于LDA算法论文的被引文献元数据中抽取算法术语,依据规则判断和引文关系,从被引内容中抽取LDA算法的创新演化路径并构建。【结果/结论】以GAN论文为实例的算法术语实验中,精确率、召回率与F1分数分别达到了0.81、0.63与0.71,并应用关系抽取方法成功构建了LDA算法的创新演化路径,该方法可以有效推动算法进化网络构建和算法检索与追踪等方面的工作,丰富创新扩散理论的相关研究。【创新/局限】拓展了命名实体识别技术的应用领域,为计算机算法管理提供了良好的思路。后续可优化创新演化路径的构建方法。

多层信任视角下的共享服务平台用户预定行为研究

[目的/意义]旨在探索共享服务平台上基于多层信任视角所生成的信息对资源需求方预定行为的影响,以助力后疫情时代共享经济的复苏和持续发展。[方法/过程]结合供需双方对平台、供需双方之间和需方对共享产品的信任信息,基于多层信任视角的“3P+3I”理论,构建共享服务平台消费者购买行为研究模型。以共享短租平台为例,获取Airbnb上北京地区的公开数据,利用Bert算法构建房源产品口碑指标,基于因果推断中的因果发现算法初步推测用户预定行为的内在机制并利用泊松回归进行实证分析。[结果/结论]供需双方对平台、供需双方之间和需方对共享产品的信任变量对房源销量均有显著的正向促进作用。其中房东产生的信任特征对租客预定行为的正向影响效应最大,建议房东花极大精力建立房东声誉并适当披露更多的信息,为获得“超级房东”徽章,可优先选择不提供“直接预定”服务以便筛选掉可能会恶意差评的用户。建议平台严格把关用户的个人资质,注重对用户身份信息认证机制和评论激励制度的完善,以降低用户决策中的不确定性。