联合无监督词聚类的递归神经网络语言模型

研究表明，在递归神经网络语言模型的输入层加入词性标注信息，可以显著提高模型的效果．但使用词性标注需要手工标注的数据训练，耗费大量的人力物力，并且额外的标注器增加了模型的复杂性．为了解决上述问题，本文尝试将布朗词聚类的结果代替词性标注信息加入到递归神经网络语言模型输入层．实验显示，在PennTreebank语料上，加入布朗词类信息的递归神经网络语言模型相比原递归神经网络语言模型困惑度下降8～9％．

基于递归小脑模型神经网络和卡尔曼滤波器的锂电池荷电状态预测

由于储能系统被广泛应用到新能源汽车、分布式发电等领域,其在运行过程中的可靠性是研究的重点之一。荷电状态(SOC)是反映电池续航能力的关键参数。为保证储能系统的正常运行,提出了一种锂电池SOC估计的方法,将递归小脑模型神经网络(RCMNN)和卡尔曼滤波器(KF)都用于荷电状态估计。为了强化RCMNN的捕获动态特征的能力,在联想记忆层和权值记忆层均加入了递归单元。将采集的电压、电流和温度作为模型的输入,用于模拟储能系统的不同充、放电情况。考虑到实际工况下电池放电的复杂性,在不同的放电条件和不同SOC初值的情况下将SOC的实际值与预测值进行对比。试验结果表明,该预测方法在不同条件下都具有较高的精度和鲁棒性。

融合蛋白质语言模型与深度神经网络的植物蛋白质相互作用预测研究

预测植物中的蛋白质-蛋白质相互作用(PPI)具有重要的生物学意义。同时采用了4种编码方法及深度神经网络构建了蛋白质相互作用预测模型。结果表明,提出的融合蛋白质语言模型Ankh与深度神经网络的方法构建的PPI预测模型性能在3种植物数据集上均获得了最优的AUPR和AUC值,Sen及MCC值也均优于其他4种蛋白质相互作用预测模型。当模型在水稻、大豆的植物PPI数据集上进行测试时,所提出的模型AUPR值分别为0.8025、0.7301,AUC值分别为0.9562、0.9507。这些优异的结果表明,融合蛋白质语言模型Ankh的PPI模型可以作为植物蛋白质相互作用预测的一个有前途的工具。

图神经网络与大语言模型的融合研究

随着人工智能技术的飞速发展,图神经网络(Graph Neural Networks,GNN)在处理图数据方面展现出卓越的性能,而大语言模型(Large Language Model,LLM)在自然语言处理领域也取得了显著成就。文章旨在探索GNN与LLM的融合策略,以增强模型对复杂场景的理解与处理能力。文章分析了图结构的特点和GNN的工作原理,介绍了LLM的核心架构和预训练策略。在此基础上,文章提出了多种融合策略,包括将LLM作为特征增强器、结构编码器、预测生成器、多模态对齐器和知识融合器,阐述了实现这些角色的具体技术,如特征嵌入融合、跨模态注意力机制、联合训练框架等。通过融合策略,模型不仅能够整合图的结构特征与文本的语义信息,还能够有效处理跨模态数据,提升模型的泛化能力,在推荐系统、知识图谱和生物信息学等领域展现出显著的应用价值。文章认为,这种融合策略对于提升人工智能处理复杂数据和实现通用智能的重要性不容忽视。

基于图神经网络的法律文本共指消解模型

共指消解是确定上下文中的代词或名词短语所指的具体对象或实体,是自然语言处理(Natural Language Processing,NLP)的基本任务之一,对理解文本语义具有重要意义。现有的方法主要集中在一般领域的代词、所有格和名词短语的解析上,针对法律领域的研究较少。为了更好地学习法律文本中的知识,并消除共同指代现象,提出一种基于图神经网络的法律文本共指消解模型(Graph Neural Network for Coreference Resolution,CR-GNN)。所提CR-GNN可以促进法律文本挖掘中的一系列后续任务。利用预训练语言模型和双向门控循环单元(Bidirectional Gate Recurrent Unit,BiGRU)对法律文本进行编码;使用基于元任务的动态图卷积网络(Meta Dynamic Graph Convolutional Network,MDGCN)整合实体之间的引用关系;使用前馈神经网络(Feed-Forward Neural Network,FFNN)和Biaffine模型为候选对进行加权评估。CR-GNN可以有效识别实体之间的引用关系,并对实体依赖关系进行建模。在法庭记录文件数据集上进行大量实验,结果表明所提CR-GNN模型达到89.76%的F1分数,均高于现有基准模型。

基于人工神经网络的自然语言处理技术研究

文章探讨了基于人工神经网络的自然语言处理技术,首先,阐述了人工神经网络的定义、结构、工作原理,以及与深度学习的关系。其次,详细研究了基于人工神经网络的自然语言处理技术,包括神经网络模型、词嵌入技术、循环神经网络、长短期记忆网络、转换器模型与自注意力机制等,并分析了这些技术面临的挑战。最后,通过实验设计与结果分析验证了所提出方法的有效性。文章研究内容对于推动自然语言处理技术的发展和应用具有重要意义。

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域,由于文本分类标注数据的稀缺,相关研究工作进展缓慢.为了充分利用有限的标注数据,更有效地挖掘出文本之间的关系,本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model,CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks,GCN)层,得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验,分类准确率达到73.51%,远优于其他基线模型;同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明,该文提出的模型能够结合预训练词向量和图神经网络的优势,显著提高藏文文本分类的准确率.

基于文本图神经网络的小样本文本分类技术研究

为了解决文本图神经网络小样本文本分类精度较差的问题,设计了基于文本图神经网络的原型网络,采用预训练语言模型,利用文本级图神经网络为每个输入文本构建图并共享全局参数,将文本图神经网络的结果作为原型网络的输入,对未标注文本进行分类,并验证新模型在多个文本分类数据集上的有效性。实验结果表明,与需要大量标注文档的监督学习方法相比,所采用的方法未标注文本的分类精度提高了1%~3%,在多个文本分类数据集上验证了新模型性能先进,内存占用更少。研究结果可为解决小样本文本分类问题提供参考。

局部感知递归神经网络在语言模型中的应用

数据序列预测被许多人认为是机器学习和人工智能领域中的关键问题,在一系列的单词或字符数据处理任务的语言模型中,递归神经网络展示出了当前最优秀的序列预测能力。文中通过将三层RNN按一定层次组合在一起,由低层到高层使每一层负责不同层次的信息处理,从而使新模型具有更强的信息综合能力,从而使得模型更容易处理较长的数据序列。在Penn Treebank Data数据集做字符级(Character-Level)语言模型中的测试结果显示,新模型获得了与CNN-LSTM等当前最好模型相匹敌的成绩。

基于语言模型的神经网络文本情感分析

本文着眼于基于语言模型的神经网络文本分析,提出将长时记忆网络和深度神经网络深度结合,综合分析文本中的情感,在LSTM-LM模型中完成机器语言的升级。通过实验可得,本次研究所采取的模型在各项性能指标上都比传统的机器语言学习方法优越,更能胜任大数据下的应用场景。

基于异质图神经网络的知识增强文本理解研究

针对当下流行的语言模型如BERT,即使其在大量文本下预训练而具有了较好的文本理解能力,但由于文本中知识共现的稀疏性导致模型难以理解复杂语义的场景的问题,提出一种引入知识图谱结合异质图网络增强文本理解的方法。该方法根据文本中的实体构造异质图,并基于边采样机制生成子视图。引入R-GCN聚合异质子视图下的邻居信息,并约束同节点在不同视图下基于相似性的度量损失。最终得到知识增强的文本表示。在公开数据集WinoGrande上的结果表明,该方法在准确率指标下有着明显的提升,相比于未增强时提升了1.3%。

基于词向量特征的循环神经网络语言模型

循环神经网络语言模型能解决传统N-gram模型中存在的数据稀疏和维数灾难问题,但仍缺乏对长距离信息的描述能力.为此文中提出一种基于词向量特征的循环神经网络语言模型改进方法.该方法在输入层中增加特征层,改进模型结构.在模型训练时,通过特征层加入上下文词向量,增强网络对长距离信息约束的学习能力.实验表明,文中方法能有效提高语言模型的性能.

神经网络结构的递归T-S模糊模型

提出一种新的递归 T- S模型 (Takagi- Sugeno模型 )的模糊神经网络结构 (TSFRNN ) ,利用动态 BP(DBP)算法来学习训练神经网络的参数 ,通过与通常的多层前馈神经网络结构的 T- S模糊神经网络(TSFNN)的对比仿真实验 ,说明在非线性系统建模方面 TSFRNN比 TSFNN更加优越 .

基于动态递归神经网络的木材干燥模型辨识

木材干燥是一个复杂的非线性系统 ,由于木材结构复杂且具有多样性和变异性 ,因此要建立一个理想的符合木材干燥过程的模型是很困难。本文利用动态递归神经网络的特点 ,提出了基于动态递归神经网络的木材干燥模型辨识方法 ,给出了动态递归状态 -输出神经网络的结构和学习算法。并通过对辨识得到的模型的仿真结果 。

基于循环神经网络的汉语语言模型并行优化算法

计算复杂度高导致循环神经网络语言模型训练效率很低,是影响实际应用的一个瓶颈.针对这个问题,提出一种基于批处理(mini-batch)的并行优化训练算法.该算法利用GPU的强大计算能力来提高网络训练时的矩阵及向量运算速度,优化后的网络能同时并行处理多个数据流即训练多个句子样本,加速训练过程.实验表明,优化算法有效提升了RNN语言模型训练速率,且模型性能下降极少,并在实际汉语语音识别系统中得到了验证.

结合LSTM和CNN混合架构的深度神经网络语言模型

语言模型是自然语言处理研究中的基础性工作,是计算机识别与理解自然语言的桥梁,是人工智能学科的前沿及热点课题。其在语音识别、机器翻译、信息检索和知识图谱等领域都有着广泛的应用。至今,语言模型已经历了从统计模型、神经网络模型到深度神经网络模型的衍化。随着深度学习技术的广泛应用,采用大规模的数据集、复杂的模型以及高昂的训练代价成为语言模型建模的特点。本文通过模型输入拟人化、卷积神经网络(convolutional neural network)编码以及融合门机制并结合长短时记忆单元(long short-term memory,LSTM)优化了语言模型,提出了结合LSTM和CNN混合架构的深度神经网络语言模型(Gated CLSTM)。利用深度学习框架Tensorflow实现了Gated CLSTM。实验环节还采用了负采样及循环投影层等经典的优化技术,在包含近十亿个英文单词的通用数据集(one billion word benchmark)下测试了模型的性能,分别训练了单层模型和三层模型,以观察网络深度对性能的影响。结果显示,在四个GPU的单机环境下,单层模型经过4天的训练,将模型混淆度(perplexity)降低至42.1;三层模型经过6天的训练后将混淆度降低至33.1;与多个典型的基准模型相比,综合硬件、时间复杂度以及混淆度三个指标,Gated CLSTM获得了明显的改进。

基于递归神经网络的一类非线性无模型系统的自适应控制

给出了基于递归神经网络非线性无模型系统的自适应控制方案,它具有灵活、简单、方便等特点,可以处理传统方法和非线性无模型系统自适应控制方法不能控制或控制效果不理想的非线性对象。理论分析和仿真结果证明了这种方法的优越性。

基于循环神经网络的汉语语言模型建模方法

语言模型是语音识别系统的重要组成部分,目前的主流是n-gram模型。然而n-gram模型存在一些不足,对语句中长距信息描述差、数据稀疏是影响模型性能的两个重要因素。针对不足,研究者提出循环神经网络(Recurrent Neural Network,RNN)建模技术,在英语语言模型建模上取得了较好的效果。根据汉语特点将RNN建模方法应用于汉语语言建模,并结合两种模型的优点,提出了模型融合构建方法。实验结果表明:相比传统的n-gram语言模型,采用RNN训练的汉语语言模型困惑度(Per PLexity,PPL)有了下降,在对汉语电话信道的语音识别上,系统错误率也有下降,将两种语言模型融合后,系统识别错误率更低。

基于递归神经网络的网络流量组合预测模型

为了提高网络流量的预测精度,提出了一种基于Elman递归神经网络、小波和自回归的网络流量组合预测模型。对流量时间序列进行小波分解,得到小波变换尺度系数序列和小波系数序列,对具有平稳特征的尺度系数序列用AR模型进行预测;而对体现了网络流量非线性、非平稳特性的小波系数序列使用Elman递归神经网络进行预测,最后通过Mallat算法重构得到网络流量的预测值。

基于递归神经网络模型预测控制的模型平稳切换

不同生产条件下的控制系统可视多模型控制系统,但多模型控制在模型切换时会引起系统的瞬态响应。采用递归神经网络建立系统的多个模型,基于模型预测控制进行控制模型切换,克服了模型切换时引起的系统瞬态响应,实现系统的平稳切换。并通过仿真表明这种切换策略明显改善了模型切换过程的动态性能。