基于人工神经网络的自然语言处理技术研究

文章探讨了基于人工神经网络的自然语言处理技术,首先,阐述了人工神经网络的定义、结构、工作原理,以及与深度学习的关系。其次,详细研究了基于人工神经网络的自然语言处理技术,包括神经网络模型、词嵌入技术、循环神经网络、长短期记忆网络、转换器模型与自注意力机制等,并分析了这些技术面临的挑战。最后,通过实验设计与结果分析验证了所提出方法的有效性。文章研究内容对于推动自然语言处理技术的发展和应用具有重要意义。

基于神经网络和自然语言处理的智能对话机器人技术专利现状

本文针对神经网络和自然语言处理的智能对话机器人专利技术分析,分析了神经网络和自然语言处理的智能对话机器人技术国内外发展情况。在智能对话机器人行业起到借鉴作用。近年来,随着人工智能和大数据技术的发展,聊天机器人的热度越来越高,聊天机器人(Chatbot)是可以通过语音或文字与用户进行对话交流的计算机程序,其能够模仿人类对话,它不仅仅是一个简单的问答系统,而是一个能够理解自然语言的平台,比如百度的小度、苹果的Siri、微软的小冰、IBM的Waston等,在不同的场景下,聊天机器人有着不同的定位和功能,为了使聊天机器人能理解用户的问题,机器人需要使用文本或者语音对人类进行对话,这需要自然语言处理(Nature Language processing,NLP),而为了可以使得机器人更智能地与用户进行聊天,这需要基于神经网络进行大模型数据训练,使其具有自主学习能力;人工智能(Artificial Intelligence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门的综合学科,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,可以对人的意识、思维的信息过程的模拟。

神经网络理论应用于自然语言处理

机器翻译是随着计算机技术的发展和世界文化交流的需要而发展起来的一门边缘学科,目的是实现不同自然语言文字之间的自动转换。词的多义性是造成语言模糊性的一个重要原因。词义辨识不精确,不仅影响译文的质量,而且使语法、语义分析的有效性大打折扣。本文打算将神经网络理论应用到自然语言处理中,从一个新的角度来探索词义辨识的新方法。

大模型时代下的汉语自然语言处理研究与探索

自然语言处理是实现人机交互的关键步骤,而汉语自然语言处理(Chinese natural language processing,CNLP)是其中的重要组成部分。随着大模型技术的发展,CNLP进入了一个新的阶段,这些汉语大模型具备更强的泛化能力和更快的任务适应性。然而,相较于英语大模型,汉语大模型在逻辑推理和文本理解能力方面仍存在不足。介绍了图神经网络在特定CNLP任务中的优势,进行了量子机器学习在CNLP发展潜力的调查。总结了大模型的基本原理和技术架构,详细整理了大模型评测任务的典型数据集和模型评价指标,评估比较了当前主流的大模型在CNLP任务中的效果。分析了当前CNLP存在的挑战,并对CNLP任务的未来研究方向进行了展望,希望能帮助解决当前CNLP存在的挑战,同时为新方法的提出提供了一定的参考。

基于注意力循环神经网络的联合深度推荐模型

为了向用户推荐符合兴趣偏好的项目,设计一种基于注意力循环神经网络的联合深度推荐模型。将双层注意力机制设置于网络中,该模型由五个部分构成,在输入层中生成联合深度推荐模型的输入矩阵,通过序列编码层对项目评论文本语义展开正向和反向编码,获得隐藏状态输出,并将其输入双层注意力机制中,提取项目特征,利用全连接层提取用户偏好特征。在预测层中建立项目与用户的交互模型,获得项目评分,为用户推荐高评分的项目。为了提高模型精度,加权融合MSE损失函数、CE损失函数和RK损失函数建立组合损失函数,对深度联合训练模型展开训练,提高模型的推荐性能。仿真结果表明,所提方法具有良好的推荐效果,能够适应不断变化的市场需求和用户行为。

语言先验知识对神经网络模型自然语言处理任务的影响

随着互联网的发展及硬件的更新,神经网络模型被广泛应用于自然语言处理、图像识别等领域。目前,结合传统自然语言处理方法和神经网络模型正日益成为研究的热点。引入先验知识代表了传统方法的惯例,然而它们对基于神经网络模型的自然语言处理任务的影响尚不清楚。鉴于此,该文尝试探究语言层先验知识对基于神经网络模型的若干自然语言处理任务的影响。根据不同任务的特点,比较了不同先验知识和不同输入位置对不同神经网络模型的影响。通过大量的对比实验发现:先验知识并不是对所有任务都适用,在神经网络模型的合适位置加入合适的先验知识方可加快模型的收敛速度,提高相关任务的效果。

图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述,首先介绍了图神经网络的核心思想并梳理了三种经典方法:图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。

基于深度学习的自然语言处理鲁棒性研究综述

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取得很好结果的模型在实际应用中的效果却经常大打折扣.近期的一些研究还发现,在测试数据上替换一个相似词语、增加一个标点符号,甚至只是修改一个字母都可能使得这些模型的预测结果发生改变,效果大幅度下降.即使是大型语言模型,也会因输入中的微小扰动而改变其预测结果.什么原因导致了这种现象的发生?深度神经网络模型真的如此脆弱吗?如何才能避免这种问题的出现?这些问题近年来受到了越来越多的关注,诸多有影响力的工作都不约而同地从不同方面讨论了自然语言处理的鲁棒性问题.在本文中,我们从自然语言处理任务的典型范式出发,从数据构建、模型表示、对抗攻防以及评估评价等四个方面对自然语言处理鲁棒性相关研究进行了总结和归纳,并对最新进展进行了介绍,最后探讨了未来的可能研究方向以及我们对自然语言处理鲁棒性问题的一些思考.

基于卷积神经网络的立体匹配算法研究

在基于深度学习的立体匹配问题中,模型的网络结构、参数设置对匹配精度和匹配效率起到决定性作用。针对现有模型参数量大,精度低的问题,设计一种基于卷积神经网络的视差回归模型。首先,提出了基于扩张卷积和空间池化金字塔的多尺度特征提取网络,提高弱纹理区域的匹配精度;其次,改进了代价体相似度计算步骤,在保证匹配精度的同时,降低模型的参数量;最后,通过采取视差梯度信息和视差回归损失函数相结合的策略,有效地解决了在视差不连续区域中存在的边界信息保留不完整的问题。使用Middlebury数据集对模型进行验证,实验结果表明,相较于现有的立体匹配算法,在精度和速度方面都有所提升。

面向国产深度学习平台的自然语言处理模型迁移研究

深度学习平台在新一代人工智能的发展中扮演着重要的角色。近年来,以昇腾平台为代表的国产人工智能软硬件系统快速发展,为国产深度学习平台的发展开辟出了新的道路。与此同时,为了发现并解决昇腾系统存在的潜在漏洞,昇腾平台积极开展常用深度学习模型的迁移工作。从自然语言处理算法角度切入,针对机器阅读理解、神经机器翻译、序列标注和文本分类四大自然语言处理任务,以昇腾平台的高性能硬件芯片为基础,探究迁移ALBERT,RNNSearch,BERT-CRF和TextING这4类典型的自然语言处理模型。基于以上迁移研究,发现和整理了昇腾平台架构设计在自然语言处理研究与业务上的主要不足,即计算图节点动态空间的分配特性、资源算子下沉设备侧、图算融合以及混合精度训练4个方面的问题,并为以上问题提出了相应的解决方案,并进行了实验验证。最后,为国产深度学习平台的发展提出未来优化的方向和相关建议。

基于卷积神经网络和多标签分类的复杂结构损伤诊断

为研究复杂空间框架节点损伤识别问题,利用多标签分类的优势,构建了多标签单输出和多标签多输出两种卷积神经网络模型,用于框架结构节点损伤位置的判断和损伤程度诊断。针对复杂结构损伤位置判断时工况多、识别准确率不高等问题,提出了一种能对结构进行分层(或分区)处理并同时完成损伤诊断的多标签多输出卷积神经网络模型。分别构建了适用于多标签分类的浅层、深层和深层残差多输出卷积神经网络模型,并对其泛化性能进行了研究。结果表明:提出的模型具有较高的损伤诊断准确率和一定的抗噪能力,特别是经过分层(分区)处理后的多标签多输出网络模型更具高效性,有更快的收敛速度和更高的诊断准确率;利用多标签多输出残差卷积神经网络模型可以从训练工况中提取到足够多的损伤信息,在面对未经过学习的工况时也能较准确判断各节点的损伤等级。

基于图神经网络的SDN路由算法优化

针对现有路由方案不适合学习图形结构信息,对陌生拓扑适应性不佳的问题,提出了一种基于图神经网络的软件定义网络(Software Defined Network,SDN)路由算法G-PPO。引入近端策略优化(Proximal Policy Optimization,PPO)强化学习算法实现模型训练,利用消息传递神经网络(Massage Passing Neural Network,MPNN)对网络拓扑进行学习,通过调整链路权重完成路由路径的调整。G-PPO将图神经网络对网络拓扑信息的感知能力和深度强化学习的自主学习能力有效结合,提升路由策略的性能。实验结果表明,与相关算法比较,所提算法的平均时延和丢包率、网络链路利用率和吞吐量指标均为最优。在3种不同拓扑上,该算法较其他算法最少提升10.5%吞吐量,最多提升95.6%丢包率,表明所提算法具有更好的适应不同网络拓扑的能力。

基于深度学习的自然语言处理攻防研究综述

随着人工智能的发展,深度学习技术在自然语言处理(NLP)领域已经取得了显著进步。然而,NLP模型还存在安全性漏洞。文章分析了深度学习在NLP三大核心任务(包括文本表示、语序建模和知识表示)中的应用现状,针对文本生成、文本分类以及语义解析面临的攻击技术,探讨了对抗性训练、正则化技术、模型蒸馏等一系列防御技术在实际应用中的效用和局限,并通过文本分类任务的实证研究验证了集成对抗训练的有效性。

基于小波多尺度卷积神经网络的人脸表情识别方法

对于传统卷积神经网络(Convolutional Neural Network,CNN)应用于人脸表情识别任务中的不足,提出了一种基于小波多尺度卷积神经网络(Wavelet-based multi-scale Convolutional Neural Networks,WmCNN)的人脸表情识别方法。该方法在单个卷积层中使用多个不同尺寸的卷积核对输入图像进行不同尺度的面部特征提取,再通过小波变换函数进行非线性激活,增强特征的鲁棒性,并对AlexNet的网络结构进行改进和优化,从而降低了模型的参数量,同时提高了模型的准确率。最后在FER2013和RAF-DB数据集中验证了本文所提方法的有效性,实验结果表明,相比较于AlexNet,改进方案的准确率平均提高了3.074%和3.754%,模型参数量降低了28.35%,训练周期减少了37.75%和17.92%,损失降低了0.086 703和0.105 097。

基于深度学习的自然语言处理技术专利分析

基于深度学习的自然语言处理技术进入广泛应用和高速发展时期,本文通过对基于深度学习的自然语言处理技术领域专利申请进行检索与分析,确定出该领域专利申请的时间和地域分布情况以及专利维持时间,根据对专利现状的多维度数据进行分析研究并对如何发展高价值专利提出建议,为我国企业、科研单位及院校在基于深度学习的自然语言处理领域的技术研究和专利布局提供参考。

基于卷积神经网络的财务困境预测:公司财报的图像化

本文提出了一个端到端的深度学习模型来预测中国上市公司的财务困境,通过将公司基本面数据图像化,探究了深度卷积神经网络(CNN)能否直接从图像化的原始财务数据中自动提取信息,以做出媲美甚至超过借助人类专家知识生成的财务困境预测。将来自财务报表中的原始财务项目转化为彩色图像后,深度学习模型可以直接从对应公司的财务项目图像中得出对未来财务困境的准确预测,而无需人类专家事先根据会计专业知识挑选财务项并定义财务指标。实证结果表明,相比使用单一年份的财务数据(灰度图像),使用过去3年的财务数据(彩色图像)有助于提高深度学习模型的预测性能。此外,从原始数据中得出预测的深度学习模型能够达到与“人工选取财务指标+传统机器学习模型”相当的性能。进一步的研究表明,将本文提出的深度学习模型与传统机器学习模型结合起来,可以达到比二者单独使用时更准确的预测性能。

基于轻量化卷积神经网络的桥梁斜拉索PE护套损伤识别方法

深度神经网络和计算机视觉技术近年来在结构健康监测中发挥了越来越重要的作用。利用无人机航拍采集的桥梁斜拉索损伤图像数据,研究基于深度学习技术的斜拉索PE护套损伤识别方法。为实现在较低运算能力设备上对大跨度桥梁斜拉索表面局部损伤的智能快速识别,解决传统深度卷积神经网络的运算效率相对较低、模型参数规模较大的问题,提出轻量化处理的区域推荐型卷积神经网络模型。介绍区域推荐网络与其轻量化改进方法的理论基础,分析轻量化模型处理的必要性,其能在保证识别精度的前提下降低模型训练与预测的设备性能需求,达到节约计算资源与时间的目的;通过数据增广等多手段解决损伤样本数据量不足的问题,设置对比试验,统计分析结果,验证了轻量化神经网络模型的优越性。结果表明,轻量化网络在牺牲少量识别准确度的前提下,能够在较大程度上实现对模型复杂度与计算量的改进,在工程应用中能有效拓展神经网络的实用性。

融合多小波分解的深度卷积神经网络轴承故障诊断方法

针对卷积神经网络及其与信号降噪预处理集成方法面临高噪声环境和低质量数据挑战时难以有效地提取信号有用特征的问题,提出了一种融合Geronimo-Hardin-Massopust多小波分解的深度卷积神经网络模型(GHMMD-DCNN)。该模型思想是将多小波包分解与卷积神经网络深度融合,即设计多个一级多小波分解层以提取信号的低频分量和高频分量,再将多个一级多小波分解层与卷积层交替联接,使模型能够多尺度地提取并学习信号有用的时频域信息,信号分解和特征学习交替执行,进而实现强噪声鲁棒特征提取。在不同工况下的航空高速轴承振动数据上进行测试,结果表明:所提模型训练时能够快速达到稳定收敛,并且识别准确率均能达到99.9%以上;提出的方法在强噪声干扰下的故障辨识准确度和识别稳定性均优于对比方法,验证了其优秀的抗噪声干扰能力;在少训练样本测试中,提出的方法在单类训练样本数量为60时的平均诊断准确率高达91.19%,相比于其他方法最低提升了13.19%,验证了GHMMD-DCNN模型具有更优的低样本泛化能力。

基于骨骼图神经网络的人体行为识别综述

基于骨骼图神经网络的人体行为识别凭借其简洁性和鲁棒性引起了人们的广泛关注,图数据对于处理人体骨骼信息有天然的优势,逐渐成为行为识别领域的研究热点。从行为识别这个宽泛的基本概念入手,进一步引入用骨骼图神经网络进行的人体行为识别任务,分别从4个方面对近些年基于骨骼图神经网络的人体行为识别的研究成果进行了归纳总结;介绍了图结构构造拓扑图的不同方法分类、行为识别模型中的常用机制、目前常用的数据集及评价指标与目前主流方法的比较。最后,针对目前的研究状况对基于骨骼图神经网络的人体行为识别存在的问题进行详细的阐述,并立足于研究现状对该领域的未来发展进行了展望。

基于SAE和LSTM神经网络的深部未钻地层可钻性预测方法

在制定深部地层钻进提速方案时,对地层可钻性进行钻前预测是十分必要的,现有的岩石可钻性预测方法精度低,难以满足钻井设计的要求。为此,提出一种基于SAE和LSTM神经网络相结合的组合模型对深部未钻地层的可钻性进行预测。并将SAE-LSTM组合模型的训练时间和预测结果与BP神经网络、支持向量机、随机森林和单一的LSTM模型进行了对比分析。结果表明:所构建的SAE-LSTM组合模型预测地层可钻性训练用时最短,预测值与实际测量值误差最小,拟合结果的均方根误差RMSE仅为0.081,平均绝对百分比误差MAPE为1.189,决定系数R^(2)为0.966,其RMSE和MAPE最小,R 2最大,较其他模型预测精度更高。该方法为地层参数预测提供了新的途径,能改善以往预测方法在处理复杂地层问题时预测效率低、预测精度不高等问题。