期刊文献+
共找到115篇文章
< 1 2 6 >
每页显示 20 50 100
Fake News Classification Using a Fuzzy Convolutional Recurrent Neural Network 被引量:2
1
作者 Dheeraj Kumar Dixit Amit Bhagat Dharmendra Dangi 《Computers, Materials & Continua》 SCIE EI 2022年第6期5733-5750,共18页
In recent years,social media platforms have gained immense popularity.As a result,there has been a tremendous increase in content on social media platforms.This content can be related to an individual’s sentiments,th... In recent years,social media platforms have gained immense popularity.As a result,there has been a tremendous increase in content on social media platforms.This content can be related to an individual’s sentiments,thoughts,stories,advertisements,and news,among many other content types.With the recent increase in online content,the importance of identifying fake and real news has increased.Although,there is a lot of work present to detect fake news,a study on Fuzzy CRNN was not explored into this direction.In this work,a system is designed to classify fake and real news using fuzzy logic.The initial feature extraction process is done using a convolutional recurrent neural network(CRNN).After the extraction of features,word indexing is done with high dimensionality.Then,based on the indexing measures,the ranking process identifies whether news is fake or real.The fuzzy CRNN model is trained to yield outstanding resultswith 99.99±0.01%accuracy.This work utilizes three different datasets(LIAR,LIAR-PLUS,and ISOT)to find the most accurate model. 展开更多
关键词 Fake news detection text classification convolution recurrent neural network fuzzy convolutional recurrent neural networks
下载PDF
Recurrent Convolutional Neural Network MSER-Based Approach for Payable Document Processing 被引量:1
2
作者 Suliman Aladhadh Hidayat Ur Rehman +1 位作者 Ali Mustafa Qamar Rehan Ullah Khan 《Computers, Materials & Continua》 SCIE EI 2021年第12期3399-3411,共13页
A tremendous amount of vendor invoices is generated in the corporate sector.To automate the manual data entry in payable documents,highly accurate Optical Character Recognition(OCR)is required.This paper proposes an e... A tremendous amount of vendor invoices is generated in the corporate sector.To automate the manual data entry in payable documents,highly accurate Optical Character Recognition(OCR)is required.This paper proposes an end-to-end OCR system that does both localization and recognition and serves as a single unit to automate payable document processing such as cheques and cash disbursement.For text localization,the maximally stable extremal region is used,which extracts a word or digit chunk from an invoice.This chunk is later passed to the deep learning model,which performs text recognition.The deep learning model utilizes both convolution neural networks and long short-term memory(LSTM).The convolution layer is used for extracting features,which are fed to the LSTM.The model integrates feature extraction,modeling sequence,and transcription into a unified network.It handles the sequences of unconstrained lengths,independent of the character segmentation or horizontal scale normalization.Furthermore,it applies to both the lexicon-free and lexicon-based text recognition,and finally,it produces a comparatively smaller model,which can be implemented in practical applications.The overall superior performance in the experimental evaluation demonstrates the usefulness of the proposed model.The model is thus generic and can be used for other similar recognition scenarios. 展开更多
关键词 Character recognition text spotting long short-term memory recurrent convolutional neural networks
下载PDF
融合TextCNN与TextRNN模型的谣言识别方法 被引量:3
3
作者 耿唯佳 宋玉蓉 周伟伟 《微电子学与计算机》 2022年第1期31-38,共8页
传统的谣言识别方法耗费人力物力并且准确率较低。为了有效识别社交网络中的谣言,提出一种基于融合模型的谣言识别方法.该方法首先通过BERT预训练模型构建文本句向量;其次构建TextCNN模型挖掘文本的语义特征,构建TextRNN模型用于挖掘文... 传统的谣言识别方法耗费人力物力并且准确率较低。为了有效识别社交网络中的谣言,提出一种基于融合模型的谣言识别方法.该方法首先通过BERT预训练模型构建文本句向量;其次构建TextCNN模型挖掘文本的语义特征,构建TextRNN模型用于挖掘文本的时序特征;最后,对两种模型进行加权融合,实现对谣言的识别.此外,还对原始主流模型进行了改进,一是借鉴Inception模型的思想来增加TextCNN模型的深度,二是将注意力机制注入TextRNN模型中,增加其可解释性和泛化能力.实验结果表明,相较于当前主流的谣言识别方法,该方法准确率可达到97.12%并且F1值可达到97.14%. 展开更多
关键词 社交网络 谣言识别 BERT模型 文本卷积神经网络 文本循环神经网络
下载PDF
Text-CRNN+attention架构下的多类别文本信息分类 被引量:12
4
作者 卢健 马成贤 +1 位作者 杨腾飞 周嫣然 《计算机应用研究》 CSCD 北大核心 2020年第6期1693-1696,1701,共5页
迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分... 迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出模型较其他模型准确率提升了2%~3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。 展开更多
关键词 文本分类 卷积神经网络 循环神经网络 convolutional recurrent neural network 注意力机制
下载PDF
Automatic Surveillance of Pandemics Using Big Data and Text Mining
5
作者 Abdullah Alharbi Wael Alosaimi MIrfan Uddin 《Computers, Materials & Continua》 SCIE EI 2021年第7期303-317,共15页
COVID-19 disease is spreading exponentially due to the rapid transmission of the virus between humans.Different countries have tried different solutions to control the spread of the disease,including lockdowns of coun... COVID-19 disease is spreading exponentially due to the rapid transmission of the virus between humans.Different countries have tried different solutions to control the spread of the disease,including lockdowns of countries or cities,quarantines,isolation,sanitization,and masks.Patients with symptoms of COVID-19 are tested using medical testing kits;these tests must be conducted by healthcare professionals.However,the testing process is expensive and time-consuming.There is no surveillance system that can be used as surveillance framework to identify regions of infected individuals and determine the rate of spread so that precautions can be taken.This paper introduces a novel technique based on deep learning(DL)that can be used as a surveillance system to identify infected individuals by analyzing tweets related to COVID-19.The system is used only for surveillance purposes to identify regions where the spread of COVID-19 is high;clinical tests should then be used to test and identify infected individuals.The system proposed here uses recurrent neural networks(RNN)and word-embedding techniques to analyze tweets and determine whether a tweet provides information about COVID-19 or refers to individuals who have been infected with the virus.The results demonstrate that RNN can conduct this analysis more accurately than other machine learning(ML)algorithms. 展开更多
关键词 Disease surveillance social media analysis recurrent neural networks text mining
下载PDF
基于权重词向量与改进TextCNN的中文新闻分类 被引量:1
6
作者 万铮 王芳 黄树成 《软件导刊》 2023年第9期59-64,共6页
为了解决单一深度学习模型提取信息不充分、分类效果不佳的问题,提出一种混合多神经网络的BA-Info-CNN-BiLSTM模型。该模型使用BERT作为词嵌入层,获得词的向量表示,再使用注意力机制让词获得不同权重;然后一方面将其送入改进的文本卷积... 为了解决单一深度学习模型提取信息不充分、分类效果不佳的问题,提出一种混合多神经网络的BA-Info-CNN-BiLSTM模型。该模型使用BERT作为词嵌入层,获得词的向量表示,再使用注意力机制让词获得不同权重;然后一方面将其送入改进的文本卷积神经网络(InfoCNN)中获取文本的局部信息特征,另一方面送入双向的长短时记忆网络(Bi-LSTM)中获得文本的全局信息特征;最后将提取到的局部信息和全局信息进行拼接融合,送入softmax函数中进行分类,得到分类结果。通过与其他模型进行对比实验,该模型获得了较好的分类效果,在新浪新闻和搜狐新闻数据集上分别取得了95.07%和84.95%的准确率,在一定程度上解决了单一模型捕获信息不充分的问题。 展开更多
关键词 文本分类 词嵌入 注意力机制 卷积神经网络 循环神经网络
下载PDF
基于深度残差网络和注意力机制的特殊车牌识别 被引量:1
7
作者 王昊 陈黎 《计算机工程与设计》 北大核心 2024年第1期291-298,共8页
为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,... 为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,在保留图像全局特征的前提下,将多维特征化为特征序列;引入注意力机制对特征序列并行解码,加快模型推理速度,提升特殊车牌的识别精度。实验结果表明,与现有的文字识别模型CRNN、DAN、ASTER对比,在公开车牌数据集CCPD上取得了更高的准确率,验证了模型的有效性。 展开更多
关键词 车牌识别 文字识别 多头注意力 自注意力机制 卷积神经网络 循环神经网络 残差网络
下载PDF
BSTFNet:An Encrypted Malicious Traffic Classification Method Integrating Global Semantic and Spatiotemporal Features 被引量:1
8
作者 Hong Huang Xingxing Zhang +2 位作者 Ye Lu Ze Li Shaohua Zhou 《Computers, Materials & Continua》 SCIE EI 2024年第3期3929-3951,共23页
While encryption technology safeguards the security of network communications,malicious traffic also uses encryption protocols to obscure its malicious behavior.To address the issues of traditional machine learning me... While encryption technology safeguards the security of network communications,malicious traffic also uses encryption protocols to obscure its malicious behavior.To address the issues of traditional machine learning methods relying on expert experience and the insufficient representation capabilities of existing deep learning methods for encrypted malicious traffic,we propose an encrypted malicious traffic classification method that integrates global semantic features with local spatiotemporal features,called BERT-based Spatio-Temporal Features Network(BSTFNet).At the packet-level granularity,the model captures the global semantic features of packets through the attention mechanism of the Bidirectional Encoder Representations from Transformers(BERT)model.At the byte-level granularity,we initially employ the Bidirectional Gated Recurrent Unit(BiGRU)model to extract temporal features from bytes,followed by the utilization of the Text Convolutional Neural Network(TextCNN)model with multi-sized convolution kernels to extract local multi-receptive field spatial features.The fusion of features from both granularities serves as the ultimate multidimensional representation of malicious traffic.Our approach achieves accuracy and F1-score of 99.39%and 99.40%,respectively,on the publicly available USTC-TFC2016 dataset,and effectively reduces sample confusion within the Neris and Virut categories.The experimental results demonstrate that our method has outstanding representation and classification capabilities for encrypted malicious traffic. 展开更多
关键词 Encrypted malicious traffic classification bidirectional encoder representations from transformers text convolutional neural network bidirectional gated recurrent unit
下载PDF
全局和局部特征动态融合的文本分类模型
9
作者 郑文军 张顺香 《西安工程大学学报》 CAS 2024年第4期97-105,112,共10页
现有文本分类模型对文本的全局信息和局部信息利用不足,导致文本分类性能较差。针对这一问题,提出一种将文本的全局和局部特征动态融合(global and local features dynamic fusion,GLFDF)的分类模型。所提模型首先设计动态融合增强模块... 现有文本分类模型对文本的全局信息和局部信息利用不足,导致文本分类性能较差。针对这一问题,提出一种将文本的全局和局部特征动态融合(global and local features dynamic fusion,GLFDF)的分类模型。所提模型首先设计动态融合增强模块动态控制文本的全局时序特征与局部语义特征融入单词嵌入矩阵的每个特定位置;其次,将融合全局和局部特征的嵌入矩阵馈送到特征提取模块中进行特征提取;最后,在Ohsumed和THUCNews数据集上测试所提模型的效果。实验结果表明:GLFDF模型在2个数据集上的F1值分别达到63.24%和92.50%,优于其他文本分类模型,提高了文本分类的性能。由消融实验分析可知,动态融合增强模块可以充分融合文本的全局时序特征和局部语义特征,有效解决文本分类模型对全局信息和局部信息利用不足的问题。 展开更多
关键词 自然语言处理 文本分类 动态融合 门控机制 卷积神经网络 循环神经网络
下载PDF
基于RoBERTa-RCNN和注意力池化的新闻主题文本分类 被引量:1
10
作者 王乾 曾诚 +2 位作者 何鹏 张海丰 余新言 《郑州大学学报(理学版)》 CAS 北大核心 2024年第2期43-50,共8页
针对中文新闻主题因缺乏上下文信息而造成语义模糊和用词规范性不高的问题,提出一种基于RoBERTa-RCNN和多头注意力池化机制的新闻主题文本分类方法。利用数据增强技术对部分训练数据进行回译处理,再通过自编码预训练模型和RCNN对文本进... 针对中文新闻主题因缺乏上下文信息而造成语义模糊和用词规范性不高的问题,提出一种基于RoBERTa-RCNN和多头注意力池化机制的新闻主题文本分类方法。利用数据增强技术对部分训练数据进行回译处理,再通过自编码预训练模型和RCNN对文本进行初步和深度的特征提取,并结合多头注意力思想改进最大池化层。该方法采用融合机制,改善了RCNN中最大池化策略单一和无法进行动态优化的缺陷。在三个新闻主题数据集上进行实验,使用更适用于新闻主题分类的Mish函数代替ReLU函数,并利用标签平滑来解决过拟合问题。结果表明,所提方法相比传统分类方法效果突出,并通过消融实验验证了模型在分类任务上的可行性。 展开更多
关键词 预训练语言模型 文本分类 循环卷积神经网络 注意力机制 标签平滑 数据增强
下载PDF
FinBERT-RCNN-ATTACK:金融文本情感分析模型
11
作者 段魏诚 薛涛 《计算机技术与发展》 2024年第5期157-162,共6页
金融文本包含投资者的情绪及公众对相关事件的态度。近年来,自然语言处理已广泛应用于金融领域,对金融文本数据进行情感分析可以得到丰富的投资价值和监管参考价值。然而由于金融词汇具有专业性和特殊性,现有的通用情感分析模型不适合... 金融文本包含投资者的情绪及公众对相关事件的态度。近年来,自然语言处理已广泛应用于金融领域,对金融文本数据进行情感分析可以得到丰富的投资价值和监管参考价值。然而由于金融词汇具有专业性和特殊性,现有的通用情感分析模型不适合金融领域情感分析任务,精确度有待提高,且现有模型易受到对抗样本的干扰导致模型结果出错。为了解决这些问题,提出了一个FinBERT-RCNN-ATTACK模型。利用在金融语料库预训练的FinBERT模型进行词嵌入处理,提取语义特征,将提取到的特征引入RCNN模型进一步挖掘上下文的关键特征,并且在模型中引入对抗训练,即在嵌入阶段添加扰动,提高模型的鲁棒性和泛化性。实验结果表明,在金融领域数据集上,提出的模型优于其他情感分析模型,精准度提升了3%~35%。 展开更多
关键词 金融文本 情感分析 FinBERT 循环卷积神经网络 对抗训练
下载PDF
引入位置编码机制对抗网络的文本生成模型
12
作者 贺妮 牟莉 万晓慧 《计算机技术与发展》 2024年第9期154-158,共5页
针对目前对抗网络文本生成模型在生成文本时,出现词与词之间位置关系紊乱导致文本逻辑不通的问题,该文提出了一种引入位置编码机制对抗网络的文本生成模型(Position-Encoding GAN,PE_GAN)并进行探讨和验证。在对抗神经网络模型的基础上... 针对目前对抗网络文本生成模型在生成文本时,出现词与词之间位置关系紊乱导致文本逻辑不通的问题,该文提出了一种引入位置编码机制对抗网络的文本生成模型(Position-Encoding GAN,PE_GAN)并进行探讨和验证。在对抗神经网络模型的基础上引入位置编码机制,可以通过带有位置编码的词向量来标记文本中词与词之间的位置关系,生成器和判别器使用GRU神经网络的门控机制来减少梯度消失,同时利用蒙特卡洛策略思想来降低数据过拟合风险并提高生成文本的准确性。为了验证PE_GAN模型的有效性,使用开源数据和网络爬取的小说和新闻文本共同作为实验的数据集,结果表明:该模型中生成器和判别器loss值的差距比对比模型小,表明生成的文本更加接近真实文本;与Gumbel-softmax GAN模型、seq-GAN模型和LFMGAN模型相比,PE_GAN模型的BLEU-2、BLEU-3和BLEU-4的值分别都有明显的提高,表明引入位置编码机制后可以改善生成文本的逻辑性,由此可知该模型有较好的应用性。 展开更多
关键词 生成对抗神经网络 位置编码 文本生成 GRU神经网络 蒙特卡洛策略
下载PDF
深度文本匹配综述 被引量:65
13
作者 庞亮 兰艳艳 +3 位作者 徐君 郭嘉丰 万圣贤 程学旗 《计算机学报》 EI CSCD 北大核心 2017年第4期985-1003,共19页
自然语言理解的许多任务,例如信息检索、自动问答、机器翻译、对话系统、复述问题等等,都可以抽象成文本匹配问题.过去研究文本匹配主要集中在人工定义特征之上的关系学习,模型的效果很依赖特征的设计.最近深度学习自动从原始数据学习... 自然语言理解的许多任务,例如信息检索、自动问答、机器翻译、对话系统、复述问题等等,都可以抽象成文本匹配问题.过去研究文本匹配主要集中在人工定义特征之上的关系学习,模型的效果很依赖特征的设计.最近深度学习自动从原始数据学习特征的思想也影响着文本匹配领域,大量基于深度学习的文本匹配方法被提出,作者称这类模型为深度文本匹配模型.相比于传统方法,深度文本匹配模型能够从大量的样本中自动提取出词语之间的关系,并能结合短语匹配中的结构信息和文本匹配的层次化特性,更精细地描述文本匹配问题.根据特征提取的不同结构,深度文本匹配模型可以分为3类:基于单语义文档表达的深度学习模型、基于多语义文档表达的深度学习模型和直接建模匹配模式的深度学习模型.从文本交互的角度,这3类模型具有递进的关系,并且对于不同的应用,具有各自性能上的优缺点.该文在复述问题、自动问答和信息检索3个任务上的经典数据集上对深度文本匹配模型进行了实验,比较并详细分析了各类模型的优缺点.最后该文对深度文本模型未来发展的若干问题进行了讨论和分析. 展开更多
关键词 文本匹配 深度学习 自然语言处理 卷积神经网络 循环神经网络 社会媒体
下载PDF
基于循环神经网络变体和卷积神经网络的文本分类方法 被引量:20
14
作者 李云红 梁思程 +3 位作者 任劼 李敏奇 张博 李禹萱 《西北大学学报(自然科学版)》 CAS CSCD 北大核心 2019年第4期573-579,共7页
针对长文本在文本分类时提取语义关键特征难度大,分类效果差等问题,建立基于循环神经网络变体和卷积神经网络(BGRU-CNN)的混合模型,实现中文长文本的准确分类。首先,通过PV-DM模型将文本表示为句向量,并将其作为神经网络的输入;然后,建... 针对长文本在文本分类时提取语义关键特征难度大,分类效果差等问题,建立基于循环神经网络变体和卷积神经网络(BGRU-CNN)的混合模型,实现中文长文本的准确分类。首先,通过PV-DM模型将文本表示为句向量,并将其作为神经网络的输入;然后,建立BGRU-CNN模型,经双向门控循环单元(B-GRU)实现文本的序列信息表示,利用卷积神经网络(CNN)提取文本的关键特征,通过Softmax分类器实现文本的准确分类;最后,经SogouC和THUCNews中文语料集测试,文本分类准确率分别达到89.87%和94.65%。测试结果表明,循环层提取的文本序列特征通过卷积层得到了进一步优化,文本的分类性能得到了提高。 展开更多
关键词 文本分类 句向量 循环神经网络 卷积神经网络
下载PDF
基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析 被引量:43
15
作者 程艳 尧磊波 +5 位作者 张光河 唐天伟 项国雄 陈豪迈 冯悦 蔡壮 《计算机研究与发展》 EI CSCD 北大核心 2020年第12期2583-2595,共13页
近年来,卷积神经网络(convolutional neural network,CNN)和循环神经网络(recurrent neural network,RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信... 近年来,卷积神经网络(convolutional neural network,CNN)和循环神经网络(recurrent neural network,RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明:提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果. 展开更多
关键词 卷积神经网络 文本情感倾向性分析 双向门控循环单元 注意力机制 多通道
下载PDF
基于递归神经网络的文本分类研究 被引量:40
16
作者 黄磊 杜昌顺 《北京化工大学学报(自然科学版)》 CAS CSCD 北大核心 2017年第1期98-104,共7页
使用基于长短项记忆(LSTM)和门阀递归单元(GRU)计算节点的双向递归神经网络提取文本特征,然后使用softmax对文本特征进行分类。这种基于深度学习的神经网络模型以词向量作为基本输入单元,充分考虑了单词的语义和语法信息,并且在神经网... 使用基于长短项记忆(LSTM)和门阀递归单元(GRU)计算节点的双向递归神经网络提取文本特征,然后使用softmax对文本特征进行分类。这种基于深度学习的神经网络模型以词向量作为基本输入单元,充分考虑了单词的语义和语法信息,并且在神经网络的计算过程中严格遵守单词之间的顺序,保留原文本中语义组合的方式,可以克服传统文本分类方法的不足。使用本文所提方法在第三届自然语言处理和中文计算会议(NLPCC 2014)公布的新华社新闻分类语料和路透社RCV1-v2语料上进行实验,其分类F1值分别达到了88.3%和50.5%,相较于传统的基线模型有显著的提升。由于该方法不需要人工设计特征,因此具有很好的可移植性。 展开更多
关键词 文本分类 深度学习 长短项记忆(LSTM) 门阀递归单元(GRU) 双向递归神经网络 词向量
下载PDF
基于串并行卷积门阀循环神经网络的短文本特征提取与分类 被引量:10
17
作者 唐贤伦 林文星 +1 位作者 杜一铭 王婷 《工程科学与技术》 EI CAS CSCD 北大核心 2019年第4期125-132,共8页
针对短文本数据特征少、提供信息有限,以及传统卷积神经网络(convolutional neural network,CNN)和循环神经网络(recurrent neural network,RNN)对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理... 针对短文本数据特征少、提供信息有限,以及传统卷积神经网络(convolutional neural network,CNN)和循环神经网络(recurrent neural network,RNN)对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元(gated recurrent unit,GRU)作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明:去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text–CNN、G–Dropout、F–Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。 展开更多
关键词 特征表示 短文本分类 循环神经网络 门阀循环单元
下载PDF
CGGA:一种CNN与并行门控机制混合的文本分类模型 被引量:5
18
作者 马建红 刘亚培 +3 位作者 刘言东 陶永才 石磊 卫琳 《小型微型计算机系统》 CSCD 北大核心 2021年第3期516-521,共6页
针对中文文本分类准确率低、单一的卷积神经网络模型难以提取多方面特征的问题,本文提出一种基于CNN的并行门控机制的混合文本分类模型——CGGA(Convolutional Neural Network with parallel gating unit and attention mechanism).利... 针对中文文本分类准确率低、单一的卷积神经网络模型难以提取多方面特征的问题,本文提出一种基于CNN的并行门控机制的混合文本分类模型——CGGA(Convolutional Neural Network with parallel gating unit and attention mechanism).利用卷积提取文本的局部特征,并加入双向门控循环单元对数据进行上下文数据建模,提取关系特征,同时,引入门控Tanh-ReLU单元进行进一步的特征筛选,从而控制信息向下层流动的力度,并且减轻梯度弥散,提高模型分类准确率.最后,使用多头注意力机制进行权重更新计算,以提高在相应文本类别上的输出,进而优化模型分类性能.实验结果显示,本文提出的文本分类模型和分类算法,在THUCNews数据集和搜狐数据集上,比基线模型的宏平均精确率分别提高了2.24%、6.78%. 展开更多
关键词 卷积神经网络 门控Tanh-ReLU单元 双向门控循环单元 多头注意力机制 文本分类
下载PDF
基于多阶段数据生成的自循环文本智能识别 被引量:4
19
作者 马新强 刘丽娜 +3 位作者 李雪维 顾晔 黄羿 刘勇 《模式识别与人工智能》 EI CSCD 北大核心 2020年第5期468-477,共10页
在复杂多样场景下,极少存在同时对英文和中文都具有较优识别效果的大数据标注方法.因此文中提出针对复杂多样文本识别场景的数据生成和多阶段自循环训练算法.按照定义的生成数据参数随机生成文本数据,免去数据标注过程.在卷积循环神经... 在复杂多样场景下,极少存在同时对英文和中文都具有较优识别效果的大数据标注方法.因此文中提出针对复杂多样文本识别场景的数据生成和多阶段自循环训练算法.按照定义的生成数据参数随机生成文本数据,免去数据标注过程.在卷积循环神经网络的基础上,进行多阶段自循环训练,在循环过程中通过控制数据生成策略不断提升样本的识别精度.实验表明,文中算法在多个公开英文数据集及中文特定的复杂文本场景下都具有良好的识别性能. 展开更多
关键词 大数据标注 数据生成 文本识别 卷积循环神经网络(CRNN)
下载PDF
基于深度学习的文本自动摘要方案 被引量:11
20
作者 张克君 李伟男 +2 位作者 钱榕 史泰猛 焦萌 《计算机应用》 CSCD 北大核心 2019年第2期311-315,共5页
针对自然语言处理(NLP)生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题,提出了一种新的生成式自动摘要解决方案,包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gra... 针对自然语言处理(NLP)生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题,提出了一种新的生成式自动摘要解决方案,包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gram方法生成的词向量为基础,结合摘要的特点,引入词性、词频和逆文本频率三个词特征,有效地提高了词语的理解;而提出的Bi-MulRnn+生成式自动摘要模型以序列映射(seq2seq)与自编码器结构为基础,引入注意力机制、门控循环单元(GRU)结构、双向循环神经网络(BiRnn)、多层循环神经网络(MultiRnn)和集束搜索,提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要(LCSTS)数据集的实验结果表明,该方案能够有效地解决短文本生成式摘要问题,并在Rouge标准评价体系中表现良好,提高了摘要准确性与语句流畅度。 展开更多
关键词 自然语言处理 生成式文本自动摘要 序列映射 自编码器 词向量 循环神经网络
下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部