融合Text-CNN与注意力机制的特产小吃评论情感分析

面向特产小吃评论数据的情感分析,旨在挖掘消费者对不同特产小吃的观点和看法,从而提高特产小吃产品的销量。针对当前特产小吃评论情感分析准确率较低的问题,本文构建了特产小吃评论数据集,并提出一种融合Text-CNN(Convolutional Naural Networks)与注意力机制的模型对其进行情感分析。首先,通过Text-CNN对文本局部特征信息进行提取;然后,将局部特征引入注意力机制单元中,完成对文本信息的特征提取。最后在Softmax分类器中输入提取的特征,进行情感分类。实验结果表明,提出的模型与Text-CNN、Bi-RNN+Attention、Char-CNN、LEAM四种模型进行对比,准确率有所提升。

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

基于CNN-LSTM的社交媒体大数据评论文本情感元自动识别方法

为了准确识别社交媒体评论文本情感,助力公众负面情绪引导,提出了基于CNN-LSTM的社交媒体大数据评论文本情感元自动识别方法。通过社交媒体大数据分类,并通过具有字典功能的Token将评论文本转换成数字列表。结合词嵌入技术得到向量列表,完成社交媒体大数据向量转换的预处理。将预处理获取的向量列表输入CNN网络,得到评论文本情感元最终局部特征值。将该值传至LSTM,通过遗忘门、输入门、输出门调节,获取评论文本情感元特征表征结果,经Softmax分类器分类后,实现情感元自动识别。实验结果表明,该方法能有效完成实验数据预处理,用文字和标签的形式标记正面、负面情感元,并准确识别情感元,间接反映社会问题,应用性较强。

一种多特征融合的加密流量快速分类方法

网络流量识别是网络管理和安全服务的基础.随着互联网的不断扩展及其复杂性的增加,传统基于规则的识别方法或流行为特征的方法正在面临着巨大挑战.受自然语言处理(Nature Language Processing, NLP)启发,本文提出了一种多特征融合的加密流量快速分类方法 .该方法通过融合数据包和字节序列特征来完成网络流的特征表示,采用双元字节编码将所选特征扩展为双字节序列,增加了字节的上下文语义特征;通过与数据包特征处理相适应的池化方法来最大限度保留数据包的特征信息,从而使所提模型具有更强的抗噪能力和更精确的分类能力.本文方法分别在ISCX-2016和一个包含66个热门应用程序的私有数据集(ETD66)上进行验证,并与其他模型展开比较.结果表明:本文所提方法在ISCX-2016及ETD66上的测试精度和性能都明显优于其他流量分类模型,分别取得了98.2%和98.6%的识别准确率,从而证明了所提方法的特征提取能力和强泛化能力.

利用Text-CNN改进PubMedBERT在化学诱导性疾病实体关系分类效果的尝试

【目的】改进PubMedBERT在化学诱导性疾病(CID)实体关系分类的效果。【方法】提出一种基于PubMedBERT并结合Text-CNN的实体关系分类方法。该方法以实体对和文本组成句子对进行输入,利用PubMedBERT预训练模型对化学诱导性疾病相关文本进行编码获取全局特征,通过Text-CNN捕捉文本局部重要信息,判断实体对是否具有CID关系。【结果】在BioCreative V CDR数据集中,该方法的精确率、召回率和F1值分别达到78.3%、73.5%和75.8%,较其他方法最少提升了3.1%、1.5%和3.3%。【局限】仅考虑了化学诱导性疾病文本语料,在临床等其他语料上的效果有待检验。【结论】该方法能够捕捉化学诱导性疾病文本特征,提升实体关系分类的效果。

基于A-BiLSTM和CNN的文本分类

为解决单一神经网络不能获取准确全局文本信息的问题,提出一种基于A-BiLSTM双通道和优化CNN的文本分类模型。A-BiLSTM双通道层使用注意力机制关注对文本分类贡献值较大的部分,并用BiLSTM提取文本中上下文语义信息;A-BiLSTM双通道层中将两者输出的特征信息融合,得到高级语义;A-BiLSTM双通道层后,使用优化CNN的强学习能力提取关键局部特征,得到最终文本特征表示。分类器输出文本信息的类别。实验结果表明,该模型分类效果优于其它对比模型,具有良好的泛化能力。

基于BERT和改进对抗训练的痛风病历分类方法

为解决痛风电子病历文本稀疏性高、数据集小导致的分类任务准确率低问题,提出一种基于BERT预训练模型和改进对抗训练的痛风病历文本分类算法。使用中文生物医学语言预训练模型MC-BERT初始化病历文本,下接Text-CNN网络捕捉文本中不同长度的关键词信息,在模型训练过程中采用改进的对抗训练策略,在词嵌入中添加对抗性扰动提高模型的泛化性。实验结果表明,该算法可以提高中文痛风病历文本分类任务的精度,增强模型的鲁棒性。

基于缺陷文本识别的变压器风险评估及辅助检修决策方法

针对传统变电设备检修业务过度依赖人工经验、设备缺陷处置效率过低等问题,提出了一种基于缺陷文本识别和知识图谱的变压器风险评估及辅助检修决策方法。该方法通过建立基于Bert-CNN的缺陷文本识别模型,完成现场运维人员所填缺陷记录的动态词向量提取及文本局部特征分析,自动评估设备缺陷严重程度及其风险等级。随后,基于行业标准、试验规程及专家经验,采用知识图谱构建了变压器运维检修策略库,实现了缺陷文本识别结果与检修策略库的知识融合与映射,完善了设备缺陷记录到运维检修决策的全过程智能化运检辅助功能。最后,结合算法对比及案例验证,该方法对缺陷严重程度、部件和风险等级的识别结果准确率达到91%以上,且可实现基于设备缺陷情况的差异化检修决策推送,有助于提升变压器运维检修业务的智能化和自动化水平。

基于改进分层注意网络和TextCNN联合建模的暴力犯罪分级算法

为了科学、智能地对服刑人员的暴力倾向分级,将自然语言处理(NLP)中的文本分类方法引入犯罪心理学领域,提出一种基于改进分层注意网络(HAN)与TextCNN(Text Convolutional Neural Network)两通道联合建模的犯罪语义卷积分层注意网络(CCHA-Net),通过分别挖掘犯罪事实与服刑人员基本情况的语义信息,完成暴力犯罪气质分级。首先,采用Focal Loss同时替代两通道中的Cross-Entropy函数,优化样本数量不均衡问题。其次,在两通道输入层中,同时引入位置编码,改进对位置信息的感知能力;改进HAN通道,采用最大池化构建显著向量。最后,输出层都采用全局平均池化替代全连接方法,以避免过拟合。实验结果表明,与AC-BiLSTM(Attention-based Bidirectional Long Short-Term Memory with Convolution layer)、支持向量机(SVM)等17种相关基线模型相比,CCHA-Net各项指标均最优,微平均F1(Micro_F1)为99.57%,宏平均和微平均下的曲线下面积(AUC)分别为99.45%和99.89%,相较于次优的AC-BiLSTM提高了4.08、5.59和0.74个百分点,验证了CCHA-Net能有效胜任暴力犯罪气质分级任务。

基于BERT-SELFATT-CNN模型的垃圾邮件分类方法

针对传统垃圾邮件分类方法中使用静态词向量不能解决一词多义、长序列信息特征提取不足等问题,提出了一种基于BERT-SELFATT-CNN模型的垃圾邮件分类方法。使用动态文本表示方法BERT对邮件内容进行预训练,并生成带有上下语义信息的词向量,经过能够并行计算的自注意力机制层计算词与词之间的相似度去挖掘句子长距离信息,将生成的隐藏层向量输入到CNN网络提取向量局部特征。在中文垃圾邮件数据集上与已有模型进行对比实验,结果表明该模型在精确度、召回率和F1值上均有提高,模型训练速度也得到提升。

多尺度特征与知识图谱融合的景区手写诗词识别

针对景区手写诗词存在背景纹理复杂、字体尺寸及风格多样等特点导致景区游客难以识别手写诗词的问题,首先,分析研究景区手写诗词的识别场景,设计景区诗词检测网络(detection of poetry in scenic areas-network,DPSA-Net)以提取景区手写诗词不同尺度的特征,并结合手写诗词字符间的链接依赖关系实现景区手写诗词检测;其次,设计了卷积循环聚合网络(convolution recurrent aggregation network,CRA-Net)以对景区手写诗词进行识别,结合卷积神经网络(convolutional neural networks,CNN)和双向长短期记忆网络提取手写诗词图像的序列特征,并通过聚合交叉熵(aggregation cross-entropy,ACE)实现特征向文本的转换;最后,结合景区知识图谱对CRA-Net的输出进行校正,进而提高景区手写诗词的识别准确率。实验结果表明,通过景区手写诗词矫正技术对CRA-Net的识别结果矫正后,识别准确率达到了79.04%,同时,该技术具有较好的抗干扰能力和良好的应用前景。

基于混合架构神经网络的攻击性言论识别与分类研究

为提高中文攻击性言论识别能力,文中设计了一种基于混合架构的神经网络模型。该模型首先采用BERT对输入的文本序列进行编码,得到文本中每个词语的动态词向量表示;然后应用BiLSTM进一步增强对文本语义的理解,并通过CNN来捕捉局部特定短语或词汇的关键语义特征。实验结果表明,相较于单一架构的神经网络模型,该模型能更好地应用于中文攻击性言论识别任务,具备更高的识别准确性。

基于深度残差网络和注意力机制的特殊车牌识别

为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,在保留图像全局特征的前提下,将多维特征化为特征序列;引入注意力机制对特征序列并行解码,加快模型推理速度,提升特殊车牌的识别精度。实验结果表明,与现有的文字识别模型CRNN、DAN、ASTER对比,在公开车牌数据集CCPD上取得了更高的准确率,验证了模型的有效性。

基于CNN-GRU的文本数据特征提取及其分类技术设计

针对当下中文文本分类中存在的文本特征提取不足、分类准确率低等缺点,提出一种基于E-TF-IDF(Expand-Term Frequency-Inverse Document Frequency,E-TF-IDF)的关键词提取模型和CNN-GRU(Convolutional Neural Networks-Gated Recurrent Unit,CNN-GRU)的文本分类模型。该模型能够根据关键词邻近词语的出现概率中进行拓展,以实现更好的关键词特征提取。CNN-GRU更适用于序列分类且其具有更少的参数,能够减小在小数据集下的过拟合风险。最终的实验结果显示,CNN-GRU的分类精度较高,平均可达97.88%。

融合汉字输入法的BERT与BLCG的长文本分类研究

现有的中文长文本分类模型中,没有考虑汉字读音、笔画等特征信息,因此不能充分表示中文语义;同时,长文本中常常包含大量与目标主题无关的信息,甚至部分文本与其他主题相关,导致模型误判。为此,提出了一种融合汉字输入法的BERT(BERT fused Chinese input methods,CIMBERT)、带有门控机制的长短期记忆卷积网络(BiLSTM fused CNN with gating mechanism,BLCG)相结合的文本分类方法。该方法使用BERT模型进行文本的向量表示,在BERT模型的输入向量中,采用了拼音和五笔两种常用的汉字输入法,增强了汉字的语义信息。建立了BLCG模型进行文本特征提取,该模型使用双向长短期记忆网络(BiLSTM)进行全局特征提取、卷积神经网络(CNN)进行局部特征提取,并通过门控机制(gating mechanism)动态融合全局特征和局部特征,解决了部分文本与目标主题无关导致模型误判的问题。在THUCNews数据集与Sogou语料库上对该方法进行了验证,其准确率为97.63%、95.43%,F1-score为97.68%、95.49%,优于其他文本分类模型。

一种文本-图像增强的多模态知识图谱嵌入方法

大多传统的知识表示学习方法只关注三元组中的结构化信息,无法很好地利用实体图像、关系路径、文本描述等附加信息来学习知识表示或只融合一种附加信息。因此,提出同时融合实体描述和图像的多模态知识图谱嵌入方法,通过文本、图像相互增强,可以提供更加全面的外部信息来弥补单个信息源的不完整性给知识表示学习带来的不足。首先进行实体描述和图像建模,得到实体的文本表示和图像表示,并把它们作为TransE中结构表示的补充,最后通过3种实体表示的联合训练实现知识图谱和文本、图像的统一空间表示,提高实体和关系预测的准确性。实验结果表明,该模型实体预测的命中率比不融合附加信息的方法提高了3.09%,比只融合实体描述的方法提高了0.97%,比只融合实体图像的方法提高了1.32%。

基于注意力机制和双通道神经网络的文本情感分析

深度学习网络对文本情感分析具有重要意义,通过神经网络可以深层次挖掘文本信息,捕获文本情感。针对单模型神经网络结构单一、无法充分提取文本特征的问题,首先提出一种融合注意力机制的双通道复合神经网络(Attention-DRNN),在嵌入层利用word2vec方法进行层嵌入,融入注意力机制对输入词向量进行动态加权。其次,采用双通道结构,利用Text-CNN提取文本局部特征、Bi-LSTM提取文本全局特征,并进行特征融合。然后,通过softmax分类器进行分类。最后,在两个标准数据集上进行测试,通过与LSTM、Bi-LSTM、RNN、Text-CNN单模型神经网络进行对比实验。实验表明Attention-DRNN网络在情感分类任务上具有较好的效果。

基于CNN-BiGRU的学术文本分类研究

针对传统的文本分类模型存在特征提取能力不足和分类准确率较低等问题,提出一种基于卷积神经网络和双向门控循环单元相结合(CNN-BiGRU)的文本分类方法。首先,以图书情报领域相关主题文本摘要为数据源,通过Word2vec进行文本向量化;其次,通过CNN获得输入文本信息的局部特征,并使用BiGRU保留文本中的顺序相关性;然后,选择softmax分类器输出分类结果;最后,与传统的机器学习分类方法和单一的深度神经网络模型分类方法进行对比实验。结果表明,在数据量大的情况下,文中提出的CNN-BiGRU分类模型具有更好的分类效果,其准确率、召回率和F1值均达到了95%以上,能够在一定程度上解决学术文本“信息过载”等问题。

基于神经网络的医疗文本分类研究

传统的医学文本数据分类方法忽略了文本的上下文关系,每个词之间相互独立,无法表示语义信息,文本描述和分类效果差;并且特征工程需要人工干预,因此泛化能力不强。针对医疗文本数据分类效率低和精度低的问题,提出了一种基于Transformer双向编码器表示BERT、卷积神经网络CNN和双向长短期记忆BiLSTM神经网络的医学文本分类模型CMNN。该模型使用BERT训练词向量,结合CNN和BiLSTM,捕捉局部潜在特征和上下文信息。最后,将CMNN模型与传统的深度学习模型TextCNN和TextRNN在准确率、精确率、召回率和F1值方面进行了比较。实验结果表明,CMNN模型在所有评价指标上整体优于其他模型,准确率提高了1.69%~5.91%。

基于BERT-CNN的新闻文本分类的知识蒸馏方法研究

近年来,随着大数据时代进入人类的生活之后,人们的生活中出现很多无法识别的文本、语义等其他数据,这些数据的量十分庞大,语义也错综复杂,这使得分类任务更加困难。如何让计算机对这些信息进行准确的分类,已成为当前研究的重要任务。在此过程中,中文新闻文本分类成为这个领域的一个分支,这对国家舆论的控制、用户日常行为了解、用户未来言行的预判都有着至关重要的作用。针对新闻文本分类模型参数量多和训练时间过长的不足,在最大限度保留模型性能的情况下压缩训练时间,力求二者折中,故提出基于BERT-CNN的知识蒸馏。根据模型压缩的技术特点,将BERT作为教师模型,CNN作为学生模型,先将BERT进行预训练后再让学生模型泛化教师模型的能力。实验结果表明,在模型性能损失约2.09%的情况下,模型参数量压缩约为原来的1/82,且时间缩短约为原来的1/670。