目的 基于深度学习的端到端场景文本识别任务已经取得了很大的进展。然而受限于多尺度、任意形状以及背景干扰等问题,大多数端到端文本识别器依然会面临掩码提议不完整的问题,进而影响模型的文本识别结果。为了提高掩码预测的准确率,提...目的 基于深度学习的端到端场景文本识别任务已经取得了很大的进展。然而受限于多尺度、任意形状以及背景干扰等问题,大多数端到端文本识别器依然会面临掩码提议不完整的问题,进而影响模型的文本识别结果。为了提高掩码预测的准确率,提出了一种基于软注意力的掩码嵌入模块(soft attention mask embedding,SAME),方法 利用Transformer更好的全局感受野,将高层特征进行编码并计算软注意力,然后将编码特征与预测掩码层级嵌入,生成更贴近文本边界的掩码来抑制背景噪声。基于SAME强大的文本掩码优化及细粒度文本特征提取能力,进一步提出了一个健壮的文本识别框架SAME-Net,开展无需字符级注释的端到端精准文本识别。具体来说,由于软注意力是可微的,所提出的SAME-Net可以将识别损失传播回检测分支,以通过学习注意力的权重来指导文本检测,使检测分支可以由检测和识别目标联合优化。结果 在多个文本识别公开数据集上的实验表明了所提方法的有效性。其中,SAME-Net在任意形状文本数据集Total-Text上实现了84.02%的H-mean,相比于2022年的GLASS(global to local attention for scene-text spotting),在不增加额外训练数据的情况下,全词典的识别准确率提升1.02%。所提方法在多向数据集ICDAR 2015(International Conference on Document Analysis and Recognition)也获得了与同期工作相当的性能,取得83.4%的强词典识别结果。结论 提出了一种基于SAME的端到端文本识别方法。该方法利用Transformer的全局感受野生成靠近文本边界的掩码来抑制背景噪声,提出的SAME模块可以将识别损失反向传输到检测模块,并且不需要额外的文本校正模块。通过检测和识别模块的联合优化,可以在没有字符级标注的情况下实现出色的文本定位性能。展开更多
问句语义匹配旨在判定给定的两个语句的语义信息是否匹配,在信息检索、自动问答、机器翻译等领域应用广泛,是自然语言处理研究的一个关键问题。现有基于机器学习或深度学习的问句语义匹配任务大多采用对整个句子构建语义信息表示,而忽...问句语义匹配旨在判定给定的两个语句的语义信息是否匹配,在信息检索、自动问答、机器翻译等领域应用广泛,是自然语言处理研究的一个关键问题。现有基于机器学习或深度学习的问句语义匹配任务大多采用对整个句子构建语义信息表示,而忽视了语句各组成部分所蕴含的具体细节信息。提出一种基于可分解注意力机制的语义匹配模型(Decomposable Attention based Semantic Matching,DASM),该模型首先使用软注意力机制将整个序列问句分解为可以独立解决的子问句,使得子问句间权重计算可以并行;然后结合注意力机制充分捕获问句中潜在的语义信息,从而提高问句匹配任务的性能。实验结果表明,本文方法提高了问句语义匹配的准确性和模型性能。展开更多
针对目前网络异常流量识别准确率不高、基础深度学习模型特征提取能力不足以及循环神经网络训练效率低等问题,提出了基于卷积神经网络(Convolutional Neural Network,CNN)-双向内置注意力简单循环单元(Bidirectional Built in Attention...针对目前网络异常流量识别准确率不高、基础深度学习模型特征提取能力不足以及循环神经网络训练效率低等问题,提出了基于卷积神经网络(Convolutional Neural Network,CNN)-双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)-AT的网络异常流量检测模型。采用深层一维卷积模块提取流量局部特征表示,对高维度流量特征进行降维且学习到显著分类特征,增强模型的特征表示能力;同时构建内置自注意力简单循环单元(Built in self Attention Simple Recurrent Unit,BASRU)以同时捕捉流量中长距离的时序特征信息和内部特征之间的相互依赖关系,进一步挖掘流量特征内的高维结构信息。软注意力机制识别出对分类结果影响较大的重点特征,赋予关键特征更高权重,避免无关信息对分类结果造成干扰,最后由线性层输出分类概率分布,经Softmax函数归一化后取最大值对应标签作为流量识别结果。在多分类网络异常流量公开标准数据集UNSW-NB15上的实验结果表明,该模型取得了92.81%的F1值,高于实验对比的其他先进深度学习模型的结果,内置自注意力简单循环单元特征捕捉能力和训练效率优于其他传统循环神经网络的结果,证明了模型的可行性和有效性。展开更多
为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取...为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取评论文本特征向量,解决静态词向量无法表示多义词的问题;多层次特征协同网络结合双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)和多层次卷积神经网络(Multilevel Convolutional Neural Network,MCNN)模块,全面捕捉局部和上下文语义特征;软注意力用来衡量分类特征贡献的大小,赋予关键特征更高权重。基于网易云评论文本数据集进行实验,结果表明,MacBERTMFCN模型F1值高达95.56%,能有效地提升文本情感分类准确率。展开更多
针对基础深度学习模型特征提取能力不足,循环网络训练效率低等问题,将高校社交网络平台评论文本数据作为研究对象,提出了基于多尺度语义协同网络的高校网络舆论情感分类模型。预训练模型ALBERT(A Lite BERT)通过结合当前词的具体上下文...针对基础深度学习模型特征提取能力不足,循环网络训练效率低等问题,将高校社交网络平台评论文本数据作为研究对象,提出了基于多尺度语义协同网络的高校网络舆论情感分类模型。预训练模型ALBERT(A Lite BERT)通过结合当前词的具体上下文动态调整向量表示,提升词向量语义表征质量。多尺度语义协同网络捕捉评论文本不同尺度下的多通道融合情感特征,软注意力机制计算每个特征对情感分类结果的影响权重大小,加权求和后得到情感分类特征表示,线性层输出分布概率并得到具体情感倾向。在真实高校图书馆社交网络平台用户评论数据集进行实验,结果表明该模型F1分数达到了97.46%,优于近期表现优秀的实验对比模型,且通过消融实验证明了各个功能模块的有效性。展开更多
文摘目的 基于深度学习的端到端场景文本识别任务已经取得了很大的进展。然而受限于多尺度、任意形状以及背景干扰等问题,大多数端到端文本识别器依然会面临掩码提议不完整的问题,进而影响模型的文本识别结果。为了提高掩码预测的准确率,提出了一种基于软注意力的掩码嵌入模块(soft attention mask embedding,SAME),方法 利用Transformer更好的全局感受野,将高层特征进行编码并计算软注意力,然后将编码特征与预测掩码层级嵌入,生成更贴近文本边界的掩码来抑制背景噪声。基于SAME强大的文本掩码优化及细粒度文本特征提取能力,进一步提出了一个健壮的文本识别框架SAME-Net,开展无需字符级注释的端到端精准文本识别。具体来说,由于软注意力是可微的,所提出的SAME-Net可以将识别损失传播回检测分支,以通过学习注意力的权重来指导文本检测,使检测分支可以由检测和识别目标联合优化。结果 在多个文本识别公开数据集上的实验表明了所提方法的有效性。其中,SAME-Net在任意形状文本数据集Total-Text上实现了84.02%的H-mean,相比于2022年的GLASS(global to local attention for scene-text spotting),在不增加额外训练数据的情况下,全词典的识别准确率提升1.02%。所提方法在多向数据集ICDAR 2015(International Conference on Document Analysis and Recognition)也获得了与同期工作相当的性能,取得83.4%的强词典识别结果。结论 提出了一种基于SAME的端到端文本识别方法。该方法利用Transformer的全局感受野生成靠近文本边界的掩码来抑制背景噪声,提出的SAME模块可以将识别损失反向传输到检测模块,并且不需要额外的文本校正模块。通过检测和识别模块的联合优化,可以在没有字符级标注的情况下实现出色的文本定位性能。
文摘问句语义匹配旨在判定给定的两个语句的语义信息是否匹配,在信息检索、自动问答、机器翻译等领域应用广泛,是自然语言处理研究的一个关键问题。现有基于机器学习或深度学习的问句语义匹配任务大多采用对整个句子构建语义信息表示,而忽视了语句各组成部分所蕴含的具体细节信息。提出一种基于可分解注意力机制的语义匹配模型(Decomposable Attention based Semantic Matching,DASM),该模型首先使用软注意力机制将整个序列问句分解为可以独立解决的子问句,使得子问句间权重计算可以并行;然后结合注意力机制充分捕获问句中潜在的语义信息,从而提高问句匹配任务的性能。实验结果表明,本文方法提高了问句语义匹配的准确性和模型性能。
文摘针对目前网络异常流量识别准确率不高、基础深度学习模型特征提取能力不足以及循环神经网络训练效率低等问题,提出了基于卷积神经网络(Convolutional Neural Network,CNN)-双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)-AT的网络异常流量检测模型。采用深层一维卷积模块提取流量局部特征表示,对高维度流量特征进行降维且学习到显著分类特征,增强模型的特征表示能力;同时构建内置自注意力简单循环单元(Built in self Attention Simple Recurrent Unit,BASRU)以同时捕捉流量中长距离的时序特征信息和内部特征之间的相互依赖关系,进一步挖掘流量特征内的高维结构信息。软注意力机制识别出对分类结果影响较大的重点特征,赋予关键特征更高权重,避免无关信息对分类结果造成干扰,最后由线性层输出分类概率分布,经Softmax函数归一化后取最大值对应标签作为流量识别结果。在多分类网络异常流量公开标准数据集UNSW-NB15上的实验结果表明,该模型取得了92.81%的F1值,高于实验对比的其他先进深度学习模型的结果,内置自注意力简单循环单元特征捕捉能力和训练效率优于其他传统循环神经网络的结果,证明了模型的可行性和有效性。
文摘为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取评论文本特征向量,解决静态词向量无法表示多义词的问题;多层次特征协同网络结合双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)和多层次卷积神经网络(Multilevel Convolutional Neural Network,MCNN)模块,全面捕捉局部和上下文语义特征;软注意力用来衡量分类特征贡献的大小,赋予关键特征更高权重。基于网易云评论文本数据集进行实验,结果表明,MacBERTMFCN模型F1值高达95.56%,能有效地提升文本情感分类准确率。
文摘针对基础深度学习模型特征提取能力不足,循环网络训练效率低等问题,将高校社交网络平台评论文本数据作为研究对象,提出了基于多尺度语义协同网络的高校网络舆论情感分类模型。预训练模型ALBERT(A Lite BERT)通过结合当前词的具体上下文动态调整向量表示,提升词向量语义表征质量。多尺度语义协同网络捕捉评论文本不同尺度下的多通道融合情感特征,软注意力机制计算每个特征对情感分类结果的影响权重大小,加权求和后得到情感分类特征表示,线性层输出分布概率并得到具体情感倾向。在真实高校图书馆社交网络平台用户评论数据集进行实验,结果表明该模型F1分数达到了97.46%,优于近期表现优秀的实验对比模型,且通过消融实验证明了各个功能模块的有效性。
