现有的基于深度学习模型的词嵌入方法用于Web异常检测时,通常将语料库中没有出现的未知词汇(Out of Vocabulary,OOV)设置为unknown,并赋予零或随机向量输入到模型中进行训练,未考虑未知词汇在Web请求语句中的上下文关系。同时,在Web系...现有的基于深度学习模型的词嵌入方法用于Web异常检测时,通常将语料库中没有出现的未知词汇(Out of Vocabulary,OOV)设置为unknown,并赋予零或随机向量输入到模型中进行训练,未考虑未知词汇在Web请求语句中的上下文关系。同时,在Web系统代码开发过程中,基于个人习惯并为了增加代码的可读性,程序员设计的请求路径代码往往存在一定的模式。因此,考虑到Web请求的模式和单词语义间的相关性,研究基于Word2vec的动态未知词表示方法DUWe(Dynamic Unknown Word Embedding),该方法通过分析Web请求路径中单词上下文的关系来赋予未知词向量的表示内容。在CSIC-2010和WAF Dataset数据集上的实验评估表明,增加未知词表示方法比仅用Word2vec静态特征提取方法具有更好的性能,同时在准确性、精准率、召回率和F1-Score方面均有提高,在训练时间上最大降低1.14倍。展开更多
通过基于预训练转换器(Transformer)双向编码器表征的文本卷积神经网络(text convolutional neural network model based on pre-training bidirectional encoder representations from transformer,BERT-TextCNN)模型实现汽车网站评论...通过基于预训练转换器(Transformer)双向编码器表征的文本卷积神经网络(text convolutional neural network model based on pre-training bidirectional encoder representations from transformer,BERT-TextCNN)模型实现汽车网站评论的情感分析,其目的在于研究用户对汽车产品和汽车服务的情感态度。首先采用基于Transformer的双向编码器表征(bidirectional encoder representations from transformer,BERT)模型能有效解决汽车评论中存在的一词多义问题,并产生包含丰富信息的动态词向量,然后结合文本卷积神经网络(text convolutional neural network,TextCNN)模型中的卷积运算和池化运算提取关键特征,最后通过softmax函数计算评论文本情感的概率分布。试验结果表明,BERT-TextCNN模型在情感分类中相比几种常见的神经网络模型的精度、召回率和F1值均有所提升。展开更多
文摘现有的基于深度学习模型的词嵌入方法用于Web异常检测时,通常将语料库中没有出现的未知词汇(Out of Vocabulary,OOV)设置为unknown,并赋予零或随机向量输入到模型中进行训练,未考虑未知词汇在Web请求语句中的上下文关系。同时,在Web系统代码开发过程中,基于个人习惯并为了增加代码的可读性,程序员设计的请求路径代码往往存在一定的模式。因此,考虑到Web请求的模式和单词语义间的相关性,研究基于Word2vec的动态未知词表示方法DUWe(Dynamic Unknown Word Embedding),该方法通过分析Web请求路径中单词上下文的关系来赋予未知词向量的表示内容。在CSIC-2010和WAF Dataset数据集上的实验评估表明,增加未知词表示方法比仅用Word2vec静态特征提取方法具有更好的性能,同时在准确性、精准率、召回率和F1-Score方面均有提高,在训练时间上最大降低1.14倍。
文摘通过基于预训练转换器(Transformer)双向编码器表征的文本卷积神经网络(text convolutional neural network model based on pre-training bidirectional encoder representations from transformer,BERT-TextCNN)模型实现汽车网站评论的情感分析,其目的在于研究用户对汽车产品和汽车服务的情感态度。首先采用基于Transformer的双向编码器表征(bidirectional encoder representations from transformer,BERT)模型能有效解决汽车评论中存在的一词多义问题,并产生包含丰富信息的动态词向量,然后结合文本卷积神经网络(text convolutional neural network,TextCNN)模型中的卷积运算和池化运算提取关键特征,最后通过softmax函数计算评论文本情感的概率分布。试验结果表明,BERT-TextCNN模型在情感分类中相比几种常见的神经网络模型的精度、召回率和F1值均有所提升。
