基于BERT-TextCNN模型的临床试验筛选短文本分类方法

目的:设计一种基于深度学习的BERT-TextCNN模型,用于临床试验筛选短文本的自动化识别与分类。方法:调研文本分类的常见算法,从中国健康信息处理会议开发的临床试验中筛选短文本分类数据集,比较分析BERT-TextCNN模型、BERT模型和TextCNN模型的性能差异。结果:BERT-TextCNN模型的文本分类平均F1值为82.39%,相较于单纯使用BERT模型和TextCNN模型进行文本分类的性能分别提升了1.81%和9.02%。结论:基于BERT-TextCNN模型的临床试验筛选短文本分类方法有效,为今后相关医学领域的研究和临床试验筛选短文文本自动化系统开发提供了一定的参考。

基于ELMo-TextCNN的网络欺凌检测模型

网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练的ELMo(embeddings from language models)生成动态词向量,不仅解决了网络欺凌样本规模小的问题,而且由于ELMo采用了双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络结构,会根据上下文推断每个词对应的词向量,能够根据语境理解多义词.该模型再通过擅长处理短文本数据的TextCNN(text convolutional neural network)提取文本特征,最后经过全连接层输出分类结果.实验结果证明,提出的ELMo-TextCNN检测方法能够处理一词多义,并获得更好的分类检测效果.

基于textCNN模型的Android恶意程序检测

针对当前Android恶意程序检测方法对未知应用程序检测能力不足的问题,提出了一种基于textCNN神经网络模型的Android恶意程序检测方法.该方法使用多种触发机制从不同层面上诱导激发程序潜在的恶意行为;针对不同层面上的函数调用,采用特定的hook技术对程序行为进行采集;针对采集到的行为日志,使用fastText算法来提取词向量;最后使用textCNN模型根据行为日志对Android程序进行检测与识别.实验结果表明,该方法对Android恶意程序检测的平均准确率达到了93.3%,验证了该方法对Android恶意程序检测具有较高的有效性与正确性.

基于TextCNN情感预测器的情感监督聊天机器人

聊天机器人是自然语言处理的热门研究领域之一。现有的生成式聊天机器人一般基于Sequence-to-Sequence模型实现,即使用循环神经网络将问题编码成高维语义向量,再将该向量解码成回复。但是由于解码只使用单一的语义向量,容易生成普适回复。针对上述问题,提出了基于TextCNN情感预测器的情感监督聊天机器人,利用TextCNN情感预测器,由问题直接获得回复的情感表示,在Sequence-to-Sequence模型中引入更准确的情感特征,并通过情感监督方法学习情感表达方式。实验表明该模型能有效地提高聊天机器人的回复质量。

基于TextCNN融合模型的离散情感分析

在自然语言分析中,情感分析通常是在分析一段文字所表现的情感状况。情感分析的使用场景非常宽泛,比如旅行平台、电影评论平台等所进行的评价,分为积极评论与消极评价;又或者为了研究客户对某一商品的总体使用感觉,对商品的整体使用评价并做出情感判断等。本文数据使用的是阿里云天池的电商评论的数据,分为积极消极两种情感,并将它改成6种情感,本文使用Jieba分词,决策树,lda主题模型,对文本进行挖掘,深入挖掘评论背后隐藏的问题。使用TextCNN,TextRCNN,TextRCNN-Attention模型对情感进行分类,并对模型进行对比。

运用TextCNN的零售平台商品分类

笔者采用基于卷积神经网络的TextCNN模型,利用多尺寸卷积核的卷积神经网络进行数据特征提取,并对其进行优化来提高零售商品分类准确率。通过爬取京东网站零售商品信息进行实验,并对比基于TF-IDF的传统机器学习模型和使用广泛的LSTM模型,证明了TextCNN模型在商品信息分类上的优势。

基于混合神经网络模型的民生监督文本分类方法

随着民生监督对信息化要求的逐渐提高,高效准确地识别民生监督文本可以帮助纪检监察部门及时搜集和跟踪事件并进行处理。针对民生监督文本分类困难的问题,提出了基于Mengzi模型融合BiLSTM、注意力机制和TextCNN的混合神经网络模型MBC,以提高民生监督文本分类的准确率。该模型首先使用预训练模型Mengzi得到富含丰富语义信息的词向量,后接并行的BiLSTM结合注意力机制网络和TextCNN网络,分别提取文本全局和局部特征,最后将全局与局部特征进行融合,实现对民生监督文本的准确分类。实验结果表明,MBC模型在准确率、召回率和F1值均达到了89%以上,优于传统的文本分类模型,为民生监督文本分类问题提供了新的研究思路。

融合自注意力机制的垃圾弹幕识别方法研究

网络直播的兴起,带来了各种类型的垃圾弹幕。传统的垃圾弹幕识别方法识别率低,无法满足目前直播平台垃圾弹幕识别需求。本文分析了垃圾弹幕文本特点,引入自注意力机制,结合ERNIE和TextCNN模型,设计了一种提高垃圾弹幕识别率的算法。通过对比实验,证明了此种方法的合理性和可行性,为今后相关领域的研究提供了一定的参考。

基于BERT的多模型融合的Web攻击检测方法

传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。

基于BERT模型的中文短文本分类算法

针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。

融合局部语义特征的学者细粒度信息提取方法

从学者主页中提取的学者细粒度信息(如学者研究方向、教育经历等)在大规模专业人才库的创建等方面具有非常重要的应用价值。针对现有学者细粒度信息提取方法无法有效利用上下文语义联系的问题,提出一种融合局部语义特征的学者信息提取方法,利用局部范围文本的语义联系对学者主页进行细粒度信息抽取。首先,通过全词掩码中文预训练模型RoBERTa-wwm-ext学习通用语义表征;之后将通用语义表征中的目标句表征向量与局部相邻文本表征向量共同输入卷积神经网络(CNN)实现局部语义融合,从而获得更高维度的目标句表征向量;最终将目标句表征向量从高维度空间映射到低维度标签空间实现学者主页细粒度信息的抽取。实验结果表明,使用此融合局部语义特征的方法进行学者细粒度信息提取的宏平均F1值达到93.43%,与未融合局部语义的RoBERTa-wwm-ext-TextCNN方法相比提高了8.60个百分点,验证了所提方法在学者细粒度信息提取任务上的有效性。

基于自然语言学习的智能云导诊技术

分析了目前导诊系统存在的主要问题,根据目前学术界研究的智能导诊系统现状,创造性地提出了基于海量患者病情自述,利用多种机器学习算法,形成了病情自述自学习体系,实现了针对病人自述的智能导诊。该平台利用网络爬虫技术获取了国际国内主流医疗机构科室设置以及海量的病人病情描述,形成了基于国际标准的病理知识库及病情自述知识库,为后续的智能文本识别奠定了基础。同时在算法上进行了创新,构建了注意力(attention)与文本积卷(TextCNN)组合模型,提升了导诊的准确性。

基于RoBERTa-WWM的大学生论坛情感分析模型

大学生论坛语句具有篇幅短、口语化、多流行用语等特点,传统的情感分析模型难以对其进行精准的语义特征表示,并且未充分关注语句的局部特征与上下文语境。提出一种基于RoBERTa-WWM的大学生情感分析模型。通过RoBERTa-WWM模型将论坛文本语句转化为语义特征表示,并将其输入到文本卷积神经网络中,以提取语句的局部语义特征,同时利用双向门控循环单元网络对局部语义特征进行双向处理,获得全面的上下文语义信息。在此基础上,通过Softmax分类器计算语句在情感标签中的概率向量,选择最大值表示的情感标签作为最终输出的情感标签。实验结果表明,相比RoBERTa-WWM、EK-INIT-CNN、BERT等模型,该模型在大学生论坛与NLPCC2014数据集上具有较优的分类性能,并且在大学生论坛数据集上宏平均精准率、宏平均召回率、宏平均F1值和微平均F1值分别为89.43%、90.43%、90.12%和92.48%。

计算机辅助翻译的译中效率提升方法研究

信息时代的飞速发展,国际交流与日俱增。这种趋势对语言翻译工作的效率、质量提出了更高要求。因此,传统的翻译模式无法满足越来越高的翻译需求。计算机辅助翻译作为当前时代技术发展的产物,对于翻译效率和质量的提升具有重要意义。虽然计算机辅助翻译已取得了突破性进展,但仍存在语料数据库不足、翻译质量有待提升等缺点。文章提出一种计算机辅助翻译的译中效率提升方法,基于4种在线翻译软件,借助神经网络模型TextCNN自动推荐较优译文再进行译后编辑。这种方法在减少人工翻译工作量、提高工作效率方面具有一定优势。

一种情感可控的古诗自动生成模型

古诗是中华民族重要的非物质文化遗产,使用计算机实现古诗的自动生成已成为一个热门的研究课题,但现有的古诗生成方法在生成诗句与主题的关联性上表现不佳且无法控制情感的表达。为解决这些问题,文中基于序列到序列(Seq2Seq)模型,提出一种通过关键字和情感分类词共同控制绝句诗生成的方法。具体实现过程分为两个阶段:首先使用TextCNN和TextRank算法分别对收集的古诗进行情感分类和关键字提取,自行构建实验数据集;其次针对古诗主题与情感表达不准确的问题,引入带注意力机制的Seq2Seq模型,在模型的编码端和译码端使用门控神经单元(GRU),通过4个关键字和情感分类词控制最终绝句诗的生成,并在生成阶段使用集束搜索代替传统的贪心搜索来增加生成古诗的多样性。对比实验结果表明,所提方法生成绝句诗的效果在自动评价和人工评价上均优于基准模型,对于内容与情感的表达更加准确和有效。

基于ALBERT-TextCNN模型的多标签医疗文本分类方法

针对现有Word2Vec和Glove等静态词向量表征方法无法解决文本完整语义的问题,结合ALBERT预训练语言模型和TextCNN卷积神经网络,提出一种用于多标签医疗文本分类的深层神经网络模型ALBERT-TextCNN。该模型采用ALBERT预训练语言模型进行动态字向量表示,通过其内部多层双向的Transfomer结构获取更高效的文本向量表达,并引入TextCNN卷积神经网络模型构造多标签分类器进行训练,提取不同抽象层次的语义信息特征。在中文健康问句数据集上进行算法性能测试,实验结果表明,该模型分类的整体F1值达到了90.5%,能有效提升医疗文本的多标签分类效果。