基于Word2Vec与LSTM病历文本分类研究

医疗系统的不断完善,产生了大量的医疗电子病历文本数据,其中含有数量可观的有借鉴性的医疗文本信息,而在对电子病历文本挖掘和利用方面,一直存在有效信息分类难度大、利用率低等问题。为了解决以上问题,设计一种基于Word2Vec与长短期记忆神经网络(LSTM)的文本分类模型,使用Word2Vec模型计算文本向量作为LSTM的输入,构建两组对照模型,分别是基于支持向量机(SVM)的文本分类算法以及基于卷积神经网络(CNN)的文本分类算法,实验结果显示该方法在分类效果上优于其它对照模型,具有一定的实用价值。

基于Word2vec和改进型TF-IDF的卷积神经网络文本分类模型

针对传统机器学习文本分类算法语义特征表达弱、文本表示维度高、词序丢失、矩阵稀疏等问题,提出基于Word2vec、改进型TF-IDF和卷积神经网络三者相结合的文本分类模型(CTMWT):首先通过Word2vec模型训练得出样本中所有的词向量;然后提出基于类频方差改进型TF-IDF算法,分析每个词向量在文本中的权重,构建基于词向量和权重的文本向量表示;最后借助卷积神经网络从局部到全局相关性特征的学习能力,对该大量文本向量进行深度学习.试验结果表明三者结合的文本分类模型不仅能实现文本的准确分类,并且相比传统的机器学习文本分类算法具有更好的分类效果.

数据资产信息披露对制造企业债务融资成本的影响研究——基于年报“管理层讨论与分析”文本

以2010-2022年中国A股上市2702家制造企业为样本,运用Word2Vec神经网络模型构建文本词典获取数据资产信息披露指标,探究数据资产信息披露与制造企业债务融资成本的关系。研究发现,数据资产信息披露程度越高,制造企业债务融资成本越低;进一步研究发现,数据资产信息披露能通过提高分析师盈余预测准确率和降低债务违约风险两条路径降低制造企业债务融资成本,并且数据资产信息披露在非国有制造企业和治理水平较高的制造企业中促进作用更加显著。因此,应持续完善上市公司数据资产信息披露准则,缓解企业与债权人之间的信息不对称,进而优化企业的金融资源配置能力。

基于Word2vec与BP神经网络的病历症状自动分类研究

分别运用Word2vec和BP神经网络算法以及两者混合对300份长病历数据进行症状信息的分类抽取,旨在解决医学病历症状信息自动分类问题,结果表明采用两种方法混合处理能够得到更好的效果。

基于字词向量的BiLSTM-CRF水利工程巡检文本实体识别模型

命名实体识别是构建水利知识图谱的核心技术。水利工程巡检文本是水利工程最为常见的数据类型,以文本形式记录,没有固定格式与结构,但其包含水利工程安全潜在风险信息,具有价值密度高的特点。针对水利工程巡检文本命名实体识别问题,提出字词向量融合的BiLSTM-CRF模型,首先将巡检文本分别在字维度和词维度进行向量化处理,合并字词向量获取字词向量特征;然后利用BiLSTM神经网络获取序列化后的上下文特征;最后通过CRF进行解码并提取相应实体。以南水北调中线工程巡检文本为例,实验结果表明:字词向量结合之后的方法能有效提高识别性能,对实体边界的识别效果更优,模型准确率、召回率和F1值分别可以达到93.79%、93.06%、93.42%;时间效率较BERT-BiLSTM-CRF模型的时间效率提高82.86%。基于字词向量的BiLSTM-CRF模型可为水利工程知识图谱的快速构建提供技术支撑。

基于Word2Vec与深度神经网络的协同推荐模型

针对目前推荐系统广泛存在的数据稀疏性、预测评分不准确和神经网络模型复杂度较高等问题,提出深度神经网络模型ProfileDNN.模型借鉴自然语言处理中的Word2Vec表征学习方法预训练物品的嵌入向量,并利用物品的嵌入向量构建物品和用户画像,最后基于深度神经网络模型学习用户对物品的预测评分.基于3个公共数据集的对比实验表明,相比同类模型,ProfileDNN模型的复杂度更低,且推荐准确率最高提升达1.1%.

基于Word2Vec的疫情虚假信息检测方法

在面临突发大型公共事件时虚假信息的广泛传播将具有极大的破坏性。虚假信息的传播将严重干扰疫情的救治工作,针对以往传统分类模型存在特征稀疏,准确率不高等问题。提出了一种基于Word2Vec的疫情虚假信息检测方法。该方法使用Word2Vec模型训练词向量,解决了传统向量空间模型的特征稀疏问题,再引入TFIDF对词向量进行加权,最终将处理过后的数据输入到SVM模型。通过在国内新闻平台爬取的数据集上的实验验证,该方法较之传统方法,对虚假信息的检测在准确率上有4%以上的提升。

基于Word2Vec的神经网络协同推荐模型

在信息推荐系统中,传统的方法是通过对内容、行为去预测用户的兴趣点来实现信息推送。国内外研究实验结果表明,这种模型推荐性能较为显著,说明用户行为和内容是相关的。根据相关性的对称原理,文章提出了基于用户行为的Word2Vec协同推荐算法,通过神经网络模型来隐式地抽取商品和用户的相互关系并进行向量化表示,能够更好地计算商品和用户间的相似性,以达到提升模型的推荐效果和泛化能力。

word2vec基础上的配电网恶意控制指令检测

提出了一种根据上下文数据关系建立的word2vec算法。针对大量访问数据来建立白名单模型,通过对配电网上下文测量信息和控制信息的挖掘和数据驱动实现恶意控制指令的快速检测,获得白名单模型中的不符合项作为异常。利用孤立森林算法建立上下文关系的孤立树,从而实现对各测试样本的分类和训练,采用CBOW神经网络模型将中心词汇后验概率作为输出层,获得不同样本集下的监测精确度和准确率。最后在建立的配电网仿真平台上对word2vec进行了数据挖掘和计算,验证了算法具有高准确率和低误警率。

大数据下基于神经网络的文本情感倾向性分析

随着社交平台的广泛应用,聊天文本数量增长迅速。要对如此庞大的群体进行分析,现有的系统和技术无法进行准确的计算和设计。平台现有的算法存在很多不合理的地方,相应的数据分析体系不完善,不能给用户带来最舒适的体验。这已成为当前社交平台面临的一个主要问题。针对上述问题,本文对基于微博大数据的文本情感倾向性分析构建算法模型,并进行科学的数据分析和高维研究。本文比较了支持向量机(SVM)、RNN和CNN。研究结果表明,支持向量机(SVM)具有时间效率,生成的关联规则数与RNN和CNN算法相同。数据量越大,RNN和CNN的时间效率就越高。当数据量为10万时,利用本文的数据模型得到的准确率高达92.78%,这为社交平台的文本情感倾向性分析提供了依据。

基于数字孪生和智能感知的虚拟分流技术研究

针对智能分诊技术难以处理海量数据且存在主观性较强的问题,文中基于数字孪生技术理论和智能感知算法提出了一种虚拟的医疗机构分诊模型。该模型由文本分类算法及图像分类算法组成,其中文本分类算法将Word2Vec与VSM算法相结合,大幅提升了生成文本词向量的效率和质量,同时还具有消歧作用。而图像分类算法采用CNN及RBM算法来进行特征提取和分类,且为了减小算法的依赖性,通过注意力机制输出诊断结果,并利用Softmax层对数据加以融合。实验结果表明,所提算法可以有效、准确地输出诊断结果,相较于对比算法,其文本分类准确率平均提升了约3.5%,图像分类的F1值则平均提升约3%,说明该算法具有良好的性能及应用价值。

基于卷积神经网络的铁路故障持续时间预测方法研究

随着铁路网络复杂程度的不断提高,铁路运营部门调度难度日益增加,亟须研究精准预测铁路故障持续时间的方法,从而提高铁路调度系统应对各类风险和事故的能力。文章基于“安监报1”的文本数据,结合Jieba分词、Word2vec词向量模型等自然语言处理技术,构建了一种基于卷积神经网络(CNN,Convolutional Neural Network)的铁路故障持续时间预测模型,并基于中国铁路沈阳局集团有限公司的实际生成数据进行试验。试验结果表明,本预测模型能够较为快速、准确地获取铁路故障持续时间及其概率分布,为列车的运行调整提供参考。

基于卷积神经网络的跨站脚本攻击检测模型

研究一种高效、准确的跨站攻击检测模型在信息安全领域中具有重要的意义。然而,传统的跨站攻击检测方法不仅需要花费大量的时间来提取这些攻击特征,还要结合一定的主观经验才能取得好的效果。为了提高XSS攻击的检测效率与准确率,论文提出一种基于一维卷积神经网络模型的XSS攻击检测方法。首先,根据XSS攻击样本的特点,对样本进行HTML与URL的解码与范化、分词以及向量化处理,然后将处理后的词向量输入到论文所设计的一维卷积神经网络模型中。通过多次实验选择模型合适的超参数,并与传统的检测模型进行对比实验。实验结果表明,论文提出的一维卷积神经网络模型以较少的检测时间达到了高达99.37%的准确率,与其它相关模型相比,此模型具有较好的性能与检测能力,对以XSS攻击为主的安全入侵检测与漏洞分析具有重要的意义。

基于CNN和多注意力机制的XSS检测模型

为了解决普通深度学习模型存在的难以区分信息重要性差异,以及单一注意力机制存在的关注维度单一的问题,文中提出了一种基于卷积神经网络和多注意力机制的模型对XSS攻击进行检测。首先,将经过word2vec转换后的数据输入到卷积神经网络提取局部特征;然后,使用自注意力模块学习数据的长距离依赖关系,并加强模型对序列维度上重要特征的关注;接着,经过通道注意力模块从通道维度对不同的通道特征图加权;之后,将经注意力模块处理过的特征输入到池化层进行下采样处理,并使用Dropout层提高模型的泛化能力;最后,利用提取到的特征对样本进行分类。使用测试数据集对文中提出的模型进行实验,结果显示,该模型对XSS攻击的检测效果良好,准确率与F1值相比其他深度学习模型有一定程度提升。

基于多卷积核字词特征的中文短文本分类方法

中文短文本存在字数少、歧义多以及信息不规范等特点,导致其文本特征信息难以提取与表达。目前大多数文本分类方法采用单卷积核的卷积神经网络来提取文本局部特征,这通常会由于网络参数随机初始化不一致而导致模型分类效果不佳。为此,提出了一种基于多卷积核字词特征的短文本分类模型(Multi-CNNFusionofCharactersandWords,MCFCW)。首先采用预训练ERNIE、Word2vec模型丰富文本字词嵌入表示;然后分别采用多卷积核TextCNN、DPCNN充分提取不同角度的文本语义信息,同时有效降低网络参数随机初始化的影响;最后拼接两个通道提取到的字词高层特征向量作为最终的文本分类特征。在THUCNews新闻标题数据集上进行了模型评估。结果表明,模型在精准率、召回率和F1值3种评价指标上均优于目前的主流模型,具有较好的短文本分类效果。

融合知识库和深度学习的电网监控告警事件智能识别

电网监控告警信息是监控人员进行监控事件识别的重要数据基础。针对当前人为处理海量监控告警信息效率低的现状和电网智能技术深化应用的需求,提出一种融合知识库和深度学习的电网监控告警事件自主识别方法。基于自然语言处理技术中的Word2vec模型对监控告警信息进行向量化建模,基于卷积神经网络建立监控告警事件识别模型,通过算例对比验证所建模型的有效性和实用性。提出融合知识库与所建模型的应用方法,实现电网监控告警事件的智能感知和可靠识别。

改进卷积神经网络的文本主题识别算法研究

针对于传统方法中存在的文本特征表示能力差、模型主题识别准确率低等问题,提出一种融合SENet与卷积神经网络的文本主题识别方法。将每个词对应的Word2vec词向量与LDA主题向量进行融合,并依据词语对主题的贡献度完成文档加权向量化处理;构建SECNN主题识别模型,使用SENet对卷积层输出的特征图进行权值的重标定,依靠其提升重要特征并抑制无用特征的性能,高效地进行主题识别;使用FDA评估样本的类别表征能力,提出FDA-SGD算法对模型参数进行调优,完成文本主题识别任务。使用新闻文本数据集验证改进算法的有效性,通过与传统模型对比表明,改进算法可以有效提高模型的收敛速度,具有较好的主题识别能力。

基于MCNN的铁路信号设备故障短文本分类方法研究

铁路运营维护中产生了大量非结构化的文本数据,针对这些文本信息,提出一种基于Word2Vec+MCNN的文本挖掘分类方法。首先采用Word2Vec训练故障词向量;其次丰富词向量矩阵信息,使网络模型从多方位的特征表示中学习输入句子的故障信息;最后使用多池化卷积神经网络模型作为故障分类的方法,得到更多全面的隐藏信息。通过与传统分类器以及其他类型的多池化卷积神经网络模型实验对比,得出本文的模型可以更好地达到分类效果,具有较高的分类准确率。

煤矿安全隐患信息自动分类方法

人工分类方式难以满足海量煤矿安全隐患信息的分类要求,而基于概率统计的文本自动分类方法分类准确率较低。针对上述问题,提出了一种基于Word2vec和卷积神经网络的煤矿安全隐患信息自动分类方法。首先对隐患信息进行分词、去停用词等预处理,然后应用Word2vec来表征词之间的语义相似性关系,最后利用卷积神经网络提取隐患信息的局部上下文高层特征,并使用Softmax分类器实现隐患信息的自动分类。实验结果表明,该方法实现了端到端的自动分类,可有效提升分类的准确性和全面性。

一种基于字向量和LSTM的句子相似度计算方法

句子相似度度量在自然语言处理领域中有着广泛的应用。针对现有的句子相似度计算方法不能充分捕捉句子的语义结构特征信息的问题,提出一种基于字向量和LSTM (long-short term memory,长短期记忆)网络的句子相度计算方法。首先,通过Word2Vec模型对中文维基百科语料进行训练,得到中文字向量词典;然后根据字向量词典将句子映射为句向量,并输入LSTM网络,获得句子的特征向量;最后,通过相似度算法计算2个句子特征向量之间的相似度。通过在2个数据集上的试验结果表明,该方法能够提高句子相似度计算的准确性,效果好于传统的语句相似度计算方法和基于词向量的相似度计算方法。