基于深度学习模型的智能化科室导诊

为减轻科室导诊人员的工作负荷,对智能化科室导诊的实现方法进行研究。区别于现有的导诊方式,提出一种少参数轻量化的多级科室导诊模型。结合ALBERT预训练解决现有算法参数量过大的问题,并关联多个相关科室,建立ALBERT预训练与Bi-GRU结合的多标签分类模型。通过在互联网医院问诊数据集上的测试,与单科室分类模型对比,验证了该多科室分类模型的预测结果具备可靠性和有效性,能够较好辅助科室导诊工作。

美国情报界数据战略的文本特征与建构思路——以话语分析为视角

[研究目的]研究分析美国情报界数据战略的特点与建构思路,对中国特色数据情报战略建设提供借鉴。[研究方法]基于话语分析,对特朗普政府《情报界信息环境数据战略2017—2021》和拜登政府《情报界数据战略2023—2025》的词汇、语法及语篇进行定量比较研究,总结两份情报界数据战略的异同与特点。[研究结论]美国通过两部情报界数据战略建立并不断完善数据标准,充分应用数据科学技术保障数据安全,鼓励多元主体协同数据情报创新,并打造数据驱动型情报团队。我国应尽快制定战略统一数据认知,明确标准筑牢制度基础,以多边监管共筑数据安全,通过多元共享体系活力,建构具有中国特色的数据情报战略体系。

结合注意力机制和Mengzi模型的短文本分类

如何使用短文本分类技术挖掘有用的文本信息,是当前热门的研究方向之一。为了解决短文本特征信息稀疏和特征信息难以提取的问题,提出一种Mengzi-ADCBU短文本分类模型,该模型利用Mengzi预训练模型将输入的文本信息转化为相应的文本表示,再将获得的文本向量分别输入改进的深度金字塔卷积神经网络和融合了多头注意力机制的双向门控单元中提取文本特征信息,将两者提取到的特征信息进行融合之后,输送给全连接层和Softmax函数完成短文本分类。在公开的短文本数据集THUCNews和SougouCS上分别进行多组模型对比实验,实验结果表明本文提出的MengziADCBU模型在短文本分类的准确率、精确度、召回率和F1值等评价指标上都比现在的主流模型性能更优,具有较好的短文本分类能力。

个人通信数据的敏感性识别与隐私计量研究

[目的/意义]相关法律法规和通信数据行业标准中,将个人通信数据划分为四个等级,但缺失定量研究支撑,本文定量测度通信隐私值,解决该问题。[研究设计/方法][研究设计/方法]首先归纳通信隐私文本类型并建立通信隐私文本库,其次构建通信敏感词表,进行通信数据的敏感性识别,最后通过设计隐私计量模型,对通信隐私进行计量。[结论/发现][结论/发现]隐私性从高到低依次为:通信内容数据、统计分析数据、个人相关数据、通信衍生数据、通信地址数据。[创新/价值][创新/价值]基于通信隐私文本,识别通信敏感数据,计量通信隐私值,对基于主观的隐私主体敏感性认知测度方法进行补充,为个人通信数据分级保护提供定量依据。

引入位置编码机制对抗网络的文本生成模型

针对目前对抗网络文本生成模型在生成文本时,出现词与词之间位置关系紊乱导致文本逻辑不通的问题,该文提出了一种引入位置编码机制对抗网络的文本生成模型(Position-Encoding GAN,PE_GAN)并进行探讨和验证。在对抗神经网络模型的基础上引入位置编码机制,可以通过带有位置编码的词向量来标记文本中词与词之间的位置关系,生成器和判别器使用GRU神经网络的门控机制来减少梯度消失,同时利用蒙特卡洛策略思想来降低数据过拟合风险并提高生成文本的准确性。为了验证PE_GAN模型的有效性,使用开源数据和网络爬取的小说和新闻文本共同作为实验的数据集,结果表明:该模型中生成器和判别器loss值的差距比对比模型小,表明生成的文本更加接近真实文本;与Gumbel-softmax GAN模型、seq-GAN模型和LFMGAN模型相比,PE_GAN模型的BLEU-2、BLEU-3和BLEU-4的值分别都有明显的提高,表明引入位置编码机制后可以改善生成文本的逻辑性,由此可知该模型有较好的应用性。

基于并行混合网络的短文本情感分析模型

针对目前在短文本语义情感分析过程中会存在的传统词嵌入对情感语义表达不充分,特征挖掘不全面,准确率较低等问题,提出一种基于多头注意力机制的MACGRU并行混合网络模型。首先,根据胶囊网络(CapsNet)与双向门限循环单元网络(BiGRU)不同的特点选择BERT词嵌入与Glove词嵌入对短文本做向量化表示,并对Glove词嵌入改进加入位置嵌入和词性嵌入,使短文本在词嵌入阶段获取更丰富的短文本信息;其次,将BERT训练的词向量和Glove训练的词向量分别输入CapsNet和BiGRU中提取短文本局部语义信息和短文本的上下文语义信息;然后,在CapsNet和BiGRU的特征输出后都加入多头注意力机制对提取到的情感特征进行加权处理;最后,将多头注意力机制加权后的局部特征和上下文语义特征进行融合并通过softmax函数进行情感分类输出。上述模型在公开数据集COVID-19上进行实验验证,其模型的准确率,精准率,召回率,F1指标都达到了95%以上,相较于其它基准模型性能更优,也充分证明了该模型的优越性。

结合GNN的信息融合用于归纳式文本分类

最近,图神经网络(GNN)通过将文本数据转换为图形数据的方式,来捕捉单词之间的固有拓扑结构和依赖信息,在一些文本分类任务中取得了良好的结果.但是将文本构建成图后,很多基于图结构的文本分类模型面临着全局上下文语义信息和局部特征信息提取不充分的等问题.本文提出了一种将全局上下文语义信息与局部特征信息相融合的图神经网络模型.通过将文档表示为有向、加权的词共现网络,其中有向是为了捕获词排序问题,权重是为了突出单词之间的相互影响程度,利用门控循环单元(GRU)在建模长距离单词交互上的优势,来捕获全局上下文语义信息,接着利用注意力(attention)捕获关键的局部特征信息,最后使用平均池化和最大池化进一步提升了模型对关键特征信息的提取能力,从而丰富了文档节点的全局语义信息,增强了局部特征表达.通过在三个经典英文数据集上的实验结果表明,该模型相比于基线模型有较好的分类效果.

On the Unit of Translation

The unit of translation has been the focus of debate through the history of translation. Barkhudarov suggests six levels of UT, each level could serve as unit of different levels of translation. Many Chinese translators also expressed their opinions on this issue, but there is no settled answer yet. This paper tends to make a distinction between different texts: ordinary and special. Ordinary ones can adopt the UT of paragraph, while special ones should adopt special UTs according to their own characteristics.

基于关系特征交互的方面级情感分类方法

方面级情感分类是一项细粒度的情感分析任务,其目的是识别一句话中的方面词、观点项及其对应的情感极性。现有的方面级情感分类方法对模型的构建存在不足,难以有效利用句子中的依存关系信息,从而导致分类准确率较低。基于此,该文提出一种基于关系交互的图注意力网络模型。该模型首先利用单词之间的依存关系构建句法依存树,并使用双向门控循环单元提取句子上下文特征,然后将两者融入图注意力网络和关系感知网络中进行关系交互,以学习句子间的句法和语义信息,最后将关系的表征结果结合并输出方面词的情感类别(正面、负面、中性)。在四个公开数据集上的实验结果表明,该模型在方面级情感分类任务上充分挖掘并利用了文本的句法关系信息,进一步提升了情感分类的准确率。

融合RoBERTa的多尺度语义协同专利文本分类模型

针对静态词向量工具(如word2vec)舍弃词的上下文语境信息,以及现有专利文本分类模型特征抽取能力不足等问题,提出了一种融合RoBERTa的多尺度语义协同(RoBERTa-MCNN-BiSRU++-AT)专利文本分类模型。RoBERTa能够学习到当前词符合上下文的动态语义表示,解决静态词向量无法表示多义词的问题。多尺度语义协同模型利用卷积层捕获文本多尺度局部语义特征,再由双向内置注意力简单循环单元进行不同层次的上下文语义建模,将多尺度输出特征进行拼接,由注意力机制对分类结果贡献大的关键特征分配更高权重。在国家信息中心发布的专利文本数据集上进行验证,与ALBERT-BiGRU和BiLSTM-ATT-CNN相比,RoBERTa-MCNN-BiSRU++-AT部级专利的分类准确率分别提升了2.7%和5.1%,大类级专利的分类准确率分别提升了6.7%和8.4%。结果表明,RoBERTa-MCNN-BiSRU++-AT能有效提升对不同层级专利的分类准确率。

融合ChineseBERT的电力安全隐患分类研究

针对循环模块特征提取能力不强、训练效率低等问题,提出了融合ChineseBERT的电力安全隐患分类模型(ChineseBERT-BiSRU++-AT)。ChineseBERT模型通过结合当前词的上下文动态训练文本向量表示,解决了一词多义问题;BiSRU++模块捕捉长距离序列特征和句子内部依赖信息,软注意力机制计算特征对结果的影响程度,由分类层输出结果。在真实电力公司电网安全隐患数据集的实验结果证明,与其他模型相比,ChineseBERT-BiSRU++-AT模型分类性能最高,F1值达到了97.44%,BiSRU++模块训练效率优于传统循环模块。

单元整合视角下小学语文群文阅读教学策略探究

阅读教学是小学语文教学的核心活动,以单元整合思想应用群文阅读教学模式展开教学,对小学生语文阅读能力的发展、自主学习习惯的培养有着积极的影响作用。文章以优化小学语文单元教学质量为目标,结合部编版小学《语文》教材教学案例,从小学语文群文阅读教学的意义、原则与策略三个维度出发,分层探究了群文阅读教学在大单元整合教学中的融入思路,旨在优化课程建设,提升语文学科教育水平。

融合注意力机制的混合神经网络文本情感分析模型

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。

基于多粒度自注意力机制的抑郁症预测模型

针对基于稀疏文本的抑郁症预测模型特征提取能力不足的问题,提出一种基于分层多粒度自注意网络(HMG-SAN)的模型。首先,通过全局向量(GloVe)模型获取词向量,解决词语和语句的向量化表示的问题;然后通过双向门控循环单元(Bi-GRU)获取文本结构中的词序信息和文本特征,解决提取上下文依赖的特征信息的问题;再通过多粒度自注意力(MG-SA)机制识别不同特征,解决不同粒度短语信息捕捉的问题;最后使用softmax函数获取分类结果。HMG-SAN模型的亮点在于MG-SA机制的融入,对于捕获文本重要词汇提供了很大帮助。在遇险分析访谈语料库(DAIC)数据集上与基于分层注意力网络(HAN)的模型和分层自注意力网络(HSAN)的模型进行对比实验,实验结果表明,所提模型的准确率和召回率均有显著提升,其中,准确率分别提升了2.74%和1.35%,召回率分别提升了7.35%和4.29%。可见,HMG-SAN模型可以更加准确地捕获受访者的抑郁状态,并以此进行更加高效的抑郁症预测。

Spatial Models in Thinking and Communication

Spatial models joint external and internal aspects of human activity,mental schemas of thinking,and spatial structures of things.These models represent objects of knowledge,valuation,and transformation due to similarity with them in various relations,and they participate in inter-subject communication using schemata common for many people.The spatial models can reproduce a modelled object or be productive regarding it.These models are created in cognitive modus of comprehension as images of objects known at various mental levels;in projective modus,they appear as projects of object’s transformation and planes of subject’s actions;in communicative modus,they are interpreted as spatial texts expressing certain senses.All of them interact in spatial thinking,which deals with the relationship of parts and the whole,unlike logical thinking operating with genus-species relations.Both practical and theoretical thinking use common spatial schemas as means of internal modelling,which are elaborated in collective and individual experience.Due to their simplicity and unification,these schemas can serve also as units of spatial codes mediating the objects representation and inter-subject communication through spatial texts created in the semiotized space.

TFLS-BiGRU-ATT:一种简单有效的中文短文本关系抽取模型

关系抽取是信息抽取的核心任务,如何从海量的中文短文本中快速准确地抽取出重要的关系特征,成为中文短文本关系抽取任务的难点。针对这一问题,该文提出一种基于注意力机制的双向门控循环(Bidirectional Gated Recurrent Units,BiGRU)神经网络模型TFLS-BiGRU-ATT来对中文短文本中的关系特征进行抽取。首先,该模型使用所提出的文本定长选择(Text Fixed Length Selection,TFLS)策略对关系文本进行定长处理,然后利用双层BiGRU网络对定长文本进行关系特征提取,再通过所提出的注意力机制对关系特征进行权重的相应分配,最终对不同权重的特征信息进行实体间关系的抽取。基准实验的结果表明,TFLS-BiGRU-ATT模型在DuIE、COAE-2016-Task3、FinRE、SanWen四个具有不同特征的中文短文本数据集上获得的F1值分别达到93.62%、91.38%、49.35%、62.98%,显著优于对比模型。此外,还通过消融实验和定长选择实验进一步验证TFLS-BiGRUATT模型能够有效地提高中文短文本关系抽取的效果,说明该方法的可行性和有效性。

基于XLNet的医学文本实体关系识别模型

目前在处理医学文本实体间关系提取任务中,使用传统的词向量表示方法无法解决医学文本中的词多义性问题,加上基于长短时记忆网络对文本语义局部特征抽取不够充分,不能充分捕捉医疗文本隐藏的内部关联信息。因此,提出一种基于XLNet-BiGRU-Attention-TextCNN的医疗文本实体关系抽取模型。利用XLNet模型将输入的医疗文本转化为向量形式,接着连接双向门控循环神经网络(BiGRU)提取文本语句的长距离依赖关系,然后使用注意力机制(Attention)为特征序列分配权重,降低噪声影响,最后利用文本卷积神经网络(TextCNN)对序列进行局部特征提取并通过softmax层输出关系抽取结果。实验结果表明,本文所提模型在精确率、召回率和F值上均优于基准模型。

一种基于LDA主题模型的评论文本情感分类方法

针对互联网出现的评论文本情感分析,引入潜在狄利克雷分布(Latent Dirichlet allocation,LDA)模型,提出一种分类方法。该分类方法结合情感词典,依据指定的情感单元搭配模式,提取情感信息,包括情感词和上、下文。使用主题模型发掘情感信息中的关键特征,并融入到情感向量空间中。最后利用机器学习分类算法,实现中文评论文本的情感分类。实验结果表明,提出的方法有效降低了特征向量的维度,并且在文本情感分类上有很好的效果。

论汉字职用的考察与描写

汉字职用学是汉字学本体的分支学科之一,以研究汉字本身的职能和人们对汉字的使用为主要内容。汉字职用的考察与描写是建立汉字职用史和完善汉字职用学的事实基础。考察汉字职用的有效材料是时代明确的文本,以及可以反映文本用字原貌的古代注释。考察汉字职用的有效办法是化整为零,从个体、类别、局部入手,同时需要一套独立而系统的指称术语用来描写。通过字符和语符的个体职用及相互关系的考察,进而按人、时、地、集团、文体等分类进行描写和比较,积累材料,汇聚现象,分析特点,揭示规律,解释原因,才有可能获知汉字职用的历史过程和总体面貌。

基于微博的情感倾向性分析方法研究

随着微博等新型社会网络媒体的发展,人们在网络上传播着对各类话题的情感,社会网络也因此成为了挖掘社情民意的有效平台。传统文本分析算法难以适应篇幅短小、内容琐碎且富含情感特征的微博等短文本挖掘的需要。该文提出基于情感单元和评价对象分析的微博情感倾向性分析方法,通过基于词性共现概率计算的情感单元和情感评价对象抽取,计算情感单元的情感度,建立博主个性化及情感倾向性分析模型,完成情感倾向性分析。实验结果及分析验证了上述算法的有效性。