基于RoBERTa和集中注意力机制的营商政策多标签分类

为了满足营商政策多标签分类的社会需求,解决使用擅长文本分类、但输入受限的大语言预训练模型进行长文本分类的难题,提出一种基于RoBERTa模型和集中注意力机制的方法,更好地提取语义集中区域的信息表征,对营商政策文本进行有效的多标签分类。首先,对数据清洗和分析后,得到一定的先验知识:营商政策文本的语义表征集中在文本标题与开篇部分。其次,在文本输入层和向量表示层中,构建集中注意力机制对文本和向量进行处理,增强模型在训练中对语义集中区域的注意力,提高模型信息表征提取能力,优化长文本分类的效果。实验中爬取政府公开的营商政策文本作为数据集,实验结果表明,营商政策长文本分类的准确率可达0.95,Micro-F1值可达0.91,同时对比实验结果显示,融合RoBERTa和集中注意力机制进行营商政策长文本多标签分类比其他模型效果更好。

Classification of Conversational Sentences Using an Ensemble Pre-Trained Language Model with the Fine-Tuned Parameter

Sentence classification is the process of categorizing a sentence based on the context of the sentence.Sentence categorization requires more semantic highlights than other tasks,such as dependence parsing,which requires more syntactic elements.Most existing strategies focus on the general semantics of a conversation without involving the context of the sentence,recognizing the progress and comparing impacts.An ensemble pre-trained language model was taken up here to classify the conversation sentences from the conversation corpus.The conversational sentences are classified into four categories:information,question,directive,and commission.These classification label sequences are for analyzing the conversation progress and predicting the pecking order of the conversation.Ensemble of Bidirectional Encoder for Representation of Transformer(BERT),Robustly Optimized BERT pretraining Approach(RoBERTa),Generative Pre-Trained Transformer(GPT),DistilBERT and Generalized Autoregressive Pretraining for Language Understanding(XLNet)models are trained on conversation corpus with hyperparameters.Hyperparameter tuning approach is carried out for better performance on sentence classification.This Ensemble of Pre-trained Language Models with a Hyperparameter Tuning(EPLM-HT)system is trained on an annotated conversation dataset.The proposed approach outperformed compared to the base BERT,GPT,DistilBERT and XLNet transformer models.The proposed ensemble model with the fine-tuned parameters achieved an F1_score of 0.88.

基于预训练模型与标签融合的文本分类

对海量的用户文本评论数据进行准确分类具有重要的经济效益和社会效益。目前大部分文本分类方法是将文本编码直接使用于各式的分类器之前,而忽略了标签文本中蕴含的提示信息。针对以上问题,提出一种基于RoBERTa(Robustly optimized BERT pretraining approach)的文本和标签信息融合分类模型(TLIFC-RoBERTa)。首先,利用RoBERTa预训练模型获得词向量;然后,利用孪生网络结构分别训练文本和标签向量,通过交互注意力将标签信息映射到文本上,达到将标签信息融入模型的效果;最后,设置自适应融合层将文本表示与标签表示紧密融合进行分类。在今日头条和THUCNews数据集上的实验结果表明,相较于将Labelatt(Label-based attention improved model)中使用的静态词向量改为RoBERTa-wwm训练后的词向量算法(RA-Labelatt)、RoBERTa结合基于标签嵌入的多尺度卷积初始化文本分类算法(LEMC-RoBERTa)等主流深度学习模型,TLIFC-RoBERTa的精度最高,对于用户评论数据集有最优的分类效果。

基于预训练语言模型和TRIZ发明原理的专利分类方法

为充分挖掘专利文本中已有的解决方案和技术知识,依据发明问题解决理论(theory of inventive problem solving,TRIZ),提出了一种基于预训练语言模型的方法,将其用于面向TRIZ发明原理的中文专利分类研究中。基于整词掩码技术,使用不同数量的专利数据集(标题和摘要)对中文RoBERTa模型进一步预训练,生成特定于专利领域的RoBERTa_patent1.0和RoBERTa_patent2.0两个模型,并在此基础上添加全连接层,构建了基于RoBERTa、RoBERTa_patent1.0和RoBERTa_patent2.0的三个专利分类模型。然后使用构建的基于TRIZ发明原理的专利数据集对以上三个分类模型进行训练和测试。实验结果表明,RoBERTa_patent2.0_IP具有更高的准确率、宏查准率、宏查全率和宏F 1值,分别达到96%、95.69%、94%和94.84%,实现了基于TRIZ发明原理的中文专利文本自动分类,可以帮助设计者理解与应用TRIZ发明原理,实现产品的创新设计。