近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然...近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然语言处理(natural language process,NLP)任务以及其他领域中得到广泛使用。如果将BERT用于基于方面级情感分析(aspect-based sentiment analysis,ABSA)任务,通过检查用户在产品评论中表达的情感类型和情感目标来研究消费者对市场产品的看法,将大大提高产品在未来市场的地位。针对这个问题,提出了并行聚合和分层聚合2个模块,应用于ABSA的2个主要任务:方面级提取(aspect extraction,AE)和方面级情感分类(aspect sentiment classification,ASC)。这些模块利用BERT语言模型的隐藏层来产生输入序列的更深层语义表示,通过并行方式进行聚合并且进行了分类,对选定的每个隐藏层进行预测并计算损失,然后将这些损失求和以产生模型的最终损失。此外,通过使用条件随机字段(conditional random fields,CRF)解决方面级提取问题。经过研究表明,在BERT微调中应用提出的模型,可以提高BERT模型的性能。展开更多
文摘近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然语言处理(natural language process,NLP)任务以及其他领域中得到广泛使用。如果将BERT用于基于方面级情感分析(aspect-based sentiment analysis,ABSA)任务,通过检查用户在产品评论中表达的情感类型和情感目标来研究消费者对市场产品的看法,将大大提高产品在未来市场的地位。针对这个问题,提出了并行聚合和分层聚合2个模块,应用于ABSA的2个主要任务:方面级提取(aspect extraction,AE)和方面级情感分类(aspect sentiment classification,ASC)。这些模块利用BERT语言模型的隐藏层来产生输入序列的更深层语义表示,通过并行方式进行聚合并且进行了分类,对选定的每个隐藏层进行预测并计算损失,然后将这些损失求和以产生模型的最终损失。此外,通过使用条件随机字段(conditional random fields,CRF)解决方面级提取问题。经过研究表明,在BERT微调中应用提出的模型,可以提高BERT模型的性能。
