嵌入互联网舆情强度的人民币汇率预测

针对目前人民币汇率预测研究存在的数据源单一导致难以提升预测效果的问题,提出一种嵌入互联网舆情强度的预测技术,通过融合多方面数据源进行对比分析,有效降低了人民币汇率的预测误差。首先,融合互联网外汇新闻数据和历史行情数据,并将多源文本数据转化为可计算的特征向量;其次,通过情感特征向量构建五种特征组合并对其进行对比,给出了嵌入互联网舆情强度的特征组合作为预测模型输入;最后,设计外汇舆情影响汇率预测的滑动时间窗口,建立基于机器学习的汇率预测模型。实验结果表明,嵌入互联网舆情的特征组合相对于不含舆情的特征组合在均方根误差(RMSE)和平均绝对误差(MAE)上分别提升了9.8%和16.2%;此外,长短期记忆网络(LSTM)预测模型比支持向量回归(SVR)、决策回归(DT)和深度神经网络(DNN)预测模型表现更好。

中文重叠关系抽取的动态分层级联标记模型

构建了动态分层级联标记中文重叠关系抽取(RWG-LSA)模型:首先基于预训练语言模型和gated机制构建了动态字词融合特征学习模型(RWG),有效避免了主体标记模块的特征缺失和无法并行计算等问题;其次引入动态权局部自注意力(LSA),自主学习到主体层面的语义特征;最后在有效融合了输入序列的全局和主体局部特征的基础上,实现RWG-LSA模型对文本中实体对和关系的抽取。在SKE中文数据集上的实验表明,本模型对重叠关系抽取有显著效果,F1值达到了82.44%。

融合个体偏差信息的文本情感分析模型

目前情感分析任务经常只聚焦于评论文本本身,忽略了评论者与被评论者的个体偏差特征,会显著影响对文本的整体情感判断。针对上述问题,提出一种融合评论双边个体偏差信息的文本情感分析模型UP-ATL(User and Product-Attention TranLSTM)。该模型使用自注意力机制、交叉注意力机制对评论文本与个体偏差信息分别进行双向融合,在融合过程中采用定制化权重的计算方式,以缓解实际应用场景中冷启动带来的数据稀疏问题,最终得到特征充分融合的评论文本和评论双边的表示信息。选取餐饮领域、电影领域的三个真实公开数据集Yelp2013、Yelp2014、IMDB进行效果验证,与UPNN(User Product Neural Network)、NSC(Neural Sentiment Classification)、CMA(Cascading Multiway Attention)、HUAPA(Hierarchical User And Product multi-head Attention)等基准模型进行比较。实验结果表明,相较于比较模型中最好的HUAPA模型,UP-ATL的准确度在三个数据集上依次分别提高了6.9、5.9和1.6个百分点。

融合图注意力的复杂时序知识图谱推理问答模型

在时序知识图谱问答(TKGQA)任务中,针对模型难以捕获并利用问句中隐含的时间信息增强模型的复杂问题推理能力的问题,提出一种融合图注意力的时序知识图谱推理问答(GACTR)模型。所提模型采用四元组形式的时序知识库(KB)进行预训练,同时引入图注意力网络(GAT)以有效捕获问句中隐式时间信息;通过与RoBERTa(Robustly optimized Bidirectional Encoder Representations from Transformers pretraining approach)模型训练的关系表示进行集成,进一步增强问句的时序关系表示;将该表示与预训练的时序知识图谱(TKG)嵌入相结合,以获得最高评分的实体或时间戳作为答案预测结果。在最大的基准数据集CRONQUESTIONS上的实验结果显示,GACTR模型在时序推理模式下能更好地捕获隐含时间信息,有效提升模型的复杂推理能力。与基线模型CRONKGQA(Knowledge Graph Question Answering on CRONQUESTIONS)相比,GACTR模型在处理复杂问题类型和时间答案类型上的Hits@1结果分别提升了34.6、13.2个百分点;与TempoQR(Temporal Question Reasoning)模型相比,分别提升了8.3、2.8个百分点。

基于多任务联合训练的属性感知情感分类模型

在大数据时代,信息包含大量值得被挖掘和分析的价值,对情感进行自动分类的需求成为了自然语言处理的热门领域之一.由于大型预训练语言模型参数较多,针对下游任务进行微调时需要大量有标注语料以及时间对模型进行训练.本文基于多任务联合训练的思想,提出了一种多任务属性感知情感分类模型.首先,该模型采用提示学习的策略将多属性文本拆解为多条单属性文本,并针对可用语料不足的问题使用多个提示拼接文本进行训练;其次,该模型设计了对属性进行分类的辅助任务模块,让模型能关注到文本中属性信息从而作出更准确的预测;最后,在四个常用的公开数据集上进行了实验,通过分析证明该模型能够有效提高属性级情感分类的性能.

基于集合预测的方面级情感三元组提取

近年来,基于方面级别的情感分析(ABSA)任务受到越来越多的关注。其中,方面级情感三元组提取(ASTE)是ABSA任务中最新的子任务,其要求同时提取出句子的方面词、观点词并输出对应的情感极性。先前的工作大多采用pipeline方式进行提取,忽略了方面词和观点词之间的联系,且容易产生误差传播的问题。对此,该文提出一种基于集合预测的方法,将方面级情感三元组提取问题转换成集合预测问题,以端到端的方式进行三元组提取。在多个基准数据集上的实验表明,该文提出的模型取得了较为先进的结果。

基于深度距离分解的推荐算法研究

针对推荐系统中的矩阵分解算法只根据用户和物品的特征向量进行点积运算,无法准确衡量不同用户对物品偏好的弊端,该文提出了一种基于深度距离分解模型的推荐算法。首先,改变传统矩阵分解直接对评分值进行分解的模式,将用户与物品的评分矩阵转化为距离矩阵;然后,将距离矩阵分别按行和按列输入两个深度神经网络进行训练,得到用户和物品的距离特征向量;接下来,用距离特征向量计算用户和物品之间的距离值,通过设计的损失函数使预测距离值与真实距离值的误差达到最小;最后,将用户与物品的预测距离值转化为预测评分。实验结果表明,在不同数据集中,该文提出的基于深度距离分解模型的推荐算法在RMSE和MAE指标上均优于基线推荐算法。

情感增强的对话文本情绪识别模型

针对现有的许多研究忽略了说话人的情绪和情感的相关性的问题,提出一种情感增强的图网络对话文本情绪识别模型——SBGN。首先,将主题和对话意图融入文本,并微调预训练语言模型RoBERTa以提取重构的文本特征;其次,给出情绪分析的对称学习结构,将重构特征分别输入图神经网络(GNN)情绪分析模型和双向长短时记忆(Bi-LSTM)情感分类模型;最后,融合情绪分析和情感分类模型,将情感分类的损失函数作为惩罚以构建新的损失函数,并通过学习调节得到最优的惩罚因子。在公开数据集DailyDialog上的实验结果表明,相较于DialogueGCN模型与目前最先进的DAG-ERC模型,SBGN模型的微平均F1分别提高16.62与14.81个百分点。可见,SBGN模型能有效提高对话系统情绪分析的性能。

基于可信细粒度对齐的多模态方面级情感分析

基于方面的多模态情感分析任务(Multimodal Aspect-Based Sentiment Analysis,MABSA),旨在根据文本和图像信息识别出文本中某特定方面词的情感极性。然而,目前主流的模型并没有充分利用不同模态之间的细粒度语义对齐,而是采用整个图像的视觉特征与文本中的每一个单词进行信息融合,忽略了图像视觉区域和方面词之间的强对应关系,这将导致图片中的噪声信息也被融合进最终的多模态表征中,因此提出了一个可信细粒度对齐模型TFGA(MABSA Based on Trusted Fine-grained Alignment)。具体来说,使用FasterRCNN捕获到图像中包含的视觉目标后,分别计算其与方面词之间的相关性,为了避免视觉区域与方面词的局部语义相似性在图像文本的全局角度不一致的情况,使用置信度对局部语义相似性进行加权约束,过滤掉不可靠的匹配对,使得模型重点关注图片中与方面词相关性最高且最可信的视觉局域信息,降低图片中多余噪声信息的影响;接着提出细粒度特征融合机制,将聚焦到的视觉信息与文本信息进行充分融合,以得到最终的情感分类结果。在Twitter数据集上进行实验,结果表明,文本与视觉的细粒度对齐对方面级情感分析是有利的。

基于特征和图结构信息增强的多教师学习图神经网络

近年来,图神经网络对图数据强大的表征能力和建模能力使其在诸多领域广泛应用并取得了重大突破。然而,现有模型往往倾向于对图卷积聚合策略和网络结构进行优化,缺乏了对图数据自身先验知识的探索。针对上述问题,通过知识蒸馏的方法,设计了一种基于特征信息和结构信息增强的多教师学习图神经网络,打破了现有模型对于数据先验知识提取的局限性。针对图数据背后所蕴涵的丰富特征与结构信息,分别设计了节点特征和边的数据增强方式。在此基础上,将原始数据和增强后的数据通过多教师学习模块进行知识嵌入,使得学生模型学习到更多关于数据的先验知识。在Cora、Citeseer和PubMed数据集上,节点分类准确率分别提升了1%、1.3%、1.1%。实验结果表明,提出的信息增强的多教师学习模型能够有效地捕获先验知识。

基于特征和结构信息增强的图神经网络集成学习框架

近年来,图神经网络由于其丰富的表征和推理能力受到广泛的关注,然而,目前的研究聚焦于卷积策略和网络结构的调整以获得更高的性能,不可避免地面临单一模型局限性的约束。受到集成学习思想的启发,面向图神经网络创新性地提出一套集成学习框架(EL-GNN)。不同于常规的文本和图像数据,图数据除了特征信息外还包括了丰富的拓扑结构信息。因此,EL-GNN不仅将不同基分类器的预测结果进行融合,还在集成阶段额外补充了结构信息。此外,基于特征相似或结构邻居节点通常具有相似标签的先验假设,借助特征图重构,进一步优化集成策略,充分平衡了节点的特征和结构信息。大量实验表明,提出的集成策略取得了良好的成效,并EL-GNN在节点分类任务上显著优于现有模型。

融合上下文信息的个性化序列推荐深度学习模型

针对现实购物场景中存在的用户偏好多样性且兴趣动态变化的问题,本文提出一种融合上下文信息的序列推荐模型(DeepSeq),通过嵌入用户提供的反馈信息深入挖掘用户的长短期潜在兴趣,有效解决了传统推荐系统无法模拟用户兴趣进化的问题.该文以真实的电商网站数据为背景,首先,利用历史行为数据和项目辅助信息融合构造长短期会话序列并融合上下文信息,提出兴趣衰减因子反应用户偏好变化.其次,基于文本卷积模型(TextCNN)训练得出序列向量表示,并通过多头注意力机制抽取用户项目序列潜在向量;最后,将用户交叉辅助信息和潜在行为特征组合向量输入到多层感知机,建立基于序列的推荐模型.实验结果表明,在行为序列中融合兴趣衰减因子和项目辅助信息,均有效提高了模型的准确率.此外,DeepSeq相对于传统的推荐模型在评价指标RMSE上至少降低了0.21%,并且在GAUC评价指标上提升值均超过了0.59%.

TransformerG:基于层级图结构与文本注意力机制的法律文本多跳阅读理解

该文针对Cail2020法律多跳机器阅读理解数据集进行研究,提出了TransformerG,一个基于不同层级的实体图结构与文本信息的注意力机制融合的多跳阅读理解模型。该模型有效地结合了段落中问题节点、问题的实体节点、句子节点、句中的实体节点的特征与文本信息的特征,从而预测答案片段。此外,该文提出了一种句子级滑动窗口的方法,有效解决在预训练模型中文本过长导致的截断问题。利用TransformerG模型参加中国中文信息学会计算语言学专委会(CIPS-CL)和最高人民法院信息中心举办的“中国法研杯”司法人工智能挑战赛机器阅读理解赛道,取得了第2名的成绩。

基于双层词性感知和多头交互注意机制的方面级情感分析

在方面级情感分析研究中,现有工作往往忽略不同类型词性贡献程度以及局部特征和全局特征的交互作用会影响分类准确率的问题。为此,提出了一种基于双层词性感知和多头交互注意机制的方面级情感分析模型DPMHA。首先,使用BERT预训练模型获取包含上下文信息的词向量;其次,提出了双层词性感知的局部特征提取层,重点关注方面词周围具有重要词性词的特征,降低噪声词的影响;接着,在局部特征和全局特征之间设计了多头交互注意力机制,充分挖掘局部特征和全局特征之间重要的交互特征;最后,提出了动态特征融合层和softmax层获取情感分析的结果。在三个公开数据集上的实验结果表明,与现有的方面级情感分析模型相比,提出的DPMHA模型在restaurant14、laptop14、restaurant15数据集上MF1值分别提升了2.41%、1.24%、2.39%,准确率分别提升了1.34%、0.78%、0.37%。

融合交互注意力和参数自适应的商品会话推荐

在电商场景中,用户面对繁杂的商品时往往难以快速检索到所需商品,而基于会话的商品推荐能通过学习用户短期兴趣从而为其推荐可能感兴趣的商品,因此基于会话的推荐研究具有显著的理论和应用研究价值。已有的会话推荐算法大多关注于利用全局图中的信息来增强会话图中的表征学习,而忽略了会话图和全局图上物品表征之间的交互关系。该文提出一种通过交互注意力和改进参数自适应策略增强的图神经网络商品会话推荐模型。交互注意层通过提取强相关信息来修正全局图和会话图中的商品表示,而参数自适应层则通过改进参数自适应策略动态权重调整以获得物品的最终表示进而用于预测。实验结果表明,该文所提出的模型在Tmall数据集上显著优于对比模型。

基于层级多任务BERT的海关报关商品分类算法

海关商品申报场景下,需采用分类模型将商品归类为统一的海关(HS)编码。然而现有海关商品分类模型忽略了待分类文本中词语的位置信息,同时HS编码数以万计,会导致类别向量稀疏、模型收敛速度慢等问题。针对上述问题,结合真实业务场景下人工逐层归类策略,充分利用HS编码的层次结构特点,提出了一种基于层级多任务BERT(HM-BERT)的分类模型。一方面通过BERT模型的动态词向量获取了报关商品文本中的位置信息,另一方面利用HS编码不同层级的类别信息对BERT模型进行多任务训练,以提高归类的准确性和收敛性。在国内某报关服务商2019年的报关数据集上进行的所提模型的有效性验证,相比BERT模型,HM-BERT模型的准确率提高了2个百分点,在模型训练速度上也有所提升;与同样分层级的H-fastText相比,准确率提高了7.1个百分点。实验结果表明,HM-BERT模型能有效改善海关报关商品的分类效果。

多类型注意力下参数自适应的多标签文本分类

多标签文本分类是指从一个极大的标签集合中为每个文档分配最相关的多个标签。该文提出一种多类型注意力机制下参数自适应模型(Parameter Adaptive Model under Multi-strategy Attention Mechanism,MSAPA)对文档进行建模和分类。MSAPA模型主要包括两部分:第一部分采用多类型注意力机制分别提取融合自注意力机制的全局关键词特征和局部关键词特征及融合标签注意力机制的全局关键词特征和局部关键词特征;第二部分采用多参数自适应策略为多类型注意力机制动态分配不同的权重,从而学习到更优的文本表示,提升分类的准确率。在AAPD和RCV1两个基准数据集上的大量实验证明了MSAPA模型的优越性。

融合偏置深度学习的距离分解Top-N推荐算法

针对传统矩阵分解算法大多是浅层的线性模型,难以学习到深层次的用户和物品的隐特征向量,且在数据稀疏的情况下容易产生过拟合的问题,文中提出一种融合偏置深度学习的矩阵分解算法,在解决数据稀疏问题的同时,还能学习到表征能力更强的距离特征向量。首先,通过用户与物品的显式和隐式数据构建用户与物品的交互矩阵,并将交互矩阵转化为相应的距离矩阵;其次,将距离矩阵分别按行和按列输入加入偏置层的深度神经网络,学习得到具有非线性特征的用户和物品的距离特征向量;最后,根据用户和物品的距离特征向量计算用户和物品之间的距离,用距离值对物品按升序排列,生成Top-N的推荐列表。在4个真实数据集上进行实验,采用Precision,Recall,MAP,MRR和NDCG指标进行评估,结果表明所提算法在上述指标方面相比其他主流推荐算法有明显提升。

基于深度交互融合网络的多跳机器阅读理解

近年来,多跳机器阅读理解已经吸引了众多学者的关注,其要从多个文档中提取与问题相关的线索并回答问题。但很少有工作注重在段落选择时和回答问题时的多个段落之间的交互与融合,然而这对于多跳推理任务来说是至关重要的。因此,该文提出了一种针对多跳推理机器阅读理解的多段落深度交互融合的方法,首先从多个段落中筛选出与问题相关的段落,然后将得到的“黄金段落”输入到一个深度交互融合的网络中以聚集不同段落之间的信息,最终得到问题的答案。该文实验基于HotpotQA数据集,所提方法与基准模型相比,精确匹配(EM)提升18.5%,F_(1)值提升18.47%。

基于肤色学习的多人脸前景抽取方法

针对多人脸场景下快速准确提取人脸内容的问题,提出了基于肤色学习的多人脸前景抽取方法。首先,给出了基于肤色学习的肤色前景分割模型。根据肤色专家的论文结果,采集了著名的SPA数据库的1 200张人脸进行肤色抽样,建立学习模型以得到每个人种在颜色空间的肤色参数,据此进行肤色图像分割,得到肤色前景。其次,利用人脸特征点学习算法,以常见人脸68个特征点为目标,结合肤色前景信息分割出人脸种子区域;并计算人脸中心点,来构建人脸椭圆边界模型以及确定遗传范围。最后,建立了有效抽取算法,在人脸椭圆边界内利用遗传机制进行人脸再生,从而抽取得到有效人脸区域。以三类不同数据库为基础,收集了100张有代表性的多人脸图像,实验结果表明所提方法对这些图像的多人脸抽取的结果准确率达到98.4%以上,且该方法对中密度人群的人脸内容抽取有显著效果,并为人脸识别算法的准确性和可用性提供了基础。