外部注意力增强语义交互的阅读理解模型

针对传统抽取式阅读理解模型未充分考虑问答样本之间潜在相关性的问题,通过RoBERTa对问题与段落进行编码,利用外部注意力Exatt增强语义交互层特征获取能力,提出外部注意力增强语义交互的阅读理解模型,捕获问题与段落中蕴涵的语义特征和不同问答样本之间的潜在相关性。实验结果表明,在CMRC2018和构建的电力安规问答数据集上,在评价指标EM和F1两方面,该方法较基线模型分别最高提高了0.737%和2.556%。

基于外部先验和自先验注意力的图像描述生成方法

图像描述是一种结合计算机视觉和自然语言处理的跨模态任务,旨在理解图像内容并生成恰当的句子。现有的图像描述方法通常使用自注意力机制来捕获样本内的长距离依赖关系,但这种方式不仅忽略了样本间的潜在相关性,而且缺乏对先验知识的利用,导致生成内容与参考描述存在一定差异。针对上述问题,文中提出了一种基于外部先验和自先验注意力(External Prior and Self-prior Attention, EPSPA)的图像描述方法。其中,外部先验模块能够隐式地考虑到样本间的潜在相关性进而减少来自其他样本的干扰信息。同时,自先验注意力能够充分利用上一层的注意力权重来模拟先验知识,使其指导模型进行特征提取。在公开数据集上使用多种指标对EPSPA进行评估,实验结果表明该方法能够在保持低参数量的前提下表现出优于现有方法的性能。

基于偏好度特征构造的个性化推荐算法

随着在线旅游业酒店数量的日益增多,用户点评信息稀疏问题愈加严重,这不仅导致推荐准确度大幅下降,而且使传统推荐算法的计算负荷随之增加,难以满足实时性要求.基于此,从挖掘用户历史信息与待推荐物品之间潜在相关性的角度出发,对基于内容的推荐算法进行改进,提出了一种基于偏好度特征构造的个性化推荐算法.该算法通过计算偏好分来构造偏好度特征,并借助机器学习领域的分类算法得以实现.将该算法应用于线上旅游业的个性化子房型推荐,通过对真实数据集的实验与分析,验证了所提出个性化推荐算法的简便与有效性,且较传统推荐算法更具实时性和通用性.

多变量时间序列中基于克罗内克压缩感知的缺失数据预测算法

针对现有算法在预测多变量时间序列中的缺失数据时不适用或只适用于缺失数据较少的情况,该文提出一种基于克罗内克压缩感知的缺失数据预测算法。首先,利用多变量时间序列的时域平滑特性和序列之间的潜在相关性从时空两个方面设计了稀疏表示基,从而将缺失数据预测问题建模成稀疏向量恢复问题。模型求解部分,根据缺失数据的位置特点设计了适合当前应用场景且与稀疏表示基相关性低的观测矩阵。接着,从稀疏表示向量是否足够稀疏和感知矩阵是否满足有限等距特性两个方面验证了模型的性能。最后,仿真结果表明,所提算法在数据缺失严重的情况下具有良好的性能。