深度学习彩色化算法对曝光偏差图像着色研究

对基于深度学习的图像彩色化算法进行试验与分析,发现现有彩色化算法存在对曝光偏差的图像彩色化效果不佳。针对该问题,提出一种在彩色化存在曝光偏差的灰度图像时,使用直方图均衡化预处理输入图像方法,以达到更好的彩色化效果。该方法在深度学习彩色化算法的预处理阶段,运用直方图均衡化输入灰度图像,建立一种合理的映射关系,将输入图像灰度值按照该映射关系重新均衡分布在灰度级范围上,使得图像灰度等级分明,对比度增加,细节更加清晰,更有利于神经网络提取图像特征。对彩色化算法进行对比实验,结果表明,该预处理方法对曝光偏差图像的彩色化效果更加真实,可以显著提高存在曝光偏差图像的彩色化效果。

一种面向实体关系联合抽取中缓解曝光偏差的方法

实体关系联合抽取的目的是从非结构化文本中同时提取实体提及和关系事实,是知识图构建的关键步骤,也是许多自然语言处理中高级任务的基础.现有工作大都采用了分阶段的联合抽取方法来处理文本中同时存在的多个三元组和实体重叠情况下的三元组抽取问题,虽然取得了合理的性能提升,但都存在严重的曝光偏差问题.对此,提出了一种名为融合关系表达向量(fusional relation expression embedding,FREE)的新方法,通过融合关系表达向量来有效缓解曝光偏差问题.此外,提出了一种称为条件层规范化层的新特征融合层来更有效地融合先验信息.在2个广泛使用的数据集上进行了大量对比实验,结果表明该方法相较于当前最先进的基线方法具有显著优势,可以更有效地处理各种情况,并在不牺牲效率的前提下取得了与当前针对曝光偏差问题的先进方法相当的性能.

融合多模态深度游走与偏差校准因子的推荐模型

曝光偏差严重影响协同过滤模型的推荐精度,导致预测结果偏离用户的真实兴趣,而现有模型对曝光偏差的建模能力有限,甚至放大偏差。为此,提出融合多模态深度游走与偏差校准因子(MmDW-BC)的推荐模型。首先,引入项目多模态属性特征作为项目图的连接边,从而缓解低曝光项目交互数据稀疏的问题;在此基础上,构建图嵌入模块--多模态深度游走(MmDW)将项目多模态信息融入嵌入向量,以获取丰富的节点表示;最后,基于校准策略设计新的偏差校准推荐算法进行用户偏好预测。将提出的模型应用于Amazon和ML-1M数据集上,实验结果验证所提模型明确考虑曝光偏差来提升推荐精度的必要性和有效性。

用于方面情感三元组抽取的双向级联网络

方面情感三元组抽取(ASTE)是基于方面的情感分析子任务之一,其目标是从给定文本序列中抽取所有提及的方面及其对应的观点、观点表达的情感倾向,构成三元组。基于跨度级交互和端到端两个前提,提出双向级联网络。在编码块里应用条件层归一化让方面跨度和观点跨度的特征进行深层交互,实现两者间的级联;在“方面到观点”和“观点到方面”两个方向上进行三元组抽取,并设计解码策略聚合两个方向上的结果;为缓解类别不平衡问题,在多标签交叉熵损失中加入稀疏因子来提高训练环节对稀疏正类的惩罚力度;为缓解曝光偏差问题,设计跨度漂移和输出采样两种策略来构造负样本加入训练。在ASTE-Data-V2-EMNLP2020数据集上进行实验,结果表明,所提模型在4个子数据集14LAP、14RES、15RES、16RES上较SBN-ASTE模型的F1值分别提高0.91、0.17、2.0、1.56个百分点。

基于混合注意力与强化学习的文本摘要生成

基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史生成单词的注意力来克服该问题;使用强化学习作为一种新的训练方式来解决曝光偏差问题,同时修正损失函数。在CNN/Daily Mail数据集对模型进行测试,以ROUGE为评价指标,结果证明了混合注意力对重复问题有较大的改善,借助强化学习可以消除曝光偏差,整合后的模型在测试集上超越先进算法。

基于知识感知采样的神经协同过滤

目前,对于推荐系统的研究主要集中在如何使用不同的辅助数据进行混合推荐,来缓解数据稀疏和冷启动问题,以提高推荐的准确性,而对于自然噪声的研究相对较少。针对自然噪声中项目的曝光偏差问题,提出一种基于知识感知的负采样策略。该方法利用用户对项目的隐式反馈和项目的知识信息来构建知识图谱,然后根据知识图谱中正例与负例之间共同的知识实体来对负例进行采样。通过设计一个奖励函数来衡量采样负例的质量,然后通过最大化累积奖励函数期望来优化采样器。采样以后,将用户正例和最佳负例一起输入到推荐器中,用于训练推荐模型。随后,将该采样方法与神经协同过滤结合起来,得到一种基于知识感知采样的神经协同过滤。此外,为了能够灵活地控制采样比,用逐点损失代替原来的成对损失来优化推荐器。在真实数据集上进行了广泛实验,验证了所提方法的有效性。

基于混合训练与语义关联的视频描述算法

针对目前主流方法在使用Transformer的自注意力基础单元或长短期记忆(LSTM)单元对序列词的依赖性进行建模中,忽略了句子中词与词之间的语义关系和训练与测试阶段的曝光偏差问题,提出混合训练与语义关联的视频描述算法(DC-RL).在编码器部分,采用双向长短期记忆循环神经网络(LSTM1)融合经过预训练模型得到的外观特征和动作特征;在解码器阶段,使用注意力机制动态地为全局语义解码器和自学习解码器提取与当前生成单词对应的视觉特征,缓解了由传统的全局语义解码器中的训练和测试之间的差异引起的曝光偏差问题.全局语义解码器使用真实描述中上一个时间步的单词来驱动当前单词的生成,并通过全局语义提取器提取与当前单词对应的全局语义信息辅助当前单词的生成.自学习解码器使用上一个时间步生成的单词的语义信息来驱动当前单词的生成.混合训练的融合网络运用强化学习的方式直接优化融合网络模型,运用先前词的语义信息,生成更加准确的视频描述.研究结果表明:在数据集MSR-VTT上,融合网络模型较baseline在B4,M,R和C四个指标上分别提升2.3%,0.3%,1.0%和1.9%,而使用强化学习优化的融合网络模型分别提升2.0%,0.5%,1.9%和6.1%.