嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。

基于压缩算法与自注意力机制模型的语料库机器翻译系统设计研究

为了解决传统英语机器翻译系统存在的稳定性差、语句压缩不稳定等问题。研究将压缩算法与自注意力机制模型进行融合,用于设计语料库英语机器翻译系统。研究首先利用压缩算法对英语机器翻译中的语句进行压缩;然后将压缩后的结果作为输入,用于构建英语机器翻译系统的设计;最后利用实验来验证系统的翻译性能。结果表明研究设计的翻译系统方法降噪后分贝范围分布在[0.1.68~1.97],连贯性平均值分别为89.76%,系统方法的压缩率平均值、稳定性平均值、训练损失值和BLEU分数分别为88.76%、89.04%、0.81、0.87,结果均优于对比方法。这说明研究设计的系统在英语机器翻译过程中具有较好的翻译效果,并且相比传统方法具有更高的效率和准确性,能为英语翻译研究提供有价值的参考。

基于循环门单元和注意力机制的学生学习积极性预测模型

为了挖掘校园无线网络数据中蕴含的学生行为,更好地辅助教学管理,本文提出了基于循环门单元和注意力机制(gated recurrent unit-attention,GRU-Attention)的学生学习积极性预测模型。首先对采集到的学生行为轨迹数据进行预处理和聚类分析,根据学生在校园各个场所的平均逗留时间对学习积极性做出预判断。然后根据无线流量的连接频率及用途对学生行为特征数据进行二次判断,并引入学生学习成绩作为参考标准。最后将数据集输入到GRU信息提取层,并在Attention层进行加权处理,计算得出概率分布。实验结果表明,GRU-Attention模型准确度优于其他常见预测模型,可以更好地帮助辅导员去管理和引导学生树立良好的学习态度。

基于双注意力机制的遥感图像目标检测

针对遥感图像在复杂背景下小目标检测精度较低的问题,提出一种基于双注意力机制模型的SSD检测算法。该算法在前端特征提取网络中引入双注意力机制模型,强化低层特征图中小目标的有效特征信息并抑制冗余的语义信息,实现自适应特征学习;并在空间注意力模型中引入空洞卷积,保证卷积核感受野的同时减少了网络参数。引入Focal loss损失函数作为改进算法的分类损失函数,改善网络在训练过程中样本失衡的问题,增加正样本与难样本在训练时的权重比例,提升算法的检测性能。对遥感图像数据集NWPU VHR-10进行检测的结果表明,本文的改进算法在保证检测速度的同时提高了检测精度。与传统SSD算法相比,改进SSD算法的mAP提高了2.25个百分点,达到79.65%。

基于多层注意力机制的回指消解算法

在信息抽取过程中,无法被判别的回指易造成信息抽取不完整的情况,这种指代关系可通过分析当前语境下的指代部分、被指代部分、周围的信息及原文内容生成的唯一判别信息进行判断。为此,构建一个多层注意力机制模型,在不同层次上对上述信息进行基于注意力机制的概率计算,利用最终结果判别回指关系是否成立。在指代部分与被指代部分向量化后,通过2个注意力层上的4次概率计算,使每一个训练结果在判别之前都具有唯一性。在OntoNotes 5.0数据集上的实验结果表明,该模型F值在显性指代和零指代均存在的条件下为70.1%,在存在零指代的条件下为60.7%,高于尹庆宇等人提出的模型。

面向教学评价的课堂视频镜头边界检测新方法

课堂视频镜头边界检测对教学评价具有重要意义。针对教学视频视觉信息变化不明显、镜头边界信息不足、检测结果不利于教学评价等问题,引入注意力机制,提出了基于视觉和文本特征描述学习的课堂视频镜头边界检测方法。首先,提出了层次视觉Transformer模型学习教学评价关注的屏幕、教师和学生等感兴趣区域的视觉特征。其次,提出了层次文本Transformer模型从屏幕和语音文本中学习教学评价关注的文本特征。最后,构建基于二值交叉熵的镜头分类和边界检测损失函数。在数据集CLShots上的实验结果表明,本文方法在准确率、召回率、F1分数和平均交并比等指标比当前先进的教学镜头检测方法SBLV分别提高了23.3%、22.4%、22%和35.7%,比通用领域深度学习方法TransNet V2分别提高了13.8%、14.5%、14.3%和21.3%。

基于“样本字典”的城市违法用地快速监测模式研究

基于多源低空遥感数据获取、知识样本库、深度学习变化感知、多源数据融合分析,提出以专题“样本字典”和自注意力机制变化感知为核心的快速监测服务技术体系,旨在解决国家重要战略发展地区违法用地监管高效、精准、精细的管控要求,有效保障土地执法效率及准确率。

基于YOLOv5的近岸SAR舰船目标检测方法

由于类似舰船的陆地目标的干扰和舰船的紧密排列,基于合成孔径雷达(SAR)图像的近岸舰船检测会出现较多漏检和误检,提出了一种基于YOLOv5网络的近岸舰船的检测方法。为提高近岸背景下的检测精度,使用了注意力机制模型和CSL的技术用于改进网络;分析了YOLOv5网络、注意力模型和CSL算法,基于YOLOv5进行了检测实验,引入注意力模型来改进网络;结合CSL算法,重构了YOLOv5旋转检测网络。通过调整训练参数和改进注意力,近岸目标检测网络的测试结果达到mAP 80%以上,证实了CSL+YOLOv5算法实现旋转检测的可行性。

核心词修正的Seq2Seq短文摘要

为使用户能够更快从海量的互联网信息中获得自己想要的信息,需要利用自动摘要技术给这些短文本添加简短的摘要,提出采用深度学习结合核心词修正的方法自动生成中文短文本的摘要。通过对长短期记忆网络(LSTM)进行研究,构建一个基于注意力机制的序列到序列模型(Seq2Seq),采用字词联合特征作为模型的输入进行训练,利用原文的核心词対生成的摘要进行修正,得到最终的摘要结果。通过分析在LCSTS数据集上的实验结果验证了该方法的有效性。