基于随机游走的图扩散模型

图注意力网络(Graph Attention Networks,GAT)通过汇聚相邻节点计算中心节点特征时,缺少图的结构信息且没有利用高阶邻域节点。针对此问题,提出一种采用随机游走策略的图扩散模型。该模型通过随机游走访问邻域内的节点以提取结构信息,并通过设置游走时的重启参数和迭代次数,控制邻域范围以提取局部和全局节点信息,再通过图注意力的加权求和机制对特征进行转换。该模型在3个引文图数据集上进行实验比较,比传统GAT模型的准确率平均提升了1.1%,证明了随机游走策略在捕获节点结构信息方面发挥了重要作用。

基于多模态数据的个性化学习精准干预研究

多模态数据建模已成为洞察学习规律的新范式。随着信息与传感技术的发展,采集学生的多模态数据成为可能,基于各种学习者数据对学生进行全面而综合性建模的综合模型应用是大势所趋。文章在学习者画像与多模态数据的基础上,构建了多模态数据个性化学习研究框架,包括多模态信息采集、多模态特征提取、多模态特征融合分析等。最后,文章探讨了真实协作场景中多模态教育数据,实现多维度、立体化、动静结合的个性化学习推荐,实现智能教育精准决策。

基于注意力机制的图学习方法研究

深度学习已经在许多领域取得成功,人们在这一领域投入了大量的研究工作,极大地推动了图学习方法的发展。根据现有图神经网络模型的特点,首先描述了一种通用的图学习框架,以系统的方式对其进行全面概述,包括消息传递、特征聚合以及节点更新三个部分。然后,以该框架为基础引入图注意力机制,并改进消息传递方法,解决注意力机制对空间结构学习的不足。最后,我们简要概述了该框架的应用,以期为图学习方法的研究提供指引。

一种卷积神经网络的稀疏性Dropout正则化方法

Dropout是卷积神经网络中经典的正则化方法,能有效防止过拟合现象的产生.基于Dropout的卷积神经网络在训练时以完全随机的方式删除部分节点,产生的局部网络缺少对不同样本的区分性.针对上述问题,提出一种稀疏性Dropout正则化方法,该方法在训练时对节点引入稀疏性限制,根据激活值的大小选择节点被删除的概率,使网络以更高的概率删除激活值较低的节点,以保留更多激活值较高的节点,增强模型的特征提取能力.测试时恢复所有被删除的节点并保留训练时的参数,达到组合多个局部网络的目的.在公开数据集上的实验结果表明,将稀疏性与Dropout相结合的方法相较于传统方法具有更好的泛化能力.

一种多尺度卷积神经网络的人脸检测模型

卷积神经网络在检测不同尺度的人脸时所需要的计算量很大,检测过程由多个分离的步骤组成,过于复杂。针对这两方面的不足,提出一种多尺度卷积神经网络模型。根据卷积神经网络各个层具有大小不同的感受野,从不同层提取多个尺度的特征向量分别进行人脸分类与回归,并将网络的全连接层改成卷积层,以适应不同大小的图片输入。该方法将人脸检测的多个步骤集成到一个卷积神经网络中,降低了模型复杂度。实验结果表明,相同测试条件下,所提方法相比其他人脸检测模型在准确率和检测速度上均有显著提升。

基于KL距离的卷积神经网络人脸特征提取模型

为了克服欧式距离的度量方法在人脸特征表达上的不足,提出了一种基于KL距离的卷积神经网络人脸特征提取模型。通过卷积神经网络将输入样本转换为一个概率分布,利用KL距离度量不同样本之间概率分布的差异,并定义了一个代价函数对此距离进行优化,最后使用反向传播算法修改卷积神经网络的参数,使网络对人脸特征有更强的区分能力。将提取的特征向量通过神经网络分类器进行人脸验证,在YouTube等人脸库上进行了测试。试验结果表明,该方法不仅能提高正确率,而且还具有更好的泛化性能。

基于图注意力机制的交通流预测模型

针对现有交通流预测模型在预测精度上的不足,提出一种基于注意力机制的图模型。首先,利用多头注意力机制在交通图中编码高阶邻域结构,提取交通网络中的高阶空间特征。然后,嵌入长距离时间结构注意力机制提取长期性的历史周期信息。模型采用注意力机制替代传统的局部卷积核结构,可以有效提取长距离时空依赖关系。在METR-LA(洛杉矶路网)、PeMS-BAY(加州湾区路网)、PeMS-S(加州小型路网)三个真实的交通数据集上进行实验证明,模型在预测未来60 min的交通流精度上较传统深度学习方法,RMSE(均方根误差)平均降低3.1%、3.9%和1.8%,表明所提模型的长时间预测能力优势明显。

海量图像检索系统关键技术研究

对于传统的图像检索,需要耗费大量的时间及精力,不利于发挥图像的信息价值。在新时期,为了更加高效地在海量图像中检索出相关信息,满足人们的多样化需求,就需要对图像检索系统进行深入挖掘,把握其关键技术,缩短图像检索时间,提高检索精确性。

视频图像处理与应用研究

当前,我国科学技术发展迅速,在此背景下,视频图像处理与分析应用,在人们的社会生活中发挥的作用越来越大,比如在视频监控、数字电视等方面应用广泛,它和每个人的生活息息相关,其重要性不言而喻。本文将对视频图像应用的发展进行阐述,同时将结合一些典型事例对其应用进行了分析。

一种利用知识迁移的卷积神经网络训练策略

针对深层卷积神经网络在有限标记样本下训练时存在的过拟合和梯度弥散问题,提出一种从源模型中迁移知识训练一个深层目标模型的策略.迁移的知识包括样本的类别分布和源模型的低层特征,类别分布提供了样本的类间相关信息,扩展了训练集的监督信息,可以缓解样本不足的问题;低层特征包含样本的局部特征,在相关任务的迁移过程中具有一般性,可以使目标模型跳出局部最小值区域.利用这两部分知识对目标模型进行预训练,能够使模型收敛到较好的位置,之后再用真实标记样本进行微调.实验结果表明,所提方法能够增强模型的抗过拟合能力,并提升预测精度.