基于排序得分预测的演化神经架构搜索方法

大量的实际应用场景已经很好地证明了神经网络的优异性能,而神经网络性能的主要决定因素在于其架构.目前,最先进的优秀架构需要人工设计,并且依赖大量的专家经验和反复的试错来验证性能.近年来不断发展的演化神经架构搜索(Evolutionary Neural Architecture Search,ENAS)能够在一定程度上减轻人工设计的负担.然而,即使ENAS方法能够自动地搜索到优秀架构,却因为其巨大的时间和计算资源消耗导致难以被广泛使用.代理模型能够较好地解决这一消耗过大的问题,但是现有的代理模型辅助的演化神经架构搜索并不能充分融合搜索和代理的过程,并且目前代理方法难以准确预测精度相近的网络架构的准确排序关系.同时,现有的代理模型普遍需要大量的架构信息作为训练数据才能获得较好的代理精度,这些特点都导致代理模型难以较好地辅助ENAS,从而制约了ENAS的发展.本文中,我们提出了排序得分预测器辅助的演化神经架构搜索方法(Rank Score Predictorassisted ENAS,RSP-ENAS).在使用本文提出的面向排序得分预测的新型损失函数的情况下,作为得分预测器的多层感知器(Multi-Layer Perceptron,MLP)给出的种群中个体性能得分的排序与他们实际性能的顺序会尽可能保持一致.在使用本方法搜索的过程中,预测获得的得分可以直接被用于精英选择.在搜索阶段中,本文提出了一种两阶段的搜索方法,在搜索的前期使用小种群关注于代理数据集历史信息的积累,在后期着重使用代理模型预测大种群的适应度值.本文中的实验在EvoXBench平台上进行,并且能够在所有的基准数据集上都取得较好的结果,另外我们还在ImageNet数据集上进行了验证.和其他方法相比,本文的方法在NASBench-101空间上能够搜索到最优的架构.在NASBench-201空间的三个数据集上的正确率相较于其他最优方法分别取得了0.35%、1.12%、0.55%的进步.在ImageNet上使用真实数据集进行的实验中,我们的方法获得了2.2%的分类精度的提升.另外,在使用相同数据量的情况下,本文中提出的排序得分预测模型得出的排序结果相较于其他最优方法在K endall’s Tau系数上获得了1.55%的提升.此外,我们还对代理模型中使用的One-hot编码和提出的排序损失进行了验证,从而证明这两项模块对于整体算法的有效性.

学生得分预测:一种基于知识图谱的卷积自编码器

在线个性化学习系统能够根据学生的学习历史,为学生提供个性化的学习资源,辅助学生高效学习.要提供精准的个性化诊断报告和个性化资源推荐,首先要对学生进行学业能力评估,其中一个基础性任务为得分预测.对于得分预测任务,现有的研究和方法存在如下不足:①不能充分利用大数据提升预测精度,②无法解决实际应用场景中常见的冷启动问题,③预测结果不可解释.为此提出并实现了一种基于知识图谱的自编码模型(knowledge-awareauto-encodermodel,KAEM)用于学生得分预测.首先介绍了含有教育专家先验知识的一种知识图谱,称之为锚题图谱;然后KAEM采用深度学习自编码技术,将教研对锚题图谱的先验理解作为自编码器的正则化项加入模型中,有效地解决冷启动问题.此外,此类模型的预测结果还可以解释化,为实际个性化学习推荐等应用场景提供教研依据.KAEM已经在国内某在线教育系统上运行,取得了良好的效果;在大规模数据上也实验验证了KAEM的有效性.

基于多任务学习的位置倾向性得分预测算法

用户搜索时产生的点击数据分布,在不同的搜索场景下存在较大差异.现有算法如融合上下文的位置模型(contextual position based model,CPBM)往往只通过单个模型预测多种场景下的位置倾向性得分,不可避免地降低了模型在不同场景下的预测准确性,影响去除位置偏置的效果.基于上述问题提出一种基于多任务学习的多门专家混合位置倾向性得分预测模型(multi-gate contextual position based model,MCPBM),在CPBM模型的基础上加入信息筛选结构,解决了多场景数据联合训练时预测准确性不佳的问题.同时,为了缓解不同任务收敛速度不一致的问题,提出了指数加权平均权重动态调整算法,在加速模型训练的同时提升了模型整体预测性能.实验结果表明提出的MCPBM模型在多场景数据联合训练时,预测准确性优于传统的CPBM;在使用MCPBM模型去除位置偏置后,基于生成的无偏数据训练得到的排序模型,在AvgRank排序指标上有1%~5%的提升.

基于认知诊断和神经网络的试题得分预测

随着教育越来越走向信息化,大量的教育数据会被保存,在海量教育数据中挖掘出学生的潜在信息是智能教育中非常值得研究的问题之一。针对目前大多数得分预测都是预测一个总分,无法具体到每一题得分预测的问题,对考试中存在的主要题型进行了研究,结合现有试题得分预测方法,指出其优势与不足,提出基于认知诊断和神经网络分别预测客观题和主观题得分的方法。该方法结合认知诊断理论计算出学生的知识状态,通过矩阵算法来预测学生在每道客观题上的得分,再将学生的知识状态作为特征,学生得分作为训练标签,使用卷积神经网络来训练并且预测学生在每道主观题上的得分。将两种方法分别与传统方法进行比较,结果表明两种方法分别在客观题和主观题上的效果比传统方法提高了很多。

基于OBE-PBL教学方法的本科生学习效率研究

随着我国教育水平的提高,高校越来越重视提高学生学习能力的方法。但目前很多中国高校的课堂教学中,出现课程知识陈旧,专业结构老化,课程模式单一,频频表现出学生的学习情况达不到教学目标要求的问题。为打破僵局,考查学生的学习状态,课题组以测控专业学生为研究对象,以实际工程问题为引导,设计了以案例为主体的多元化教学方法体系,建立了以OBE为基础的PBL教学考核机制(OBE-PBL),最后以平均得分评价学生在课堂上的学习效果,从而评价学生的学习能力。研究表明,采用OBE-PBL教学方法,可以明显改善大学生的学习状态。

基于非参数贝叶斯方法的随机波动建模与应用

本文利用非参数贝叶斯方法进行随机波动建模。通常的参数随机波动模型适用于证券市场中的综合指数数据,而对个股数据和小范围指数数据的拟合效果较差,主要原因是其收益率数据的变化规律更为复杂、具有更厚的尾部行为,而非参数贝叶斯方法的随机波动模型无需进行分布假设,具有很强的灵活性。本文利用SV-DPM模型对IBM的股票价格数据和上证50指数数据进行建模,研究发现非参数随机波动模型能拟合参数随机波动模型难以扑捉到的数据特征,实证表明有充分的依据支持非参数贝叶斯随机波动模型。论文的研究有助于捕捉金融资产的时变波动性质,能更好的揭示金融市场的运行规律,为期权定价和金融风险管理提供依据,对于防范与控制金融风险有着重要意义。