基于神经切线核的学件RKME规约

当前机器学习技术已经在大量领域得到广泛应用,然而仍面临许多亟待解决的问题:依赖大量的训练数据和训练技巧、难以适应环境变化、数据隐私/所有权的保护、灾难性遗忘等等.最近,学件范式使得上述问题同时得到系统性地解决成为可能.在该范式下,用户面临新的机器学习任务时可以通过学件基座系统方便地复用他人的结果,而不必从头开始.学件范式的核心在于规约,规约使得学件基座系统在不接触原始数据的情况下,可以根据用户的需求快速识别出对用户任务有帮助的学件.近期研究均通过缩略核均值嵌入(Reduced Kernel Mean Embedding,RKME)为模型构造规约,并通过构建学件原型系统验证了范式的有效性.在实际中,学件基座系统中往往包含在各种领域任务、数据类型上构建的机器学习模型,而传统的RKME规约面临维度灾难的问题,难以适用于高维数据,例如图像场景.为了拓展RKME规约的适用范围,本文引入神经切线核进行RKME规约构造.为提升方法的高效性,本文进一步通过神经网络高斯过程与随机特征近似,快速为各种模型生成RKME规约.最后,本文在真实数据构建的销量预测、图像分类场景的学件基座系统中进行大量实验验证了所提出方法的有效性和高效性,所提出方法相比于传统RKME规约查搜准确率显著提升近9%,且实验结果表明改进后的规约在图像任务上具有良好的隐私保护性质.代码见:.

基于NTK理论和改进时间因果的物理信息神经网络加速收敛算法

物理信息神经网络(physics-informed neural networks,PINNs)是一类将先验物理知识嵌入神经网络的方法,目前已经成为求解偏微分方程领域的研究热点.尽管PINNs在数值模拟方面展现出巨大的应用前景,但它仍然面临收敛缓慢的挑战.文章从神经正切核(neural tangent kernel,NTK)理论出发,通过对单隐藏层神经网络模型进行分析,推出PINNs的神经正切核矩阵具体表达式,并以此进一步分析PINNs收敛速度的影响因素,给出PINNs快速收敛的两个必要条件.应用神经正切核理论分析PINNs领域的3种相关算法(时间因果算法、傅里叶特征嵌入、学习率退火)的加速收敛效果,结果表明这3种算法均不能满足PINNs加速收敛的所有必要条件.文章提出一种动态傅里叶特征嵌入时间因果算法(dynamic Fourier feature embedding causality,DFFEC),综合考虑了NTK矩阵特征值平衡和时间顺序收敛对PINNs收敛速度的影响,在AllenCahn,Reaction,Burgers和Advection等4个算例上的数值实验结果表明,所提出的DFFEC算法可以显著提高PINNs的收敛速度.特别是在Allen-Cahn算例上,与时间因果算法相比,所提出的DFFEC算法具有至少50倍的加速收敛效果.

基于神经正切核的小数据集回归任务

回归是常见的一类任务,两类特殊的回归模型:支持向量回归(SVR)与核岭回归(KRR)通过核函数解决数据在原始空间线性不可分的问题。一种新型核函数(NTK)被提出用于拟合无限宽神经网络的训练过程,相关研究显示NTK利于处理小数据集。选取多领域数据集在两种模型中比较NTK与常用核的性能,并对NTK进行了鲁棒性研究。结果表明NTK-SVR模型在部分数据集上取得了2.5%~20%的提升。

基于神经正切核的多核学习方法

多核学习方法是一类重要的核学习方法,但大多数多核学习方法存在如下问题:多核学习方法中的基核函数大多选择传统的具有浅层结构的核函数,在处理数据规模大且分布不平坦的问题时表示能力较弱;现有的多核学习方法的泛化误差收敛率大多为O(1/√n),收敛速度较慢。为此,提出了一种基于神经正切核(NTK)的多核学习方法。首先,将具有深层次结构的NTK作为多核学习方法的基核函数,从而增强多核学习方法的表示能力。然后,根据主特征值比例度量证明了一种收敛速率可达O(1/n)的泛化误差界;在此基础上,结合核对齐度量设计了一种全新的多核学习算法。最后,在多个数据集上进行了实验,实验结果表明,相比Adaboost和K近邻(KNN)等分类算法,新提出的多核学习算法具有更高的准确率和更好的表示能力,也验证了所提方法的可行性与有效性。

神经正切核K-Means聚类

针对K‑Means聚类算法利用均值更新聚类中心,导致聚类结果受样本分布影响的问题,提出了神经正切核K‑Means聚类算法(NTKKM)。首先通过神经正切核(NTK)将输入空间的数据映射到高维特征空间,然后在高维特征空间中进行K‑Means聚类,并采用兼顾簇间与簇内距离的方法更新聚类中心,最后得到聚类结果。在car和breast‑tissue数据集上,对NTKKM聚类算法的准确率、调整兰德系数(ARI)及FM指数这3个评价指标进行统计。实验结果表明,NTKKM聚类算法的聚类效果以及稳定性均优于K‑Means聚类算法和高斯核K‑Means聚类算法。NTKKM聚类算法与传统的K‑Means聚类算法相比,准确率分别提升了14.9%和9.4%,ARI分别提升了9.7%和18.0%,FM指数分别提升了12.0%和12.0%,验证了NTKKM聚类算法良好的聚类性能。

基于神经正切核草图的多核学习方法

为提高多核学习对大规模及分布不均衡问题的处理能力,提出一种基于神经正切核草图的多核学习方法(neural tangent kernel sketch multiple kernel learning, NS-MKL)。应用神经正切核代替单层核函数作为多核学习基核函数,提高多核学习方法表示能力;使用神经正切核草图算法对神经正切核进行近似,减少神经正切核的特征数量和特征维度,提高多核学习方法计算效率;使用核目标对齐计算每个近似神经正切核的基核权重,根据权重进行多核线性组合,得到多核决策函数。在3个UCI数据集上对神经正线核(neural tangent kernel, NTK)核支持向量机(support vector machine, SVM)与传统核SVM进行比较分析,NTK核SVM比传统核SVM预测准确率最低提高1.9%,精度最低提高2.0%,召回率最低提高2.0%。在3个UCI数据集上对NS-MKL与传统核MKL进行比较分析,NS-MKL比应用传统核MKL预测准确率最低提高2.0%,运行时间最低减少9 s。NS-MKL能提高预测准确率,降低计算速度。