从希尔伯特-施密特独立性中学习的多标签半监督学习方法

基于希尔伯特-施密特独立性提出了一种新的半监督学习方法,称为最大化依赖性多标签半监督学习方法(dependence maximization multi-label semi-supervised learning method,DMMS)。该方法将样本已有标签作为约束,以最大化特征集和标签集的关联性为目标,通过求解一个线性系统为无标签数据打上标签,具有实现简单,无参(nonparameter)的特点。多个真实多标签数据库的实验表明,DMMS与最好的多标签学习方法,包括多标签近邻(multi-label k-nearest neighbor,MLKNN)和图半监督学习方法具有类似的识别效果。

基于希尔伯特-施密特范数和交叉格莱姆的模型降阶方法

为了克服基于交叉格莱姆矩阵的最小信息损失模型降阶方法的局限性——信息损失性能指标不满足非负性和范数意义导致其物理意义不直观,利用Hankel奇异值以及交叉格莱姆的信息属性推导出希尔伯特-施密特范数与交叉格莱姆的关系,进一步推理得出希尔伯特-施密特范数意义的信息损失性能指标,并给出了基于希尔伯特-施密特范数和交叉格莱姆的模型降阶方法.最后,通过数值算例表明,降阶效果大为改善,截断误差更小,验证了新的信息损失指标的合理性和有效性.

基于k-近邻局部线性邻域重建的多视角聚类算法

多视图聚类旨在利用不同视图间互为差异、互相补充的信息对数据对象进行聚类,如何融合不同视角的数据是多视角聚类算法的重要问题之一。为了能更准确有效地刻画视角间的相似关系,提出一种基于k-近邻局部线性邻域重建的多视角聚类算法。首先,利用数据点间的距离分配概率近邻,得到各视角数据对应的相似矩阵;其次,通过引入k-近邻,对各视角相似矩阵进行局部线性邻域重建后融合为统一的相似矩阵;同时,引入HSIC刻画不同视角的多样性。通过将统一图的学习与多样性学习整合在统一的框架中,本模型有能力输出一个包含了各视图多样信息的融合图。通过交替迭代算法,所提模型可以被很好地优化。多个公开数据集上的对比实验证明了所提出算法的有效性优于其他已有算法。

基于伪标签依赖增强与噪声干扰消减的小样本图像分类

深度学习在图像分类领域的成功很大程度上依赖于大规模数据,然而在许多应用场景中,收集足够的数据用于模型的训练是比较困难的。因此,旨在利用有限的数据获得高性能模型的小样本学习成为热点研究方向。在小样本图像分类领域,使用无标签数据来扩充训练数据集是一种常用的方法,但该方法面临两个亟待解决的难题:如何获取无标签数据的伪标签以及如何减轻噪声标签累积的负面影响?首先,为获得高质量的伪标签,需要解决由源域和目标域的分布偏移导致的噪声标签问题,因而提出基于希尔伯特-施密特独立准则(Hilbert-Schmidt Independent Criterion,HSIC)的依赖增强方法,通过最大化图像特征表示与标签之间的相关性,从而提高伪标签的预测可靠度。其次,为克服标签预测误差随着时间推移不断累积的问题,提出噪声标签干扰消减(Noise Label Interference Reduction,NLIR)方法,确保具有正确标签的样本的梯度始终主导着训练动态,从而将模型引向最优解。所提方法在小样本图像分类基准数据集mini-ImageNet和tiered-ImageNet上进行了评估,实验结果表明,该方法能够很好地利用无标签数据提升分类精度,具有良好的分类性能。

基于双HSIC和稀疏正则化的多标签特征选择

为了合理地利用多标签数据中的样本信息和标签信息,提高模型的分类性能,提出了基于双希尔伯特-施密特独立性准则(Hilbert-Schmidt independence criterion,HSIC)和稀疏正则化的多标签特征选择(DHSR)。该方法在线性映射的基础上引入双HSIC作为正则项,增强伪标签空间和特征空间之间的依赖关系,增强伪标签空间和真实标签空间之间的依赖关系。并使用L2,1范数作为稀疏正则项,以提高模型的泛化能力和减少模型的计算复杂度。最后,在多个经典多标签数据集上的对比实验结果验证了DHSR的有效性和优越性。

基于特征加权和梯度融合的领域泛化研究

当下,深度学习图片分类训练的模型已经达到了相当高的精度。但是,在将训练完成的深度学习模型部署到实际场景的准确率并不理想。如果想保证比较优秀的模型效果,还要求测试数据和训练数据具有相似的分布,即具有独立同分布性。为了解决训练数据与实际应用数据的分布差异下迁移模型性能不佳的问题,本研究通过结合不同域的训练梯度和通过训练权重消除特征之间的依赖关系来解决深度学习模型局限于类似分布的特性。通过实验表明,本研究的效果在两个数据集的泛化效果上具有突出表现。

基于最大化依赖的恐怖行为背景特征提取方法

针对恐怖数据集中存在的属性值残缺问题,提出了基于最大化背景向量与行为之间依赖关系的压缩背景空间(CCS)方法。该方法基于希尔伯特-施密特独立标准和希尔伯特-施密特范数,它们能有效检测变量间的关联性。CCS通过使得背景向量线性投影后的低维特征与行为之间希尔伯特-施密特范数最大化,从而实现背景向量与行为之间的依赖关系最大化,更好地发现两者之间的关联性,减小属性值残缺带来的影响。然后利用分类模型(如支持向量机(SVM))对所得到的低维特征进行学习(CCS+SVM),实现高效预测。在MAROB数据集上的实验表明:与SVM模型、基于传统特征提取方法(如PCA和CCA)的SVM模型以及已有的恐怖行为预测算法CONVEX相比,CCS+SVM的性能在查全率和F值上分别提高1.5%和1.0%以上,而查准率和ROC曲线下面积(AUC)值与最好性能相当。实验结果表明,CCS+SVM能够较好地解决恐怖数据集中的属性值残缺问题。

多样性表示的深度子空间聚类算法

针对深度子空间聚类问题中不同层次特征中互补信息挖掘困难的问题,在深度自编码器的基础上,提出了一种在编码器获取的低层和高层特征之间探索互补信息的多样性表示的深度子空间聚类(DRDSC)算法。首先,基于希尔伯特-施密特独立性准则(HSIC)建立了不同层次特征衡量多样性表示模型;其次,在深度自编码器网络结构中引入特征多样性表示模块,从而挖掘有利于提升聚类效果的图像特征;此外,更新了损失函数的形式,有效融合了多层次表示的底层子空间;最后,在常用的聚类数据集上进行了多次实验。实验结果表明,DRDSC在数据集Extended Yale B、ORL、COIL20和Umist上的聚类错误率分别达到1.23%、10.50%、1.74%和17.71%,与高效稠密子空间聚类(EDSC)相比,分别降低了10.41、16.75、13.12和12.92个百分点;与深度子空间聚类(DSC)相比,分别降低了1.44、3.50、3.68和9.17个百分点,说明所提出的DRDSC算法有更好的聚类效果。

一种新的多标记特征提取方法

针对已有多标记特征提取方法并未充分利用特征信息的问题,提出了基于希尔伯特-施密特独立标准和主成分分析的多标记特征提取方法.该方法通过使标记与降维后特征之间希尔伯特-施密特范数达到最大,以充分利用标记知识;同时利用主成分分析,以尽量减少特征提取过程中的协方差信息损失.通过在Yahoo数据集上的实验表明,该算法的性能优于主成分分析和当前3种主要的多标记特征提取方法,验证了该算法的有效性.

基于核统计独立性准则的特征选择研究综述

希尔伯特-施密特独立性准则(Hilbert-Schmidtindependencecriterion,HSIC)是一种基于核函数的独立性度量标准,具有计算简单、收敛速度快和偏差低等优点,广泛应用于统计分析和机器学习问题中。特征选择是一种有效的降维技术,它能评估特征的重要性,并构造适合学习任务的最优特征子空间。系统综述了基于HSIC的特征选择方法,详细介绍了其中的理论基础、算法模型和求解方法,分析了基于HSIC的特征选择的优点与不足,并对未来的研究做出展望。

基于Copula熵的变量选择

在要求可解释性的机器学习和统计应用中,变量选择对分类和回归任务十分重要.本文提出了一种基于Copula熵的变量选择方法,利用Copula熵值的阶次选择变量.本方法既是模型无关的又是参数无关的.在UCI心脏病数据的基础上进行了本方法与传统变量选择方法(包括距离相关、希尔伯特-施密特独立性准则、逐步选择、正则化广义线性模型和自适应LASSO)的对比实验.实验结果表明,基于Copula熵的方法能够更有效地选择‘正确'的变量,在不牺牲准确性性能的同时得到比传统方法更具可解释性的模型.

基于非负矩阵分解的均方残差多视图聚类算法

针对高维海量数据,现有的多视图聚类方法存在无法发现高维视图隐藏信息、聚类效果差等问题。结合均方残差(Mean Squared Residue, MSR)思想,提出了一种基于非负矩阵分解的均方残差多视图聚类方法(Mean Squared Residue Non-negative Matrix Factorization, MSRNMF)。首先,采用改进的非负矩阵分解方法结合流形学习、希尔伯特-施密特独立性准则计算各单视图的系数矩阵,不仅降低了多视图中各个视图的维度,而且有效地提取了高维数据中的隐藏信息;其次,采用谱聚类算法对各单视图的系数矩阵进行聚类,获得单视图聚类簇;接着,利用均方残差思想,针对各单视图聚类结果进行融合,得到最终多视图聚类结果;最后,以标准数据集和古建数据集为对象进行验证,实验结果表明该算法在精度上优于MVCF,GPSNMF,GPMVNMF,DMF和MCLES,在古建筑集上效果明显,进而验证了算法的有效性。

一种基于多视角聚类的离群检测算法

复杂数据集通常包含不同的组织模式,传统的离群检测算法从单一视角寻找离群点,不能充分利用多视角信息,造成信息遗漏。提出一种基于多视角聚类的离群检测算法,该算法一方面采用谱聚类,以确保高质量的聚类结果;另一方面通过希尔伯特-施密特独立性准则,以确保新的聚类结果相对于已知划分模式是无冗余的。对得到多个视角进行离群分析,从而得到更准确的离群集。研究结果表明,该算法能够提高离群检测精度。

加速多标签特征提取的内核依赖最大化

多标签降维的内核依赖最大化(kMDDM)是近年来提出的一种处理高维多标签数据的方法。为了产生可判别的投影向量,kMDDM利用希尔伯特-施密特独立性准则来获取特征描述和相关标签之间的依赖关系。然而kMDDM的计算涉及到密集矩阵特征分解问题。众所周知,这对于大规模问题的计算成本很高。在文中将原kMDDM转化为最小二乘方问题从而利用共轭梯度算法来大大减少计算量。此外,还将有效正则化技术合并至最小二乘模型用以提高泛化性能并依据基准数据收集进行的大量试验来验证所提出的模型的有效性。

一种新颖的无监督特征选择方法

大多数基于HSIC的特征选择方法都受到以下限制。首先,这些方法通常只适用于有标记的数据,这是不够的,因为现实世界应用中的大多数数据都是未标记的。其次,现有的基于HSIC的无监督特征选择方法只解决了所选特征与表达底层聚类结构的输出值之间的一般相关性,而忽略了不同特征之间的冗余。为了解决这些问题,提出了一种新的基于HSIC的无监督特征选择方法(UFSHSIC),该方法使用HSIC作为相关性准则来探索特征与总体样本结构之间的相关性及特征与特征之间的冗余度。与其它经典特征选择学习方法在多个真实数据集上的实验对比表明,该方法可以有效从无标签样本中进行特征选择,且选择的特征子集相比有监督特征选择方法而言能产生类似或更好的性能。

Fidelity and fidelity susceptibility based on Hilbert-Schmidt inner product

We reinvestigate the fidelity based on Hilbert-Schmidt inner product and give a simplified form.The geometric meaning of the fidelity is clarified.We then give the analytic expression of the fidelity susceptibility in both Hilbert and Liouville space.By using the reconstruction of symmetric logarithmic derivative in Liouville space,we present the time derivative of fidelity susceptibility with the normalized density vector representation.