高维数据的相似性度量研究

数据间的相似性度量是进一步分析数据集整体特性的一个重要基础。针对高维数据的相似性度量问题,提出了一种基于子空间的相似性度量方法。该方法先将高维空间进行基于网格的划分,然后在划分后的子空间内计算数据间的相似性。理论分析表明,在合理选定网格划分参数的前提下,该方法可有效减小"维度灾难"对高维数据相似性度量的影响。

多媒体数据挖掘中数据间的相似性度量研究

聚类是多媒体数据挖掘的重要任务之一,数据之间的相似性度量是聚类的基础和前提。多媒体数据的特征矢量通常都是数十维甚至数百维的,但传统的相似度量方式一般只适用于低维数据。在分析高维数据特性的基础上,提出了一个新的度量方式。通过使用一个特定的策略对原始数据空间进行网格划分,该方法较好地避免了噪声数据对高维数据相似性度量的影响。实验证明此方法是有效的。

高维数据空间的一种网格划分方法

在高维数据空间的子空间中对高维数据进行处理是减小甚至消除"维度灾难"的一个有效方法。为选择合理的子空间,提出了一种基于网格划分的子空间生成方法。在考虑数据集整体分布的前提下,对各维数据进行等深度的区间划分,为高维数据的后续相关处理奠定了良好的基础。

面向大规模图像库的高维索引机制研究

针对图像的72维HSV颜色特征,提出了一种新的降维索引方法.区别于传统的降维机制,该方法在降维的过程中不仅保留了原始数据空间整体的重要信息,也准确抓住了高维个体数据的重要特性.在大规模图像库上的实验表明,基于本文索引机制的搜索算法不仅显著减少了支配检索时间的I/O开销,而且具有较高的查询准确率.

一般二维模糊控制器的等效神经网络建模与验证

针对模糊控制器的计算复杂性,实时性能差,易产生维度灾难等问题,利用神经网络的万能函数逼近能力,构建一个神经网络模型,精确的逼近已知的模糊控制器,从而减少运算量,实现实时控制。以一个已知的二输入单输出模糊控制器为例,建立一个与之等效的神经网络,通过训练,使得精确的逼近模糊控制系统。最后,给定输入信号,分别用模糊控制器和神经网络控制同一个被控对象。结果表明,用一个与模糊控制器等效的神经网络来控制同一个对象,控制效果非常相似。因此,用模糊控制器的等效神经网络模型代替,在实现环节上可以减少计算复杂性,维度灾难,提高实时性能。

一种降维新方法

针对图像数据的72维HSV颜色特征,对数据集的本征维概念进行了有意义的扩展,在此基础上提出了一个新的降维机制。实验证明,该降维算法是行之有效的。

多智能体强化学习方法综述

在自动驾驶、团队配合游戏等现实场景的序列决策问题中,多智能体强化学习表现出了优秀的潜力。然而,多智能体强化学习面临着维度灾难、不稳定性、多目标性和部分可观测性等挑战。为此,概述了多智能体强化学习的概念与方法,并整理了当前研究的主要趋势和研究方向。研究趋势包括CTDE范式、具有循环神经单元的智能体和训练技巧。主要研究方向涵盖混合型学习方法、协同与竞争学习、通信与知识共享、适应性与鲁棒性、分层与模块化学习、基于博弈论的方法以及可解释性。未来的研究方向包括解决维度灾难问题、求解大型组合优化问题和分析多智能体强化学习算法的全局收敛性。这些研究方向将推动多智能体强化学习在实际应用中取得更大的突破。

高维数据降维技术及研究进展

降维技术旨在将高维数据映射到更低维的数据空间上以寻求数据紧凑表示,该技术有利于对数据做进一步处理。随着多媒体技术和计算机技术的高速发展,数据维度呈爆炸性增长,使得机器学习、图像处理等研究领域的数据分析变得为越来越困难。为消除上述问题造成的维度灾难,研究学者提出了一系列的解决方法。文中为探索这些降维技术的实用性,介绍了传统的降维技术以及近年推出的降维技术,分析了典型降维技术的性能,指出降维技术仍存在的问题并分析了未来值得关注的研究方向。

基于概念格的图像特征数据降维

高维图像特征数据不利于图像数据挖掘。为了降低图像特征数据维数,提出了基于概念格的降维算法,该算法将图像的HSV颜色特征转换为图像形式背景,再对背景的概念格进行属性约简。实验结果表明,该降维方法比较有效,并且较主成分分析具有明显的优势。

基于启发式深度Q学习的多机器人任务分配算法

针对多机器人任务分配方法在环境复杂性增加时出现的维度灾难问题,本文提出了一种基于启发式深度Q学习的多机器人多任务分配算法。采用神经网络代替传统强化学习中的Q值,避免了强化学习在高维度空间下的状态-动作空间的局限性问题;将轨迹池引入深度Q学习算法中启发动作的选择策略,提高了算法的收敛速度;在动作选择决策之中引入动态探索因子,保证算法对环境中的未知空间的充分探索,进而提高算法的学习效率。通过实验证明:基于启发式深度Q学习的任务分配算法成功缓解了复杂环境下多机器人多任务分配的维度灾难问题,通过实验对比,证明基于启发式深度Q学习的任务分配算法在收敛速度和任务分配结果方面存在明显的提升。

适于高维数据的多标记学习层次树模型

为解决多标记学习中的维度灾难问题,采用分而治之的方法,充分考虑标记间的相关性,提出一种基于改进快速密度聚类的多标记学习层次树模型(ML-HTM).该模型降低了聚类过程中的计算复杂度,提高了多标记学习效率.为检验模型效果,在6个高维数据集、12个多标记分类评价指标上进行多标记学习实验,并与6种经典多标记学习算法的评价指标值进行算法对比.实验结果表明,该模型对多标记学习中高维数据的处理,明显提高了预测性能和学习效率,充分挖掘标记间的相关性,使得标记预测的结果更加准确.

基于无人机巡检的光伏面板缺陷识别方法

在光伏发电过程中,为解决因迭代步数快速增加而引发的交叉熵过量损失问题,提出基于无人机巡检的光伏面板缺陷识别方法。根据适宜机型选择结果,规划无人机巡检路径,通过计算维度灾难系数值的方式,实现基于无人机巡检的光伏面板缺陷量提取。在此基础上,分别定义光伏面板的纹理特征与颜色特征,根据核函数构造原理,完成光伏面板的缺陷表现行为识别。实例分析结果表明,与YOLOv2网络型诊断模型相比,无人机巡检识别方法可在抑制迭代步数快速上升行为的同时,控制交叉熵损失量数值,有效避免了过量损失行为的出现。

分组式OIF在高光谱图像分类的应用

高光谱图像具有高维度和高相关性,导致“维度灾难”和计算成本高。本文利用波段的标准差和相关系数,选择信息量大且相关性小的波段作为特征波段。为克服原始OIF难以在高光谱图像中采用的困境,提出分组式OIF (Grouping OIF, G-OIF)将高光谱图像分为若干子集,分别计算每个子集的最佳波段组合,然后并集得到整个图像的最佳波段组合。使用Indian Pines数据集,采用随机森林和支持向量机作为分类器,比较不同的分组和波段数对分类效果的影响。最后发现使用G-OIF时分组越多,波段数越多,分类效果越好。G-OIF能够在保证精度的同时实现降维,并缓解“维度灾难”。

基于局部特征聚合的图像检索方法

多媒体数据尤其是图像数据的急剧增长,使得基于图像内容的检索成为一个非常重要的研究课题.图像的特征描述以及特征的索引机制是实现基于内容图像检索的关键.针对图像局部聚合描述符(Vectors of LocallyAggregated Descriptors,VLAD)中硬分配难以准确描述局部特征向量与聚类之间隶属关系的问题,采用软分配策略,根据局部特征向量与聚类中心的距离分配不同的隶属权值,生成更具代表性的软分配局部聚合描述符(SoftAssignment-VLAD,SA-VLAD).针对非对称距离计算倒排索引机制(Inverted File with Asymmetric Distance Com-putation,IVFADC)在查询时为保证结果的查全率而增加候选倒排索引链的数目,导致距离计算和查询时间增加的问题,提出引入简单的散分配方法,将可能落入多条链表中的数据库向量进行多次编码,实现了基于散分配的非对称距离计算倒排索引机制(Dispersed Assignment-IVFADC,DA-IVFADC).实验结果表明:DA-IVFADC机制与SA-VLAD描述符,在很大程度上减少了查询时间,同时有效提高了查询结果的准确率.

高维空间中数据的相似性度量

高维空间中数据之间的相似性度量是目前数据挖掘、信息处理与检索等领域所面临的一个重要问题.文章在总结分析了高维数据的特点以及现有的一些度量方法的基础上,提出了一种新的度量方式,该方法在对高维数据进行相似性度量之前,首先对原始数据空间进行网格划分.文章的最后对其有效性作了定量分析,实验证明,该方式是行之有效的.

基于内容图像检索中的索引技术

首先总结了基于内容图像检索中索引技术的研究现状,指出了其中存在的问题以及今后发展趋势,然后提出了一个新的聚类算法和降维算法,并将两者结合起来提出了一个可用于基于内容图像检索的索引机制。

正交支持向量机及其在信用评分中的应用

虽然目前在实践中最常用的信用评分方法是逻辑回归,但研究的结果表明支持向量机在信用评分建模中是更为有效的方法。然而逻辑回归和支持向量机方法在高维数据分类问题上都面临着维度灾难的问题。正是基于以上原因,笔者提出了正交支持向量机的方法,并与目前常用的特征提取方法——主成分分析,逐步回归等在German信用卡数据集上进行了对比实验,交叉实验的结果表明正交支持向量机不论是在评分效果上还是评分效率上都有更好的表现。

一种基于广义2DLDA算法在人脸识别的应用

提出一种基于广义的2DLDA算法,简称:G2DLDA.首先,由于2DLDA算法提取的特征向量矩阵S-1wSb通常不是标准正交特征向量矩阵,因此该方法会严重影响特征提取的质量.本文根据Sw矩阵是对称正定的,即:具有Sw=S1/2w×S1/2w性质,将2DLDA算法的特征向量矩阵转化成基于标准正交特征向量矩阵,即:S-1/2wSbS-1/2w.其次,G2DLDA算法与2DLDA一样不会产生小样本事件,因为方程式S-1/2wSbS-1/2wv=λv的右端为单位矩阵,是满秩的.最后,G2DLDA算法采用基于Cosine-范数度量方式进行分类,实验证明该度量方式优于其他度量方式,如:欧氏距离度量方式以及F-范数度量方式.在实验阶段,本文采用Yale、ORL和JAFFE三个数据库对该算法进行测试与分析,实验结果证明该算法具有较好的鲁棒性,同时能够获得较高的识别率.

CBIR中的索引技术综述

总结了基于内容图像检索中索引技术的研究现状、分析比较了其性能的主要差异,同时也指出了其中存在的问题以及今后的发展趋势.

一种基于经验的分类方法探讨与应用

基于已有的数据挖掘预测任务,探讨怎样对小样本的高维(万维以上)数据集进行降维、分类,并在此基础上提出基于物理受力模型的建模思想,同时给出一种易于实现的基于经验的折中分类方法。最后详述该方法在解决所给问题上的应用。