海量高维向量的并行Top-k连接查询

在很多应用领域中,向量的Top-k连接查询是一种很重要的操作,给定两个向量集合R和S,Top-k连接查询要求从R和S中返回距离最小的前k个向量对.由于数据的海量性和高维特性,传统的集中式算法已经无法在可接受的时间内完成连接查询任务.MapReduce作为一个并行处理框架,能够有效地处理大规模数据.由于其高可扩展性、高可用性等特点,MapReduce已经成为海量数据处理的首选实现方案,在很多领域都得到了广泛的应用.文中基于分段累积近似法对高维向量进行降维,然后利用符号累积近似法对高维向量进行分组;在此基础上,结合MapReduce框架,提出了基于SAX的并行Top-k连接查询算法.实验表明,文中所提方案具有良好的性能和扩展性.

数字文献资源高维向量表示模型与聚类检验

文献的向量表示方法对文献聚合、聚类和分类等研究是重要的。本文在向量空间模型（VSM）的基础上，通过补充文献特征此间的潜在语义相关性，提出了潜在语义向量空间模型（CLSVSM），并采用CNKI的学科分类文献为样本进行实验检验，结果显示新模型在文献聚类效果上明显好于VSM模型。

保密计算高维向量差的范数及其应用

几何问题的安全多方计算在保密位置判断、保密数据查询等方面有着重要的应用价值.目前安全多方计算几何问题的研究主要集中在平面几何,较少涉及空间几何.利用两方置换协议设计了空间几何中两个高维向量差的范数计算协议,并用模拟范例证明此方案的安全性;避免了高次模指数运算,提高了效率,适用于任何高维向量;给出了保密判断两组数据是否对应成比例的协议,并将数据对应成比例问题转化成三角形构成问题,避免了多次调用提高了效率.

CS-Chord:基于聚类分离的分布式高维向量索引

M-Chord是一种基于P2P网络的高维向量索引,其聚类边缘的向量容易与搜索圆频繁相交,使得查找的区域增多,降低了M-Chord的效率。提出一种基于聚类分离的分布式高维向量索引(CS-Chord),将边缘区域的高频检索向量从Chord环中分离出来,集中存储在服务器上,中心区域的向量仍存储于Chord环中,节省了大量资源的定位时间,从而提高检索效率。实验结果表明:在查询半径为0.2时,CS-Chord距离计算次数约为2000,比M-Chord减少了约2500次;CS-Chord消息转发次数约降低150次,仅为M-Chord的50%。

局部敏感哈希在高维向量K近邻搜索中的应用

在图片相似性搜索中,需要将图片特征向量的相似性搜索问题转化为K近邻问题,这就需要了解K近邻问题的定义,以及局部敏感哈希的数学定义。此外,还需引入一个可以用于实际应用的局部敏感哈希的算法,并分析此算法的正确率和算法复杂度。

高维特征向量相似度计算方法研究

在机器学习、目标识别等诸多领域都会涉及到特征向量的有效识别问题,大多是通过与先期建立的模板特征向量库进行比对,因此高维特征向量的相似度计算就成为特征识别的关键。提出利用互信息熵的计算方法描述高维特征向量之间的“距离”,与传统的“欧氏距离”“相关系数”等方法相比较,不仅考虑了向量的长度信息,还考虑了角度信息,因此可以更进一步地描述高维向量彼此之间的差异,丰富高维特征向量相似度计算方法。

利用分区和距离实现高维空间快速KNN查询

在高维空间KNN查询算法中,近似向量和一维转换表示法能有效克服维数灾难,结合这两种思想,提出一种基于区位码和距离的索引结构(BD)以实现快速KNN查询.根据高维空间向量分布特点,合理分区使得大量分布在空间表面的点尽可能地划分到不同的分区中,提高检索剪枝效率.引入区位码概念和转换函数,将高维向量近似表示并转换为一维数值形式,组织成B+树索引.利用快速KNN查询算法,实现两层过滤,缩小搜索范围,降低树搜索代价.采用模拟数据和真实数据,大量实验验证了BD比其他同类索引具有更高的检索效率.

高维空间平行四边形面积的多方保密计算

几何问题的安全多方计算在保密位置判断、保密数据查询等方面有着重要的应用价值。但目前大多数几何问题的研究主要集中在平面几何,很少涉及空间几何。文章从一个军事实际问题出发,首先利用两方置换协议和同态加密算法保密计算了空间几何中2个高维向量差的范数,并用模拟范例证明了此方案的安全性。接着,利用此方案设计了空间几何中平行四边形面积的保密计算协议。不同于以往的方案,协议使用了一个有关安全两方置换问题的转化技巧,避免了以往方案中出现的高次模指数运算,因此效率较高;由于方案不局限于三维向量,适合于任何高维向量,更具有普遍意义。

基于子向量距离索引的特征匹配算法的改进

在解决高维向量的搜索问题方法中,基于子向量距离索引的向量匹配算法iSVD拥有较好的搜索精度和效率。但是,该算法计算复杂度仍然较高,在实际应用中会受到限制。针对该问题,引入关键维选取方法,对iSVD算法进行改进。该方法首先将特征向量划分为多个子向量;再通过某种筛选方法,选出部分子向量代替原特征向量,进而创建索引值;最后利用索引值进行最近邻搜索。该方法能够将相似性较小的特征向量进行有效的区分,且可以进一步缩小最近邻搜索的搜索范围。实验结果表明,该算法能够在保持良好搜索精度的同时,提高匹配的正确率,缩短匹配时间,具有较好的实用性。

基于高维赋范与SGHSA算法的用电峰谷时段划分模型

科学划分用电峰、平、谷时段是合理制定峰谷分时电价的基础,时段划分结果应满足长期适用性,并且最大限度地反映出不同时段间负荷的差异。对峰谷时段划分的建模问题展开研究,首先,通过定义涵盖较长时间周期信息的各时点上高维负荷向量及其范数构造时段划分的数据样本集;其次,在范数的基础上引入半梯形隶属函数来确定各时点属于峰、平、谷时段的隶属度;再次,建立阈值优化模型,通过自适应全局寻优搜索算法(SGHSA)对分类阈值进行寻优,并完成时段划分模型的构建;最后,结合某地区实例进行分析,在验证模型合理性的基础上,输出该地区居民用电峰谷时段划分的参考结果。

依据散列查找的分布式网络数据分流算法

传统分流算法具有负载平衡效果差、分流效率低等问题,为解决此问题,提出基于散列查找的分布式网络数据分流算法。建立分布式网络数据分流约束条件,得到数据分流的判断性依据;计算数据接收、发送、传输以及分流过程中的能量消耗;利用非线性数据的高维映射向量,构建数据分流的目标函数,通过判断方差值实现分布式网络数据的分流。以负载平衡效果和分流效率为依据,将所提方法和其他方法进行对比实验,结果表明,所提方法取得了最低的丢包率和最高的分流效率。

次同步谐振中的分歧分析

应用Lyapunov-Schmidt方法对高维非线性向量场进行了约化,采用Hopf分歧理论分析了次同步谐振中出现的分歧现象。利用数值微分法求出了曲率系数对分歧参数的灵敏度,从而可预见分歧轨道稳定性态的变化。研究表明:不同的串联补偿度、不同的参数可能导致不同类型的分歧。在某一串联补偿度上,出现的次同步谐振可能被轨道稳定的极限环所取代。随着串联补偿度的升高,次同步谐振可能出现于虚轴左侧邻域。换句话说,在另一较高的串联补偿度上,轨道不稳定的极限环将从原来渐近稳定平衡点上分岔出来,系统的稳定性态将被改变。

一种采用改进K-d树的无人机影像特征匹配搜索方法

在高分辨率无人机影像匹配过程中,多采用SIFT或SURF算法进行尺度和旋转不变的特征提取与描述,但经过SIFT或SURF算法提取出的特征都是高维向量,在匹配点数量较大时,匹配搜索速度比较慢。针对这一问题,比较了穷尽搜索与K-d树搜索算法的特点;然后按照"降维"的思路,提出了一种采用改进K-d树的匹配搜索方法。经过理论分析和实验验证,该方法可以有效提高匹配搜索速度,并且匹配数据集规模越大、维度越高,搜索速度提升越明显。

基于多表投票的弱随机检索方法

高维向量检索在模式识别、计算机视觉、信息检索等领域有着重要的作用。对数据点进行随机映射的位置敏感哈希是当前该问题的主要解决方法,它虽然速度快,但随机性强。为减弱其随机性,提出了多表投票的弱随机检索方法。该方法首先对所有数据点进行随机映射,然后进行相似计算得出检索向量,再将多个哈希表对应的检索向量构造成矩阵,最后对该矩阵列元素进行频次投票得出最终索引。实验说明该方法能综合利用多个哈希表的信息降低位置敏感哈希的随机性,并得出与真实近似程度相当的结果。

积分不等式Ⅱ

用一种新方法处理了一类高维向量空间中的多变量非线性积分不等式 .主要结果即文中的定理 1 ,2 ,它的推论则是一些熟知的不等式 .

一种航迹网络图粒子群优化生成方法

提出一种航迹网络图粒子群优化生成方法。首先介绍了航迹网络图的基本结构,然后将网络图看作一个粒子,以网络图中所有节点的坐标来描述粒子的位置信息。为了使航迹网络图整体代价较优,设定合适的粒子适应度函数对航迹网络图进行优化,评价指标包括两项:航迹网络图中所有航迹段的代价总和以及随航迹片段数目减少而增加的惩罚代价。实验结果表明,该算法能有效地优化航迹网络图,得到航迹片段较为丰富的航迹网络。

版权数据库管理中基于内容的版权检索方法

局部敏感哈希LSH(Locality Sensitive Hashing)是一种常见的用于处理高维向量的索引办法。首先介绍LSH算法的基本原理和方法,然后通过更快哈希函数的计算和跳过重复点等方法对LSH算法进行改进,与传统的索引方法相比,改进后算法在不降低准确度的情况下,耗费时间更短。实验结果证明,将该优化算法应用于基于内容数字版权检索中,其性能优于传统的索引方法。

ELMD与排列熵在滚动轴承故障诊断中的应用

针对轴承故障信号往往被强背景噪声淹没,采用传统包络解调方法难以提取故障特征的问题,提出总体局部均值分解(ensemble local mean decomposition,ELMD)与排列熵(permutation entropy,PE)相结合的轴承故障诊断方法。首先,对轴承振动信号进行ELMD分解并得到一系列窄带乘积函数(product function,PF),然后,计算各PF分量排列熵以构造高维特征向量,最后将高维特征向量作为多故障分类器的输入来识别轴承故障类型。实验结果表明ELMD方法可以有效地抑制模态混叠;PF分量的排列熵分布可以反应轴承不同工作状态下的信号特征;基于ELMD与排列熵的智能诊断方法可以准确地识别轴承的工作状态和故障类型。

基于视觉和激光融合的林区采育目标识别方法

提出一种基于视觉和激光融合的林区采育机作业目标识别方法。在数据融合的基础上,运用惯性单元信息对激光数据进行修正,并应用差分算法提取独立目标点云簇的九种特征。提出高维模糊支持向量机(FSVM-HIGH)识别模型,并对林区环境的采育目标进行分类。结果表明,FSVM-HIGH对树木、行人、岩石三种目标识别的平均正确率达到93%;与传统识别模型相比,该算法对林区采育目标均具有较好的识别效果,特别是对树木目标的综合正确识别率高达91.79%,能够帮助操作人员快速准确地判断作业环境信息。

基于VMD和BP神经网络的轨道病害诊断方法

针对从非线性、非稳态的轨枕振动信号中提取病害特征困难的问题,文中提出一种基于变分模态分解和多尺度排列熵的轨道病害特征提取方法,并采用BP神经网络病害诊断模型进行病害识别。利用变分模态分解方法将采集到的振动加速度信号进行分解,得到若干个本征模态分量。计算这些本征模态分量的多尺度排列熵值,将其作为轨道病害的高维特征向量,以实现对轨枕振动信号的降噪和病害特征的提取。通过建立BP神经网络病害诊断模型,将高维特征向量输入到BP网络中进行训练、拟合、验证,并与经验模态分解和BP神经网络结合的方法对比。分析结果表明,文中所提方法识别准确率更高,能够有效地进行病害诊断。