基于倒排索引的文本相似搜索

根据文本向量的维分布的稀疏性,提出了基于倒排索引的文本相似搜索算法。该算法通过倒排索引进行维过滤,快速获得尽量小的目标集的超集。实验表明,在海量文本环境下,该方法虽略微损失准确度,但其速度远远高于传统基于多维索引的算法。

高效时序相似搜索技术

时序相似搜索被认为是将来最有前途的技术之一.然而,时序数据是典型的高维海量数据,如何开发高效算法非常关键.文中概述了时序相似搜索技术的研究现状和进展以及研究的主要内容,讨论了该技术的几个重要应用范例,并对一些典型算法进行了定量分析;然后重点论述了高效时序相似搜索的关键技术,包括边界过滤、三角不等式修剪、多辨析率检索方法、过滤精炼方案等.最后讨论并分析了时序的近似相似搜索技术.上述所有技术通过对比,其正面和反面都被深入分析.最后指出了存在的问题和未来的研究热点和方向.

基于形状特征k-d树的多维时间序列相似搜索

多维时间序列是信息系统中一类重要的数据对象,相似搜索是其应用的一个核心.两个序列(子序列)相似度加以比较的常用方法是:将序列(子序列)转换成空间中的曲线,然后计算曲线间的欧几里德距离.这种方法的主要缺陷是它仅考虑了序列(子序列)间的整体距离关系,而不能体现它们自身的局部变化.针对此问题,提出了一种新的可应用于多维时间序列的快速相似搜索方法.该方法将序列(子序列)的局部变化特性与检索结构(k-d树)结合起来,使得在搜索k-d树的同时实现了序列(子序列)的局部变化匹配,从而极大地提高了查询效率和正确率.实验结果表明了算法的有效性.

大规模时间序列数据库降维及相似搜索

提出一种基于分段多项式表示(PPR)的时间序列数据库相似查询的系统化方法.PPR是一类基于线性多项式回归的正交变换.用PPR变换索引时间序列数据在理论上具备非漏报性质.文中分析了PPR的计算复杂性以及查询阈值的下界,并提出了一种衡量时间序列相似查询算法之查询效率的定量指标.与基于离散傅立叶变换(DFT)和离散小波变换(DWT)的时间序列相似查询算法所作的对比实验表明,所提算法可以用低的索引结构维数获得高的查询效率.

半结构化数据相似搜索的索引技术研究

为了在海量、高维、动态的半结构化数据集上进行有效的相似搜索,该文提出一种采用聚类技术进行索引构建与更新的多路平衡树——CSS-树以及基于CSS-树的相似搜索与动态更新的算法.CSS-树借鉴SS+-树基于聚类进行节点组织与分裂的基本思想,避免了根据坐标维进行分裂时所要求的维不相关性,同时在节点组织、分裂算法和搜索算法等方面进行了改进,提出了新的搜索剪枝策略.实验表明,该结构及算法对海量半结构化数据相似搜索的效率明显优于传统算法.

基于相似搜索和加权回归技术的短期电价预测

在电力市场环境下,进行准确的电价预测对市场中的各参与者有极其重要的意义。提出一种基于数据挖掘中的相似搜索技术和加权回归技术的短期电价预测方法,该方法简单、方便,对临近日和相似搜索所得到的相似日的负荷-电价数据用加权回归进行电价预测。最后用美国加州电能交易所(CalPX)公布的真实数据得到的预测结果验证了该方法的有效性。

基于相似搜索与多开端重组的配电网两时间尺度无功协调控制

规模化的分布式电源接入配电网后造成了电压高间歇性波动,影响了无功补偿设备的调节效果。提出基于相似搜索与多开端重组的多目标无功优化算法,考虑了非平滑补偿设备的日投切次数限制,加入变化的次数成本约束,调节尺度为1 h;DG和SVG的实时平滑调节设备,调节尺度为5 min,进行超短期预测反馈调节,优化目标为电压偏差、网损和调控成本综合最优。求解算法采用改进的多目标粒子群算法,运用相似搜索技术,调用适用性最高的历史无功方案作为方案粒子加快算法的初期收敛速度;引用Pareto熵协调多目标间的适应度,同时依托Pareto解集存优能力,在算法收敛后期设计了多开端重组方法,进一步提高优化效果。经实际算例验证了该方法的有效性。

结构化对等计算系统中的高维相似搜索

对等计算数据管理中的一个重要问题是如何有效地支持高维空间中的相似性搜索.文章采用了一种有效的空间划分策略,提出了一种基于Chord系统的相似搜索方法.首先,利用预先选定的代表点对整个数据空间进行划分,使得每个代表点对应唯一的一个子空间且所有子空间的体积之和等于整个数据空间的体积.然后,将这些代表点映射到一维区间,使得每个代表点被赋予一个唯一的标识.将代表点的标识作为Chord系统中的节点散列值,就构造出一种改进的Chord系统.最后,利用Chord系统的路由协议,以代表点的标识为查找键就可以访问到所有与搜索区域相交的子空间对应的节点.仿真实验表明,在查询处理代价和调节负载均衡方面,与现有的方法相比(如MUCK),文中提出的方法更加有效.

一种时间序列相似搜索中提前终止效率的估算方法

提前终止(Early Abandon)是在受限的相似搜索中的一项技术,在提高时间序列相似搜索的效率,减少冗余计算中取得成功应用。但是以往的工作中提前终止的效率往往都只是通过大量的实验测试来体现,而缺少一种理论化的方法。从理论上提出了一种对提前终止技术的实际效率的估算方法,采用统计概率的方式分析了提前终止技术在时间序列相似搜索中的效率,同时对理论结果进行了实验验证。实验结果表明,理论上的估计方法在一定程度上可以估算出提前终止的效率,为时间序列相似搜索的实际效率计算提供了理论工具。

RQIC:一种高效时序相似搜索算法

索引大规模时序数据库是高效时序搜索中的关键问题.提出了一种新颖的索引方案RQI,它包括3种过滤策略:即first-k过滤、索引低边界和上边界以及三角不等式修剪.基本的思想为首先运用Haar小波变换计算每个时序的小波系数,利用前面的k个小波系数形成一个最小边界矩阵,以利用点过滤方法;然后将预先计算每个时序的低边界特征和上边界特征存放到索引当中;最后采用三角不等式来修剪不相似的序列并确保没有漏报.同时提出了一种新的低边界距离函数SLBS和聚类算法CSA.通过CSA可保持索引良好的聚类特征以提高点过滤方法的效率,从而引入了一种更好的算法RQIC.在合成数据集和实时数据集的大量对比实验表明,RQIC是有效的且具备较高的查询效率.

CAD中基于成组技术的相似搜索

根据成组技术相似性原理和特征技术的特点,提出了一种用于设计的产品结构相似搜索机制,达到充分利用企业现有成熟产品的目的。文中详细讨论了明确有效的产品零部件结构的分类编码方法和相似搜索过程,从理论和实践上探索了一种合理高效的企业计算机自动辅助产品设计实现手段。

基于相似搜索和RBF神经网络的短期电价预测

为了提高电价预测的准确性,提出一种基于相似搜索和RBF神经网络的短期电价预测的方法。采用相似搜索原理来生成神经网络的训练集和输入矩阵,并运用MATLAB7.0中的神经网络工具来实现该模型。采用澳大利亚维多利亚电力市场2002年1月1日至3月17日共75天数据进行了实验分析,对3月11日～17日的各时段电价进行了预测,通过比较验证了本文方法的有效性。

基于PPR的煤矿瓦斯监测数据相似搜索方法

研究基于时间序列相似搜索技术的煤矿瓦斯涌出分析新途径,提出基于PPR的煤矿瓦斯监测数据相似搜索方法。实验采用玉华煤矿的真实煤矿瓦斯监测数据,评价指标为信息损失量及相似查询效率。与基于离散傅立叶变换(DFT)和离散小波变换(DWT)的时间序列相似搜索算法的对比实验显示:在相同压缩比下,3种方法的信息损失相近;但是基于PPR的相似搜索算法的平均查询效率分别比基于DFT和基于DWT方法高32%和34%。因此PPR算法适合用于瓦斯监测数据相似搜索。

一种基于内容及相似搜索的对等音乐文件共享系统

提出了一个基于内容及相似搜索的对等音乐文件共享系统。该系统建立在结构化的应用层覆盖网络之上,保证了系统的可扩展性和避免了网络消息的洪泛;利用了集合对等点来完成音乐文件的元数据的注册和搜索;把音乐文件的属性名—属性值对(attribute-value pairs,AV-Pairs)通过MFD(music file description)来表示,使系统既可以支持精确的检索,也可以完成复杂的语义相似性搜索,特别是基于内容的搜索和下载;描述了对等实体上的软件功能模块,构建了一个实际的对等音乐文件共享系统。测试结果表明,随着大量搜索请求的到达,系统保持了比较高的吞吐量,同时具有比较高的成功搜索率。

按需印刷平台中的相似搜索研究

目的研究按需印刷平台中的相似搜索效率问题。方法利用用户与产品之间的"购买"关系构建"用户-产品"关系,基于P-Rank提出一种高效的相似搜索方法 POD-Rank,用于从"用户-产品"关系中发现相似产品。POD-Rank相似搜索过程依据"用户-产品"关系离线计算用户相似性,并利用用户相似性在线计算产品相似性,而后进一步提出优化的在线查询处理算法,以降低查询处理的时间开销。结果 POD-Rank的计算时间开销和存储开销显著低于P-Rank,而且能够快速响应查询请求。结论POD-Rank的相似性计算开销为P-Rank的0.03%,存储开销为P-Rank的0.06%,计算效果与P-Rank接近,能够满足按需印刷平台中大规模产品数据处理的需求。

基于时间序列相似搜索和粗糙集的数据挖掘研究

提出了一种能够对含有时间序列数据的数据库信息进行数据挖掘的方法。首先使用时间序列相似搜索方法对其中的时间序列数据进行模式发现,然后将时间序列数据转化为离散型数值,进一步使用粗糙集理论进行数据约简和规则提取。通过使用这种方法能够对含有时序数据的信息进行充分的挖掘并发现其中的规律。

基于相似搜索和神经网络的日前市场边际电价预测

为了对电力市场次日系统边际电价(SMP)进行准确预测,本文根据数据挖掘中的相似搜索理论和人工神经网络(ANN)工具建立了预测模型,其中相似搜索用来生成神经网络的训练集和输入矩阵,并运用Matlab6.5中的神经网络工具实现该模型。采用美国加州电力市场的历史数据进行实例计算,证明该方法对工作日SMP的预测效果较好,也证明了选择与预测日负荷相似或邻近日的历史数据进行网络训练方法的有效性。

基于相似搜索与阈值判定改进的配电网无功优化

在配电网间歇性源荷渗透率大幅提高的趋势下,常规的无功优化智能算法在保证优化精度的同时,收敛效率和计算速度有待进一步提高。为此,提出利用大样本数据的相似搜索与阈值判定的改进无功优化方法。方法采用相似性搜索算法在数据库中搜索与当前负荷最相似的历史负荷,并以该历史负荷的无功方案为目标方案。通过相似度阈值判定,采用专家知识法局部修正后,直接调用相似度较高的目标方案;相似度较低时将目标方案作为“优化粒子”加入到粒子群算法中,进行快速寻优修正,提高了常规智能算法的速度和精度。最后以地区电网和IEEE 8500算例验证该方法具有优良的优化效果与优化速度。

基于神经网络和相似搜索技术的电力价格钉预测方法

电力市场中普遍存在“价格钉”,其特殊性给电价预测带来困难。通过对其特征和影响因素的分析,提出了一种基于神经网络和相似搜索技术的价格钉预测方法。首先,采用BP神经网络建立价格钉识别模型,对未来某一交易时段市场清算电价可能出现的区间进行预测,并提供相应的置信度;其次,对判别为价格钉的时段采用相似搜索技术进行二次预测。采用澳大利亚昆士兰州电力市场2004年至2005年全年的电价数据进行训练和预测分析,结果验证了该方法的有效性。

基于傅立叶变换的一种时间序列相似搜索算法

该文提出了基于傅立叶变换的一种新的时间序列相似搜索算法。该算法利用高效的索引方法,达到快速的匹配,解决了多序列的子序列匹配问题。大量算例验证了该算法的通用性和有效性,它可以应用到求解各种时间序列相关的实际问题。