基于奇异谱分析和局部敏感哈希的调频辅助服务市场短期容量需求预测方法

为了满足电网频率评估的要求,降低电网风险,保证发电与用电的实时平衡,需要对电网短期调频需求进行预测。为此提出基于奇异谱分析(singular spectrum analysis,SSA)和局部敏感哈希(locality-sensitive hashing,LSH)的调频容量需求预测方法。首先,为了处理频率信号高波动性的影响,SSA将频率信号分解为2个分量——代表原始时间序列平均趋势的平均趋势分量和揭示随机特征的波动分量,2个分量均在相空间中被重构,以获得平均趋势段和波动分量段;然后利用LSH选择平均趋势段的相似段,用于局部预测,从而提高预测的精度和效率;最后,采用支持向量回归(support vector regression,SVR)进行预测,其中训练输入为相似平均趋势段和相应波动分量段的合成。结果表明,与其他模型相比,该模型具有更高的精度和稳定性,所提方法不但能够降低调频容量,还能提升调频表现。

基于局部敏感哈希的K邻近算法识别垃圾短信

针对目前垃圾短信的识别算法存在的关键字及频次的规则死板,易于被不法分子探测和规避等问题,提出将局部敏感哈希的K邻近算法应用于垃圾短信分类识别;首先定义特征,然后采用局部敏感哈希算法计算向量距离,通过得到的距离衡量矩阵的相似性,量化矩阵相似程度,对本文中提出的优化模型进行实现和训练;基于短信文本内容,运用词频-逆向文本频率算法生成矩阵,利用局部敏感哈希算法求解最相似样本,记录样本类别,将训练结果导入K邻近算法分类器得到最优近邻,在测试集或验证集上对优化模型垃圾短信分类识别准确率进行评测。结果表明,经过K邻近算法分类器后,优化模型垃圾短信分类识别准确率达到98.7%。

面向大型数据集的局部敏感哈希K−means算法

大型数据集高效处理策略是煤矿安全监测智能化、采掘智能化等煤矿智能化建设的关键支撑。针对K−means算法面对大型数据集时聚类高效性及准确性不足的问题,提出了一种基于局部敏感哈希(LSH)的高效K−means聚类算法。基于LSH对抽样过程进行优化,提出了数据组构建算法LSH−G,将大型数据集合理划分为子数据组,并对数据集中的噪声点进行有效删除;基于LSH−G算法优化密度偏差抽样(DBS)算法中的子数据组划分过程,提出了数据组抽样算法LSH−GD,使样本集能更真实地反映原始数据集的分布规律;在此基础上,通过K−means算法对生成的样本集进行聚类,实现较低时间复杂度情况下从大型数据集中高效挖掘有效数据。实验结果表明:由10个AND操作与8个OR操作组成的级联组合为最优级联组合,得到的类中心误差平方和(SSEC)最小;在人工数据集上,与基于多层随机抽样(M−SRS)的K−means算法、基于DBS的K−means算法及基于网格密度偏差抽样(G−DBS)的K−means算法相比,基于LSH−GD的K−means算法在聚类准确性方面的平均提升幅度分别为56.63%、54.59%及25.34%,在聚类高效性方面的平均提升幅度分别为27.26%、16.81%及7.07%;在UCI标准数据集上,基于LSH−GD的K−means聚类算法获得的SSEC与CPU消耗时间(CPU−C)均为最优。

面向局部敏感哈希的压缩编码算法

局部敏感哈希算法需要生成足够长的哈希码才能达到理想的检索精度,这导致哈希码携带了大量冗余信息。针对该问题,本文提出一种面向长局部敏感哈希码的压缩编码算法(Compression Coding for Locality-Sensitive Hashing,CCLSH)。该算法基于哈希位的平衡性、相似性结构保留能力和互信息设计了哈希位质量与相关性度量准则,通过融合上述两个准则去除长哈希码中低质量且具有高相关性的冗余哈希位,实现无损压缩的目的。在三个基准数据集上的实验结果表明,CCLSH所压缩的哈希码在检索性能上与原长哈希码保持一致,同时压缩率都达到了90%以上。此外,与经典的压缩和哈希算法相比,该算法展现出更优秀的检索性能。

基于改进的局部敏感哈希算法实现图像型垃圾邮件过滤

提出一种快速的图像型垃圾邮件过滤方案,结合半监督机器学习技术改进局部敏感哈希(LSH)算法,基于改进的LSH算法构建垃圾图像特征库索引,提高图像的查找速度。搜集并构造了60 000个垃圾图像样本,实验结果表明,利用改进的LSH算法能有效地提高垃圾图像的过滤速度。

基于精确欧氏局部敏感哈希的协同过滤推荐算法

针对推荐系统中用户评分数据的海量高维与稀疏性,以及直接利用传统相似性度量方法来获取近邻的计算量大、结果不准等对推荐质量的影响,提出基于精确欧氏局部敏感哈希(E2LSH)的协同过滤推荐算法。首先利用精确欧氏局部敏感哈希算法对用户评分数据进行降维处理并构建索引,以快速获取目标用户的近邻用户;然后利用加权策略来预测用户评分,进而完成协同过滤推荐。实验结果表明,该算法能有效解决用户数据的海量高维与稀疏性问题,且运行效率高,具有较好的推荐质量。

结合局部敏感哈希的k近邻数据填补算法

k近邻(kNN)算法是缺失数据填补的常用算法,但由于需要逐个计算所有记录对之间的相似度,因此其填补耗时较高。为提高算法效率,提出结合局部敏感哈希(LSH)的k NN数据填补算法LSH-k NN。首先,对不存在缺失的完整记录进行局部敏感哈希,为之后查找近似最近邻提供索引;其次,针对枚举型、数值型以及混合型缺失数据分别提出对应的局部敏感哈希方法,对每一条待填补的不完整记录进行局部敏感哈希,按得到的哈希值找到与其疑似相似的候选记录;最后在候选记录中通过逐个计算相似度来找到其中相似程度最高的k条记录,并按照k NN算法对不完整记录进行填补。通过在4个真实数据集上的实验表明,结合局部敏感哈希的k NN填补算法LSH-k NN相对经典的k NN算法能够显著提高填补效率,并且保持准确性基本不变。

开放环境多分布特性的局部敏感哈希检索方法

基于局部敏感哈希的检索方法能够较好地解决高维大规模数据的近似近邻检索问题.但在开放环境下针对多种分布特性时,迄今尚未有令人满意的解决方案.利用Laplacian算子对数据分布剧烈变化敏感的特性,提出一种具有全局性、适用于开放环境下多种分布特性的基于Laplacian算子的局部敏感哈希搜索方法(LPLSH).该方法把Laplacian算子应用于数据投影的概率密度分布,找到数据投影分布的剧烈变化位置作为超平面的偏移量.从理论上证明了精简维度的哈希函数能够保持局部敏感性及低投影密度区间分割的有效性,分析了利用Laplacian算子计算的二阶导数对超平面偏移量设置的指导意义.与其他8种方法对比,LPLSH算法的F1值是其他方法最优值的0.8倍-5倍,耗费时间也大幅减少.通过对具有多种分布特性数据集上的实验验证,结果表明:LPLSH方法能够同时兼顾效率、精度和召回率,可满足开放环境下多分布特性的大规模高维检索的鲁棒性需求.

基于局部敏感哈希算法的图像高维数据索引技术的研究

局部敏感哈希(LSH)算法是有效的高维数据索引方法之一,该算法成功地解决了"维数灾难"问题。分析了LSH算法中主要参数对索引性能的影响,在规模不同的图像数据集上应用了LSH算法,实验结果表明选择合适的参数时,其性能接近顺序搜索方法。

基于局部敏感哈希的导航星库快速搜索算法

为提高星图识别过程中导航星库的搜索速度,提出基于局部敏感哈希的导航星库快速搜索算法。通过分析星图识别原理,以角距误差限为基准,量化星角距,将有序星点集星图识别模式转换为具有局部敏感特性的整数数组。然后引用STLport中整数哈希函数对整数数组进行散列,得到哈希值以及对应的存储有序星点集模式中心星点编号的集合。实验结果表明:提出算法的时间复杂度为O(1),优于直接遍历搜索、二分查找搜索以及k-vector搜索算法。考虑实际工程应用情况,可以选择星角距误差限为1个像素对应角距,角距数量,此时星图识别过程中哈希表的冲突率为0.74%,平均搜索次数为1.007 4,星图平均识别时间22μs。

基于余弦距离的局部敏感哈希的KNN算法在中文文本上的快速分类

文本分类是文本挖掘中最重要的研究内容之一。为了克服目前以距离衡量的近似分类算法在海量数据下耗费大量时间的缺陷,提出了结合基于余弦距离的局部敏感哈希的方式将KNN算法在TF-IDF下对中文文本进行快速分类。同时结合文本数据的特性给出了不同的哈希函数级联方式分别进行实验。在实验过程采用了布尔向量的方式规避重复访问,使分类的结果在可以允许的范围内,分类速度比原始KNN提高了许多。

基于多探寻局部敏感哈希和单词映射链投票的图像检索方法

为解决基于欧氏局部敏感哈希(E2LSH)的视觉词典法存在的内存消耗大、在图像背景明显变化时检索精度不高及增大数据库规模导致检索效率降低的问题,在采用多探寻LSH对特征点进行聚类的基础上提出的基于嵌入汉明码的单词映射链投票的图像检索方法。该方法首先采用多单词映射和软量化思想构造单表视觉词典,缩小词典规模以降低内存消耗;然后通过嵌入汉明码生成单词映射链,并提出一种权重赋予函数来增加检索精度;最后对匹配返回的单词映射链进行加权投票完成图像检索。实验结果表明,该方法能有效降低检索的内存消耗,提高检索精度,且适用于大规模数据库条件下的检索处理。

局部敏感哈希图像检索参数优化方法

随着大数据时代的到来,如何及时准确地处理海量的图像、视频等多媒体数据已成为相关领域新的挑战。局部敏感哈希算法在处理高维图像特征数据时表现出了良好的性能,使其成为了近年来的研究热点。针对图像检索算法参数的优化选择问题,提出了一种局部敏感哈希图像检索参数优化方法。首先建立面向图像检索的局部敏感哈希算法的性能优化模型,给出其参数优化所对应的非线性最优化问题的一般形式,并且定义了新的优化目标函数;然后分析图像数据间的距离分布规律,发现了求解上述参数优化问题的快速方法;最后结合数值微分和二分查找提出相应的局部敏感哈希参数优化算法。实验结果表明,该方法可以大幅降低算法的复杂度,提高运行效率,同时保持较高的精确值和召回率的调和均值F_1。

基于局部敏感哈希算法和神经网络学习的跨媒体检索方法

为了提高跨媒体检索的效率,可行的方法是降低数据集中不相关内容的比例。采用局部敏感哈希算法将图像数据映射到汉明空间并利用神经网络学习将文本数据映射到汉明空间的哈希函数,提出一种可以显著提高数据集中相关文件比例的高效跨媒体检索方法。实验结果表明,提出的方法能够有效去除数据集中的不相关内容,相对于已有的跨媒体检索方法,其有效提高了检索效率与准确率。

图上基于局部敏感哈希的多关键字索引

针对目前基于倒排表的图关键字索引不能有效处理多个关键字查询,也不能对关键字拼写容错的问题,提出一种位图和局部敏感哈希(BLH)相结合的双层索引来支持图的多关键字查询:上层构建位图,依据关键字组合的n-gram映射到子图类簇,每个类簇存储相似的子图;下层在每个类簇上构建局部敏感哈希索引,根据关键字组合的n-gram定位到包含关键字组合的子图。该方法可显著减少图上关键字查询的I/O,查询时间缩减80%;并且,基于n-gram构建索引,可以避免索引对拼写错误敏感,在关键字容错的前提下返回用户期望的结果。实际数据集上的实验结果表明BLH索引的有效性,可以支持万维网、社会网络的高效查询。

一种基于P稳定局部敏感哈希算法的相似人脸检索系统设计

针对智能移动终端、移动机器人安防巡检等应用需求,本文提出了一种基于P稳定局部哈希算法的相似人脸检索系统设计。首先,采用基于局部组合二值特征检测图像中的人脸。进而,通过深度自编码神经网络提取人脸特征。最后,基于所提取的图像的人脸区域特征使用稳定分布的局部敏感哈希算法对每幅图像构建高效索引。实验表明,本文所设计的相似人脸检索系统处理一幅图像的时间约400 ms,能满足实际应用需求,且返回检测结果的误检率低于经典AdaBoost算法。

局部特征的局部敏感哈希专利二值化图像检索

基于内容的专利二值化图像检索实现过程,其核心问题是图像内容特征的提取表示和匹配度量。图像内容特征的提取表示通过利用尺度不变特征转换(Scale Invariant Feature Transform,SIFT)算法提取专利二值化图像的局部特征,然后基于旋转90°、旋转180°、尺寸扩大2倍以及尺寸缩小1/2等四种几何变换计算减少局部特征数量,实现对专利二值化图像内容全面、准确的描述表示。图像内容特征的匹配度量通过对专利二值化图像的SIFT特征矢量进行二值化处理并且运用局部敏感哈希(Locality Sensitive Hashing,LSH)方法建立图像特征矢量的索引结构,降低专利二值化图像SIFT特征矢量的匹配复杂度,提升专利二值化图像SIFT特征矢量的匹配效率。本文利用不同规模的专利二值化图像数据集合进行上述检索算法的实验测试,结果表明,该检索算法能够实现专利二值化图像较好的检索速度与查全率。

位图局部敏感哈希的匹配二进制特征搜索算法

针对现有匹配二进制特征搜索算法效率低和入围点少的问题,提出了快速计算位图算法和位图局部敏感哈希算法。首先,计算左图提取的二进制特征的位向量;然后,使用快速计算位图算法计算位向量的位图,将位图作为关键字,并与二进制特征的标识作为映射,构建局部敏感哈希表;接着,将哈希表中的关键字存入位集;最后,判断右图提取的二进制特征对应的位图是否存在于哈希表中,优化查询哈希表中的匹配二进制特征,提高匹配二进制特征的搜索效率和质量。实验证明:位图局部敏感哈希算法提高了二进制特征近邻搜索的效率、增加了入围点数。

指数矩耦合局部敏感哈希的图像伪造检测算法

为了解决图像伪造检测算法在定位篡改内容时忽略了不同颜色分量之间的关系,使其对图像特征描述不足,导致其识别结果中存在误检与漏检等情况,本文提出了基于多元指数矩与欧式局部敏感哈希的图像伪造检测算法。引入高斯低通滤波,消除可疑图像中的噪声;随后,将滤波图像分割为一系列的重叠圆形子块,改善其对旋转等内容操作的鲁棒性;基于四元指数矩(QEM),计算每个圆形子块的QEM,以提取相应的鲁棒特征,将其组合成特征矢量;采用欧式局部敏感哈希机制,生成每个子块对应的哈希序列;计算任意两个相邻哈希元素之间的空间距离,通过与预设阈值比较,完成所有子块的匹配;最后,借助随机样本一致性方法来剔除错误匹配,通过形态学处理,定位出篡改内容。实验数据显示:较已有的伪造检测方法而言,在各种几何内容修改下,所提算法具有更高的伪造检测准确性。

高维分布式局部敏感哈希索引方法

为了解决基于内容的图像检索中存在的索引存储量大和构建索引计算开销大等问题,在系统地分析局部敏感哈希索引算法及Hadoop分布式系统的基础上,改进了现有高维索引计算模型和索引结构方法。根据局部敏感哈希索引的特点,将现有局部敏感哈希索引改为松耦合的索引结构,将索引文件分布式部署在多个查询节点中实现了高并发的索引查询。通过MapReduce分布式计算模型实现了索引的并行构造,提高了索引构造的效率,并采用分布式数据库存储海量高维索引数据,增强了系统可扩展性。实验结果表明,该算法具有一定的可行性。