基于Hash算法的DNA序列k-mer index问题的数学建模

针对查找DNA序列的相似序列问题,给出了建立索引和查找索引的数学模型,基于Hash算法,建立了依赖于k值大小的顺序索引模型和散列索引模型,特别对较大k值选用了DJBHash函数,有效的避免了Hash冲突问题。最后在硬件平台CPU为2.6GHz、内存为8G、操作系统为64位Windows 7的条件下,对100万条长度为100的DNA序列进行了测试,给出了不同k值下建立和查询索引的用时和占用内存情况,有效的解决了DNA序列的k-mer index问题。

基于一致性哈希算法的分布式数据库索引查询优化方法

为了解决分布式数据库索引查询负载不平衡的问题,基于一致性哈希算法设计了分布式数据库索引查询优化方法.根据分布式数据库服务器节点CPU处理能力、带宽和缓存大小,采用动态反馈机制计算各服务器节点的索引查询负载率,通过一致性哈希负载平衡算法将任务分配给各服务器节点,并实时调整负载.以最小总代价为目标,利用多蚁群算法求得最佳查询路径.实验结果显示,基于一致性哈希算法的优化方法整体曲线趋势较平稳,在用户请求数量为4 000条时,最大负载平衡度为1.5%,全程响应时间小于35 ms.这说明该方法能够有效调整分布式数据库的负载分布,且受数据库规模影响较小,具备强大的查询响应能力.

二级Hash全局和局部索引筛选的长序列比对并行算法

通过构建参考基因组的二级Hash索引,以快速筛选出测序长序列在参考基因组中可能匹配的候选区域;建立测序序列局部索引,以加速测序序列和参考基因组候选区域之间的映射定位;对每个候选区域里的k-mer与测序序列的索引命中进行左右扩展获得比对种子;采用等距离抽样方式对种子抽取多个位置,利用抽样结果建立判断依据来过滤掉那些不可能匹配的种子;建立处理包含“均聚物”类型错误的序列片段全局比对得分方程,并行填补比对骨架的空隙,并采取GPU显存预分配和后释放独立的并行比对策略,以提升序列片段全局并行比对效率.模拟与真实数据的实验结果表明,相较于已有同类的长序列比对并行算法,本文提出的并行算法获得整体上较高的比对敏感度、碱基层次灵敏度和准确度,且可有效处理第3代测序长序列含有的“均聚物”类型错误,显著加速了大规模长序列与参考基因组比对的完成.

考虑哈希索引的电网数据集市海量信息索引系统设计

针对当前电网数据集市海量信息索引未考虑排序处理数据信息,导致系统检索效率和查全率低,稳定性差的问题,提出考虑哈希索引的电网数据集市海量信息索引系统设计方法。该系统聚类融合处理数据信息,根据关联规则挖掘结果提取与检索数据,结合哈希算法排序融合电网数据信息。该系统采用B/S三层体系,将其分为表示层、功能层和数据层,从而实现了系统的功能模块的设计,完成电网数据集市海量信息索引系统设计。实验结果表明,该系统设计方法的检索效率和查全率更高,稳定性更好。

TD-SCDMA网络Iu-PS口CDR合成方案

对TD—SCDMA网络的Iu—PS口信令信息及业务流程进行了分析研究，提出一个在Iu—PS口上实现呼叫追踪与业务分析相分离的主从CDR合成方案。阐述了该CDR合成的原理及算法，开辟了一种采用Hash动态合成的实现方法，解决了Iu—PS口CDR的合成效率低下问题。该方案已经应用到TD—SCDMA集中监测系统中，通过现网测试，效果良好。

一种改进的高效分词词典机制

汉语自动分词是中文信息处理的基础,在中文信息处理系统中具有广泛的应用。作者在研究几种分词词典机制的基础上提出了一种新的分词词典机制,其基本思想是:根据一字词和二字词出现频率高的特点,将词首字和次字组合成Hash索引表,其余字组成剩余结点数组。基于这种分词词典机制设计的组合Hash索引分词算法使得一字词和二字词查询只须在组合hash索引表中一步完成,从而显著提高查询速度。通过真实语料的对比实验,该算法在不降低精度的前提下,处理速度比整词二分平均提高了13.8倍,比TR IE索引树平均提高了2.7倍。结果表明:组合hash索引分词算法是实用有效的。

子域散列检索算法

虽然现在有许多不同的检索算法,但可以把它们分成两类:一类建立在比较基础上,效率不高;另一类称为散列算法,由于考虑了关键字与信息记录存贮地址间的关系,故效率较高。但是,现有的散列算法必须在不同情况下分析关键字,才能构造出好的 Hash 函数,保证提高效率。本文提出一个新的 Hash 函数构造方法——子域散列检索算法,其特点是在不同关键字情况下可以用相同映射方法来建立索引。这一算法不仅提高了效率,而且解决了一般散列算法难以解决的数据分布不均所带来的问题。

基于局部敏感哈希算法和神经网络学习的跨媒体检索方法

为了提高跨媒体检索的效率,可行的方法是降低数据集中不相关内容的比例。采用局部敏感哈希算法将图像数据映射到汉明空间并利用神经网络学习将文本数据映射到汉明空间的哈希函数,提出一种可以显著提高数据集中相关文件比例的高效跨媒体检索方法。实验结果表明,提出的方法能够有效去除数据集中的不相关内容,相对于已有的跨媒体检索方法,其有效提高了检索效率与准确率。

一种新型索引结构

传统Hash算法中溢出桶与主桶、溢出桶与溢出桶之间一般通过指针实现链接,对海量数据的等值查询采用指针方式效率很低。该文提出一种动态哈希索引算法,用B+树结构表示桶地址表,在桶地址表与记录键值之间建立一个B+树结构,通过二分查找可直接找到相应桶元素。实验结果表明,该算法的综合性能优于其他索引,其等值查询效率提高了15%。

NXD存储系统索引技术研究

XML文档存储是NXD(Native XML Database)系统必须解决的问题.Internet中XML主要应用于信息交换过程的数据结构及语义描述,NXD系统也需要支持XQuery标准,提供高效率的XML文档访问接口.本文较完整地设计了NXD存储系统的体系结构,针对XML的路径查询特点,设计XML结点存储的数据结构及存储系统的索引.包括结构及其建立、维护的算法,索引采用一种HASH算法——BH(平衡HASH)算法实现.-通过试验系统测试,这些存储结构和算法可以保证NXD系统的访问效率及路径查询效率.

加密环境下大数据特征集并行存储方法研究

针对传统方法存在数据存储速度慢,容量小的问题,提出一种加密环境下大数据特征集并行存储方法.采用MMSE算法对大数据特征集进行优化处理,以获得并行的大数据特征集.在加密环境下,当内存中保留数据记录达到一定数量时,在并行处理后的数据中插入批量Hash索引.以此为基础,基于Map函数对数据进行映射处理,进而完成对大数据特征集的并行存储.实验结果表明,利用所提方法的存储过程中数据分布通道具有较好的一致性,且存储速度约为传统方法的3倍,存储容量大.

基于多哈希算法的大规模图像快速检索方法

哈希技术被视为最有潜力的相似性搜索方法,其可以用于大规模多媒体数据搜索场合。为了解决在大规模图像情况下,数据检索效率低下的问题,提出了一种基于分段哈希码的倒排索引树结构,该索引结构将哈希码进行分段处理,对每段哈希码维护一个倒排索引树结构,并结合高效的布隆过滤器构建哈希索引结构。为了进一步提高检索准确性,设计了一种准确的排序融合算法,对多个哈希算法的排序结果分别构建加权无向图,采用PageRank的思想对基于多个哈希算法的排序列表的融合技术进行了详细的说明。实验结果表明,基于分段哈希码的倒排索引树结构能极大地提升数据的检索速度。此外,相比于传统的单个哈希算法排序技术,基于多个哈希算法的排序列表融合技术的检索准确率优势显著。

基于动态阈值哈希的大规模遥感影像快速内容检索方法

随着我国遥感对地观测技术的快速发展,接收和存档的遥感影像数据量呈指数级增长,传统的检索方法难以在超大的遥感影像数据量上进行快速内容检索,造成遥感影像检索技术缺乏突破性进展,使得我国遥感影像利用率和利用效率受到限制。本文提出了一种创新的哈希索引方法,该方法根据特征向量的空间分布情况动态生成向量的哈希编码,可对高维的遥感影像特征向量进行低维编码,大大降低了检索计算量,可显著提高大规模遥感影像库内容检索的准确率和效率。在天地图数据集的检索试验表明本文提出方法在准确度和检索效率上均有显著提升,有较大的应用潜力。

面向云环境的图像高维特征索引框架

针对海量图像数据的高维特征索引和查询方法,设计了一个面向云环境的两阶段图像高维特征索引框架,并基于MapReduce机制进行了系统实现。提出了一种基于位置敏感哈希函数的两阶段索引框架,可有效支持高维特征索引的分布式创建;利用MapReduce计算机制,设计和实现了分布式索引构建和查询算法,并集成到非结构化数据管理系统中。实验结果表明,该索引框架的查询速度随着数据规模不断增大呈亚线性增长。

基于稀疏矩阵面向论文索引排名的启发式算法

为了提高学术论文检索的精准性,进而为学术研究提供便利,提出了针对学术论文检索问题的排名策略。首先,介绍了基于网页排名算法面向论文索引排名的启发式方法,其中利用Hash索引技术有效地减少了稀疏矩阵计算对内存的消耗;其次,定义了论文间引用关系图的密集度均衡值,并通过大量实验阐明了不同排名算法的迭代次数与图密集度均衡值之间的关系;最后,将所提出的基于论文索引排名的启发式算法应用于科学引文索引(SCI)数据库中,并与原被引频次降序的排序结果进行比较与分析。实验结果表明:在三种基于网页排名技术的算法中,基于链接结构分析的随机过程算法比较适合于按关键词搜索得到的相关领域学术论文的排名。

基于私有云的邮件传输处理优化算法

从大附件上传及传输过程缓慢造成的用户体验下降、附件重复数据导致的计算资源浪费等问题出发,提出了基于层次化的系统架构,依托该物理架构,进一步研究了大附件传输的优化算法及趋同分析的管理机制。实验测试表明,该算法在用户体验、大附件高速传输和附件存储的节约化管理方面是最优方法。

密文数据库的快速查询

通过的主流数据库加密系统的研究,针对查询效率低问题,设计了二维数组密文索引。查询时,索引值经过简单的哈希算法,置换矩阵的变换确定一个加密的二维数组的地址下标,然后解密对应的数组元素获取单链表头指针,头指针指向的单链表中存放的是与索引值相同的记录的主键集合,再根据主键查询密文数据库解密并返回明文信息。整个查询过程实现了对密文数据不解密的情况下的检索。