基于分布式缓存的科技文献信息动态检索系统设计

为便于科研人员研究科技发展前沿动态,设计基于分布式缓存的科技文献信息动态检索系统,为用户匹配最佳检索结果。用户层将用户检索需求传输至处理层数据采集模块,该模块采集数据信息后经网络层通信模块将信息传输至数据层科技文献信息数据库中存储;数据层分布式存储模块采用分布式缓存方法将以往的检索记录信息分别存储至热数据库及冷数据库中;利用网络层传输科技文献信息数据库内的检索需求信息至处理层检索处理模块,通过科技文献信息动态检索方法处理接收到的检索信息,将处理后信息与数据层分布式存储模块内的关联数据进行排序重组,获取检索结果,并通过用户层展示检索结果。结果表明,该系统可有效且准确地为用户检索其所需的科技文献信息,检索MAP值为0.95以上,系统具备较快的读写速度与较强的数据传输能力。

基于分布式技术的动车组车载大数据存储与检索技术研究

随着动车组的数据传输能力升级改造以及复兴号智能型动车组的上线运营,动车组监测项点数据快速扩充,如何高效、准确地对动车组的海量车载非实时数据进行存储、检索与查询,成为提升动车组车载数据管理和应用水平面临的一个挑战。文中提出一种基于分布式技术的海量非实时数据地面系统架构,将各动车运用所的数据服务站点作为子节点,全路数据服务中心作为主节点,对具备时空属性的海量数据快速检索算法进行了研究,构建了一种支持分布式数据存储、检索及数据分析的架构,开发了原型系统,验证了解决方案的可行性和有效性。

大规模知识图谱数据的分布式存储与检索系统

知识图谱已经广泛应用于各个领域。针对传统集中式查询的效率低和硬件压力大等问题,对大规模知识图谱的分布式检索与查询进行了研究。采用基于查询负载优化的轻量级重划分算法,通过设置不同权重实现了服务器间的查询负载均衡,从而在查询速度和系统性能上都有了显著的提高。同时,设计了基于查询代价的子图分解查询算法,以查询图的结构信息为基础,加快了系统的查询速度。在分布式微服务管理系统中,采用Spring Cloud的分布式微服务架构和Nginx的负载均衡技术,保证了系统在高并发情况下的可靠性和高可用性。实验结果表明,这些算法在查询效率和系统性能方面都优于传统算法,具有实际应用价值。

基于改进决策树的分布式数据库信息跨域检索研究

针对现有检索方法在对分布式数据库信息跨域检索时,存在实际检索代价过大,需要通过大量节点数量和元组数量的检索才能为用户展示最终检索结果的问题,引入改进决策树,开展对分布式数据库信息跨域检索方法的设计研究。首先将相同语义的检索聚集到同一个检索集合,实现分布式数据库检索聚合;其次利用改进决策树,划分分布式数据库属性;最后基于整理,实现对分布式数据库元数据信息的跨域检索。对比实验结果表明,新的检索方法在实际应用中检索代价与其他现有检索方法相比明显降低,可在检索少量节点和元组后为用户提供其所需检索结果,有效提高检索效率。

三角模糊集算法在电子信息分布式多模块检索仿真中的应用研究

三角模糊集算法,作为一种基于模糊逻辑的数学工具,能够有效处理不确定性和模糊性问题,因此在信息检索中显示出巨大的潜力。三角模糊集是模糊数学中的基本概念,通过定义隶属函数为三角形的模糊集合,能够简化模糊信息的处理过程,提高算法的效率和检索的准确性。本文深入探讨了三角模糊集算法在电子信息分布式多模块检索中的具体应用,包括模糊化处理和相似度计算等关键技术。最后,通过仿真研究,验证了该算法在提高检索系统性能方面的有效性。

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联,现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题,基于分布式存储系统HBase,利用工业场景中数据与访问行为特征的关联性,提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题,提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型(LR)对数据进行冷热分类,并将热数据分散存储在不同节点;同时,为进一步降低存储集群中跨节点的通信开销,以提升工业时序数据高维索引的查询效率,提出索引主数据同Region化策略,设计索引RowKey字段及拼接规则,将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明,引入优化策略后的数据负载分布倾斜度降低28.5%,查询效率提升27.7%,验证了所提优化策略能够有效地挖掘特定时序数据的访问模式,合理地分配负载,降低数据访问开销,有能力满足对特定时序大数据的访问需求。

基于电网分布式存储构建业务分析模型的探索和研究

由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明:所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。

兼容需求侧资源的交直流配电网分布式调度方法

交直流配电网存在着多种不确定性因素,如天气变化、负荷波动、设备故障等。这些因素给调度决策带来难度,需要通过合适的建模和优化方法来考虑和应对不确定性,以提高系统的稳定性和可靠性。为此,提出一种兼容需求侧资源的交直流配电网分布式调度方法。搭建资源分布式检索模型,应用查询扩展和分类方法,完成电力需求侧资源分布式检索。引入混沌优化策略,改进粒子群算法,利用该算法实现交直流配电网负荷分布式调度。实验结果表明,研究方法对交直流配电网完成调度后,其风力发电的弃风值显著降低,检索出交直流配电网的负荷数据更准确。并且,改进后的粒子群算法能够在更少的迭代次数中实现目标函数的最小化。

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。

基于跨库检索的分布式数据服务系统设计

面对常规的报表查询系统、跨平台系统受到活跃分布式数据影响,导致检索和存储服务效果较差的问题,为此,提出了基于跨库检索的分布式数据服务系统设计。对数据服务器进行分布式设计,计算所有数据的唯一散列,并从服务集群中选择相应的数据服务器。数据存储服务器需要确保数据的存储完整,用户通过客户端向集群服务器发送相应数据,保证了数据传输的安全性。设计检索调度处理流程,方便用户检索数据。分析分布式数据活跃度,使用一致性哈希算法存储活跃数据,使分布式数据快速定位到对应服务器中。由功能测试结果可知,该系统最高检索精准度为1.0,存储范围与实际存储范围一致,具有良好的检索和存储服务效果。

基于ElasticSearch分布式搜索引擎的信息检索方法研究

随着信息量的骤增,传统关系型数据库很难做到实时高效地检索用户需要的信息,并且无法对信息进行分词及关键词组合的短文本搜索,从而很难优化信息检索结果的推荐展示。针对大量信息频繁检索的问题,采取一种基于ElasticSearch分布式搜索引擎,并采用分词器和倒排索引等技术,能较好地解决这些问题。同时在研究过程中利用代码实现了基础功能搜索、地理位置搜索以及通过算分排序推荐展示等功能。

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。

基于HBase的矢量空间数据分布式存储研究

分析了分布式数据库HBase的存储模型;结合对HBase集群技术的研究,设计了基于HBase的矢量空间数据存储模型和一种基于MapReduce的并行构建网格空间索引方法,使得海量空间矢量数据的网格索引构建分配到各子节点进行,大大加快索引构建的处理速度;最后,利用HBase集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率。

HOS:一种基于HBase的分布式存储系统设计与实现

大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。

基于Hadoop分布式平台的海量图像检索

为了加快海量图像检索速度,提出基于Hadoop分布式平台的海量图像检索系统。首先提取待检索图像的特征,然后通过Hadoop分布式平台下图像特征匹配,根据匹配结果得到图像检索结果,最后通过仿真实验分析了图像检索速度和效率,结果表明,该文模型大幅度提升了海量图像检索速度,比对比系统获得更优的图像检索效率,具有更高的实际实用价值。

基于LDA主题模型的分布式信息检索集合选择方法

该文针对分布式信息检索时不同集合对最终检索结果贡献度有差异的现象,提出一种基于LDA主题模型的集合选择方法。该方法首先使用基于查询的采样方法获取各集合描述信息;其次,通过建立LDA主题模型计算查询与文档的主题相关度;再次,用基于关键词相关度与主题相关度相结合的方法估计查询与样本集中文档的综合相关度,进而估计查询与各集合的相关度;最后,选择相关度最高的M个集合进行检索。实验部分采用Rm、P@n和MAP作为评价指标,对集合选择方法的性能进行了验证。实验结果表明该方法能更准确的定位到包含相关文档多的集合,提高了检索结果的召回率和准确率。

监控系统预警视频的分布式检索设计与实现

视频监控系统在日积月累的监控过程中会产生大量的视频信息,如何在海量视频中基于内容快速检索出需要的信息成为亟待解决的问题;文章在视频检索过程中,将视频图像的SIFT特征提取匹配与MapReduce并行模式相结合,同时利用LSH映射对视频图像进行分组并存储在HBase数据库中,在配合并行分析的同时减少了计算量;最后实验证明,采用MapReduce并行模式提取图像SIFT特征值,时间会随着集群节点的增加而不断降低,并最终趋于稳定;由此可知,对基于内容的视频检索采用并行化分析可以显著提高效率,实现了Hadoop架构在视频分析方面的应用拓展。

基于OGC WPS的遥感图像分布式检索系统研究

结合OGC WPS开放标准规范和分布式检索技术,提出基于OGC WPS构建遥感图像分布式检索系统的方法。采用Z39.50通用检索表达式的扩展模式,避免了遥感图像编目数据库与检索系统的紧密耦合;采用HTTP/XML定义检索网关和资源节点之间的WPS接口,实现了编目资源节点到网关的动态接入与移出机制。最后运用开放源代码GIS技术开发了一个原型演示系统,试验证明上述方法切实可行。

Z39.50协议的原理及其在分布式检索中的应用

主要围绕如何实现分布式环境中的异种数据源的检索,介绍了Z39.50协议的基本工作原理,以及其在分布式环境中的简单应用。

基于文本聚类与分布式Lucene的知识检索

针对传统集中式索引处理大规模数据的性能和效率问题,提出了一种基于文本聚类的检索算法。利用文本聚类算法改进现有的索引划分方案,根据查询与聚类结果的距离计算判断查询意图,缩减查询范围。实验结果表明,所提方案能够有效地缓解大规模数据建索引和检索的压力,大幅提高分布式检索性能,同时保持着较高的准确率和查全率。