基于Redis内存数据库的快速查找算法

大数据时代的到来,使许多云环境下的新型应用蓬勃发展。针对大数据管理的新需求,key-value型数据存储系统成为当今研究的热点。基于key-value引擎的内存数据库Redis以及Cuckoo Hash技术,提出一种混合哈希快速查找算法CSR_Hash。通过对实验结果的分析,表明该算法有效地缩短了查询响应时间,并将其应用在通过Hadoop云平台以及Map/Reduce编程模型实现的图书销售系统中,对图书数据进行实时高效的解析与推荐,增强了No SQL数据库与Map/Reduce结合的实时性和高并发性。

Redis内存数据库在长江上游水资源管理决策支持系统中的应用研究

随着流域巨型水库群的建成投运和流域水文监测站网体系的逐步完善,水资源时空数据日趋庞大,导致已有水资源管理决策支持系统服务器压力剧增、响应速度降低、易崩溃等问题的发生。为此,研究引入开源的Key-Value模型内存数据库Redis,设计了一种快速高效的数据交互框架,避免频繁的磁盘I/O操作,实现系统响应速度的数量级提升。研究成果集成在长江三峡梯调中心金沙江下游~三峡决策支持系统中,应用效果表明,设计的数据交互框架能够显著提升系统响应速度,保障系统的可用性和稳定性。

Redis内存数据库在互联网交通安全综合服务平台中的应用一

随着公安交通管理信息化建设和应用的深入，需要以现有公安交通管理综合应用平台为基础，建立一套全国统一的“便民、利民、惠民”的互联网交通安全综合服务平台，该平台通过语音、短信、网页和手机APP等服务方式，为人民群众提供互联网交通管理业务的各项便捷服务。针对互联网服务存在着高访问量、高并发量、实时性要求高等问题，衣文着重研究和分析实现内存数据库的多种方案，结合目前互联网交通安全服务平台的现有框架与需求，并为了能够快速获取数据库查询缓存、session缓存等常用信息，选择了高性能的Redis缓存数据库。

基于Redis内存数据库的RADIUS镜像系统研究

1 引言 智能提速义称DACS（差异化应用控制系统），它是一个牲于精细化管控的动态实时业务控制系统。该系统承载全省宽带提速用户，对网络层、应用层设裔资源进行整合，对关键设备进行协同控制，较好地为用户提供智能化、差异化和端纠端的优质Qos保让。

MMOS:支持超卖的多租户数据库内存资源共享方法

多租户数据库为每个租户分配固定的资源配额,而这些资源配额通常未全部得到有效利用,这种静态分配策略导致资源利用率不高。若在不影响租户性能的前提下将未利用的空闲资源共享给其他租户使用,即实现资源超卖,则可以提高资源利用率、提升平台收益。为了支持资源超卖,需要准确预测租户的资源需求,动态地按需为租户分配资源。已有的针对多租户数据库的资源共享方法的研究对象主要是CPU资源,鲜有支持超卖的内存资源共享方法。鉴于此,在联机分析处理场景下,提出了一种支持超卖的多租户数据库内存资源共享方法MMOS(Multi-tenant database Memory resource Overselling and Sharing)。该方法通过准确预测每个租户的内存需求区间,按照区间上限为租户动态调整内存配额,在不影响租户性能的前提下,统一管理空闲内存资源以支持更多租户,实现内存超卖。实验结果表明,MMOS在租户负载动态变化的场景下具有较好效果。在不同资源量的资源池下,支持的租户数可以增加2~2.6倍,资源利用率峰值提升175%~238%。同时,每个租户的业务与性能未受影响。

面向内存数据库的类字典树索引综述与性能比较

如何快速存取海量数据是大数据时代数据库系统面临的重大挑战.利用大内存构建内存数据库系统是实现大数据实时存取的可行途径.在此背景下,用于加速内存数据存取的内存数据库索引成为近几年国内外的研究热点.但是,内存数据库索引也面临着诸多挑战.以常见的内存B+树索引为例,第一个问题是索引的空间效率较低,这是因为内存B+树索引的节点内部存在较大的空间浪费;第二个问题是索引的查询复杂度较高,B+树的查询复杂度受限于数据规模,随着数据规模的扩张,索引的搜索效率也会下降;第三个问题是变长数据支持弱,B+树对于变长键的支持比较差,往往难以适应实际应用的需要.近年来,由于字典树具有空间代价低、查询效率与数据规模无关、支持变长键等优点,逐步成为了内存数据库索引研究中的一个主要方向.本论文围绕面向内存数据库的类字典树索引,首先介绍了字典树的概念、特点和历史,然后系统梳理和总结了类字典树索引的现状和最新进展,之后提出了一种全新的分类方法对类字典树索引进行了分类.在此基础上,论文对主流的六种类字典树索引进行了实验,在多个数据集和负载上进行了性能对比,并基于实验结果讨论了类字典树索引的设计和使用建议,最后展望了未来类字典树索引的发展方向.

基于优先级排列的内存数据库负载均衡仿真

针对因云计算环境数据基数较大、数据种类过多、特征难提取,导致的数据储存比例失衡问题,提出一种内存数据库负载均衡优化算法。根据云计算环境下内存数据的数据特征、状态等参数,建立负载失衡问题模型,将存在问题的数据代入,求得负载率和虚拟资源参数关联变化。考虑到云计算环境下数据基数过大、数据离散性强的问题,将内存数据看作为分布复杂的资源网络,数据点看作网络节点,求解节点跟随网络状态发生的位置、速度以及状态更改,建立数据负载率的位置与更新速度规则,求解不同数据的负载均衡尺度,并排列优先级顺序,采集内存数据库参数输入至负载尺度函数中求解,根据每个数据点的最新负载尺度实行重新配比调整,完成均衡优化。实验结果表明,所提方法的负载均衡优化效率和效果较好,环境适应能力强。

Redis内存数据库在智慧消防系统设计中的应用

智慧消防系统是一种将GPS(全球卫星定位系统)、GIS(地理信息系统)、GSM(无线移动通信系统)和计算机、物联网及大数据等技术集于一体的智能消防无线报警网络服务系统。将Redis内存数据库应用于智慧消防系统的设计中,可以使智慧消防数据查询满足高访问量、操作方便的现实需求,为智慧消防的大数据存储设计提供了有效的参考。

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以及多维计算算子下推到存储层.实验结果表明,管算存分离计算模型可以灵活地支持CPU-GPU异构计算平台、DRAM-PM(Persistent Memory,持久内存)异构存储平台和外部存储平台,采用开源的Arrow内存列存储引擎作为数据库“数”的存储引擎,以及应用多维计算算子下推到Arrow存储引擎技术的OLAP实现技术在SSB基准测试中与存算结合的内存OLAP实现技术性能相当,查询性能优于主流内存数据库Hyper和OmniSciDB,以及基于Arrow存储的GPU数据库PG-Strom.

基于Redis的SVG空间信息可视化数据库

SVG空间信息可视化数据库在将SVG文档发布到网络时,存在存储、处理海量矢量数据和地图修饰信息的瓶颈性问题.采用Redis内存数据库,利用其No SQL型内存数据库具有很好的并发性和快速响应的特性,设计了基于Key-Value数据库的XML文档粒度定义规则,建立了基于SVG的空间信息可视化数据库.实验证明,本文提出的技术方案不仅可实现原系统在关系型数据库中的各种功能,如:网络矢量地图发布的按需传输、中粒度查询、交互性等优势,而且弥补了其在并发性和响应速度上的欠缺.基于Redis的SVG空间信息可视化数据库在并发8000客户端、完成10000次查询请求时,Redis内存数据库仅需8s,可满足网络矢量地图发布应用的实用性和可交互操作性等需求.

内存数据库Redis在条件接收系统中的应用

Redis是一个作用于内存的数据结构存储系统,它可以作为数据库、缓存或者消息中间件,支持多种类型的数据结构。条件接收系统(Conditional Access System,CAS)是数字电视加密控制的核心付费数字电视的核心技术,是对数字电视内容的一种保护手段,保证用户只有在满足一定的条件下才能正常收看特定的内容。随着用户量的增长,条件接受系统对信息存储提出了更高的要求。目前系统提高性能的方法主要有存储虚拟化、存储内存化、多平台的互操作和数据共享等,因此条件接收系统采用加入内存数据库Redis这种新的存储技术来大幅度提高信息存储的速度。本文主要介绍Redis内存数据库的现状以及如何将Redis内存数据库与现有的条件接收系统相结合来提高条件接收系统性能。

面向复杂对象的高性能内存映射数据库MMDB

为提高数据存取效率,更好地支撑后台业务系统的高性能高并发要求,实现一种基于内存映射的非关系型嵌入式数据库系统MMDB。结合类型定义模板、数据预处理器、内存映射文件、自定义内存分配器、地址空间管理等多项技术,支持以键值结构存储任意C/C++格式数据类,为复杂数据对象提供极快存取速度,尤为适用于部分特定的数据量庞大、数据对象复杂、访问读多写少的后台服务系统场景。实验结果表明,在复杂对象存取场景时,与目前主流内存数据库相比,MMDB拥有明显的效率优势。

Redis数据库特性分析

Redis是一款开源的、网络化的、基于内存的、可进行数据持久化的Key-Value存储系统。详细介绍了redis数据库底层数据结构、数据库的持久化方式、数据库事务特性以及隐藏在设计之中的一些考量。阐明了Redis高效性的原因在于其精简高效的底层数据结构设计以及对具有高消耗的功能进行分散处理。

基于持久化内存和共享缓存架构的高性能数据库

云原生数据库的崛起,使得共享缓存架构再度受到重视.虽然共享缓存架构能够有效地解决多个读写节点间的缓存一致性问题,但其他问题仍然存在,例如持久化速度缓慢、维护缓存目录的延迟高、时间戳瓶颈等.针对上述问题,提出了一种基于共享缓存架构,并结合新型硬件——持久化内存的解决方案,从而构建了一个包括内存层、持久化内存层、存储层的三层共享架构数据库——TampoDB.基于此架构,重新设计了事务的执行流程,并对时间戳和目录进行了优化,以解决上述问题.实验结果表明,TampoDB有效地提高了事务的持久化速度.

开源内存数据库容器化探索与研究

为打破传统数据库架构的瓶颈,利用Kubernetes(K8S)实现对Redis的容器化管理和应用,笔者团队围绕Redis的使用特点,从存储、网络、Redis集群高可用、Redis集群扩缩容等四方面开展验证实践,创新提出组件选型和部署方案的优化建议,并进一步探讨了后续研究方向。

分布式内存数据库在变电站自动化系统中的应用

针对传统数据库技术难以满足电力系统需求的情况,本文设计了一种分布式数据库(SH_MenDB),该种数据库的索引结构是在平衡二叉排序(AVL)的基础上建立的。首先,介绍了分布式数据库的概念;其次,详细分析了内存数据库的设计;再次,设计了内存数据库的系统结构;最后,通过应用事例介绍了分布式数据库(SH_MenDB)在变电站自动化系统中的服务方式。

一种基于分布式全内存的关系型数据库技术的研究与实现

随着大数据时代的迅猛发展,对海量数据的挖掘、存储、分析、计算处理需要依赖一系列的大数据技术,例如分布式计算、高并发处理、高可用处理、集群、实时性计算等,当海量数据的高并发访问成为常态,为应对这样的问题,也产生了各类分布式架构设计思路,文章将主要介绍基于分布式全内存的关系型数据库技术的能力及应用。

基于Redis缓存数据库和Nginx负载均衡技术的购物网站性能优化

针对传统购物网站系统功能模块之间耦合度高、并发能力差以及数据查询性能不佳等问题,构建基于微服务技术架构的购物网站系统。通过构建基于Dubbo、整合SSM(SpringBoot-SpringMVC-Mybatis)的框架,降低该购物网站模块之间的耦合度;加入Redis缓存数据库提高数据的读写性能,通过Nginx负载均衡技术中的轮询策略将服务请求转发至不同服务节点进行业务处理,提高系统的并发性和可用性。采用PostMan和JMeter工具进行性能测试,结果表明基于Redis缓存数据库和Nginx负载均衡技术的购物网站系统平均响应时间缩短了28%,吞吐性能平均提高了43%。

Redis架构下的MySQL数据库性能提升浅析

在互联网时代,快速开发是一个不变的需求,并且随着业务发展对性能的强烈需求,部分学者开始使用Redis架构下的My SQL数据库开发。Redis架构具有性能高、数据类型丰富、复杂度低以及优化部分bug的功能,本文就Redis架构下的My SQL数据库性能的提升以及其方法做了简要介绍,有很好的指导意义。

一种基于Redis数据库的海量动目标存储方法

传统动目标数据存储方法是直接在物理内存区开辟空间,但是在遇到十万、百万批级别的海量目标时往往出现内存不够、查询和修改效率低的问题。针对传统处理方法面临的性能瓶颈,该文基于Redis内存数据库高性能数据管理和共享技术,实现目标数据的快速存储、查询和修改,使得目标数据能够在程序间高速交互,提升系统实时性和一致性。