基于Cassandra的可扩展分布式反向索引的构建

随着云计算时代的到来,大型Web应用的不断发展,海量数据不断增加,集中式的数据检索已不再满足需求。如何在分布式的环境中高效地处理数据检索成为亟待解决的问题。传统的关系型数据存储也无法完全适应云环境,NoSQL(Not only SQL)作为一种云存储形式应运而生,其中Cassandra的应用较为广泛。以分布式的多节点架构的索引构建为背景,提出了建立在分布可扩展的数据存储Cassandra之上的分布式反向索引(DII,Distributed Inverted Index),并给出了数据模型和查询处理流程的分析,最后给出了Cassandra的性能测试。

Facebook Cassandra架构和设计的可信性研究

文章简要介绍了Cassandra分布存储系统的设计理念及其使用的各种分布存储技术。文章首先分析了Cassandra分布存储系统出现的缘由——Facebook社交网络的系统需求,然后着重介绍了Cassandra系统中区别传统关系型数据库的数据结构,最后文章对Cassandra系统进行了可信分析,还叙述了Cassandra的优缺点。

基于Cassandra的实时气象数据分布式存储系统

介绍了Cassandra关键技术、实时气象数据存储模型。湖北省运行MICAPS4采用基于Cassandra的分布式数据存储环境。对分布式存储系统高可用性、读取性能的测试结果表明,系统提高了MICAPS客户端对实时气象数据的检索效率,并极大减轻了各级台站的维护压力。

面向Cassandra数据库的高效动态数据管理机制

Cassandra数据库是当前通用的数据库之一,同时也被Apache列为重点发展的顶级项目。针对Cassandra分布式数据库系统而言,大量的写请求会造成过多分散的SStable结构以及过高的数据冗余度,进而造成用户读取请求响应速度下降。该问题可以通过系统自动触发的局部数据合并机制或人为干预的整体数据合并机制来解决。然而,不合时机的系统自动局部合并过程会严重降低用户正在执行的读取操作的性能,而过长时间的人为整体数据合并过程又会长时间地占用系统资源,严重制约系统的整体性能。针对此问题,提出了一种面向Cassandra数据库的动态数据管理机制。首先,实时监测系统环境,将数据按照写入时间和大小进行分层分级管理,对合并的时机、参与合并的文件及合并过程分别制定相应的执行策略;其次,通过特定优化手段减少数据的合并时间,以降低合并过程对系统性能的影响。测试结果表明,该管理机制优化了Cassandra数据库的合并过程,提升了系统整体的读取响应速度。

基于Openlayers3和Cassandra的船舶碰撞风险识别系统

为提高船舶交通管理服务系统(VTS)智能化水平,保障航运安全,利用上海港水域内海量AIS数据,建立船舶领域模型,应用改进的聚类算法,识别船舶碰撞风险。利用开源地图框架Openlayers,实现碰撞风险可视化,利用Cassandra数据库,实现海量AIS数据存储和高效检索。设计实时船舶可视化显示,单船、区域船舶历史轨迹回放,模拟船舶航行等功能。最后使用上海港2015年全年AIS历史数据进行碰撞风险识别实验,结果和历史高危区域较为吻合,可作为辅助分析系统供海事人员决策参考。

基于Cassandra与Spark的降水量统计算法的设计与实现

文中对Spark大数据处理框架进行了深入剖析,采用Scala+Hadoop+Spark软件,搭建了Spark大数据处理框架,Cassandra分布式数据库集群,根据计算降水量的应用需求,设计了数据库的分区以及列存储的对应关系。使用Spark连接Cassandra获取了长时间序列的降水量数据到RDD(弹性分布式数据集),设计算法成功进行了长时间序列小时降水量的统计。结果表明这种计算方法在计算海量数据时,较关系型数据库和传统计算方法显著提高了计算效率和正确率,符合气象大数据的计算要求,为气象服务提供了大数据算力支撑。

气象大数据在Cassandra数据库的应用研究

本文对非关系型分布式数据库Cassandra进行了深入剖析,搭建了Cassandra分布式数据库集群。根据气象大数据的特点,分别设计了结构化气象数据和非结构化气象数据的数据模型,存入了海量气象数据。并根据气象大数据的应用场景,设计了数据的查询用例,成功实现了海量气象数据的获取。结果表明提出的气象大数据在Cassandra中的应用方法,较使用关系型数据库和传统FTP方法显著提高了数据获取效率,符合气象大数据的应用要求,为气象服务提供了大数据支撑。

Cassandra应用研究

该文介绍了No SQL数据库Cassandra的数据模型和部署方法,介绍了基于java语言和Thrift API的Cassandra应用的开发方法。

Cassandra数据库的优势分析与解读

在基于5G的移动互联网时代,无论是社交媒体,还是一般的ICT项目,都会使用到数据库,管理其日益丰富数量庞大的数据库。在众多的数据库中,Cassandra以其开源、分布式、去中心化、策略一致性等优势,获得了良好的用户体验和客户口碑。结合项目团队日常工作中对Cassandra使用经验的积累,文章对Cassandra的特征优势进行了分析与解读,主要目的在于为技术人员提供数据库使用上的技术指导,为管理决策层在大数据数据库的选型中提供决策支撑。

基于Cassandra的气象信息综合处理平台的分析

近年来,随着气象信息化建设的快速发展,气象数据量呈现爆发性增长,气象数据的种类繁多,实效性高,数据量大等特点,使传统的数据存储方式面临极大的挑战。国家气象信息中心自发布Micaps4系统后,解决了海量实时气象数据的存储,处理等一系列重要难题,完成了从集中式存储到分布式存储的迁移。Micaps4采用基于Cassandra的分布式存储,结合spark的分布式流计算,提高了Micaps4客户端对实时气象数据的检索效率,具有很高的稳定性和数据访问性能。

Cassandra数据库的高效应用研究

本文采用"原理分析"和"测试验证"两种方法相互结合印证,来分析Cassandra的数据一致性、性能等关键特性,推导出Cassandra适用的场景。同时就设计期间的各项要点进行研究,提出多种参考方案。

Correction to:Evaluation of the post-re erosion and ood control works in the area of Cassandra(Chalkidiki,North Greece)

In the original publication of the article,the given name and family name of the authors were interchanged.The corrected names are given in this correction.

利用Hilbert曲线与Cassandra技术实现时空大数据存储与索引

随着越来越多的轨迹数据被记载,各种应用场景下的海量、复杂数据需要高效的存储与索引。传统的关系型数据库难以满足海量轨迹数据的存储、扩展及特定的查询需求,而具有扩展简单、读写快速、成本低廉特点的非关系型数据库为此提供了一种可行的解决方案。设计并实现了一种基于Cassandra数据库的数据降维及键值存储、索引方法,可对时空轨迹数据进行高效管理。为进一步提高效率,融合了Hilbert曲线编码技术将空间分割成小单元,并将轨迹数据映射到不同单元中。充分利用时空局部性原理,为不同应用场景下的轨迹数据设计并实现了对应的分区键与聚簇键,实现轨迹对象时空近邻存储,令数据查询更为有效。基于实际应用场景的实验结果表明,所提出的方法能有效支撑海量轨迹数据的存储与索引,并在数据的插入、查询及存储结构可扩展性等方面优于其他时空大数据索引和查询方法。

基于NoSQL数据库的大数据查询技术的研究与应用

基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用NoSQL数据库中的面向分布式计算的Cassandra数据库。基于Cassandra数据库,提出铁路客票实名制信息综合分析系统的技术架构,并设计反向索引以构建客票实名制乘车信息的查询策略和查询流程。通过性能测试,验证了NoSQL数据库技术在处理大数据查询和分析中的高可用性,可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能、扩展性以及投资成本的瓶颈。

高效可扩展的对称密文检索架构

现有可搜索加密方案通常索引的构建、检索效率不高,数据节点的维护不便,难以适应分布式密文检索要求。针对现有密文检索方案出现的一些问题,提出了可拆分密文倒排索引架构,改善了密文索引的并行构建性能,简化了数据增删维护过程,增强了与传动No SQL系统的兼容性。采用检索结果集中化倒排索引方法,提高分布式密文检索系统检索效率。所提方案满足被广泛采用的选择关键词攻击下的不可区分性(IND-CKA)安全标准。结合Cassandra对多种性能进行了验证,实验数据表明,本架构对分布式、海量密文数据环境具有很好的适用性。

一种大规模RDF语义数据的分布式存储方案

随着语义Web的发展,越来越多的RDF数据发布到Web上,需要一个可以提供存储和查询功能的数据管理系统来对海量的RDF数据进行管理。针对上述问题,设计并实现了一种大规模RDF语义数据的分布式存储方案。该方案通过RDF数据装载和预处理,可以有效地管理海量的RDF数据,并通过构建索引可以有效地对大规模RDF数据进行查询。工作包括底层的RDF存储方案的设计与实现,数据的预处理与装载。同时,设计了一系列实验来评估和对比不同节点数目的Cassandra集群之间的性能,数据采用的是从DBpedia获得的13 million行RDF的数据集。实验结果显示,方案对大规模RDF语义数据的存储和查询具有性能优势。

克里斯塔·沃尔夫《卡珊德拉》的女性乌托邦书写

战后德语作家克里斯塔·沃尔夫在小说《卡珊德拉》中构想的斯卡曼德河畔的洞穴是富有代表性的女性乌托邦书写。沃尔夫的女性乌托邦思想根源于德语文学中乌托邦书写传统、浪漫主义女性思想与矿山喻象,在核威胁阴霾笼罩的时代环境中,小说采用重构经典神话的叙事策略,在反英雄叙事中张扬和谐共处的群体价值观,以“主观真实性”写作原则颠覆传统线性叙事模式,在对女性乌托邦的想象性建构中反思启蒙理性,觅求超越对立的真实生活,构建自然与精神都能诗意栖居的生态乌托邦愿景。

基于GIS技术的电网综合信息系统设计

针对智能电网一体化平台(IMS)监管系统存储海量、多源的GIS电网信息问题,采用分布式网络感知信息存储系统作为网络感知的子系统的方式,为IMS监管系统提供网络感知信息的查询服务。把GIS电网地理信息中的感知信息根据不同的特点划分为动态信息和静态信息,利用基于非关系型Cassandra数据库构建分布式网络感知信息存储系统集群。最后并对系统进行了性能测试,结果表明:4台交换机下的读取遍历询问20个节点随着数据量增大,匹配消耗的时间随之增加。

NoSQL非关系型数据库的发展和应用研究

随着web2.0技术的兴起,NoSQL数据库得到了广泛的发展和应用。本文从初学者的角度出发,针对传统数据库的瓶颈,从读写速度、扩展性、运营成本、数据容量等方面对NoSQL数据库进行了分析,并对常见的几种NoSQL数据库进行了研究。

CloudBM:云数据管理系统测试基准

随着云计算技术和云数据管理技术的不断发展,越来越多的云数据管理系统纷纷面世,为人们提供了一种以经济实用的方式管理海量数据的方案。面对各种各样纷繁复杂的云数据管理系统,如何结合不同的应用场景对它们进行全面详细的性能评价是目前亟待解决的挑战性问题。以电信业务中用户访问记录存储系统为应用背景,结合云数据管理系统的应用特点,设计了一个具有广泛代表性的测试基准,并对目前主流的云数据管理系统进行了实际测试。通过对测试结果进行对比分析,为用户提供了一个可供参考的性能评价结果,同时验证了该测试基准的可靠性和广泛适用性。