FusionDB:基于分布式查询引擎和HDFS的SPARQL查询处理系统

近年来,互联网上的RDF三元组数量增长迅速,传统的单机SPARQL查询处理技术已不能满足实际需要.现有的分布式SPARQL查询处理系统可以分为2类,基于Hadoop的,或是基于数据库集群的.前者主要采用Map?Reduce来处理查询,效率较低;后者则继承了传统数据库集群的缺陷,可扩展性较差.提出一个新颖的SPARQL查询处理系统FusionDB.该系统采用分布式查询处理引擎和HDFS,这样既可以受益于传统的分布式数据库技术,如分布式连接、流水线、负载均衡等,又从新兴的Hadoop技术中得到了良好的容错能力和高可扩展性.为了进一步加速查询处理的效率,FusionDB还在HDFS文件上增加了注入式索引.实验表明,相比于传统的系统,FusionDB在性能上具有明显的优势.

Spark GraphX上的SPARQL查询处理算法

资源描述框架(resource description framework,RDF)由于其表示的灵活性和天然的图数据模型而变得越来越流行。与此同时,RDF数据的数据量也在以惊人的速度增长。由于数据量的增长,在单机上存储和查询RDF数据变得越来越不方便,从而激发了分布式存储查询的需求。学术界在分布式存储查询系统,例如Hadoop、Spark上已经做了大量的工作。基于Hadoop的分布式存储查询方式的主要缺点是中间结果需要被写回磁盘,从而产生大量的I/O操作。提出了一种新的在Spark Graph X上进行SPARQL查询评估的方法SQX,将RDF数据视为一个带标签的属性图,提出了一种新的查询计划生成方案并且通过图并行的方式实现SPARQL查询评估。SQX采用了一种"查询树匹配"+"结果过滤"的方法。针对每一个SPARQL查询,产生相应的查询树和约束条件。在每一轮的超级步中,查询树中的多条边可以被并行处理,对迭代执行完毕后的结果进行过滤,满足约束条件的将作为最终的结果。实验结果表明,算法能够有效处理SPARQL查询并且具有良好的可扩展性。

健壮且自适应的学习型近似查询处理方法研究

由于在大规模数据集上执行精确查询耗时较长,因此近似查询处理(AQP)技术常被用于在线分析处理,目的是以较短的交互延迟返回查询结果,并尽可能地降低查询误差。现有的学习型AQP方法与底层数据解耦,将I/O密集型计算转化为CPU密集型计算,但是由于计算资源的限制,该类方法通常基于随机的数据样本进行模型训练,此类训练数据会引起稀有群组缺失问题,导致模型预测准确性不高。针对上述问题,提出一种基于分层样本学习的混合型和积网络模型,并基于该模型设计一种AQP框架。分层样本能够有效避免稀有群组缺失现象,基于该样本训练的模型预测准确性大幅提升。此外,针对数据动态更新的情况,提出一种模型自适应更新策略,使得模型能够及时检测数据偏移现象并自适应地执行更新。实验结果表明,与基于抽样和基于机器学习的AQP方法相比,该模型在真实数据集和合成数据集上的平均相对误差分别约降低18.3%和2.2%,在数据动态更新的场景下,其准确性和查询时延均呈现出良好的稳定性。

基于动态融合索引树的ARXML查询处理算法

随着汽车行业的不断发展和智能化进程的加速,AUTOSAR已成为一种广泛采用的汽车软件架构标准,ARXML(AUTOSAR结构化文档)是该架构标准中描述车辆电子控制单元(electronic control unit,ECU)的重要资源。针对大量数据密度高且内容复杂的ARXML文档查询处理效率的问题,提出了一种基于动态融合索引树的结构化文档查询处理算法。算法从节点关系规则出发,对单个文档中的内部节点和不同文档中节点之间的关系规则进行分析,在保留节点原始关系的同时构建了带有外部关系的节点关系结构,并基于结构化文档查询表达式对该结构进行改进,最后将其扩展成动态融合索引树结构,降低文档解析处理时间消耗,提高查询性能。复杂性分析和实验结果表明,使用动态融合索引树结构的文档查询效率高于现有的查询方法,具备一定的实用性。

复杂事件处理中多聚合查询共享方法

复杂事件处理技术是在持续不断的流数据中检测满足特定事件序列或对匹配的事件进行统计的一种流数据处理技术。在处理带有Kleene操作符的事件趋势聚合查询时,需缓存中间结果来实现不定数量事件序列的匹配,故对查询系统的资源需求较大。利用多个查询之间存在的共享机会,生成用于指导查询处理的共享计划,可以有效提高事件趋势聚合查询的处理效率。但现有的聚合查询处理方法生成的共享计划无法做到随执行环境的变化而进行实时调整,来支持查询系统的持续高效处理。针对上述问题,提出了一种可以动态更新的多聚合查询共享方法,以支持实时变化的复杂事件检测的持续高效处理。通过提出共享图数据结构和代价模型,实现对所生成共享计划的实时调整,并引入在线增量聚合执行共享方法,进一步提升带有Kleene操作符的事件趋势聚合查询的处理效率。在真实数据集和模拟数据集上分别进行实验,并与其他处理聚合查询的方法进行了实验对比。实验结果表明,提出方法能够有效降低查询延迟,提高整体查询的处理性能。

基于MapReduce平台的大数据查询与处理优化算法

基于MapReduce编程并行计算框架、RSJ表连接算法等软件技术,构建了混合式MapReduce并行运算处理系统,通过读取元信息管理表的数据、提取表连接属性信息,按照表数据的属性列进行完整的数据复制与存储,得到合并汇总后完整的共享信息,使用改进RSJ的分布式缓存表连接算法滤除不满足连接条件的数据。仿真实验表明,运用MapReduce并行计算框架和RSJ表连接算法进行数据处理,可减少Map端输出的数据量,缩短网络数据传输与处理时长,实现海量化大数据查询与处理的优化目标。

配网工程故障查询定位处理技术应用探讨

某变电站110 kV线路出现了零序方向电流保护动作故障,影响了线路输电功能的正常发挥。根据故障发生的实际情况,结合故障现象进行现场检查,并利用录播数据对110 kV线路接地导致的变电所母线PT避雷器击穿的故障发展整个过程,确定此故障是由电流互感器极性错误、线路绝缘子和母线电压互感器绝缘性能下降等原因所引发的,为后续同类故障的定位、查询和处理提供参考。

基于知识图谱的番茄种植管理可视化查询

为提高获取番茄种植管理知识的速度与准确率,研究了以图形式描述番茄在不同环境的种植管理,并基于知识图谱构建了番茄种植管理可视化查询系统。该方法利用“自顶向下”和“自底向上”的模块化CREATE解决了Neo4j的缓慢和准确率问题,并利用PyQt框架构建可视化查询界面,通过问题预处理和语义相似度计算输出最合适的番茄种植管理知识。试验结果表明:该方法的平均响应时间和平均准确率比Cypher查询语言分别提高88.33%及1.97%,可操性比Cypher语言友好。研究结果可以在不同环境下为番茄生产管理提供高质量的种植管理建议。

基于大语言模型的数据查询机器人在医学领域的应用

本研究对大语言模型(large language model,LLM)、数据查询机器人(data query robot,DQR)的发展历程和研究现状进行了介绍,同时通过实证分析,探讨了在数字医学领域中,基于LLM的DQR的实际应用效果及其在处理医疗数据查询和分析的复杂任务中的作用,证实了基于LLM的DQR能为非技术人员提供一个直观且便捷的工具,显著提升医疗数据的查询效率和分析能力。此外,本文还探讨了LLM和DQR技术在当前应用中的局限性及未来发展潜力,为进一步的研究和应用提供参考。

面向高维数据的Skyline查询处理技术研究

Skyline查询是一种基本的数据库操作,在推荐系统等多标准决策场景中有许多应用.随着数据量的迅速增长和信息技术的不断发展,原有的高纬数据Skyline查询算法存在着成本高、速度慢的问题.本文提出了新的基于网格划分的Skyline查询算法,该算法有效利用了新型CPU结构多线程能力增强的特点,提高了对硬件的利用效率.在基于网格划分的思想下,数据空间被划分为多个网格,以网格为单位检查支配关系,这样可以按网格进行修剪,而无需检查每个网格中的点.实验结果表明,本文提出的算法在多个方面都优于最先进的Skyline算法,尤其在计算时间上的优势最为明显.

基于深度自回归模型的近似查询处理方法

聚合函数的近似查询处理(AQP)是近年来数据库领域的研究热点。针对现有的近似查询技术存在查询响应时间长、存储开销大、不支持多谓词查询等问题,提出一种基于深度自回归模型的AQP方法DeepAQP(Deep Approximate Query Processing),利用深度自回归模型对表中多列数据的联合概率分布进行学习和建模,以估计给定查询的谓词选择度和目标列概率分布,以促进单表下多谓词聚合函数近似查询请求的有效处理。在TPC-H和TPC-DS数据集上进行实验,结果表明,与基于采样的VerdictDB方法相比,DeepAQP在查询响应时间和存储空间开销上均降低了2到3个数量级;与基于传统机器学习模型的DBEst++方法相比,DeepAQP的查询响应时间降低了1个数量级,显著降低了模型训练耗时,并且可以处理DBEst++所不支持的多谓词查询请求。可见,DeepAQP兼顾了查询精度和速度,并显著降低了算法在训练和存储上的开销。

支持混合事务和分析处理的数据库管理系统综述

数据库管理系统根据应用场景分为事务型(OLTP)系统和分析型(OLAP)系统.随着实时数据分析需求增长,OLTP任务和OLAP任务混合的场景越来越普遍,业界开始重视支持混合事务和分析处理(HTAP)的数据库管理系统.这种HTAP数据库系统除了需要满足高性能的事务处理外,还需要满足实时分析对数据新鲜度的要求.因此,对数据库系统的设计与实现提出了新的挑战.近年来,在工业界和学术界涌现了一批架构多样、技术各异的原型和产品.综述HTAP数据库的背景和发展现状,并且从存储和计算的角度对现阶段的HTAP数据库进行分类.在此基础上,按照从下往上的顺序分别总结HTAP系统在存储和计算方面采用的关键技术.在此框架下介绍各类系统的设计思想、优劣势以及适用的场景.此外,结合HTAP数据库的评测基准和指标,分析各类HTAP数据库的设计与其呈现出的性能与数据新鲜度的关联.最后,结合云计算、人工智能和新硬件技术为HTAP数据库的未来研究和发展提供思路.

Apache Flink复杂事件处理语言的形式语义

Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、连接、循环等操作,还包括迭代条件、匹配筛选策略等高级特性.FlinkCEP语义复杂,尚缺乏语言规范对其语义进行准确描述,只能通过实现细节来理解,因此对其语义进行形式描述对于开发人员准确理解其语义非常必要.针对FlinkCEP提出一种数据流转换器的自动机模型,该模型包括用于刻画迭代条件的数据变量、存储输出结果的数据流变量、用于刻画匹配筛选策略的迁移优先级等特性.使用数据流转换器对FlinkCEP的语义进行形式建模,并且根据形式语义设计FlinkCEP的查询求值算法,实现原型系统.进一步,生成能够较为全面覆盖FlinkCEP语法特性的测试用例集,利用这些测试用例与FlinkCEP在Flink平台上的实际运行结果进行对比实验.实验结果表明所提出的形式语义与FlinkCEP在Flink平台上的实际语义基本是一致的.而且,对实验结果不一致的情况进行分析,指出FlinkCEP在Flink平台上的实现对于组模式的处理可能存在错误.

基于变分自编码器的近似聚合查询优化方法

针对偏态数据分布不平衡,传统近似聚合查询方法难以抽样生成偏态分布数据的问题,提出基于优化的变分自编码器的近似聚合查询方法,研究近似聚合查询方法对偏态分布数据的近似聚合查询准确率的影响.在预处理阶段对偏态分布数据进行分层分组,对变分自编码器生成模型的网络结构和损失函数进行优化,降低近似聚合查询相对误差.实验结果表明,与基准方法相比,近似聚合查询对偏态分布数据的查询相对误差更小,且随着偏态系数的提高,查询相对误差的上升趋势更平缓.

面向查询的文本摘要关键技术研究综述

面向查询的文本摘要是自动文摘中的一个特殊领域,可以根据用户个性化的查询需求,从原始文档或文档集中提取有价值的摘要信息。目前,该技术已经在面向查询的搜索引擎、智能化信息检索、问答系统等领域得到广泛应用,并受到越来越多的关注。文章基于面向查询的文本摘要任务的典型技术框架,从查询理解、文档处理和信息组织三个方面对其国内外研究方法的现状进行对比和分析,对不同业务场景的应用进行了举例,归纳了面向查询的文本摘要面临的挑战及发展趋势。

Text-to-SQL文本信息处理技术研究综述

信号与信息处理的需求日益增加,离不开数据处理技术,数据处理需要数据库的支持,然而没有经过训练的使用者会因为不熟悉数据库操作产生诸多问题。文本转结构化查询语言(Text to Structured Query Language,Text-to-SQL)的出现,使用户无需掌握结构化查询语言(Structured Query Language,SQL)也能够熟练操作数据库。介绍Text-to-SQL的研究背景及面临的挑战;介绍Text-to-SQL关键技术、基准数据集、模型演变及最新研究进展,关键技术包括Transformer等主流技术,用于模型训练的基准数据集包括WikiSQL和Spider;介绍Text-to-SQL不同阶段模型的特点,详细阐述Text-to-SQL最新研究成果的工作原理,包括模型构建、解析器设计及数据集生成;总结Text-to-SQL未来的发展方向及研究重点。

本刊网站及远程稿件处理系统投入使用

本刊网站与远程稿件处理系统已开发测试完毕,已于2008年3月1号正式开通投入使用。作者进行网上投稿及查稿具体步骤如下:请登录《放射学实践》网站(http://www.fsxsj.net)点击进入首页→点击“作者投稿”→按提示注册(请务必按系统提示正确填写个人信息,同时记住用户名和密码,以便查询稿件处理进度)→用新注册的用户名和密码登录→点击“作者投稿”进入稿件管理页面→点击“我要投稿”→浏览文件→上传文件(浏览文件后请点击后面的“上传”按钮,只有系统提示“稿件上传成功”方可进行下一步录入操作,文章须以WORD格式上传,图表粘贴在文章中)→录入稿件标题、关键词等→最后点击“确定”即可完成投稿。投稿后请速寄审稿费(100元/篇)以使稿件迅速进入审稿处理。

本刊网站及远程稿件处理系统投入使用

本刊网站与远程稿件处理系统已开发测试完毕,已于2008年3月1号正式开通投入使用。作者进行网上投稿及查稿具体步骤如下:请登录《放射学实践》网站(http://www.fsxsj.net)点击进入首页→点击“作者投稿”→按提示注册(请务必按系统提示正确填写个人信息,同时记住用户名和密码,以便查询稿件处理进度)→用新注册的用户名和密码登录→点击“作者投稿”进入稿件管理页面→点击“我要投稿”→浏览文件→上传文件(浏览文件后请点击后面的“上传”按钮,只有系统提示“稿件上传成功”方可进行下一步录入操作,文章须以WORD格式上传,图表粘贴在文章中)→录入稿件标题、关键词等→最后点击“确定”即可完成投稿。投稿后请速寄审稿费(100元/篇)以使稿件迅速进入审稿处理。

本刊网站及远程稿件处理系统投入使用

本刊网站与远程稿件处理系统已开发测试完毕,已于2008年3月1号正式开通投入使用。作者进行网上投稿及查稿具体步骤如下:请登录《放射学实践》网站(http://www.fsxsj.net)点击进入首页→点击“作者投稿”→按提示注册(请务必按系统提示正确填写个人信息,同时记住用户名和密码,以便查询稿件处理进度)→用新注册的用户名和密码登录→点击“作者投稿”进入稿件管理页面→点击“我要投稿”→浏览文件→上传文件(浏览文件后请点击后面的“上传”按钮,只有系统提示“稿件上传成功”方可进行下一步录入操作,文章须以WORD格式上传,图表粘贴在文章中)→录入稿件标题、关键词等→最后点击“确定”即可完成投稿。投稿后请速寄审稿费(100元/篇)以使稿件迅速进入审稿处理。

本刊网站及远程稿件处理系统投入使用

本刊网站与远程稿件处理系统已开发测试完毕,已于2008年3月1号正式开通投入使用。作者进行网上投稿及查稿具体步骤如下:请登录《放射学实践》网站(http://www.fsxsj.net)点击进入首页→点击“作者投稿”→按提示注册(请务必按系统提示正确填写个人信息,同时记住用户名和密码,以便查询稿件处理进度)→用新注册的用户名和密码登录→点击“作者投稿”进入稿件管理页面→点击“我要投稿”→浏览文件→上传文件(浏览文件后请点击后面的“上传”按钮,只有系统提示“稿件上传成功”方可进行下一步录入操作,文章须以WORD格式上传,图表粘贴在文章中)→录入稿件标题、关键词等→最后点击“确定”即可完成投稿。投稿后请速寄审稿费(100元/篇)以使稿件迅速进入审稿处理。