期刊文献+
共找到23篇文章
< 1 2 >
每页显示 20 50 100
Load Shedding for Window Joins over Streams 被引量:4
1
作者 韩东红 王国仁 +1 位作者 肖川 周锐 《Journal of Computer Science & Technology》 SCIE EI CSCD 2007年第2期182-189,共8页
We address several load shedding techniques over sliding window joins. We first construct a dual window architectural model including aux-windows and join-windows, and build statistics on aux-windows. With the statist... We address several load shedding techniques over sliding window joins. We first construct a dual window architectural model including aux-windows and join-windows, and build statistics on aux-windows. With the statistics, we develop an effective load shedding strategy producing maximum subset join outputs. In order to accelerate the load shedding process, binary indexed trees have been utilized to reduce the cost on shedding evaluation. When streams have high arrival rates, we propose an approach incorporating front-shedding and rear-shedding, and find an optimal trade-off between them. As for the scenarios of variable speed ratio, we develop a plan reallocating CPU resources and dynamically resizing the windows. In addition, we prove that load shedding is not affected during the process of reallocation. Both synthetic and real data are used in our experiments, and the results show the promise of our strategies. 展开更多
关键词 data stream window joins load shedding dual window model window resizing
原文传递
基于Fork/Join的事务日志伴随模式挖掘方法
2
作者 孔明 魏东 +1 位作者 冉义兵 毕国鹏 《小型微型计算机系统》 CSCD 北大核心 2023年第2期239-247,共9页
信息系统产生的大量事务日志数据蕴含着潜在的伴随模式,伴随模式是指在时空上频繁共现的一组对象.由于传统的滑动窗口算法和FP-Growth算法只能调用单一线程进行计算,随着数据规模的扩张,会导致挖掘伴随模式的时间急剧增加.为此本文提出... 信息系统产生的大量事务日志数据蕴含着潜在的伴随模式,伴随模式是指在时空上频繁共现的一组对象.由于传统的滑动窗口算法和FP-Growth算法只能调用单一线程进行计算,随着数据规模的扩张,会导致挖掘伴随模式的时间急剧增加.为此本文提出了一种基于Fork/Join并行技术的伴随模式挖掘框架,其能够实现从单线程到多线程的迁移,充分利用多核配置的加速性能.该框架由划定伴随数据集、频繁项集挖掘和关联规则挖掘三部分组成.首先,提出了基于Fork/Join的多核并行滑动窗口算法,以缩短从事务日志中划定伴随数据集的时间;然后,提出基于Fork/Join的多核并行FP-Growth算法,以并行地挖掘伴随数据集中的频繁项集;最后,引入支持度、置信度和提升度3个参数,对伴随模式中各对象间的关联规则进行挖掘.基于门禁刷卡数据的实验结果表明,相比传统算法,本文所提出的框架能够挖掘出更多的伴随模式,同时挖掘效率较高. 展开更多
关键词 事务日志 伴随模式 Fork/join框架 滑动窗口 FP-GROWTH算法
下载PDF
基于滑动窗口的数据流连续J-A查询的处理方法 被引量:18
3
作者 王伟平 李建中 +1 位作者 张冬冬 郭龙江 《软件学报》 EI CSCD 北大核心 2006年第4期740-749,共10页
数据流滑动窗口连接聚集连续查询(简记J-A查询)是经常使用的一类查询.这类查询的直观处理方法是创建查询操作树,以流水线的方式计算查询结果.这种方法需要在主存中保存滑动窗口连接的结果,查询处理的主存空间开销为Ο(α×β),其中... 数据流滑动窗口连接聚集连续查询(简记J-A查询)是经常使用的一类查询.这类查询的直观处理方法是创建查询操作树,以流水线的方式计算查询结果.这种方法需要在主存中保存滑动窗口连接的结果,查询处理的主存空间开销为Ο(α×β),其中α,β为参加连接两个滑动窗口的大小.在数据流的查询处理中,内存是最重要的计算资源.提出了两种滑动窗口J-A连续查询处理算法——IC算法和TC算法,使得查询处理的空间开销降为Ο(α+β).理论分析和实验结果表明,所提出的算法具有更高的效率. 展开更多
关键词 数据流 滑动窗口 连接聚集 连续查询
下载PDF
多数据流滑动窗口并发连接方法 被引量:10
4
作者 钱江波 徐宏炳 +2 位作者 王永利 刘学军 董逸生 《计算机研究与发展》 EI CSCD 北大核心 2005年第10期1771-1778,共8页
提出一种多数据流滑动窗口连接方法M3Join及其实现架构Roujoin·Roujoin由一个连接路由表和多个连接区组成,其内容根据并发连接请求设置,先将新元组插入缓冲区,然后根据其路由标记查找连接路由表进入合适的连接区执行连接或输出给用... 提出一种多数据流滑动窗口连接方法M3Join及其实现架构Roujoin·Roujoin由一个连接路由表和多个连接区组成,其内容根据并发连接请求设置,先将新元组插入缓冲区,然后根据其路由标记查找连接路由表进入合适的连接区执行连接或输出给用户·如果产生连接元组,则更改其路由标记后送回连接路由表,并反复迭代直到没有连接元组·由于共享中间结果,在处理多个并发查询时只需扫描流元组一遍·实验结果表明M3Join具有良好的性能,能够满足并发连接查询处理的需求· 展开更多
关键词 数据流 连续查询 窗口连接 路由表
下载PDF
数据流窗口连接查询处理器研究 被引量:4
5
作者 钱江波 王永利 +2 位作者 陈征 陈华辉 金光 《电子学报》 EI CAS CSCD 北大核心 2009年第2期404-409,共6页
高速数据流处理是数据流管理系统的一个关键问题.目前已有系统一般采用查询优化、系统调度、降载等方法来提高速度,在高速数据流环境下存在明显的不足.为了最大程度地提高数据流连接操作的速度,提出专用硬件处理器WJSP及设计.针对千变... 高速数据流处理是数据流管理系统的一个关键问题.目前已有系统一般采用查询优化、系统调度、降载等方法来提高速度,在高速数据流环境下存在明显的不足.为了最大程度地提高数据流连接操作的速度,提出专用硬件处理器WJSP及设计.针对千变万化连接条件所共同的基本操作,提出在WJSP可执行的指令系统WJSI,并提出多核处理器以提高WJSP的扩展性和并行性.实验结果显示WJSP原型比STREAM的速度提高10多倍,具有相当高的处理性能.WJSP可嵌入到路由器、交换机、传感器等设备中,提供高速数据流连接处理. 展开更多
关键词 连续查询 窗口连接 查询处理 指令集设计
下载PDF
多数据流上共享窗口连接查询的降载策略 被引量:4
6
作者 闫莺 金澈清 +2 位作者 曹锋 汪恒杰 周傲英 《计算机研究与发展》 EI CSCD 北大核心 2004年第10期1836-1841,共6页
数据流模型作为一种新型的模型 ,在许多应用中扮演着重要的角色 基于数据流模型的查询处理技术也得到了广泛的研究 为了提高查询系统的性能 ,现有的研究成果主要可以划分为两类 :调度优化和降低负载方法 调度优化方法通过改变元组执行... 数据流模型作为一种新型的模型 ,在许多应用中扮演着重要的角色 基于数据流模型的查询处理技术也得到了广泛的研究 为了提高查询系统的性能 ,现有的研究成果主要可以划分为两类 :调度优化和降低负载方法 调度优化方法通过改变元组执行次序来提高查询性能 降低负载方法在负载超出系统处理能力时 ,通过减少输入流量来提高吞吐率 然而 ,同时运用这两种方法来提高查询性能的研究工作还很少 结合共享滑动窗口查询操作的调度优化方法和降低负载方法 ,提出了两种在burst环境下提高查询吞吐率的策略 :均匀降载策略和小窗口准确降载策略 展开更多
关键词 数据流 降载 调度 共享滑动窗口连接
下载PDF
基于最小生成树的数据流窗口连接优化算法 被引量:3
7
作者 钱江波 徐宏炳 +3 位作者 董逸生 王永利 刘学军 杨雪梅 《计算机研究与发展》 EI CSCD 北大核心 2007年第6期1000-1007,共8页
与传统关系数据库不同,数据流管理系统主要处理并发的连续查询.由于查询可能随时增删,所以其主要关注适合查询增删的并发连续查询优化,而不是单条查询优化.提出适合频繁增删查询环境下的数据流窗口连接优化算法.对于新注册的查询以类似... 与传统关系数据库不同,数据流管理系统主要处理并发的连续查询.由于查询可能随时增删,所以其主要关注适合查询增删的并发连续查询优化,而不是单条查询优化.提出适合频繁增删查询环境下的数据流窗口连接优化算法.对于新注册的查询以类似最小生成树算法写出数据流的探测序列,然后在不更改其他查询探测序列顺序的情况下尽量合并,减少重复计算.注册或删除查询并不影响其他的查询计划,不需要执行繁琐的查询计划迁移.理论分析和实验证明,该算法简单,优化性能在可接受的范围内,尤其适合查询更新频率较高的系统. 展开更多
关键词 窗口连接 多查询优化 最小生成树 连续查询
下载PDF
共享连接结果的连续查询处理 被引量:1
8
作者 钱江波 徐宏炳 +3 位作者 董逸生 刘学军 王永利 杨雪梅 《东南大学学报(自然科学版)》 EI CAS CSCD 北大核心 2007年第1期5-8,共4页
深入研究了适合数据流连续查询处理的Shared PushDown,PullUp和Filtered PullUp三种可共享连接结果的策略.通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各占优势.Filte... 深入研究了适合数据流连续查询处理的Shared PushDown,PullUp和Filtered PullUp三种可共享连接结果的策略.通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各占优势.Filtered PullUp处理简单,消耗内存相对较少.而Shared PushDown增加内存使用,但在注册查询的选择因子覆盖较少时有一定优势.考虑到处理的方便,一般情况下Filtered PullUp是适合数据流连续查询处理的最佳方案. 展开更多
关键词 数据流 连续查询 窗口连接 选择操作
下载PDF
支持复杂语义的数据流滑动窗口连接建模和查询优化 被引量:1
9
作者 谷峪 李晓静 +1 位作者 许嘉 于戈 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2008年第11期1552-1555,共4页
数据流连接操作的执行方式直接影响到查询执行的效率和结果的正确性.在STREAM项目流化方法的基础上,对复杂应用下的数据流滑动窗口连接的准确语义进行了分析和建模,以时间窗口连接的增量维护为例提出了两种改进的基本维护策略,给出了针... 数据流连接操作的执行方式直接影响到查询执行的效率和结果的正确性.在STREAM项目流化方法的基础上,对复杂应用下的数据流滑动窗口连接的准确语义进行了分析和建模,以时间窗口连接的增量维护为例提出了两种改进的基本维护策略,给出了针对元组窗和分组窗的维护方法,讨论了根据参数和环境的不同进行适应性的维护.实验证明了在不同的窗口、流速和选择度下,适应性地选择不同的优化算法会达到最优的处理性能. 展开更多
关键词 数据流 复杂语义 滑动窗口 连接 查询优化
下载PDF
数据流滑动窗口连接的卸载策略研究 被引量:1
10
作者 韩东红 公丕臻 +1 位作者 肖川 周锐 《计算机研究与发展》 EI CSCD 北大核心 2011年第1期103-109,共7页
随着数据流应用系统的快速发展,数据流管理系统对数据库技术提出了巨大挑战.针对数据流上的滑动窗口连接操作,提出一些新的卸载技术,使得系统在过载的情况下卸载连接结果少的元组,从而最大化输出结果.双窗口模型和辅助窗口统计信息的建... 随着数据流应用系统的快速发展,数据流管理系统对数据库技术提出了巨大挑战.针对数据流上的滑动窗口连接操作,提出一些新的卸载技术,使得系统在过载的情况下卸载连接结果少的元组,从而最大化输出结果.双窗口模型和辅助窗口统计信息的建立保证了预估连接结果的可靠性,同时应用线段树使卸载的判断更加高效.当流速过快、系统处理能力无法与之同步时,通过前端卸载和后端卸载的配合使用达到理想的语义卸载,得到最大子集的连接结果.实验验证该卸载策略的性能好于现有其他方法. 展开更多
关键词 数据流 滑动窗口连接 卸载技术 语义卸载 线段树
下载PDF
数据流上加权共享滑动窗口的连接查询处理算法 被引量:2
11
作者 潘立强 李建中 王伟平 《计算机工程与应用》 CSCD 北大核心 2005年第27期160-163,共4页
在数据流应用中,系统经常需要处理大量的滑动窗口连续查询,采用共享滑动窗口技术可以有效节省存储空间,提高系统整体的查询处理能力。但是共享滑动窗口技术会增大单个查询的响应延迟,降低单个查询的服务质量。针对这个问题,论文提出了... 在数据流应用中,系统经常需要处理大量的滑动窗口连续查询,采用共享滑动窗口技术可以有效节省存储空间,提高系统整体的查询处理能力。但是共享滑动窗口技术会增大单个查询的响应延迟,降低单个查询的服务质量。针对这个问题,论文提出了加权共享滑动窗口的概念,并提出了三种优化的连接执行算法,优先响应重要的滑动窗口查询,从而提高了系统整体的服务质量。理论分析和实验结果表明论文提出的方法是行之有效的。 展开更多
关键词 数据流 加权滑动窗口 连接
下载PDF
基于R-Tree的空间连接代价模型的改进 被引量:1
12
作者 杨静 鞠艳丰 +1 位作者 张健沛 宋尊锋 《计算机工程》 EI CAS CSCD 北大核心 2006年第11期109-110,共2页
对基于R-Tree的空间连接代价模型进行了探讨,主要研究了HUANG Y W提出的空间连接代价模型。利用最优/最差选择策略降低该算法的时间复杂度,对基于缓冲区的代价模型提出了改进后的评估公式,通过实验验证了改进后的模型比原模型提高了评... 对基于R-Tree的空间连接代价模型进行了探讨,主要研究了HUANG Y W提出的空间连接代价模型。利用最优/最差选择策略降低该算法的时间复杂度,对基于缓冲区的代价模型提出了改进后的评估公式,通过实验验证了改进后的模型比原模型提高了评估的精确度。 展开更多
关键词 R-TREE 空间连接 代价模型 窗口查询 空间数据
下载PDF
复合滑动窗口连接算法 被引量:1
13
作者 钟颖莉 《哈尔滨商业大学学报(自然科学版)》 CAS 2004年第3期294-299,共6页
滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术 .连续查询处理的执行方式有 2类 :一类是立即执行方式 ;一类是周期执行方式 .在已有的研究工作中 ,基于滑动窗口的连接算法都是适用于立即执行的连续查... 滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术 .连续查询处理的执行方式有 2类 :一类是立即执行方式 ;一类是周期执行方式 .在已有的研究工作中 ,基于滑动窗口的连接算法都是适用于立即执行的连续查询 .提出了适用于周期执行的连续查询的复合滑动窗口连接算法 ,即CSWSNLJ算法和CSWSNHJ算法 . 展开更多
关键词 复合滑动窗口 连接算法 基本窗口 数据流 数据库 数据查询
下载PDF
数据流滑动窗口连接查询降载策略研究
14
作者 张龙波 李战怀 +2 位作者 朱立平 刘江涛 赵以强 《西北工业大学学报》 EI CAS CSCD 北大核心 2006年第5期595-599,共5页
主要研究了在有限内存条件下数据流滑动窗口的近似连接查询,即数据流滑动窗口连接查询的降载问题。通过对连接属性域的划分,根据数据元组的连接属性值在属性域中的数据分布来决定每个数据元组进入参加连接运算的滑动窗口的概率,给出了... 主要研究了在有限内存条件下数据流滑动窗口的近似连接查询,即数据流滑动窗口连接查询的降载问题。通过对连接属性域的划分,根据数据元组的连接属性值在属性域中的数据分布来决定每个数据元组进入参加连接运算的滑动窗口的概率,给出了一种面向数据流滑动窗口连接查询的语义降载策略。与已有的语义降载策略相比,文中给出的降载策略所需的数据统计信息较少,连接运算的结果数据元组便于进一步进行其它查询处理,并且对于各种倾斜(skew)参数的数据分布和不同程度的系统超载都有较好的适应性。理论分析和实验结果表明,该降载策略对数据流滑动窗口连接查询的降载处理具有较高的有效性和实用性。 展开更多
关键词 数据流 滑动窗口 连接查询 降载
下载PDF
基于机械变形的钣金件连接过程实时监控方法的研究和应用 被引量:4
15
作者 石柏军 何灿荣 何涛 《机床与液压》 北大核心 2009年第5期34-37,共4页
分析了基于机械变形的钣金件连接技术的原理,提出了一种新的过程实时监控方法——窗口包络线法,在此基础上设计和开发了一套过程实时监控系统。结果表明:采用这种新型的质量监控方法不仅能对加压过程进行全程监控,避免压力越界的发生,... 分析了基于机械变形的钣金件连接技术的原理,提出了一种新的过程实时监控方法——窗口包络线法,在此基础上设计和开发了一套过程实时监控系统。结果表明:采用这种新型的质量监控方法不仅能对加压过程进行全程监控,避免压力越界的发生,同时可以对压接过程中的各个关键点进行监控,实时鉴别出局部小错误,并能够分析出错误发生的原因,保证压接质量,提高劳动生产率。 展开更多
关键词 机械变形连接 实时监控 窗口包络线法
下载PDF
不确定数据流自适应并行连接算法及应用
16
作者 钱江波 王志杰 +1 位作者 陈华辉 王海斌 《电信科学》 北大核心 2012年第2期86-94,共9页
不确定数据流对处理过程有独特的需求,如存储空间有限、响应时间很短、需要连续处理、数据无限等,这对数据流的处理算法,特别是耗时、耗内存较多的连接操作提出了挑战。针对大规模不确定数据流并行连接所存在的速度较慢和内存消耗大的问... 不确定数据流对处理过程有独特的需求,如存储空间有限、响应时间很短、需要连续处理、数据无限等,这对数据流的处理算法,特别是耗时、耗内存较多的连接操作提出了挑战。针对大规模不确定数据流并行连接所存在的速度较慢和内存消耗大的问题,提出了多核处理器上不确定数据流并行连接和内存溢出时自适应处理的一系列算法,能够高速在线处理并发不确定数据流。在此基础上,针对道路各个卡口监控到的不确定数据流,提出一种实时发现套牌车的方法。实验采用真实数据、均匀数据、高斯数据进行评估,证明算法具有良好的性能,其处理速度比内存数据库Timesten速度提高2~8倍,能够满足实时交通套牌车监控的需求。 展开更多
关键词 不确定数据流 窗口连接 内存溢出 并行计算
下载PDF
有限通信资源下多数据流连接的降载算法
17
作者 姜万昌 霍聪 任家东 《计算机工程》 CAS CSCD 北大核心 2008年第21期95-97,共3页
针对数据源节点通信资源十分有限的缺陷,提出一种基于直方图的多数据流滑动窗口连接查询的降载策略。该算法综合中心处理节点和数据源节点的负载情况,给出降载比例计算公式,通过使用聚类技术构建中心直方图和数据源直方图,给出降载策略... 针对数据源节点通信资源十分有限的缺陷,提出一种基于直方图的多数据流滑动窗口连接查询的降载策略。该算法综合中心处理节点和数据源节点的负载情况,给出降载比例计算公式,通过使用聚类技术构建中心直方图和数据源直方图,给出降载策略。结果证明该算法能够产生精确连接结果的极大子集,对多数据流窗口连接降载是高效的。 展开更多
关键词 数据流 降载 窗口 连接算法
下载PDF
分布式数据流连接查询算法
18
作者 刘学军 钱江波 《计算机工程》 EI CAS CSCD 北大核心 2006年第21期41-43,共3页
分布式处理是数据流管理系统发展的必然趋势。文章研究了分布式数据流的连接查询,提出DM3Join算法,它由2部分组成:一是通过分解并发的连接请求,合并相同的连接谓词,形成分布式查询操作算子;二是数据流在各分布式代理(Agent)中流转实现... 分布式处理是数据流管理系统发展的必然趋势。文章研究了分布式数据流的连接查询,提出DM3Join算法,它由2部分组成:一是通过分解并发的连接请求,合并相同的连接谓词,形成分布式查询操作算子;二是数据流在各分布式代理(Agent)中流转实现部分连接,并在查询引擎处组合成最终结果。DM3Join算法采用了一种类似路由表的结构执行窗口连接,由于可以共享中间结果,算法只需扫描数据1遍。分析和实验证明,该连接算法是高效的。 展开更多
关键词 数据流 窗口连接 连续查询 分布式系统
下载PDF
汽车钣金件压力连接质量监控系统的研究 被引量:2
19
作者 石柏军 李真炎 彭元萍 《机床与液压》 北大核心 2015年第14期139-141,135,共4页
探究机械变形压力连接过程中凸模的理论最大压力值,针对现有质量监控方式的不足,以5×104N伺服压机为硬件平台,设计了一套自带数据采集系统的压力连接质量监控系统,并运用最小误差允许原则设置监控窗口。试验结果表明:该监控系统不... 探究机械变形压力连接过程中凸模的理论最大压力值,针对现有质量监控方式的不足,以5×104N伺服压机为硬件平台,设计了一套自带数据采集系统的压力连接质量监控系统,并运用最小误差允许原则设置监控窗口。试验结果表明:该监控系统不仅能采集压力位移数据并以示波形式实时显示,也能判断压力连接质量是否合格并报警,理论计算最大压力与试验最大压力值较为吻合。 展开更多
关键词 压力连接 质量监控系统 最小误差 监控窗口
下载PDF
基于滑动窗口的数据流连接聚集查询降载策略 被引量:3
20
作者 康伟 李战怀 张龙波 《计算机工程》 CAS CSCD 北大核心 2009年第22期50-52,55,共4页
基于单个数据流的滑动窗口聚集查询降载技术和数据流连接技术,提出滑动窗口模型下的数据流连接聚集查询降载策略,给出判断系统是否过载的负载方程和使过载系统恢复到轻载状态的降载算法,使降载后的查询结果同时拥有较小的相对误差和最... 基于单个数据流的滑动窗口聚集查询降载技术和数据流连接技术,提出滑动窗口模型下的数据流连接聚集查询降载策略,给出判断系统是否过载的负载方程和使过载系统恢复到轻载状态的降载算法,使降载后的查询结果同时拥有较小的相对误差和最大的元组输出率。实验结果表明,该降载策略具有较好的可行性和适应性。 展开更多
关键词 数据流 滑动窗口 聚集查询 连接 降载
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部