基于TreeLSTM的查询基数估计

针对传统的数据库管理系统无法很好地学习谓词之间的交互以及无法准确地估计复杂查询的基数问题,提出了一种树形结构的长短期记忆神经网络(Tree Long Short Term Memory, TreeLSTM)模型建模查询,并使用该模型对新的查询基数进行估计.所提出的模型考虑了查询语句中包含的合取和析取运算,根据谓词之间的操作符类型将子表达式构建为树形结构,根据组合子表达式向量来表示连续向量空间中的任意逻辑表达式.TreeLSTM模型通过捕捉查询谓词之间的顺序依赖关系从而提升基数估计的性能和准确度,将TreeLSTM与基于直方图方法、基于学习的MSCN和TreeRNN方法进行了比较.实验结果表明:TreeLSTM的估算误差比直方图、MSCN、TreeRNN方法的误差分别降低了60.41%,33.33%和11.57%,该方法显著提高了基数估计器的性能.

基于查询特征表示学习的联邦复杂查询基数估计

准确的基数估计是实现最佳查询计划的关键因素,现有方法大多基于深度学习来解决基数估计问题。然而,这种基于RDF图模式的方法专注于具有特定拓扑结构的简单查询,适用范围有限,缺乏对现实场景中频繁使用的复杂类查询的支持。为了解决以上问题,提出一种基于查询特征表示学习的联邦复杂查询基数估计模型。该模型主要处理带有FILTER或DISTINCT关键字的复杂查询,使用新提出的FILTER查询特征化方法将SPARQL查询表示为特征向量,通过模型预测查询基数。同时使用模型预测DISITINCT查询中唯一行比率。在LUBM数据集上的实验表明,与最先进的基数估计方法相比,该模型在估计质量上表现优异,平均估计误差中位数可达1.16,并对多连接查询的基数估计表现出潜力和可扩展性。

基于机器学习的基数估计技术综述

基数估计是数据库关系系统查询优化器的基础和核心.随着人工智能技术的发展,其在数据处理、提取数据之间的关系等方面显现出优越的性能.近年来,基于机器学习的基数估计技术取得了显著的进展,受到了学术界的广泛关注.首先总结了基于机器学习的技术估计技术的发展现状,其次给出了基数估计的相关概念及其特征编码技术.接着建立了基数估计技术的分类体系.在此基础上,进一步将基于机器学习的基数估计技术细分为查询驱动、数据驱动和混合模型这3类基数估计技术.然后重点分析了每一类技术的建模流程、典型技术和模型特点,并对其在SQL和NoSQL中的应用进行了分析和总结.最后讨论了基于机器学习的基数估计技术面临的挑战和未来的研究方向。

吸毒人群基数估计方法的研究

目的 探讨估计吸毒人群基数的有效方法。方法 在乐山市市中区强制戒毒所、乐山市市中区自愿戒毒门诊和针具交换点收集相关数据资料 ,分别采用捕获 -再捕获法、乘数法和德尔菲法对乐山市市中区现有吸毒人群基数进行估计。结果 捕获 -再捕获法、乘数法和德尔菲法估计乐山市市中区现有吸毒者分别为 345 5 ,170 3和 2 6 0 0人。结论 依据戒毒所现存登记资料 ,采用捕获 -再捕获法估计吸毒人群基数易于操作、费用低 ,结果可信性较好。乘数法计算简便 ,但在吸毒人群中获取准确的乘数较为困难。德尔菲法对难接触人群进行调查的可行性较好 ,但影响结果的主观因素较多。

吸毒人群基数估计方法研究实践

目的探索在吸毒人群中开展规模估计的简便可行的有效方法。方法在温州市利用强制戒毒所资料和自愿戒毒中心、美沙酮门诊吸毒者调查,应用捕获-再捕获法、乘数法对现有吸毒人群规模进行估计。结果捕获-再捕获法估计吸毒人数温州市辖区为18901人,其中鹿城区为11248人,分别为登记在册人数的1.96和1.66倍。乘数法估计吸毒人数温州市辖区为20016人,鹿城区为13953人,分别为登记在册人数的2.08和2.06倍,两种估计方法有较好的一致性。结论采用捕获-再捕获法估计吸毒人群规模,避免了直接接触吸毒者,具有易操作、费用低等优点,结果可靠性较好。采用乘数法进行吸毒人群基数估计时,选择戒毒所为接触目标机构,自愿戒毒中心和美沙酮门诊等为乘数获取场所可行性较好。

用三种基数估计方法对广东省某市吸毒人群规模的估计研究

目的采用三种基数估计方法对广东省某地吸毒人群的规模进行估计,力图找到一种经济、方便、快捷和相对准确的基数估计方法。方法采用简易乘数法、捕获-再捕获法、公安人员定性估计的方法对该地的吸毒人群规模进行估计。结果公安人员定性估计该地吸毒人群数量为15 900人,简易乘数法估计该地吸毒人群数量为15 745-19 614人,捕获-再捕获法估计该地吸毒人群数量为36 210-41 902人。三种不同方法估计数的中位数为18 540人。结论该地吸毒人群规模估计数为18 540人。简易乘数法是一种经济、简便、可行的基数估计方法,且能获得一个较为准确的估计数。

我国艾滋病高危人群基数估计方法研究及其在流行形势分析中的应用

目的研究适合我国艾滋病疫情的高危人群估计方法,并进行流行形势分析,为制定防治政策提供科学依据。方法通过试点研究确定不同类别高危人群基数估计的适宜方法。结果研究形成了不同类别高危人群基数估计的适宜方法和流程;确定了适于我国流行特点的疫情估计方法和参数;清晰阐明了我国艾滋病流行现状及特点。结论研究形成的方法,对准确掌握现存活感染人数起到关键作用;对艾滋病流行形势有了准确判断;促进了监测系统的完善和检测工作的加强;推动了"四免一关怀"政策的形成。

安徽省部分县既往有偿献血人员基数估计

目的探索既往有偿献血员基数的估计方法,对安徽省4个县既往有偿献血人员基数进行估计.方法采用枚举法,根据不同行政村中人群既往献血员分布的密集程度分层抽样调查;用各层人口数分别乘以该层人群中献血员百分比及其95%可信区间,计算、汇总,获取目标人群基数.结果4个县21.8%(93/1 891)的行政村有既往有偿献血员,且呈集中分布;估计既往献血员基数为13 086人(11820人～14 351人);调查前后样本村分层一致率为72%.结论枚举法适合于对既往有偿献血人群基数的估计,但要根据知情人提供信息的真实度调整估计结果,则会更为全面、真实地估计当地既往有偿献血员基数.

某市吸毒人群基数估计方法研究

目的采用两种基数估计方法对某市吸毒人群的基本规模进行估计,试图找到一种经济快捷、相对准确和可操作性强的基数估计方法。方法采用简易乘数法和捕获-再捕获法对某市吸毒人群进行基数估计。结果简易乘数法估计该市吸毒人群基数为34145～87469人,捕获-再捕获法估计为63030～105609人。两种方法估计数的中位数为68616人,估计其中静脉注射吸毒人群基数为38082人。结论该市吸毒人群基数估计为68616人,其中静脉注射吸毒者38082人。简易乘数法和捕获-再捕获法可行性好,对时间、人力、物力资源的耗费较少,可联合使用对吸毒人群进行估计,综合所得结果较为准确。

某地女性性服务工作者基数估计

目的:估计某地女性性服务工作者的基数,为评估该地性病和艾滋病流行状况及制定防控策略提供依据。方法:采用乘数法,分别选取3个片区的性病门诊为目标机构,收集特定时间内接触这3个机构的暗娼数(r);分层抽样调查363名暗娼中特定时间内接触这3个机构的比例,取其倒数(m),用r×m估计该地暗娼基数。结果:3个片区的暗娼估计数分别为13957、11652和12567人,地区合计暗娼估计数为38176人。结论:用乘数法估计暗娼基数简便、可行。

AIDS高危人群-吸毒人群基数估计国内研究实践

随着药物滥用问题的不断严重化,我国吸毒人群中感染HIV者比例逐渐增高.对AIDS的防治不但要掌握HIV感染率,还要对HIV感染人数和AIDS患者数做出科学的测算.因此,吸毒人群基数估计方法的研究渐成为AIDS监测和流行病学调查的研究热点.

针对RDF概率图查询的基数估计方法

资源描述框架图查询中,准确估计查询结果的大小是查询优化器中的关键步骤.已有方法忽略了该图自身的不确定性以及子查询间的关联关系,无法有效估计结果.针对该问题,本文提出一种基于贝叶斯模型的基数估计方法.该方法引入贝叶斯网络模型,挖掘出子查询内的属性依赖.同时,在这些属性依赖的基础上提出子网拼接方法,计算出子查询间的影响因子.最后,利用以上信息准确估计出任意查询结果集的基数.实验表明:与已有方法相比,本文方法的准确性提高15%以上,性能没有大幅度下降.

SHELL:一种面向流数据的实时基数估计算法

基数计算在流数据查询优化、网络安全、数据压缩等领域具有重要的应用价值。现有的基于概率统计原理的基数估计算法需要通过扫描历史静态数据才能进行基数统计,由于流数据具有持续、快速和实时等特点,不可能先持久化再处理分析,因而传统的基数估计算法无法直接应用在大数据流处理中。通过研究Spark、Storm实时分布式流处理机制和传统基数估计算法,设计和实现了实时的流数据基数估计算法SHELL(Streaming HypErLogLog),实验表明,SHELL在保证精确度不降低的情况下,单位滑动时间窗口内处理的消息量达到6.0×10~5~6.8×10~5,满足实时性处理的要求。

一种高效准确的基于查询结果的基数估计策略

基数估计是查询优化的重要组成部分,其高效性、准确性直接影响查询优化效果。传统基数估计策略基于原表或原表样本进行统计信息收集,然后利用收集好的统计信息推导出基数。该策略在数据量大时,统计信息收集效率低;统计信息存在延迟,并且基数通过推导得到,准确度无法保证;一些策略通过子查询的反馈信息得到基数,但结果没有保存,基数获取效率低。为解决这些问题,提出了一种高效准确的基于查询结果的基数估计策略(cardinality estimation based on query result,CEQR),特点是统计信息来源为查询执行结果,不需要进行推导,保证基数的准确度,并且收集效率与原表数据量无关;建立一种基数表,保存基本表和中间结果在某种谓词下的统计信息,为后续查询提供服务,并建立基数维护规则,合理管理基数表;建立资源感知策略,将基数项映射到缓存,加快统计信息获取效率。给出了基于CEQR策略的适应性以及误差分析,并通过实验得出CEQR策略在效率上优于传统基数估计策略。

捕获再捕获法在街头暗娼人群基数估计中的运用

目的:探讨捕获-再捕获法在街头暗娼人群基数估计中的运用。方法:通过街头暗娼志愿者识别和发放标记物,估计昆明市主城区10个街头暗娼聚集点暗娼人群基数。结果:该市中心城区街头暗娼基数估计为486人,95%可信区间:(412人,560人)。结论:运用捕获-再捕获法对街头暗娼人群进行估计经济易行,结果较为可靠,较适合在卫生资源有限的情况下开展暗娼基数估计工作。

捕获-再捕获法在艾滋病高危人群基数估计中的运用

目的 :探讨捕获 -再捕获法在艾滋病高危人群 (同性恋人群、暗娼人群和吸毒人群 )基数估计中的运用。方法 :通过发放标记物和问卷调查估计成都市同性恋人群基数 ;依据戒毒所登记资料 ,估计乐山市市中区吸毒人群基数。结果 :捕获 -再捕获法对成都市同性恋者基数估计分别是 1387、1372和 115 1人 ;对乐山市市中区吸毒人群的估计为 345 6人。结论 :运用捕获 -再捕获法对艾滋病高危人群进行估计经济易行 ,结果较为可靠 。

S(2)-θ-闭空间的基数估计

本文在拓扑空间中引入了两个基数函数X2 (X) ,Ψ2 (X) ,并且给出了几个与之有关的基数不等式 特别地 ,给出了S(2 )

基数估计算法参数的分析与优化

基数估计算法(Cardinality Estimation Algorithm)是基于概率统计理论的估算给定数据集中不重复元素基数的算法。算法中的Hash函数和相关参数的设置是影响算法性能的两个关键因素。针对这两个问题展开研究,提出了一种基数估计的优化算法,它可以根据数据规模和数据类型动态调整Hash函数和分桶参数,以提高算法的精度和稳定性。实验结果表明,改进的基数估计算法在经过训练之后,相比传统估计算法,其估计精度和稳定性均有所提高。

基于增量局部加权学习的查询模板自适应基数估计

基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计严重错误进而造成查询延迟.近年来,随着数据的增多和新硬件的发展,使用机器学习方法来提高基数估计的质量成为了可能.由于基于代价的查询优化主要根据查询中子执行计划的估计代价来选择最优的查询执行计划,因此,有一些最近的工作针对一些关键的子执行计划模板建立相应的局部学习模型,取得了不错的进展.但是,这些局部模型主要用于查询(查询空间)分布和数据(数据库数据)分布不变的场景,而在真实运行环境中,它们往往不断地发生变化,限制了这些估计技术的有效性.在本文中,我们针对子执行计划模板在查询分布和数据分布不断变化的环境下提出了一种使用增量的局部加权学习进行自适应基数估计的方法.具体地说,首先抽取子执行计划的语义和统计特征使之能代表当前查询和数据的特性,然后使用增量的局部加权学习模型根据查询分布和数据分布的变化进行自适应的学习,实现基数估计.最后,通过对比实验验证了本文方法的有效性.