基于Presto的业务数据跨库分析查询系统设计

目前的业务数据跨库分析查询系统对信息把握能力较差,导致查询结果无法满足用户要求,能量消耗过多。为了解决上述问题,提出了基于Presto的业务数据跨库分析查询系统。在系统硬件区域基本器件的基础上,重新设计了存储器、业务服务器、协调器以及硬件优化器,提高系统运行的速度。系统软件区域先介绍Presto的查询引擎原理,分析Presto查询引擎数据仓的特性,归纳调用出系统跨数据库查询分析业务数据的工作流程,完成基于Presto的业务数据跨库分析查询系统的设计。实验结果表明,基于Presto的业务数据跨库分析查询系统能够更好地把握信息能力,提高查询准确性,减少能量消耗。

面向海量数据统计分析查询的中间层语义缓存

海量数据库应用系统中对统计分析查询进行优化,缩短查询响应时间是系统性能提高的关键。中间层语义缓存提供了一种优化海量数据统计分析性能的途径。文章通过对中间层语义缓存的研究,提出了一个适合海量数据统计分析的中间层语义缓存解决方案。

决策气象服务统计分析查询系统

应用VisualFoxPro编程语言 ,建立了辽宁有测站记录以来任意时段降水、温度、50 0hPa环流形势统计分析查询系统 ,对实时的气象要素、天气形势进行气候统计分析 。

海岸带空间要素分析查询系统构建研究——以山东莱州湾为例

海岸带开发与保护是我国保持海岸带可持续发展所急需解决的问题。以莱州湾为示范区 ,利用 GIS技术建立海岸带空间要素分析查询系统 。

一种基于C#语言开发WEB数据库分析查询系统的方案

本文介绍了如何利用新技术语言C#实现对数据库的分析查询。该方法利用资源文件存放数据库信息,设计了WebService实现数据库的访问,通过控件实现数据列表的展示,并结合具体应用加以说明。

浅谈关联分析查询技术在审计中的运用

随着信息技术的广泛运用,审计客观环境发生的巨大变化,加速审计转型、实现审计手段从传统手工审计向计算机审计转变对发挥审计"免疫功能"作用意义重大。本文通过结合两个计算机审计案例实践,根据数据库查询的功能特点,系统地描述了审计过程中关联查询分析技术方法运用的过程和步骤,提出了关联查询分析技术运用需要抓住的关键环节,对当前计算机审计技术的深化运用具有一定的指导意义。

多维分析查询中的隐私问题研究

互联网时代,更多的信息被集中起来,隐私成为了关注的重点。普遍的服务端在进行多维分析查询时,都使用差分隐私将用户的数据集中到一个可信代理上,在分析的过程中产生噪声。现有文献提到,若没有一个可信代理,不宜使用差分隐私,而要采用本地差分隐私(LDP)。该方法使数据的敏感维度在发送到数据收集器之前在本地就进行编码,然后再传输到数据收集器进行聚合计算估计查询的结果。本地差分隐私使用加权频率保证了隐私性的同时也回答了多维分析查询,其主要使用分层分解的方法。但随着分层的产生,同时导致了查询的增加和复杂化。本文提出了针对敏感数据在加权时的优化方法,对敏感维度先进行分类,将与查询无关的敏感维度删去,然后再对其LDP编码,以减少分层时产生的查询。

数据统计分析查询的中间层语义缓存

数据库系统的应用越来越广泛，对查询的要求也越来越高。如何提高查询性能成为研究关键。本文对系统统计分析查询进行优化，缩短了查询反应时间。通过中间层语义缓存提高了数据统计分析性能。本文通过研究中间层语义缓存，提出一种适合数据统计分析查询的中间层语义缓存解决方案。

基于FAERS数据库的PD-1/PD-L1抑制剂免疫相关不良事件信号分析

目的基于美国FAERS数据库挖掘帕博利珠单抗、纳武利尤单抗、阿替利珠单抗、度伐利尤单抗的免疫相关不良事件(irAE)信号,为降低临床用药风险和药品上市后安全性监测提供导向和参考。方法提取美国FAERS数据库2012年第四季度至2022年第一季度的不良事件报告,采用报告比值比法、MHRA综合标准法、贝叶斯置信递进神经网络法(BCPNN)展开信号检测,应用标准MedDRA分析查询(Standardized MedDRA Queries,SMQ)在特定“免疫介导/自身免疫性疾病”中广义检索irAEs信号,分析四种PD-1/PD-L1抑制剂导致irAEs的共有特征。结果统计分析结果显示,纳武利尤单抗不良事件报告数最多且逐年增幅最大,不良事件患者中男性群体和老年群体占比较高,且主要临床结局为其他严重的重要医疗事件、住院和死亡。信号检测结果显示,四种PD-1/PD-L1抑制剂共检出23个irAEs信号,包括脑炎、重症肌无力、甲状腺疾病、类天疱疮、结肠炎、肌炎、肝炎、暴发性1型糖尿病等,累及11个系统器官分类(SOC);其中年龄差异性信号较多,主要表现为免疫性血小板减少症、肌炎、心肌炎在老年群体中高发。结论PD-1/PD-L1抑制剂irAEs信号累及SOC范围较广泛,建议临床用药前详细询问患者既往病史,尤其需要关注老年群体的用药风险,加强免疫相关不良事件的早期管理和迅速评估;注重中国用药群体免疫相关不良事件数据的收集和分析,挖掘其不良反应特征,不断完善药品说明书,促进我国临床安全、合理使用PD-1/PD-L1抑制剂。

基于层次结构的隐私多维分析查询算法

基于本地化差分隐私的多维分析查询(multi-dimensional analytical query,MDA)已得到了研究者的广泛关注.现有基于最优局部哈希(optimal local Hashing,OLH)机制与层次树结构的扰动方法存在泄露根结点隐私的风险.针对现有结合层次树结构的本地扰动机制不足,提出了一种有效且满足本地化差分隐私的MDA查询算法H4MDA (hierarchical structure for MDA),该算法充分利用层次树的横向与纵向结构特征设计了3种基于用户分组策略的本地扰动算法HGRR,LGRR-FD,LGRR.算法HGRR结合层次树横向结构与GRR机制本地扰动用户元组数据,通过摈弃根结点组合来响应MDA查询.不同于HGRR,LGRR-FD算法利用层次树的纵向结构与GRR机制扰动本地数据,同时通过添加假数据来避免叶子结点的隐私泄露.LGRR算法通过摈弃叶子结点层纵向扰动本地数据.收集者结合LGRR的扰动结果利用局部一致性处理技术重构层次树最后两层,通过添加虚拟叶子结点来响应MDA查询,而虚拟叶子结点计数之和等于其父节点计数.HGRR,LGRR-FD,LGRR算法与现有扰动算法在3种数据集上实验结果表明,其响应MDA查询的精度优于同类算法.

基于Impala的大数据查询分析计算性能研究

分析了Cloudera公司推出的Impala实时查询引擎原理与架构,并深入比较Impala与传统MapReduce的性能与特点,针对Impala进行复杂大数据处理方面的不足,提出了MapReduce与Impala结合的大数据处理方法,通过使用MapReduce对Impala的输入数据进行预处理,利用MapReduce在复杂作业处理方面的长处弥补了Impala在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于MapReduce与Impala结合的大数据处理速度比传统MapReduce快了一倍。特别地,在迭代查询实验中,基于MapReduce与Impala结合的处理方法超过传统MapReduce方法八倍以上。基于MapReduce与Impala结合的处理方法在单次查询中的效率仍然高于传统MapReduce;而在迭代查询中,MapReduce与Impala结合的处理方法远远地超过了MapReduce。因此,MapReduce与Impala结合的处理方法能够发挥Impala和Hadoop各自的优点,让处理效率远超传统MapReduce,对于复杂的大数据处理的能力高于Impala。

基于Ontology的语义查询分析研究

目前的搜索引擎普遍存在着查全率和查准率不高的问题,任何一个简单的查询都可能返回数以万计的检索结果,而其中只有很少一部分与用户真正的检索要求有关,对查询的处理是基于本体(Ontology)的语义检索最重要的部分.针对现有查询分析方法的不足,提出了一种基于Ontology的综合词义关系和语义关联分析的查询分析算法,给出了基于本体映射的语义相似度算法,通过对用户输入关键字词义特性和本体实例之间语义关联强弱的分析,提高了用户输入关键字到本体概念映射的完整性和准确率,保证了用户查询和检索语言在语义上的一致性,提升了查询的满意度.

影像地质编录成果的三维可视化及查询分析方法

在研究及开发影像地质编录信息系统的基础上,基于数字地质编录成果,应用VC++和OpenGL技术,探讨了数字地质编录成果的三维可视化和查询分析方法,并以水电工程地质编录信息需求为例,给出了实现方法.结果表明,该方法对常见岩体工程建模及其地质编录成果三维可视化分析,不仅具有表面纹理映射灵活、场景渲染效果逼真的特点,而且具有同数据库连接方便、与模型对象交互功能强、支持三维空间分析等优点,并可实现岩体工程建模的自动化.

安徽省旅游信息系统的空间查询分析与应用

为适应安徽省旅游业发展的要求 ,配合把旅游业发展成安徽省新兴支柱产业 ,营造一个更好的旅游环境 ,本文设计了安徽省旅游信息系统 (ATIS)。阐明了设计的目标与原则。

基于GIS的居民出行调查数据时空查询分析研究

基于GIS平台,以建立线性参照系统为基础,采用动态分段技术处理居民出行调查数据,构建了居民出行数据模型,实现了居民出行调查数据的动态显示和综合查询分析。同时,可通过挖掘居民出行规律为交通规划决策提供参考信息。

查询会话中的用户行为分析

为了更好的理解搜索用户的检索行为,在查询会话基础上分析了用户修改查询的行为规律及用户、查询和点击三者之间的关系.从查询会话的角度,综合考虑了会话中修改的次序、用户、查询和点击等多方面因素,发现了用户修改查询的规律,证明了查询推荐的必要性.统计结果显示:用户修改查询的方式和修改次数有关,而对应的点击数量相对稳定;最终查询一般要比初始查询长,通常是部分替换了初始查询;用户使用搜索引擎的频率越高,修改查询的可能性就越大.

基于日志分析的搜索引擎查询结果缓存研究

缓存是有效减少响应时间和系统负载的关键技术,是搜索引擎系统结构研究的重要领域之一.通过对搜狗搜索引擎在近1个月内约1500万条用户查询日志进行分析和研究,针对查询结果缓存,从查询局部性、缓存策略、缓存容量、工作负载周期性等方面进行分析.分析表明,混合缓存策略以及提高缓存容量相结合的技术能有效提高搜索引擎系统性能.

运用组合控件实现气象雨量信息查询与分析系统的网络发布

采用组合控件Mapx与Mapxtreme解决应用型GIS系统是开发方式的一大突破,特别是对于数据处理的实时性与应用型要求比较高的专题系统具有极大的借鉴意义。采用组合控件开发的‘气象雨量信息查询与分析系统’不仅实现了雨量信息的综合管理,而且根据气象信息算法模型实现了特定内容的GIS显示与分析,并在网络上进行结果发布,使得系统在速度、效率和应用方面满足了气象部门的实际需要。从总体使用效果来看,综合运用控件Mapx与Mapxtreme不仅可以弥补单一控件在功能开发方面的缺陷,而且可以达到优势互补,促进新应用功能的产生。

大数据技术在水利统计查询分析系统中的应用

目前水利统计信息系统收录了全国各省市、自治区的农业灌溉、供用水、水土保持、水利建设投资、农村水电、水文站网等行业数据,这些数据来源渠道广、涉及维度多、信息量级大,传统的数据分析手段已经很难满足水利业务分析的需要。为解决水利统计数据体量大、类型多、分析慢的问题,基于大数据技术提出包含从数据接入到业务应用的架构体系,设计综合展示、空间分析、智能分析及多维分析等功能模块,建立基于大数据技术的水利统计查询分析系统。结果表明:大数据水利统计查询分析系统不仅能够满足水利统计业务分析的需要,而且可以统筹分析不同类别、频率的数据,为水利统计查询分析业务提供平台支撑,同时也为大数据技术应用于其他行业提供参考。

一个中文搜索引擎的查询日志分析

搜索引擎用户日志分析对信息检索学术研究和搜索引擎优化都有重要意义,文章对约20G的新浪爱问搜索引擎(http://iask.com/)日志进行了系统的分析.发现了很多中文搜索的特点,并针对这些现象提出了一些问题.这些内容对于掌握用户搜索行为,完善搜索引擎系统和中文信息检索研究都具有重要的意义.该文为2008年第七期本期话题<用户查询的理解>的文章之一.