中国地震台网波形数据整理及服务平台建设

对中国地震台网中心2008—2021年间存储的中国地震台网固定观测台站近150TB波形数据进行了归档和整理,并对数据可用率和断记缺失情况进行了调查统计。在建立波形文件索引数据库的基础上,建设了符合国际标准Web服务接口的波形数据服务平台,能够7×24h不间断提供数据服务,实现了用户通过应用程序自动获取定制波形数据的功能,为人工智能等新数据驱动技术在地震监测中的发展应用提供了支撑。

数据仓库数据加载技术

数据仓库中的数据不是传统数据库中数据的简单堆积 ,其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作 ,为决策者提供访问、分析及共享信息的能力 ,从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要 ,紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点以及拥有的数据类别及组成 ,重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略 ,具体给出了数据仓库中

基于分块的大规模地形实时渲染方法

将地形数据分块技术、层次细节模型(LOD)技术、改进的ROAM算法和数据预取技术等相结合,提出了一种超大规模地形数据实时渲染方法.通过分块策略对规则网格进行区域分割,采用空间填充曲线对分块网格进行多分辨率排列,并建立三角形节点顺序与剖分点之间对应关系的快速检索,实现数据快速调度;视见体投影简化分块裁剪算法降低可见性判断的复杂度,提高了计算效率;改进的四队列ROAM实时构网算法,很好地利用了相邻帧的相关性,有效地提高了渲染速度;基于视点预测、部分数据常驻内存的多线程数据预取实现了场景规模基本不相关的连续LOD实时渲染.实验结果表明,该算法高效可行,适合于海量地形场景的快速渲染和交互漫游应用.

一种基于模板的数据预取和缓存算法

针对专题型应用中普遍存在的大数据查询的频繁性和模式固定性特点,提出一种基于模板的数据预取和缓存算法,用于加快数据查询响应速度并减轻服务器端负载压力。通过构建数据查询模板,在触发器被激发时调用模板以构建预取数据,提出基于模板的数据预取方法和基于触发器的预取算法;考虑缓存空间中一些大数据的存在对查询响应速度的优化性,建立缓存对象模型并提出改进的Hybrid算法。以东方红湿地环境监测平台为例进行算法实验与分析,实验结果表明,在不同的缓存百分比下,较之典型的缓存算法,改进的Hybrid算法在访问延迟率上均有改进,且在大数据量查询时表现出了优越的应用效果。

关联规则挖掘技术在Web预取中的应用

随着WWW上信息的爆炸性的增长,在如此大量的数据中发现有用的信息变得困难。因此,采用数据挖掘技术从WWW上提取出有价值的知识,提高WWW的服务效率,是具有十分重要的现实意义和广泛的应用前景。本文提出了一种利用关联规则解决网络拥塞问题的方法,即通过对服务器上的日志进行挖掘,得到用户访问序列的关联规则,根据这些规则和用户目前访问网页,把用户后继最有可能访问的网页预先发送给用户,来提高用户浏览速度。

PDM系统基于脚本方式处理CAD图形数据的研究

为解决产品数据管理(PDM)系统对数据结构不公开的CAD图形文件的内部数据进行处理的难题,提出了以CAD图形文件所对应的文本格式的可读性强的脚本文件为数据处理对象的新方法。在分析脚本文件数据结构的基础上,设计了提取与替换脚本文件内部数据的可靠性高且安全性好的算法。通过实例在PDM系统中运用该方法,描述了对CAD图形文件内部数据进行处理的过程,解析了对同形CAD图形进行参数化修改的功能。

广域网传输中数据与协议优化研究综述

随着互联网业务的高速发展,人们越来越依赖计算机网络来获取数据信息.但广域网固有的高丢包、大延迟特性使得网络应用的性能不佳.广域网优化技术可以显著提升用户网络体验,目前已成为研究人员和各大网络设备厂商关注的热点.从影响网络性能的不同原因出发,对目前的广域网优化技术深入研究,详细分析了前沿的数据优化和协议优化技术.从数据压缩、数据缓存、数据预取及重复数据消除4个技术层面对数据优化技术进行了详细阐述,同时从传输层优化和应用层优化2个角度分析了协议优化技术.最后对各大广域网优化厂商的核心优化产品及关键技术进行了讨论,进一步给出了广域网优化技术的研究方向.

梯度学习的参数控制帮助线程预取模型

对于非规则访存的应用程序，当某个应用程序的访存开销大于计算开销时，传统帮助线程的访存开销会高于主线程的计算开销，从而导致帮助线程落后于主线程。于是提出一种改进的基于参数控制的帮助线程预取模型,该模型采用梯度下降算法对控制参数求解最优值，从而有效地控制帮助线程与主线程的访存任务量，使帮助线程领先于主线程。实验结果表明，基于参数选择的线程预取模型能获得1.1~1.5倍的系统性能加速比。

基于用户浏览兴趣的网页预取策略

提出一种基于用户历史浏览情况对未来相关网页进行预取的算法.该算法能自适应调整用于生成会话的参数,并使用Session-tree结构完成对相关页面的预取.在实现中考虑到用户在特定事件和时间下的历史浏览行为,使用奖励因子和快速排序策略以提高效率.试验分析结果表明,基于自适应会话调整及群体共同兴趣剖像的预取算法能较好地完成对相关页面的预取.

基于代理的数据挖掘在Web预取中的应用研究

由于接入Internet的用户数量剧增以及Web服务和网络固有的延迟,使得网络越来越拥挤,用户的服务质量得不到很好的保证。为此提出了一个基于Agent(代理)的Web预取系统,此系统利用了数据挖掘技术来挖掘用户的兴趣关联规则,并且充分考虑了用户当前的兴趣状况,可根据用户的兴趣习惯很好地预测用户即将发生的行为,进而预取从目前页面连结出去的最有价值(用户最感兴趣)的几个页面,从而达到提高网络浏览速度和提供主动服务的目的。

基于改进TF-PDF算法的地震微博热门主题词提取研究

随着网络通讯技术的发展和社交媒体工具的普及,越来越多的公众在微博平台发布、传播地震相关信息,而如何从这些信息中获取有用信息并为开展地震应急工作提供方向性的指导,成为研究的重点及难点。该文提出一种改进的TF-PDF算法,通过发布微博的博主影响力以及微博的关注度确定地震主题特征项的权重。首先利用ICTCLAS分词系统对地震微博信息进行分词,然后在微博分词后的词库中依据权重对候选主题词进行排序,从而获得地震信息的热门主题词,并以芦山地震和云南彝良地震的微博信息为例,对传统TF-PDF算法和改进后的TFPDF算法进行了对比。结果表明,利用传统TF-PDF方法发现的地震热门主题词多为位置信息,而改进后的方法可以更有效地发现公众在震时的感受,可为灾害救援提供及时的信息与支持。

基于稳定集模型的大容量缓存管理

指出了阶段间数据换入换出效率是大容量缓存管理最重要的问题，并对这一问题进行了研究。定义了一种用于预测新阶段的数据访问的新的数据访问宏观模型——稳定集模型（SSM），并基于该模型设计了一套缓存管理方法，包括缓存容量配置、缓存粒度选择、数据预取和缓存替换算法。该套算法能提高缓存在阶段间的数据换入换出效率，更有效地优化集中存储负载，并提高应用访问的性能。实验表明，基于SSM的缓存管理方法能够将集中存储负载降低到传统缓存管理方法的2．0％-15．8％，平均响应时间降低到0．8％～15．2％。

集成CPU-GPU架构上的列存储连接优化技术研究

集成多核CPU-GPU架构已经成为计算机处理器芯片的发展方向。利用这种架构的并行计算能力进行数据处理已经成为了数据库领域的研究热点。为了提高列存储系统的查询性能,首先改进了已有协处理机制中的负载分配策略,通过监测数据库系统CPU占用率,动态地为处理器提供合理的数据划分;然后,针对集成多核CPU-GPU架构上的数据预取机制,提出了一种确定预取数据大小的模型,同时,针对GPU访存的特点,进行了GPU访存优化;最后,使用OpenCL作为编程语言,实现了一种集成多核CPU-GPU架构上的列存储排序归并连接算法,并采用提出的方法对连接处理进行优化。实验证明,所提优化策略可以使列存储系统排序归并连接性能提升33%。

网上交易中的电文固化系统设计

为应对网上交易等电子商务等存在安全问题,确保交易安全,并面对可靠的固化和保留交易所产生的电文作为交易证据进行保全和固化的需求,设计了一种电文固化系统,包含其网络拓扑架构,及所依赖的安全网络传输协议。整个系统采用电文固化中心和在交易平台方所设的电文固化本地代理的分布式结构。交易平台方在遇到电文固化需求时,通过本地代理与电文固化中心服务器通过Internet进行安全通信。最后以实例验证了该系统的可行性。

基于BLOB类型的数据库图像存取技术

在数据库管理系统中,图像数据技术一直致力于解决海量数字图像的有效存储和管理问题,这是一项非常复杂的技术,具有重要的实用价值和经济价值。笔者在DELPHI开发环境中,针对SQL Server数据库关系表中BLOB图像数据的存取问题进行了初步探讨,提出了一套基本解决方案,供读者参考。

Web使用挖掘中数据预处理技术研究

Web使用挖掘是Web服务器端预取技术研究的一个重要方法,而数据预处理是Web使用挖掘的一个关键环节。提出一种可用于提高数据预处理效率且在同等条件下最终能够提高缓存命中率的数据预处理方法。实验证明,这种方法是有效的。

数据挖掘技术在Web预取中的应用研究

由于近年来互联网的迅猛发展,越来越多的行业和领域都通过互联网来拓展和发展自己的市场,人们的生活方式也渐渐融入了互联网。但是,由于全球网民数量的急剧增加以及互联网本身固有的限制与传输延迟,网络对用户的服务质量越来越得不到保证。因此,由交通拥挤到网络塞车,我们需要一种更好的技术方式来解决这一问题。而未来的一大技术热点——数据挖掘技术,通过对用户的分析和归类,可以预先读取Web中的数据,从而减少网络延迟。重点介绍了数据挖掘中的关联规则算法在Web预取中的应用。

基于窗口的随机数抽取算法研究

介绍了传统的随机数抽取比较算法的算法原理,给出了基于固定窗口的数据填充不等概率随机数抽取算法及基于滑动窗口的等概率随机数抽取算法,并对它们进行了算法分析和概率分析,给出了后两种算法的概率分布,最后对基于滑动窗口的等概率随机数抽取算法抽取不重复整数问题和基于固定窗口的数据填充不等概率随机数抽取算法从试题库中抽取试题组成试卷问题进行了算法设计和程序设计,并检验说明了程序运行结果。

基于广源报表的Word表格数据自动获取方法研究

针对复杂Word表格数据自动获取的难点,利用VSTO对Word文档的强大编程功能和广源报表的模板编辑功能,提出了基于广源报表模板的数据自动获取方法,并成功应用在海军舰艇试航试验数据管理系统中,提高了数据获取的自动化程度、正确率及用户操作的灵活性。实践表明,该方法能较智能地对不同的Word表格数据完成自动获取,实用性较强。

基于云代理的智能手机3G通信端口节能模型

智能手机的无线通信端口是消耗电量的主要部件之一。随着移动互联网的普及,智能手机中主流的3G端口通信量不断增加,造成手机续航时间大大缩短。新兴的云计算服务平台采用云迁移技术对手机能耗进行优化,但针对通信能耗涉及较少。本文提出利用云代理技术实现智能手机中3G无线通信端口的节能模型。该模型主要针对占据总通信能耗较大比例的尾能耗进行优化,通过在云端采取尾能耗聚合与智能预取模型,实现3G端口能耗的降低。