并行处理网络下半结构化大数据快速聚类方法

半结构化数据量已经超过PB级,在这种大规模数据集上快速响应交互式请求,对关系数据库查询和大数据处理技术都提出了挑战。然而当前的聚类算法均是离线批量处理结构化、非结构化数据。面对半结构化数据对象和应用需求的转变,需要对传统聚类算法针对性地优化和改进。设计一种并行处理网络下半结构化大数据快速聚类方法。首先,在常用的Linux与Windows网络环境中捕获大数据包,并对捕获的多源异构大数据做清洗和集成等预处理操作,完成数据准备工作;然后在并行处理网络下,基于MapReduce框架改进常规CanpoyK-means聚类算法形成BCK-means并行聚类算法,对多源异构大数据进行并行化聚类分析,实现半结构化大数据的快速聚类挖掘。实验结果表明,设计方法在10 s内即可完成不同类别的半结构化数据集的聚类且聚类结果稳定,在半结构化数据聚类挖掘效率方面具有优势。

基于物联网技术的多通道网络数据快速采集方法

常规的网络数据采集方法主要针对网络数据展开哈希计算,多次采集之后的双向时延持续增加,影响采集时效性。为此,该研究设计了基于物联网技术的多通道网络数据快速采集方法。利用物联网技术设计采集器,并在多通道中布设数据采集节点。然后建立数据加速采集模型,有效降低采集过程中的双向时延,进而实现对网络数据的快速采集。采用对比实验的方式,验证了该方法的双向时延更短,说明该方法能够高效采集数据,具有较高的推广价值。

基于改进深度置信网络的智能油田数据快速清洗研究

在大数据技术得到快速发展和广泛运用的时代背景下,智能油田的数据清洗成为确保智能油田数据分析有效性的关键任务,本研究旨在探讨如何利用改进的深度置信网络算法结构实现智能油田数据的快速清洗和分析。本文阐述了深度置信网络、智慧油田以及数据清洗的基本概念,并且分析了基于改进深度置信网络的智慧油田数据快速清洗的现实意义及实施要点,结合实例对深度置信网络在智慧油田数据快速清洗方面的实践应用做了具体分析,以期推动智能油田数据清理工作的可持续发展。

一种基于隐马尔可夫风险评估模型的数据快速疏散策略

地震、海啸、泥石流等自然灾害能够对数据中心产生致命的破坏,数据损坏和丢失会造成巨大的经济损失。对数据中心运营商和用户来说,数据丢失造成的无形损失更加无法承受。因数据中心备份会大大增加数据中心运营成本且影响数据恢复效率,近年来大量研究集中在数据快速疏散方面。遗憾的是大部分研究在缺乏建模和风险量化的前提下假设数据中心的风险为已知因素,存在一定的不合理性。基于SDN网络,本文建立隐马尔可夫模型,动态评估数据中心的风险,根据台风的路径和趋势实时计算台风附近的数据中心节点风险值,把数据实时疏散到风险较小的多个数据中心节点,实现了数据的快速疏散。为了验证模型的性能,本文在Mininet环境下进行了仿真实验,实验结果证明本文提出的模型能够较为高效的完成数据中心风险评估和数据疏散。

一种地形三维数据快速采集系统的研究

研制出基于彩色地图的地形三维数据快速采集系统。它通过对彩色地图图像进行分色、定向、跟踪等处理 ,自动、快速获取高精度的地形三维数据 ,以便建立地图数据库、地形三维模型和对地理信息系统进行相应数据的更新。

记录型数据快速获取接口

介绍一种快速获取接口，它采用记录型ＤＭＡ周期窃取方式实现了数据的快速获取。叙述了接口的工作原理和硬、软件的组成，并对其应用特点进行了讨论。

实现三维影像数据快速压缩及应用研究

三维图像数据量极大 ,要实现快速有效的交互应用 ,有必要进行压缩 ,而视觉效果不变。该文提出了一个快速、有效的表面数据压缩算法 ,可使对象描述的三角形个数大为减少 ,解决三维图像交互困难。软件实现采用最新的软件技术设计为组件对象 ,可直接应用于需要图像数据压缩的任何场合。脸部图像和乳房图像数据压缩例证所提算法是合理的 ,且快速有效 ,软件实现是成功的。三维数据压缩将是生物医学影像等应用领域中必不可少的手段。

大型数据库的数据快速定位软件设计与实现

针对大型数据库的数据定位时间缓慢的问题,提出一种大型数据库的数据快速定位方法。引进二分查找算法进行数据查询,同时结合资源描述框架(RDF)三元组方法方便在大型数据库中进行数据定位。根据大型数据库的操作方式以及数据结构进行方位查找换算,可以实现在大型数据库中对数据进行快速定位。实验表明,设计的大型数据库的数据快速定位方法,能够快速、准确地在大量数据中进行数据定位,同时降低了对大型数据库的影响。

数据快速查询的设计与实现

本文首先从地图显示技术的现状及用户有需求出发，论述了提高地图显示速度的迫切性和必要性，其次，提出一种通过建立区域索文件实现地图数据快速显示，查询，统计的新思路，并以1：25万入库数据为例，论述了数据的组织和预处理，索引文件的建立以及实现图形快速显示等问题。

基于Visual FoxPro的多媒体数据快速处理技术

实现了基于VFP的非OLE方式多媒体数据快速处理，提出了一种简化数据库管理，节省了大量存储空间，且编程简单，快速的多媒体信息处理技术。

港口水域电子海图数据快速检索算法及应用

针对港口水域复杂且船舶密度大,容易发生船舶搁浅及碰撞事故的问题,基于船舶智能操控(SIHC)仿真平台,对S-57海图数据进行再组织,根据搁浅触礁预警模型建立海图检索区域,采用动态拾取海图数据的方法,设计海图数据快速检索算法,借助SIHC仿真平台进行算法的仿真实验验证。结果表明,该算法实现了船舶对静态碍航物的实时预警。

基于VB的LIMS系统废气污染源数据快速录入方法研究

Laboratory Information Management System(LIMS)系统集中应用于实验室分析阶段,而在现场监测数据管理上依然存在不足,现场监测数据信息量大,LIMS系统暂未开发配套的数据便捷录入方式,而手动录入费时费力,故基于LIMS系统的监测数据快速录入问题亟待解决。该文以废气污染源数据为切入点,利用LIMS系统数据表导出功能,通过Visual Basic(VB)语言实现了废气污染源数据的LIMS系统快速录入,取代了手工数据录入方式,实现了针对LIMS系统数据管理的进一步优化,该文还就监测数据便捷录入发展阶段展开论述。

基于蚁群优化的数字化审计系统数据快速查询方法

由于数字化审计系统中的数据量较大,降低了数据查询效率和查准率,为此提出基于蚁群优化的数字化审计系统数据快速查询方法。采用分布式链路节点跟随识别的方法采集数字化审计系统数据,并对采集的数据进行非线性样本重组,结合模板匹配和线性规划设计的方法对数字化审计系统数据降维处理,提取数据特征;在此基础上,根据蚁群个体的差异性对数字化审计系统数据查询的异常特征进行判断,获取数据的可靠性文本结构特征量,对文本结构特征量进行加窗处理,根据处理结果,利用蚁群寻优方法构建查询控制函数,获取全局最优解,实现对数字化审计系统数据的快速查询。仿真结果表明,采用该方法进行数字化审计系统数据查询的实时性较好,查准率较高,具有较好的可靠性检索能力。

玉林市华泰城基坑支护变形监测数据快速处理的应用

基坑支护监测就是对基坑的支护情况进行实时动态监测,并实时能够掌握基坑的变形情况,对制定作业方案和指导基坑施工作业以及人员安全有着重要的意义。本文以玉林市华泰城为例,基于采集的变形点数据,进行统计分析,快速处理数据以及以数据为支撑判断基坑支护健康状况。根据监测结果,指导施工作业,快速、安全、高效等优点为深基坑变形监测提供有力保障。

利用HPL实现数据快速迁移

随着数据库系统存储的数据量越来越大,在进行数据卸载和装载时,如何提高速度,缩短时间,就显得尤为重要。Informix Online是一种大型关系数据库管理系统,HPL(High-PerFormance Laoder)是其自带的数据装载工具,能提供高速的海量数据装载和卸载。

数据快速拷贝器

很民多朋友都用Ghost进行数据备份,不过Ghost的使用起来不是很方便,而且Ghost只能备份整个分区,要是恢复的时候出错可能造成无法挽回的数据丢失,

基于图像识别的数据快速获取分析终端的研制

在变电站一次设备温度测量检查过程中,相关人员需要及时获取设备的温度数据和图像,并将其由纸质图文转化为电子图文,此过程对时间有限制要求,对数据和图像保存也有很高的要求,如此温度测量数据才有实际意义。因此,本文对基于图像识别的数据快速获取分析终端进行研制,以实现数据自动识别记录目的。

省级应急测绘数据快速处理系统研究——以辽宁省为例

以辽宁省应急测绘数据快速处理系统研究为例,详细地阐述了系统组成、应急数据快速处理系统流程及数据处理流程等环节的组成及步骤,提出了辽宁省应急测绘数据快速处理系统依托应急数据交换中心,率先形成应急数据快速获取及处理能力。通过五个子系统,制作满足不同应急阶段需求多类型应急测绘成果,弥补辽宁省内设备支持数据源有限、功能单一、应急测绘数据处理快速反应能力不强等不足。在应急测绘数据精细处理关键技术中,提出添加控制信息的三种方案,并分别对三种方案的精度与效率进行对比分析,解决应急测绘数据精细处理过程中效率不高难题,为拓展应急测绘数据在多领域应用提供支撑。

基于数据挖掘和机器学习的智能数据快速检索算法分析

在大数据时代来临之际,如何针对海量数据进行快速检索是一道难题。此次研究融合数据挖掘和机器学习算法,旨在解决大数据时代海量数据快速检索的难题,提高检索效率和准确性,为大数据处理和分析提供有力的支持。首先,此次研究对融合数据挖掘和机器学习的决策树算法进行改进,然后构建优化后的模型并进行实际应用分析,再对改进的决策树算法进行性能对比,结果表明,当信息检索条件个数为6时,改进决策树算法的准确率及召回率均最高均为93%,比对比算法ID3高出3%,最后对改进决策树算法的智能数据快速检索模型进行实证分析,结果显示,此次研究所提模型在0~300个文件中检索时间最快,为10 ms。由此可知,改进决策树算法的数据快速检索模型,可以实现高性能的数据挖掘和检索功能,并为相关领域的应用提供了有力的支持。

基于QAR数据的民机高高原进近着陆风险评估方法

民机高高原进近着陆是高原飞行高风险阶段。为有效实施高高原进近着陆风险识别和等级判据,提出基于熵权可变模糊识别的长短时记忆网络与深度神经网络(LSTM-DNN)相融合的深度学习风险评估方法。基于快速存取记录器(QAR)记录的高高原飞行数据,借鉴民机飞行品质监控(FOQA)咨询通告和行业QAR监控标准,结合指标重要度分析与Delphi专家调查,提取着陆时航向变化大、航迹低、610~305 m进近时下降率大、接地时垂直加速度及153~15 m进近时下降率大5个关键监控项目作为民机高高原进近着陆风险评估指标。为克服评估指标权重主观性偏差,应用熵权法确定评估指标权重,基于可变模糊识别方法构建风险等级隶属函数,建立基于LSTM-DNN的民机高高原进近着陆风险评估模型。以成都—拉萨进近着陆航段为例,提取QAR数据,对该风险评估模型进行训练与测试,并与Logistic多元回归、支持向量机(SVM)等评估方法进行比较,结果表明:所提方法平均准确率达到94.18%,最高可达94.79%,验证了方法的客观有效性。