DeepWeb数据集成专刊前言

随着World Wide Web的飞速发展，出现了越来越多的可以在线访问的数据库，我们把这些数据库称作Web数据库．据统计，目前Web数据库的数量已经超过了45万个，在此基础上构成了Deep Web．Deep Web蕴含了大量有用的信息，其价值远远超过了仅由网页构成的Surface Web．但由于对Web数据库的访问只能通过其提供的查询接口，因此很难被一般的搜索引擎获取到．由于DeepWeb的大规模性、动态性以及异质性等特点，通过手工方式远远不能在效果和效率上满足用户对信息获取的需要．为了帮助人们快速、准确地利用DeepWeb中的海量信息，研究者们已经在DeedWeb数据集成方面展开了研究．这逐渐成为数据库领域的一个研究热点．

油气管道数据集成及可视化发展现状分析

通过调研国内外油气田智能化探索过程中管道数据集成及可视化的发展现状,分析了国内油气管道数据集成及可视化面临的挑战。基于挑战和智能化管道建设需求,从发展趋势和管道业务2方面提出管道数据集成及可视化未来研究方向。发展趋势重点关注管道数据系统、业务流与工作流的一体化以及生产管理的远程、实时化等方面的建设,管道业务则从感知领域、预测领域、管控领域以及优化领域等方面开展数据集成及可视化研究工作。

面向数据中心48 V供电系统的混合型母线变换器及其高密度集成

该文提出适用于数据中心48 V供电系统的混合型母线变换器电路拓扑及其高密度集成方法,通过在开关电容变换器中嵌入自耦变压器和LLC谐振变换器,大幅增加开关电容变换器的降压比,且利用矩阵式变压器结构实现变换器输出电流能力的大幅提升。基于所提出的混合型母线变换器,进一步提出其高密度集成方法,综合采用磁集成、绕组集成等方式,实现变换器功率密度和效率的提升。研制40~60 V输入、变比8:1、输出电流100 A、开关频率1 MHz的八分之一砖模块,功率密度达到1.704 kW/in3,最高效率达到97.9%。

基于GIS技术的区域多尺度空间数据集成方法

区域多尺度空间数据,其量较大,其来源、格式、特点、性质不同,数据在逻辑上或物理上的有机集中比较困难,容易导致集成路径拥塞,集成效率下降。为此,提出了一种基于GIS技术的区域多尺度空间数据集成方法。利用GIS技术搭建区域多尺度空间数据挖掘架构,结合数据转换矩阵构建多尺度空间数据库。根据多尺度空间数据库中拥塞窗口状态集合,采用不同策略对数据集成路径进行拥塞控制,通过确定理想集成效率而选择多尺度空间数据集成路径。计算不同集成路径上空间数据特征向量之间的紧密度,结合相异度阈值和空间数据权重构建数据集成函数,实现区域多尺度空间数据集成。实验结果表明:所给方法在有、无人工干预的情况下,集成延时分别控制在7 min以内和5 min以内,数据集成效率较高。

煤矿灾害预警数据集成管理平台研究与应用

针对深部矿井地质的复杂性与灾害的多样性,开展基于海量数据驱动的深部矿井无人化、智能化监测预警技术与装备研究是提高深部煤矿开采安全保障的有效途径。然而,目前煤矿监测系统间关联性差、数据利用率低、数据深入智能分析不够,导致煤矿防灾措施实施针对性差,可能存在防灾措施不到位或过量的现象。针对煤矿灾害监测预警的需求,提出了煤矿灾害监测预警大数据平台架构,设计了结构数据、非结构数据、时序数据等异构数据的混搭数据存储方案,从数据汇集、数据质量、数据融合、数据指标等方面设计煤矿监测数据治理方法,并提出面向煤矿灾害预警应用的多租户数据集市构建技术,从而支撑煤矿灾害分析应用的多样化数据需求。

某集团化医院数据集成平台的安全建设

互联互通、大数据人工、智能、云计算、互联网医院、移动物联网等新技术在医疗行业的广泛应用,有效提高了各项诊疗业务的方便性、快捷性。同时,各类医疗业务系统数量不断增加,各系统间的数据交互越来越频繁且复杂,数据安全性要求不断提高。该研究以某集团化医院数据集成平台的安全建设情况为例,从数据集成平台的安全性出发,分析平台的运行安全、数据安全、访问安全方面存在的问题,并根据以上问题从应用层面、网络层面、主机层面、制度建设层面完善防护措施,通过实践应用并跟踪,有效降低了平台运行的安全风险。

基于文本数据的灾害信息风险监测与预警集成方法研究

基于灾害信息的文本数据,该文提出一种风险监测与预警集成方法,以提高灾害信息风险监测效率及监测支持预警的针对性。首先,运用八爪鱼数据采集器采集和处理灾害信息的文本数据;其次,运用BTM主题模型构建灾害信息风险监测模型,得到主题热度趋势并确定具有高风险且亟待预警的话题;然后,提出灾害信息风险预警指标体系和预警等级判定方法,计算所确定话题的风险综合指标预警加权值,并结合预警区间判定预警等级;最后,以2021年“7·20”郑州特大暴雨灾害信息的风险监测和预警为例进行实验分析,验证所提方法的可行性。研究表明,该方法可将灾害信息的文本数据贯穿于风险监测与预警两个过程,有助于为监测结果更有针对性地支持预警工作提供参考。

一种数字化校园电子政务体系框架及其数据集成方案

本文首先提出一种安全可靠、可扩展性强的分层数字化校园电子政务体系框架,在此基础上,阐述其数据集成方案的实现,包括数据流和编程应用的实现。对其他领域和行业电子政务的体系规划和方案实现有参考意义。

智慧校园背景下高校多业务系统数据集成与共享应用研究

随着高校智慧校园建设的持续推进,各类业务信息系统和Web应用不断完善,产生了数据类型和数据访问方式多样的海量业务数据,实现多源数据集成与共享,成为当前高校智慧校园建设的必然趋势。文章就高校数据资源现状进行分析,提出公共数据中心的建设框架、实现海量数据交互共享的策略以及相对应的数据管理办法。

基于数据增强和集成学习的矿物图像识别

矿物识别是地质学研究的一个重要部分,对于资源勘探、岩石分类和地质环境监测都有着重要的意义。然而,传统方法通常依赖人的经验进行主观判断,并且效率低下。近年来,已有许多研究将深度学习的图像分类技术应用于矿物识别,以客观快速地识别矿物,这些研究都取得了一定的成果,但可识别矿物种类有限且精度需要进一步提升。为此本文首先解决了矿物数据集图像数据样本分布不平衡问题,对数据集中矿物图像较少的11个矿物类别采用DCGAN生成矿物图像进行数据增强,对比选择效果更好的方案对数据集进行扩充。其次,为了得到更可靠、精确度更高的识别模型,将ImageNet上表现较好的ResNet、RegNet、EfficientNet和Vision Transformer模型迁移到本文使用的矿物数据集上。针对训练好的基模型排列组合得到11个子模型,分别使用平均软投票法和加权软投票法两种方法进行集成,得到22个集成模型并对其训练得到识别结果,对比22个集成模型的结果选择出精度最高的集成模型。实验结果表明:使用DCGAN进行数据增强,在不同的模型上平均提升了3.12%的准确率,充分证明了DCGAN数据增强的有效性;在所有集成模型中,使用加权软投票法的模型表现较好,其中精度最高的是利用4个基分类模型进行加权软投票得到的集成模型,在扩充后的36种常见矿物数据集上达到了87.47%的准确率。

基于知识集成流形的电力设备缺陷文本数据增强方法与应用研究

当前电网数字化转型升级,电力设备智能运维技术快速发展,在运维过程中积累了大量包含电网重要信息的电力设备缺陷文本。由于文本数据标签稀疏,以及描述语言的模糊性、差异性等问题,电力文本中的运维信息难以被有效挖掘。文章提出了一种针对电力设备缺陷文本的数据增强方法。首先,使用缺陷文本数据集微调预训练模型ERNIE(enhanced representation through knowledge integration),应用多阶段知识掩码策略将电气领域专业知识集成到对缺陷文本的动态编码中;然后在流形假设的基础上基于降噪自动编码器架构设计破坏函数和重建函数,遵循基于信息价值的掩码单元选择策略构建破坏函数,基于微调过的ERNIE构建重建函数,在“破坏-重建”过程中获得位于原始数据流形范围内的增强样本;其次对增强数据集基于影响函数和多样性度量进行数据选择,过滤掉数据质量差和重复度高的增强样本;最后通过多层训练框架,将增强数据应用于各种缺陷文本挖掘任务。算例基于真实设备巡检、检修记录构建了电力设备缺陷文本等级分类任务。结果表明,所提出的算法对缺陷文本挖掘效果有较大提升,并且可以广泛灵活地应用在多种电力设备缺陷文本挖掘任务中。

大数据技术在智慧农业供应链信息集成管理中的应用

常规的智慧农业供应链信息集成管理方法主要使用拜占庭容错算法(PBFT)获取信息集成节点位置,易因受共识合约条件限制而导致集成管理性能低下。因此,提出基于大数据技术,设计一种全新的智慧农业供应链信息集成管理方法,处理智慧农业供应链信息集成管理数据,利用大数据技术构建了供应链信息集成管理模型,设计了供应链信息集成交换拓扑结构,从而完成了智慧农业供应链信息集成管理。实验结果表明,应用大数据技术的智慧农业供应链信息集成管理方法的管理性能较好,具有可靠性,有一定的应用价值,为推动农业供应链信息共享、促进智慧农业发展做出了一定贡献。

医联体数据集成与共享平台设计

目的:设计医联体数据集成与共享平台,以提升医联体同质化管理水平和区域整体医疗服务水平。方法:该平台采用基于Hadoop生态的云平台架构,使用Java作为主要开发语言,以Apache HDFS和Apache MapReduce为主要底层技术。整个平台包括数据集成与治理、数据资源仓储、数据服务支持和安全对接中心四大核心模块。结果:采用该平台可实现医联体数据资源的整合和治理,同时提供面向管理、临床、科研的应用服务,充分挖掘医联体数据的应用价值。结论:该平台可完成医联体机构数据资源的整合,实现医联体数据价值释放与信息共享互联。

基于随机森林的多源小样本数据快速集成方法

受多源小样本数据属性复杂性的影响,对其进行集成处理时,过拟合和欠拟合情况较为明显。为此,文章提出基于随机森林的多源小样本数据快速集成方法。考虑多源小样本数据自身的属性特征,在构建随机森林模型阶段,充分利用粒向量与多源小样本数据特征的贴合性,将其作为随机森林的基础结构,利用粒化层归一化多源小样本数据,并将输出的粒化结果作为决策层的节点。在集成阶段,根据多源小样本数据与决策层节点之间的距离,集成数据。在测试结果中,数据集成的过拟合情况占比仅为0.29%,欠拟合情况占比也仅为0.27%,具有良好的集成效果。

地质调查业务管理数据集成辅助决策系统架构与关键技术

在地质调查工作过程中,各类信息系统产生了海量的业务管理数据,需要解决这些多来源、高动态、复杂异构数据的有效集成辅助决策问题,驱动管理决策现代化。基于大数据、GIS、数据挖掘等技术,构建了地质调查业务管理数据集成辅助决策的总体架构;通过多源异构数据自动化动态集成处理、基于Hadoop的“湖仓一体”混合式数据组织管理、数据挖掘融合地理智能的分析决策模型等关键技术方法,研发了国家地质调查业务管理大数据系统。系统已接入24个数据源,实现了自动化动态集成,完成了1.5亿余条、20多万档异构数据的一体化组织管理,通过数据和分析服务有效辅助了管理决策。可有效解决大数据环境下数据集成辅助决策问题,提升国家地质调查工作管理决策的效率和水平。

基于数据挖掘技术探讨《清宫医案集成》治疗不寐的用药规律

目的:以数据挖掘技术为基础,探讨《清宫医案集成》中治疗不寐的用药和配伍规律。方法:将《清宫医案集成》中治疗不寐的处方进行整理,在古今医案云平台提供的Excel 2010软件模板上建立处方数据库,通过古今医案云平台对数据进行频数统计、关联规则分析、聚类分析及复杂网络分析。结果:共筛选出345首处方、275味药物;经关联规则分析,对纳入的中药数据进行中药配伍关联分析,筛选出共现频次≥40次的中药,同时设置置信度≥0.6、支持度≥0.2,最终得到13条关联规则数据。高频药物间生成5组聚类组合,核心处方包括白术、白芍、茯神、当归、甘草。结论:《清宫医案集成》中清代宫廷御医治疗不寐,具有气血同治、调心安神、重视肝脾的用药特点。

基于WebGIS的油气勘探开发数据集成检索方法

数据集成检索是油气勘探开发数据信息化的重要手段,然而现行方法检索效果并不理想,且查准率也低。提出了基于WebGIS技术的油气勘探开发数据集成检索方法,采用网络爬虫技术采集油气勘探开发数据,通过转换及标准化处理数据格式,建立数据索引,采用对数据语义特征提取和分析的方法,检索到与检索语义相似的油气勘探开发数据。实验证明:新的数据集成检索方法折扣累计收益值在9以上,查准率在95%以上,在油气勘探开发数据基础检索方面具有良好的应用前景。

基于BIM的列控数据自动集成与可视化动态验证

为探究在列控数据验证领域中存在的工作量大、可视化效果差以及动态验证支持弱等问题的解决方案,提出基于BIM可视化的列控工程数据动态验证方法。该方法首先采用基于数据模型驱动的场景构建方法,在Unity平台实现3D站场的自动集成,生成接近真实的铁路站场;然后,基于铁路相关规范,采用连续碰撞检测技术实现列车运行的动态可视化仿真;最后,基于3D站场和列车仿真运行,完成对列控工程数据的动态验证。对于3D站场集成部分,该方案能够自动且迅速调用铁路基础设备模型,准确完成站场的3D构建,构建的设备包括线路轨道、道岔、信号机等。在列车3D模拟运行中,能够自动完成轨道区段占用检测及相应的信号机点灯、行车许可计算与执行、车地通信读取应答器数据等功能,并且能够根据行车许可,执行超速防护,控制列车在3D场景中仿真运行,模拟出铁路联调联试的场景。在模拟列车运行过程中,若出现失常,则判断该数据设计存在风险,验证结束并给出警告。代入黔常线咸丰站站场及相关区间数据进行实验,结果显示:(1)1LQG长度不符合规定,无法满足列车出站时80 km/h的初速度,建议1LQG长度由305 m增加至满足所有型号列车运行要求的525 m;(2)分相区与邻近信号机距离350 m无法满足CRH-200型列车正常运行通过分相区,数据存在问题,建议修正为524 m以上。该研究成果可为BIM方法在列控工程数据验证中的应用提供参考。

基于MapGIS和明码文件的数据集成

基于MapGIS的数据集成包括数据转换、数据标准化、数据融合及相关研究,综合现有研究认为,数据转换的研究非常深入,在数据标准化和数据融合等方面还有提升空间。本次研究中,以复杂且使用广泛的地质图为例改进数据标准化方法,实现了一次完成数千个地质体规范标注和填色;分析常用数据融合的不同方法的适用条件,补充完善后建立数据融合技术流程;编写明码文件实现小煤柱的批量制作。研究结果表明,改进数据标准化方法、建立数据融合技术流程及充分利用明码文件,能使数据集成的效率大幅提高并拓宽解决问题思路。

基于三阶张量的大规模数据谱聚类集成算法

为了降低大规模数据谱聚类计算负担,进一步提高聚类的准确性和鲁棒性,提出了一种基于三阶张量的大规模数据谱聚类集成算法。首先,提出一种混合代表最近邻近似方法构造数据间的稀疏亲和子矩阵;然后将稀疏亲和子矩阵表示为二部图,通过图分割的方法得到初步聚类结果;最后,提出三阶张量集成方法,将多个聚类结果进行融合,得到最终的聚类结果。在大规模的真实数据集和合成数据集上验证,相较经典的谱聚类算法、聚类集成算法以及近年来对其改进的算法,该算法表现出更优异的性能。