基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。

智能云平台异构数据库协同检索算法研究

智能云平台是一种集成各种资源和功能的高效计算平台,可以为用户提供灵活的数据存储和高效的数据检索服务.随着信息技术飞速发展,异构数据库中数据呈爆炸式增长.为了提升网络异构数据库检索效果,提出智能云平台异构数据库协同检索算法.构建智能云平台异构数据库,均衡异构数据库中的节点能耗;排序云平台多源异构数据,预处理异构数据;建立以索引库为核心的检索服务引擎,利用神经网络提取多源异构数据特征,实现异构数据库的匹配检索.测试结果表明,所提算法查准率为96%,查全率为94%,数据丢失量仅为1.由此证明,所提方法有效提高了网络异构数据库检索效果.

基于Kettle的医院多源异构数据采集应用案例分析

通过分析医院信息化建设中的多源异构数据采集上报问题。利用开源ETL工具Kettle,将医院需要上报数据定时抽取、转换到DMZ区前置服务器,再通过VPN传输到上报平台。通过实际案例分析可以看出,在医院数据采集和上报工作中,Kettle不仅可以支持关系型数据库Oracle、SQL Server、MySQL等,还能很好地支持后关系型数据库Caché。Kettle友好的用户图形界面化操作、高效稳定的数据处理功能、多源异构数据采集功能等可以优化医院数据采集流程,提高医院各种数据的上报效率。

数据引流下异构传感器网络能量空洞防护算法

异构传感器网络在工作时,靠近传感器基站位置的节点会由于接收转发次数较多而出现能量空洞现象。为有效对此现象实施防护,保障网络安全运行,提出数据引流下异构传感器网络能量空洞防护算法。构建网络节点部署模型,对传感器网络节点实施节点优化部署;计算网络节点能耗对网络实施能量均衡控制,获取异构传感器网络节点的簇内传输跳数;结合获取的节点簇内跳数以及能量均衡结果开展节点接收数据的的引流分配,平衡传感器网络层内节点能量消耗,实现传感器网络的能量空洞防护。实验结果表明,使用上述方法开展传感器网络能量空洞防护时,数据转发接收能耗较低,防护方法性能高,防护效果好。

多源异构数据和注意力门控机制的小麦产量预测

针对传统的单模态数据预测小麦产量存在精度不高的问题,提出一种结合多源异构数据和注意力门控机制的小麦产量预测方法。首先引入了特征级的门控策略,来捕获每个模态内部特征的信息变化;然后利用神经网络评估每个模态内的置信度分数,并构建模态间的有效信息获取模块;最后设计了基于Transformer的空间和通道注意力门控机制模块,将不同模态之间的有效信息进行充分的融合,从而获得最佳的预测特征表示。实验结果表明,所提方法与传统方法相比具有更高的预测精准度,RMSE和MAE分别仅为809kg/hm^(2)和522kg/hm^(2),R^(2)则达到了0.806,通过对河南省近10年的小麦产量进行预测,得到的三项评价指标均相对稳定,且展现出了较强的鲁棒性。消融实验也验证了该方法中的不同组件均能有效提高小麦产量的预测精度,可为相关部门制定保障粮食安全管理决策提供有力的数据支持。

基于剪枝处理的多源异构数据双挖掘仿真

多源异构数据可能来自不同领域、不同格式和不同质量的数据源,处理难度较大,针对多源异构数据难以精准挖掘的问题,提出基于决策树分类的多源异构数据挖掘算法。构建决策树划分数据属性,对初始决策树实施剪枝处理,得出多源异构数据属性集,提取出多源异构数据因子,获取粗略的数据挖掘结果。再使用深度学习算法进一步挖掘出其余数据中残存的多源异构数据,并对原始多源异构数据集实施二次挖掘,将粗细挖掘结果整合后实现多源异构数据挖掘。实验结果表明,所提算法的F1值较高,泛化误差较低,数据挖掘性能较强。

基于专利异构数据融合的技术演化路径识别方法

[研究目的]针对目前技术演化分析中多关注专利文本,忽略专利引文信息的问题,提出一种基于专利异构数据融合的技术演化路径识别方法。[研究方法]首先,使用Sentence-BERT模型提取专利文本语义特征;其次,使用图卷积神经网络模型将文本语义特征与引文结构特征融合,实现异构数据融合构建专利向量;最后,划分时间窗,使用k-means算法对各时间窗进行技术主题聚类,基于相邻时间窗技术主题相似度构建技术演化路径。[研究结论]以人工智能领域为例进行实证研究,共发现4条技术演化路径。与相关权威报告进行比对,结果表明识别结果与人工智能技术领域的发展现状一致,验证了模型的有效性和科学性。

带宽异构网络下的精确修复再生码数据修复方案

再生码技术以高容错性、低冗余开销等优点在数据存储领域得到了广泛应用,但基于再生码的冗余技术在修复失效数据时需从其他帮助节点下载多个编码块。考虑到节点间链路带宽的异构性,在实际网络中链路可用带宽容量变化很大,网络流量最小化并不一定意味着数据修复时间最小化,并且现有针对带宽异构网络下的再生码数据修复方案难以支持精确地修复再生码。由于精确修复再生码具有特定的数学结构,其并行修复难以实现,因此提出一个在带宽异构网络下实现精确修复再生码的数据修复方案ERC-TREE,此方案通过构建一棵最优树来有效利用帮助节点之间的可用带宽,从而实现失效节点数据的精确修复。仿真实验结果表明,在带宽异构网络下采用树型结构修复对精确修复再生码具有可行性。在带宽差异很大的情况下,ERC-TREE的数据修复时间相比星型结构的修复时间减少78%。

基于智慧计量实验室的多源异构检测数据智能提取技术研究

文章在解决智慧计量实验室中多源异构检测数据的提取与处理问题,对计量实验室检测数据类型和异构类信息提取面临的问题进行分析,提出基于图像处理的检测数据提取技术路线;设计了一种基于可微分二值化网络(differentiable binarization networks,DBNet)和卷积循环神经网络(convolutional recurrent neural network,CRNN)的检测数据智能提取技术,实现了对多源异构数据的自动检测、识别和提取。在此基础上,研制了多源异构检测数据智能提取装置,并进行了验证,结果表明,该装置能够有效地提取纸质报告或表单中的检测数据等关键信息,具有较高的准确性和较快的响应速度,为智慧计量实验室的数据管理和分析提供了有力支持。该研究对于推动智慧计量实验室的建设和试验检测数据应用具有重要意义。

基于激光扫描的电子档案异构时态数据检测方法

研究一种基于激光扫描的电子档案异构时态数据检测方法,该方法利用激光扫描获取数据并生成电子档案。针对电子档案中的数据实施缺失数据填补和离群数据处理。提取电子档案数据的递归率、仙农熵以及歪度三个特征。结合随机森林算法,输入递归率、仙农熵以及歪度三个特征,得出电子档案异构时态数据类型。结果表明:1处和3处边坡工程的位移处于轻微状态;2处边坡工程的位移处于严重状态;4处边坡工程的位移处于安全状态;5处边坡工程的位移处于较严重状态。所研究方法的Kappa系数达到相对最大值,说明所研究方法的检测能力更高。

基于启发式算法的计算机异构大数据跨源调度方法

为了提高计算机异构大数据跨源调度性能,设计了一种基于启发式算法的计算机异构大数据跨源调度方法。将计算机异构大数据跨源调度任务划分为若干子任务,利用max-min思想和min-max思想,构建了跨源调度时间负载均衡模型。基于计算机异构大数据跨源调度顺序的灵活性,利用启发式算法的最优策略,选择最优调度任务。根据计算机异构大数据的状态,计算出异构大数据传输控制协议连接的吞吐量,将待调度异构大数据的质量都作为计算机数据层的子流权重,通过处理所有待调度的子流,实现计算机异构大数据跨源调度。实验结果表明,文中设计的方法可以将跨源操作的级别条件提高至10级,跨源调度计算机异构大数据的利用率超过97%,加速比大于85%,计算机异构大数据跨源调度性能明显提升。

基于异构数据特征的城市轨道交通OD客流短时预测方法

城市轨道交通起讫点(origin-destination,OD)客流短时预测在智能交通系统中意义重大,它为交通管控策略实施以及出行者出行选择提供了重要的决策依据。卷积神经网络被广泛用于交通数据空间相关性提取,但其平移不变性与局部敏感性导致该方法更重视局部特征而忽视全局特征。本研究构建了基于注意力机制的异构数据特征提取机模型(heterogeneous data feature extraction machine,HDFEM)以实现OD矩阵空间相关性的全局感知。该模型从时空特征和用地属性特征出发,构造异构数据OD时空张量与地理信息张量,依托模型张量编码层对异构数据张量进行分割与编码,通过注意力机制连接各张量块特征,提取OD矩阵中各个部分间的空间相关性。该方法不仅实现了异构数据与OD客流数据的融合,还兼顾了卷积神经网络模型未能处理的OD矩阵远距离特征,进而帮助模型更全面地学习OD客流的空间特征。对于OD时序特性,该模型使用了长短时记忆网络来处理。在杭州地铁自动售检票系统(auto fare collection,AFC)数据集上的实验结果表明:HDFEM模型相对于基于卷积神经网络的预测模型,其均方误差、平均绝对误差与标准均方根误差分别下降了4.1%,2.5%,2%,验证了全局OD特征感知对于城市轨道交通OD客流预测的重要性。

多源异构数据融合关键技术与政务大数据治理体系

随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。

基于MPP数据库的多源异构数据分布式集成平台构建

对多源异构数据进行集成,是实现数据共享、打破“信息孤岛”的关键。运用分布式并行计算技术,对基于 MPP 数据库的多源异构数据分布式集成平台的构建进行分析研究,文章分析了多源异构数据集成的发展动态,阐述了 MPP 数据库基本架构及运行机制,分四个层次设计了基于 MPP 数据库的多源异构数据分布式集成平台的框架结构,并对数据规划进行了分析。为多源异构数据分布式集成的实践应用提供了方法和思路上的借鉴。

物联网中多源异构数据安全漏洞检测技术研究

物联网环境下,由于传感器所采集的数据不同,所以存在多源异构数据群;同时,相关数据的安全标准不同,存在较大安全隐患。为了解决现有数据安全漏洞检测技术在物联网环境下漏报率高、挖掘效果差的问题,对物联网中多源异构数据安全漏洞检测技术进行了研究。根据异构信息物联网络建立不同类型的节点模型,完成多源异构数据级融合。引入类别权重参数设置空间异构标签,通过动态调整方式使不同的异构数据按照边缘分布自适应的条件进行分布,实现域适应的动态异构特征转换;对样本降维、分类、归一化处理后,运用多层感知方式提取数据安全特征,实现多源异构数据的安全漏洞检测。实验结果表明:所提方法的检测漏报率低于4%,面对不同类型的漏洞挖掘效果均在90%以上,该方法具有良好的检测效果。

基于正则化回归的物联网海量多源异构数据处理方法

针对现行方法在物联网海量多源异构数据处理中应用效果不佳的问题,提出基于正则化回归的物联网海量多源异构数据处理方法。先收集物联网数据生成多源异构数据集,并对数据进行预处理;然后采用混沌遗传算法对物联网海量多源异构数据进行填补;最后利用正则化回归对物联网数据进行滤波,消除数据中的高频分量,实现物联网海量多源异构数据处理。经实验证明,所设计方法的数据失真率不超过0.2%,全频域内信号幅值得到了有效降低,所设计方法在物联网海量多源异构数据处理方面具有良好的应用前景。

一种异构数据库间数据迁移的优化方法的研究与实现

当前很多公司正在将IT系统数据库由Oracle等集中式数据库替换为OceanBase/GoldenDB等分布式数据库,异构数据库间数据迁移需要解决数据准确性、完整性和一致性,以及迁移效率等问题。本文结合实际场景,基于源库和目标库数据同步工具,提出一种异构数据库间数据实时在线同步的优化方法。该方法通过搭建缓冲数据库,先将源库数据实时同步到缓冲数据库,并在缓冲数据库实时进行事务拆分、数据转换等操作后,通过目标库数据同步工具实时同步到目标库,整个数据迁移过程实时在线进行,可以最小化对源端系统的业务影响,并能够提高数据同步的效率,降低迁移成本和维护成本。

基于模糊数学的多源异构数据融合模型

针对多源异构型数据来源复杂、结构特殊,导致其融合难度较大的问题,为提升数据融合效率与准确性,提出一种基于模糊数学的多源异构数据融合模型.首先,利用联邦加权平均融合策略,整合从各传感器传输至数据级融合层中的元数据,得到数据级融合结果;其次,结合主成分分析法与典型相关分析法,提取出由网络本体语言统一后数据的特征,完成特征级数据融合;再次,根据模糊数学理论建立、更新模糊规则库,通过决策融合算法,得到决策级融合结果;最后,将上述不同层级的数据融合结果结合建立数据融合模型,得到最终的数据融合结果.实验结果表明,该方法的最大协方差值和绝对误差值不超过0.15,最短融合时间仅为12.6 ms.该方法的融合精度和稳定性较好,时效性与抗扰性均具有显著的优越性.

面向数据异构的联邦学习性能优化研究

参与联邦学习的客户端只需在各自的本地数据集上训练本地模型,并在服务器上聚合全局模型.然而,数据异构会导致本地模型与全局最优模型收敛方向不一致,影响全局模型性能.现有工作主要集中在直接与全局模型做趋同,并未考虑全局模型合理性.本文研究了一种基于局部模型偏移的性能优化方案,本地训练过程中结合所有客户端模型关键参数,提高全局聚合模型可信度.具体来说,计算待训练模型与其他客户端模型参数差值,然后乘以其他客户端梯度,将结果作为正则项加入本地损失函数,从而抑制局部模型偏移.实验结果表明,该方案在MNIST,FMNIST,CIFAR上的图像识别正确率方面优于现有方法5个百分点以上.

情报研究中多源异构数据的小算力聚合及应用研究

[目的/意义]探索采用低能耗、高效率的算力,应对情报研究中处理语义环境高复杂、知识边界不确定、信息博弈强对抗、数据样本稀疏为主要特征的多源异构数据聚合面临的挑战。[方法/过程]剖析在大数据、人工智能技术快速发展背景下,多源异构数据、小算力、聚合等数据处理相关的概念内涵及其情报研究发展趋势,基于I/O模型和数据流转换分析人机混合增强算力作用路径及其支撑数据价值实现的层次,提出情报研究中人机混合增强算力的多源异构数据聚合模式(MHDAM-HAC),并以动态情报研究业务为对象进行实例应用。[结果/结论]技术领域发展状态概要画像、聚焦某类技术主题挖掘发现隐含知识的两个实例,验证了所构建的多源异构数据的小算力聚合模式可以有效改善情报研究工作面临的问题,实现一部分情报生成过程的可重现,并促进情报研究的新发现,可作为新实践当中的实现方式。