基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。

智能云平台异构数据库协同检索算法研究

智能云平台是一种集成各种资源和功能的高效计算平台,可以为用户提供灵活的数据存储和高效的数据检索服务.随着信息技术飞速发展,异构数据库中数据呈爆炸式增长.为了提升网络异构数据库检索效果,提出智能云平台异构数据库协同检索算法.构建智能云平台异构数据库,均衡异构数据库中的节点能耗;排序云平台多源异构数据,预处理异构数据;建立以索引库为核心的检索服务引擎,利用神经网络提取多源异构数据特征,实现异构数据库的匹配检索.测试结果表明,所提算法查准率为96%,查全率为94%,数据丢失量仅为1.由此证明,所提方法有效提高了网络异构数据库检索效果.

基于专利异构数据融合的技术演化路径识别方法

[研究目的]针对目前技术演化分析中多关注专利文本,忽略专利引文信息的问题,提出一种基于专利异构数据融合的技术演化路径识别方法。[研究方法]首先,使用Sentence-BERT模型提取专利文本语义特征;其次,使用图卷积神经网络模型将文本语义特征与引文结构特征融合,实现异构数据融合构建专利向量;最后,划分时间窗,使用k-means算法对各时间窗进行技术主题聚类,基于相邻时间窗技术主题相似度构建技术演化路径。[研究结论]以人工智能领域为例进行实证研究,共发现4条技术演化路径。与相关权威报告进行比对,结果表明识别结果与人工智能技术领域的发展现状一致,验证了模型的有效性和科学性。

多源异构数据和注意力门控机制的小麦产量预测

针对传统的单模态数据预测小麦产量存在精度不高的问题,提出一种结合多源异构数据和注意力门控机制的小麦产量预测方法。首先引入了特征级的门控策略,来捕获每个模态内部特征的信息变化;然后利用神经网络评估每个模态内的置信度分数,并构建模态间的有效信息获取模块;最后设计了基于Transformer的空间和通道注意力门控机制模块,将不同模态之间的有效信息进行充分的融合,从而获得最佳的预测特征表示。实验结果表明,所提方法与传统方法相比具有更高的预测精准度,RMSE和MAE分别仅为809kg/hm^(2)和522kg/hm^(2),R^(2)则达到了0.806,通过对河南省近10年的小麦产量进行预测,得到的三项评价指标均相对稳定,且展现出了较强的鲁棒性。消融实验也验证了该方法中的不同组件均能有效提高小麦产量的预测精度,可为相关部门制定保障粮食安全管理决策提供有力的数据支持。

基于剪枝处理的多源异构数据双挖掘仿真

多源异构数据可能来自不同领域、不同格式和不同质量的数据源,处理难度较大,针对多源异构数据难以精准挖掘的问题,提出基于决策树分类的多源异构数据挖掘算法。构建决策树划分数据属性,对初始决策树实施剪枝处理,得出多源异构数据属性集,提取出多源异构数据因子,获取粗略的数据挖掘结果。再使用深度学习算法进一步挖掘出其余数据中残存的多源异构数据,并对原始多源异构数据集实施二次挖掘,将粗细挖掘结果整合后实现多源异构数据挖掘。实验结果表明,所提算法的F1值较高,泛化误差较低,数据挖掘性能较强。

基于异构数据特征的城市轨道交通OD客流短时预测方法

城市轨道交通起讫点(origin-destination,OD)客流短时预测在智能交通系统中意义重大,它为交通管控策略实施以及出行者出行选择提供了重要的决策依据。卷积神经网络被广泛用于交通数据空间相关性提取,但其平移不变性与局部敏感性导致该方法更重视局部特征而忽视全局特征。本研究构建了基于注意力机制的异构数据特征提取机模型(heterogeneous data feature extraction machine,HDFEM)以实现OD矩阵空间相关性的全局感知。该模型从时空特征和用地属性特征出发,构造异构数据OD时空张量与地理信息张量,依托模型张量编码层对异构数据张量进行分割与编码,通过注意力机制连接各张量块特征,提取OD矩阵中各个部分间的空间相关性。该方法不仅实现了异构数据与OD客流数据的融合,还兼顾了卷积神经网络模型未能处理的OD矩阵远距离特征,进而帮助模型更全面地学习OD客流的空间特征。对于OD时序特性,该模型使用了长短时记忆网络来处理。在杭州地铁自动售检票系统(auto fare collection,AFC)数据集上的实验结果表明:HDFEM模型相对于基于卷积神经网络的预测模型,其均方误差、平均绝对误差与标准均方根误差分别下降了4.1%,2.5%,2%,验证了全局OD特征感知对于城市轨道交通OD客流预测的重要性。

基于Kettle的医院多源异构数据采集应用案例分析

通过分析医院信息化建设中的多源异构数据采集上报问题。利用开源ETL工具Kettle,将医院需要上报数据定时抽取、转换到DMZ区前置服务器,再通过VPN传输到上报平台。通过实际案例分析可以看出,在医院数据采集和上报工作中,Kettle不仅可以支持关系型数据库Oracle、SQL Server、MySQL等,还能很好地支持后关系型数据库Caché。Kettle友好的用户图形界面化操作、高效稳定的数据处理功能、多源异构数据采集功能等可以优化医院数据采集流程,提高医院各种数据的上报效率。

多源异构数据融合关键技术与政务大数据治理体系

随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。

基于正则化回归的物联网海量多源异构数据处理方法

针对现行方法在物联网海量多源异构数据处理中应用效果不佳的问题,提出基于正则化回归的物联网海量多源异构数据处理方法。先收集物联网数据生成多源异构数据集,并对数据进行预处理;然后采用混沌遗传算法对物联网海量多源异构数据进行填补;最后利用正则化回归对物联网数据进行滤波,消除数据中的高频分量,实现物联网海量多源异构数据处理。经实验证明,所设计方法的数据失真率不超过0.2%,全频域内信号幅值得到了有效降低,所设计方法在物联网海量多源异构数据处理方面具有良好的应用前景。

物联网中多源异构数据安全漏洞检测技术研究

物联网环境下,由于传感器所采集的数据不同,所以存在多源异构数据群;同时,相关数据的安全标准不同,存在较大安全隐患。为了解决现有数据安全漏洞检测技术在物联网环境下漏报率高、挖掘效果差的问题,对物联网中多源异构数据安全漏洞检测技术进行了研究。根据异构信息物联网络建立不同类型的节点模型,完成多源异构数据级融合。引入类别权重参数设置空间异构标签,通过动态调整方式使不同的异构数据按照边缘分布自适应的条件进行分布,实现域适应的动态异构特征转换;对样本降维、分类、归一化处理后,运用多层感知方式提取数据安全特征,实现多源异构数据的安全漏洞检测。实验结果表明:所提方法的检测漏报率低于4%,面对不同类型的漏洞挖掘效果均在90%以上,该方法具有良好的检测效果。

基于MPP数据库的多源异构数据分布式集成平台构建

对多源异构数据进行集成,是实现数据共享、打破“信息孤岛”的关键。运用分布式并行计算技术,对基于 MPP 数据库的多源异构数据分布式集成平台的构建进行分析研究,文章分析了多源异构数据集成的发展动态,阐述了 MPP 数据库基本架构及运行机制,分四个层次设计了基于 MPP 数据库的多源异构数据分布式集成平台的框架结构,并对数据规划进行了分析。为多源异构数据分布式集成的实践应用提供了方法和思路上的借鉴。

一种异构数据库间数据迁移的优化方法的研究与实现

当前很多公司正在将IT系统数据库由Oracle等集中式数据库替换为OceanBase/GoldenDB等分布式数据库,异构数据库间数据迁移需要解决数据准确性、完整性和一致性,以及迁移效率等问题。本文结合实际场景,基于源库和目标库数据同步工具,提出一种异构数据库间数据实时在线同步的优化方法。该方法通过搭建缓冲数据库,先将源库数据实时同步到缓冲数据库,并在缓冲数据库实时进行事务拆分、数据转换等操作后,通过目标库数据同步工具实时同步到目标库,整个数据迁移过程实时在线进行,可以最小化对源端系统的业务影响,并能够提高数据同步的效率,降低迁移成本和维护成本。

基于模糊数学的多源异构数据融合模型

针对多源异构型数据来源复杂、结构特殊,导致其融合难度较大的问题,为提升数据融合效率与准确性,提出一种基于模糊数学的多源异构数据融合模型.首先,利用联邦加权平均融合策略,整合从各传感器传输至数据级融合层中的元数据,得到数据级融合结果;其次,结合主成分分析法与典型相关分析法,提取出由网络本体语言统一后数据的特征,完成特征级数据融合;再次,根据模糊数学理论建立、更新模糊规则库,通过决策融合算法,得到决策级融合结果;最后,将上述不同层级的数据融合结果结合建立数据融合模型,得到最终的数据融合结果.实验结果表明,该方法的最大协方差值和绝对误差值不超过0.15,最短融合时间仅为12.6 ms.该方法的融合精度和稳定性较好,时效性与抗扰性均具有显著的优越性.

情报研究中多源异构数据的小算力聚合及应用研究

[目的/意义]探索采用低能耗、高效率的算力,应对情报研究中处理语义环境高复杂、知识边界不确定、信息博弈强对抗、数据样本稀疏为主要特征的多源异构数据聚合面临的挑战。[方法/过程]剖析在大数据、人工智能技术快速发展背景下,多源异构数据、小算力、聚合等数据处理相关的概念内涵及其情报研究发展趋势,基于I/O模型和数据流转换分析人机混合增强算力作用路径及其支撑数据价值实现的层次,提出情报研究中人机混合增强算力的多源异构数据聚合模式(MHDAM-HAC),并以动态情报研究业务为对象进行实例应用。[结果/结论]技术领域发展状态概要画像、聚焦某类技术主题挖掘发现隐含知识的两个实例,验证了所构建的多源异构数据的小算力聚合模式可以有效改善情报研究工作面临的问题,实现一部分情报生成过程的可重现,并促进情报研究的新发现,可作为新实践当中的实现方式。

多源异构数据渐进式融合的虚假新闻检测

社交媒体平台上充斥着大量未经验证的信息,这些信息大多为不同来源的异构数据,其传播范围之广、速度之快,对个人和社会造成了严重危害。因此,有效检测和防范虚假新闻至关重要。针对当前虚假新闻检测模型局限于从单一数据来源获取新闻文本及视觉信息,导致新闻报道主观性较强、数据覆盖不全面的问题,提出了一种多源异构数据渐进式融合的虚假新闻检测模型。首先,进行多源异构数据的收集、筛选和清洗,由此构建了一个多源多模态数据集,其中包含关于每个事件的多个不同角度的报道;接着,通过将文本特征提取器和视觉特征提取器获取的特征输入多源融合模块,实现了不同来源特征之间的渐进式融合;同时,引入文本的情感特征和图像的频域特征,以实现多层次的特征提取;最后,采用软注意力机制进行特征集成。实验结果和分析表明,与已有的流行方法相比,所提模型有较好的检测效果,为大数据时代的虚假新闻检测提供了一种有效的解决方案。

基于异构数据的变压器远程状态孪生与寿命评估技术

目前以机器人巡视为主的远程运维方式,难以构建全面的数字孪生运维体系,而以电力变压器为代表的变电站一次设备,是集合电气与多种物理特性的状态集合,其远程精准运维与状态分析,必然建立在海量异构数据基础之上。以变压器为例,研究变压器数字孪生模型构建方法和数字孪生数据层技术,建立传感器数据下的数字孪生变压器模型,从物理模型类、基于参数类和基于认识模型类三个方面探索多源异构数据融合方法。依照所构建的寿命模型,在2年的运行阶段中,由于温度导致的变压器老化效应,不断在工作状态中进行累积,最终其热寿命损失累计超过了360 h,与实际情况相符合。

面向异构数据的个性化联邦多任务学习优化方法

联邦学习是一种新兴的分布式机器学习范式,在保护数据隐私的同时协作训练全局模型,但也面临着在数据异构情况下全局模型收敛慢、精度低的问题。针对上述问题,提出一种面向异构数据的个性化联邦多任务学习优化(federated multi-task learning optimization,FedMTO)算法。在包含全局任务和本地任务的多任务学习框架下,考虑个性化联邦优化问题。首先,FedMTO采用参数分解的思想,通过学习自适应分类器组合权重来协调全局分类器和局部分类器,提取全局分类器知识,实现对本地任务的个性化建模;其次,由于本地任务的数据分布不同,FedMTO在本地更新时结合正则化多任务学习策略,关注任务之间的相关性,减小不同本地任务间的差异,从而保证联邦学习过程的公平性;最后,模拟不同的数据异构场景,在MNIST和CIFAR-10数据集上进行实验。实验结果表明,与现有算法相比,FedMTO实现了更高的准确率和更好的公平性,验证了该方法针对联邦学习中的异构数据问题有着良好的效果。

面向多源异构数据的个性化搜索和推荐算法综述

高效精准的个性化搜索、推荐等服务可为人们生产生活带来极大便利,而随着互联网技术的迅猛发展,面向多源异构数据的个性化搜索和推荐任务逐渐变得日趋复杂,也是当前大数据分析及个性化服务领域的研究热点和难点.个性化搜索和推荐算法广泛收集多源异构数据,获取用户偏好信息,利用各类机器学习、深度学习等技术,构建用户兴趣偏好模型,预测用户偏好,推荐满足用户个性化需求和偏好的项目或内容,提升用户的使用体验和网站平台的商业利益.本文介绍面向多源异构数据的个性化搜索问题的数学描述,综述面向多源异构数据的个性化搜索和推荐算法的相关研究工作,包括:传统个性化搜索和推荐算法、融合多源异构数据的个性化搜索和推荐算法以及动态个性化搜索和推荐算法等相关研究现状,整理了算法常用数据集、性能评价指标及评估体系,进一步阐明了目前面向多源异构数据的个性化搜索和推荐方法的实际应用场景及今后研究的发展方向,并讨论了存在的不足及所面临的严峻挑战,期望为相关领域的研究人员提供有益帮助.

基于多源异构数据融合的造价数据与GIM模型挂接方法

针对电网工程构件的GIM模型无法包含造价分析所需要的所有信息,导致造价分析精度及效率较低的问题,提出了一种基于多源异构数据融合的造价数据与GIM模型的挂接方法。该方法建立了电网工程GIM构件属性集和造价数据库,并从中提取出构件本体来实现GIM构件到本体间的映射以及造价数据到本体间的映射关系,进而完成多源异构的造价数据与GIM模型间的挂接。仿真实验及分析结果表明,所提方法能够大幅节省造价分析人员的查询和计算时间,从而提高电网工程造价分析与管理的效率。

多源异构数据同步接收与可靠存储系统设计

针对传统工业数据存储器存储数据单一,实时性低以及安全性不高的问题,提出了基于FPGA的多源异构数据的同步接收与可靠存储系统设计方案。以FPGA为控制核心,以RS422总线为控制和实时监测接口,采用2块16 GB NAND Flash作为存储介质,以多级缓存的混合编帧方法实现2路千兆以太网数据以及1路RS485数据的同步接收处理,通过双Flash多平面并行存储的流水线设计方法实现数据的实时存储,采用汉明码对数据存储中可能存在的误码现象进行纠错,以千兆以太网接口进行数据回读。经高低温循环试验测试表明:系统存储容量为32 GB,存储速率可达568 Mbit/s,回读速率为353 Mbit/s,丢包率和误码率为0,具有数据处理快、可靠性高、性能稳定的优点。