基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。

多源异构数据和注意力门控机制的小麦产量预测

针对传统的单模态数据预测小麦产量存在精度不高的问题,提出一种结合多源异构数据和注意力门控机制的小麦产量预测方法。首先引入了特征级的门控策略,来捕获每个模态内部特征的信息变化;然后利用神经网络评估每个模态内的置信度分数,并构建模态间的有效信息获取模块;最后设计了基于Transformer的空间和通道注意力门控机制模块,将不同模态之间的有效信息进行充分的融合,从而获得最佳的预测特征表示。实验结果表明,所提方法与传统方法相比具有更高的预测精准度,RMSE和MAE分别仅为809kg/hm^(2)和522kg/hm^(2),R^(2)则达到了0.806,通过对河南省近10年的小麦产量进行预测,得到的三项评价指标均相对稳定,且展现出了较强的鲁棒性。消融实验也验证了该方法中的不同组件均能有效提高小麦产量的预测精度,可为相关部门制定保障粮食安全管理决策提供有力的数据支持。

基于剪枝处理的多源异构数据双挖掘仿真

多源异构数据可能来自不同领域、不同格式和不同质量的数据源,处理难度较大,针对多源异构数据难以精准挖掘的问题,提出基于决策树分类的多源异构数据挖掘算法。构建决策树划分数据属性,对初始决策树实施剪枝处理,得出多源异构数据属性集,提取出多源异构数据因子,获取粗略的数据挖掘结果。再使用深度学习算法进一步挖掘出其余数据中残存的多源异构数据,并对原始多源异构数据集实施二次挖掘,将粗细挖掘结果整合后实现多源异构数据挖掘。实验结果表明,所提算法的F1值较高,泛化误差较低,数据挖掘性能较强。

基于智慧计量实验室的多源异构检测数据智能提取技术研究

文章在解决智慧计量实验室中多源异构检测数据的提取与处理问题,对计量实验室检测数据类型和异构类信息提取面临的问题进行分析,提出基于图像处理的检测数据提取技术路线;设计了一种基于可微分二值化网络(differentiable binarization networks,DBNet)和卷积循环神经网络(convolutional recurrent neural network,CRNN)的检测数据智能提取技术,实现了对多源异构数据的自动检测、识别和提取。在此基础上,研制了多源异构检测数据智能提取装置,并进行了验证,结果表明,该装置能够有效地提取纸质报告或表单中的检测数据等关键信息,具有较高的准确性和较快的响应速度,为智慧计量实验室的数据管理和分析提供了有力支持。该研究对于推动智慧计量实验室的建设和试验检测数据应用具有重要意义。

基于Kettle的医院多源异构数据采集应用案例分析

通过分析医院信息化建设中的多源异构数据采集上报问题。利用开源ETL工具Kettle,将医院需要上报数据定时抽取、转换到DMZ区前置服务器,再通过VPN传输到上报平台。通过实际案例分析可以看出,在医院数据采集和上报工作中,Kettle不仅可以支持关系型数据库Oracle、SQL Server、MySQL等,还能很好地支持后关系型数据库Caché。Kettle友好的用户图形界面化操作、高效稳定的数据处理功能、多源异构数据采集功能等可以优化医院数据采集流程,提高医院各种数据的上报效率。

基于MPP数据库的多源异构数据分布式集成平台构建

对多源异构数据进行集成,是实现数据共享、打破“信息孤岛”的关键。运用分布式并行计算技术,对基于 MPP 数据库的多源异构数据分布式集成平台的构建进行分析研究,文章分析了多源异构数据集成的发展动态,阐述了 MPP 数据库基本架构及运行机制,分四个层次设计了基于 MPP 数据库的多源异构数据分布式集成平台的框架结构,并对数据规划进行了分析。为多源异构数据分布式集成的实践应用提供了方法和思路上的借鉴。

基于正则化回归的物联网海量多源异构数据处理方法

针对现行方法在物联网海量多源异构数据处理中应用效果不佳的问题,提出基于正则化回归的物联网海量多源异构数据处理方法。先收集物联网数据生成多源异构数据集,并对数据进行预处理;然后采用混沌遗传算法对物联网海量多源异构数据进行填补;最后利用正则化回归对物联网数据进行滤波,消除数据中的高频分量,实现物联网海量多源异构数据处理。经实验证明,所设计方法的数据失真率不超过0.2%,全频域内信号幅值得到了有效降低,所设计方法在物联网海量多源异构数据处理方面具有良好的应用前景。

多源异构数据融合关键技术与政务大数据治理体系

随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。

物联网中多源异构数据安全漏洞检测技术研究

物联网环境下,由于传感器所采集的数据不同,所以存在多源异构数据群;同时,相关数据的安全标准不同,存在较大安全隐患。为了解决现有数据安全漏洞检测技术在物联网环境下漏报率高、挖掘效果差的问题,对物联网中多源异构数据安全漏洞检测技术进行了研究。根据异构信息物联网络建立不同类型的节点模型,完成多源异构数据级融合。引入类别权重参数设置空间异构标签,通过动态调整方式使不同的异构数据按照边缘分布自适应的条件进行分布,实现域适应的动态异构特征转换;对样本降维、分类、归一化处理后,运用多层感知方式提取数据安全特征,实现多源异构数据的安全漏洞检测。实验结果表明:所提方法的检测漏报率低于4%,面对不同类型的漏洞挖掘效果均在90%以上,该方法具有良好的检测效果。

基于模糊数学的多源异构数据融合模型

针对多源异构型数据来源复杂、结构特殊,导致其融合难度较大的问题,为提升数据融合效率与准确性,提出一种基于模糊数学的多源异构数据融合模型.首先,利用联邦加权平均融合策略,整合从各传感器传输至数据级融合层中的元数据,得到数据级融合结果;其次,结合主成分分析法与典型相关分析法,提取出由网络本体语言统一后数据的特征,完成特征级数据融合;再次,根据模糊数学理论建立、更新模糊规则库,通过决策融合算法,得到决策级融合结果;最后,将上述不同层级的数据融合结果结合建立数据融合模型,得到最终的数据融合结果.实验结果表明,该方法的最大协方差值和绝对误差值不超过0.15,最短融合时间仅为12.6 ms.该方法的融合精度和稳定性较好,时效性与抗扰性均具有显著的优越性.

情报研究中多源异构数据的小算力聚合及应用研究

[目的/意义]探索采用低能耗、高效率的算力,应对情报研究中处理语义环境高复杂、知识边界不确定、信息博弈强对抗、数据样本稀疏为主要特征的多源异构数据聚合面临的挑战。[方法/过程]剖析在大数据、人工智能技术快速发展背景下,多源异构数据、小算力、聚合等数据处理相关的概念内涵及其情报研究发展趋势,基于I/O模型和数据流转换分析人机混合增强算力作用路径及其支撑数据价值实现的层次,提出情报研究中人机混合增强算力的多源异构数据聚合模式(MHDAM-HAC),并以动态情报研究业务为对象进行实例应用。[结果/结论]技术领域发展状态概要画像、聚焦某类技术主题挖掘发现隐含知识的两个实例,验证了所构建的多源异构数据的小算力聚合模式可以有效改善情报研究工作面临的问题,实现一部分情报生成过程的可重现,并促进情报研究的新发现,可作为新实践当中的实现方式。

多源异构数据渐进式融合的虚假新闻检测

社交媒体平台上充斥着大量未经验证的信息,这些信息大多为不同来源的异构数据,其传播范围之广、速度之快,对个人和社会造成了严重危害。因此,有效检测和防范虚假新闻至关重要。针对当前虚假新闻检测模型局限于从单一数据来源获取新闻文本及视觉信息,导致新闻报道主观性较强、数据覆盖不全面的问题,提出了一种多源异构数据渐进式融合的虚假新闻检测模型。首先,进行多源异构数据的收集、筛选和清洗,由此构建了一个多源多模态数据集,其中包含关于每个事件的多个不同角度的报道;接着,通过将文本特征提取器和视觉特征提取器获取的特征输入多源融合模块,实现了不同来源特征之间的渐进式融合;同时,引入文本的情感特征和图像的频域特征,以实现多层次的特征提取;最后,采用软注意力机制进行特征集成。实验结果和分析表明,与已有的流行方法相比,所提模型有较好的检测效果,为大数据时代的虚假新闻检测提供了一种有效的解决方案。

面向多源异构数据的个性化搜索和推荐算法综述

高效精准的个性化搜索、推荐等服务可为人们生产生活带来极大便利,而随着互联网技术的迅猛发展,面向多源异构数据的个性化搜索和推荐任务逐渐变得日趋复杂,也是当前大数据分析及个性化服务领域的研究热点和难点.个性化搜索和推荐算法广泛收集多源异构数据,获取用户偏好信息,利用各类机器学习、深度学习等技术,构建用户兴趣偏好模型,预测用户偏好,推荐满足用户个性化需求和偏好的项目或内容,提升用户的使用体验和网站平台的商业利益.本文介绍面向多源异构数据的个性化搜索问题的数学描述,综述面向多源异构数据的个性化搜索和推荐算法的相关研究工作,包括:传统个性化搜索和推荐算法、融合多源异构数据的个性化搜索和推荐算法以及动态个性化搜索和推荐算法等相关研究现状,整理了算法常用数据集、性能评价指标及评估体系,进一步阐明了目前面向多源异构数据的个性化搜索和推荐方法的实际应用场景及今后研究的发展方向,并讨论了存在的不足及所面临的严峻挑战,期望为相关领域的研究人员提供有益帮助.

基于多源异构数据融合的造价数据与GIM模型挂接方法

针对电网工程构件的GIM模型无法包含造价分析所需要的所有信息,导致造价分析精度及效率较低的问题,提出了一种基于多源异构数据融合的造价数据与GIM模型的挂接方法。该方法建立了电网工程GIM构件属性集和造价数据库,并从中提取出构件本体来实现GIM构件到本体间的映射以及造价数据到本体间的映射关系,进而完成多源异构的造价数据与GIM模型间的挂接。仿真实验及分析结果表明,所提方法能够大幅节省造价分析人员的查询和计算时间,从而提高电网工程造价分析与管理的效率。

多源异构数据同步接收与可靠存储系统设计

针对传统工业数据存储器存储数据单一,实时性低以及安全性不高的问题,提出了基于FPGA的多源异构数据的同步接收与可靠存储系统设计方案。以FPGA为控制核心,以RS422总线为控制和实时监测接口,采用2块16 GB NAND Flash作为存储介质,以多级缓存的混合编帧方法实现2路千兆以太网数据以及1路RS485数据的同步接收处理,通过双Flash多平面并行存储的流水线设计方法实现数据的实时存储,采用汉明码对数据存储中可能存在的误码现象进行纠错,以千兆以太网接口进行数据回读。经高低温循环试验测试表明:系统存储容量为32 GB,存储速率可达568 Mbit/s,回读速率为353 Mbit/s,丢包率和误码率为0,具有数据处理快、可靠性高、性能稳定的优点。

纺机车间多源异构数据生产管理系统设计

针对纺织机械制造企业生产过程中的多源异构数据集成、传递和共享问题,结合企业实际生产情况,搭建面向企业业务流程模型,建立车间制造过程数据管理模型,对生产数据进行异常纠正、时间配准、时序数据补足等数据预处理;并采用基于本体的异构数据集成方法,实现纺织机械制造车间智能生产的数据集成与共享,为数字孪生平台、仿真优化决策提供数据支撑;设计和开发了数字化车间数据集成管理系统,通过融合SAP、SCADA等系统数据,实现生产进度跟踪、设备运行监控及生产相关的数据统计分析,并结合三维模型进行三维可视化,满足车间的数据管理需求。

多源异构数据驱动的砂型铸造复杂铸件质量预测

砂型铸造复杂铸件会出现冷隔、气孔、砂眼、缩孔等缺陷,需要对铸件质量进行预测。其中,影响铸件质量的因素包括工艺参数和产品结构,而铸件三维结构复杂,存在表征困难、形貌与铸件成形质量间关系无法确定的问题。针对上述目标和问题,课题组开展了多源异构数据驱动的砂型铸造复杂铸件质量预测研究。首先,采集了混砂造型、熔炼浇注等过程的结构化工艺参数数据和产品三维结构;其次,构建了深度卷积自编码器,实现了对复杂铸件三维结构的特征提取,获得了特征数据;最后,构建了工艺、三维异构数据驱动的砂型铸造复杂铸件质量预测模型,对铸件缺陷进行了准确预测。

BIM协同多源异构数据辅助高校建筑施工进度监测研究

为了优化高校建筑施工进度监测效果,确保施工按照预定计划进行,利用建筑信息模型(BIM)协同多源异构数据开展高校建筑施工进度监测。利用三维激光扫描技术采集工程施工现场信息数据,基于多源异构数据融合建立施工现场三维模型,并集成BIM技术与多源异构数据融合模型,对比实际施工进度与模型中计划进度,计算施工进度偏差。结果显示,工程施工进度偏差率最高不超过2.0%,该方法在监测控制施工进度方面表现出优异的准确性和稳定性。

多源异构数据融合的水利数字地球研究

为实现不同部门、来源和类型数据的有效融合,提升水利信息多维度感知分析能力,基于Cesium数字地球引擎、采用B/S模式四层系统架构、结合多源异构数据融合方法,实现水利专题信息的三维模拟仿真。结果表明,多源异构数据融合的水利数字地球平台可统一管理各类数据服务,集成影像、地形、矢量、图表、模型等要素进行一张图三维可视化表达,实现对水利信息的多层次、多视角管理,为跨行业数据融合及水利信息化建设提供一定参考。

一种工业多源异构大数据组织模型和集成框架的研究与应用

本文旨在设计一种面向工业多源异构大数据环境的组织模型和集成框架,为工业生产领域的软件开发者和决策者提供大数据集成的参考体系结构。该框架能够对结构化和非结构化数据进行有效管理,提供复合视图显示、全文检索、数据共享等功能,为软件系统开发提供数据访问接口,实现海量多源异构数据以及应用业务的聚合和扩展,使软件开发者在此框架基础上实现生产管理和决策系统的应用。