多源异构数据融合关键技术与政务大数据治理体系

随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。

基于模糊数学的多源异构数据融合模型

针对多源异构型数据来源复杂、结构特殊,导致其融合难度较大的问题,为提升数据融合效率与准确性,提出一种基于模糊数学的多源异构数据融合模型.首先,利用联邦加权平均融合策略,整合从各传感器传输至数据级融合层中的元数据,得到数据级融合结果;其次,结合主成分分析法与典型相关分析法,提取出由网络本体语言统一后数据的特征,完成特征级数据融合;再次,根据模糊数学理论建立、更新模糊规则库,通过决策融合算法,得到决策级融合结果;最后,将上述不同层级的数据融合结果结合建立数据融合模型,得到最终的数据融合结果.实验结果表明,该方法的最大协方差值和绝对误差值不超过0.15,最短融合时间仅为12.6 ms.该方法的融合精度和稳定性较好,时效性与抗扰性均具有显著的优越性.

公共安全领域多源异构数据融合技术与应用

针对公共安全领域涉及数据种类多、数据来源各异无法形成高效数据组织形式的问题,本文提出了一种公共安全领域多源异构数据融合技术,通过规范化治理流程,对公共安全领域海量多源异构数据进行融合治理,形成标准化存储,构建体系化的数据资源组织形式,为公共安全领域业务应用的开展提供数据支撑。

多源异构数据融合的水利数字地球研究

为实现不同部门、来源和类型数据的有效融合,提升水利信息多维度感知分析能力,基于Cesium数字地球引擎、采用B/S模式四层系统架构、结合多源异构数据融合方法,实现水利专题信息的三维模拟仿真。结果表明,多源异构数据融合的水利数字地球平台可统一管理各类数据服务,集成影像、地形、矢量、图表、模型等要素进行一张图三维可视化表达,实现对水利信息的多层次、多视角管理,为跨行业数据融合及水利信息化建设提供一定参考。

基于多源异构数据融合分析技术的激光通信网络钓鱼检测

网络钓鱼对激光通信网络的应用带来较大危险,为保障激光通信网络应用安全,提出基于多源异构数据融合分析技术的激光通信网络钓鱼检测方法。首先采集激光通信网络钓鱼特征,采用D-S证据理论融合不同来源、不同结构的激光通信网络钓鱼特征数据,然后根据特下数,采用支持向量机检测设计激光通信网络钓鱼检测模型,最后进行了仿真实验,结果表明,该方法可有效提取并准确融合钓鱼特征数据,激光通信网络钓鱼检测激光通信网络钓鱼检测准确率超过95%,降低激光通信网络安全风险。

智慧高速多源异构感知数据实时高精度融合算法

当前,智慧高速领域存在感知弱、管控难和触达少等难题,利用光栅阵列传感、大数据、AI等先进技术,通过对交通全要素、全天候的融合感知,可实现多源异构感知数据实时高精度融合、轨迹追踪和事件检测等多场景应用。本文通过光栅光纤、雷达、视频等多源异构感知数据深度融合,采用时空基准同步、双队列异步处理、容错等机制,保证车辆轨迹数据的连续稳定和较低时延,实现数据时延和融合准确率的综合提升,可为管理和运营者提供宏观、中观和微观等多维度车道级交通动态信息,助力智慧高速实现全天候通行、全过程数字管控和全方位服务。

多传感器的BPNN和SVM多源异构数据融合算法

多传感器的多源异构数据融合处理时,大量的冗余数据及复杂的非线性可分空间导致能耗较大,为此,提出了BP神经网络和支持向量机的多源异构数据融合算法。以数据关系构建约束条件,利用BP神经网络算法建立数据清洗模型,判定节点变量的活跃程度,优化数据输入;建立数据集合,提取数据特征向量;利用支持向量机泛化能力强、凸优化的特点,获取特征的最优分类超平面,获得非线性可分多源数据集转化为高维线性可分空间的最优决策值,输出结果。实验结果表明,该算法融合多源异构数据的能量消耗小、延迟低,融合效果好。

基于多源异构数据融合的台区负荷预测方法

随着大数据技术的飞速发展,多源异构数据的融合技术逐渐被应用于智慧城市的治理和发展。使用基于多源异构数据融合的台区负荷预测方法,通过整合来自不同台区的多样化数据,以全面且准确地获取台区信息。通过多源异构数据融合技术,对信息进行选择与融合,实现台区负荷的最优预测,以提高预测精度和可靠性。

多源异构数据融合与高性能图数据库查询引擎设计

随着信息时代的快速发展,多源异构数据的整合和利用变得日益重要。文中着眼于解决多源异构数据融合与高性能图数据库查询引擎设计的问题,提出了一种创新的方法。首先,探讨了数据融合的重要性以及在整合过程中面临的挑战,特别是在异构数据类型、格式和来源多样的情况下。接着,介绍了高性能图数据库的基本原理,并根据数据融合的需求设计了一种高效的查询引擎。文中设计了一个多层次的数据融合模型,并提出了相应的查询优化算法,以应对数据融合过程的复杂性和多样性。

工业产品多源异构数据融合 推进智慧监管——基于Ecode的工业产品元数据模型

物联网Ecode标识将工业产品质量安全和信息技术深度融合,帮助政府职能部门解决质量监管工作中产品关键环节数据缺失问题,提高风险研判水平。目前,Ecode已广泛应用于电线电缆、童车、电热水器等行业,为实现产品追溯查询、防伪验证等提供有力支撑。

多源异构数据和注意力门控机制的小麦产量预测

针对传统的单模态数据预测小麦产量存在精度不高的问题,提出一种结合多源异构数据和注意力门控机制的小麦产量预测方法。首先引入了特征级的门控策略,来捕获每个模态内部特征的信息变化;然后利用神经网络评估每个模态内的置信度分数,并构建模态间的有效信息获取模块;最后设计了基于Transformer的空间和通道注意力门控机制模块,将不同模态之间的有效信息进行充分的融合,从而获得最佳的预测特征表示。实验结果表明,所提方法与传统方法相比具有更高的预测精准度,RMSE和MAE分别仅为809kg/hm^(2)和522kg/hm^(2),R^(2)则达到了0.806,通过对河南省近10年的小麦产量进行预测,得到的三项评价指标均相对稳定,且展现出了较强的鲁棒性。消融实验也验证了该方法中的不同组件均能有效提高小麦产量的预测精度,可为相关部门制定保障粮食安全管理决策提供有力的数据支持。

基于多源异构信息融合的采摘机械臂驱动控制研究

[目的]为了准确感知采摘机械臂的作业信息,提高驱动控制精度,需要对多自由度采摘机械臂的驱动控制模块进行优化设计。[方法]本研究将采摘机械臂各关节自由度、运动学以及动力学原理融合到设备结构中,完成了多自由度采摘机械臂等效模型的构建。基于构建的等效模型,确定多源传感器设备的安装位置,利用内部安装的传感器设备对机械臂的实时运行信息进行采集,获取位姿信息。同时,根据传感器的空间位置及其相互之间的作用进行信息分群,得出信息级融合结果,以此作为特征级信息融合结果的输入值,提取多源异构信息特征,并通过特征匹配完成融合操作,由此得出任意时刻采摘机械臂运行参数的检测结果。[结果]结合给定的采摘任务,计算采摘机械臂所需的驱动动力以及位姿数据,通过与当前数据的比对确定驱动控制量,利用装设的驱动控制器生成可执行的控制指令,完成驱动控制。与2种对照方法进行的对比试验显示,基于多源异构信息融合的驱动控制方法采摘机械臂的位置控制误差降低约25 mm,姿态角与驱动力控制误差分别降低了0.22°和6.32 mm,得出的控制数据更精准。[结论]由于多源异构信息融合技术能够发挥多种数据的优势,获取到更全面、更准确的位姿信息和控制数据,能够实现对目标果实的精准采摘,从而降低了采摘工作对果实的伤害,具有明显的对比优势和应用价值。

物联网中多源异构数据安全漏洞检测技术研究

物联网环境下,由于传感器所采集的数据不同,所以存在多源异构数据群;同时,相关数据的安全标准不同,存在较大安全隐患。为了解决现有数据安全漏洞检测技术在物联网环境下漏报率高、挖掘效果差的问题,对物联网中多源异构数据安全漏洞检测技术进行了研究。根据异构信息物联网络建立不同类型的节点模型,完成多源异构数据级融合。引入类别权重参数设置空间异构标签,通过动态调整方式使不同的异构数据按照边缘分布自适应的条件进行分布,实现域适应的动态异构特征转换;对样本降维、分类、归一化处理后,运用多层感知方式提取数据安全特征,实现多源异构数据的安全漏洞检测。实验结果表明:所提方法的检测漏报率低于4%,面对不同类型的漏洞挖掘效果均在90%以上,该方法具有良好的检测效果。

多源异构数据边缘融合信息化监测仿真

由于对信息数据的需求量越来越大,为了能够获得全面、准确的信息数据,需要对各种信息数据有效融合,并实现精准监测。因此,提出一种基于边缘计算的多源异构数据融合信息化监测方法。采用小波阈值去噪方法估计并消除多源异构数据中的线性误差,完成数据预处理。通过边缘计算与PCA-DS推理方法,构建多源异构数据融合架构,完成数据融合处理。将融合处理后的数据输入到隐半马尔可夫模型中,实现多源异构数据融合信息化监测。实验结果表明,所提方法对数据监测实时性保持在95%以上,在数据融合信息化监测中,获取的监测结果精度高。

融合多源异构在线评论的开放式创新社区创意采纳预测研究

整合内外部创新资源以获得市场优势一直是企业关注的问题,这是因为企业的创新能力直接决定了企业的兴衰成败。已有的以在线评论为数据源预测开放式创新社区中创意采纳的研究主要依靠单一的文本特征。基于启发式系统性说服理论,本文提出了一种新的开放式创新社区创意采纳预测模型。该模型在基于信任转移理论和价值共创理论基础上,归纳了多源异构在线评论的定义,并从启发式评论者特征、启发式评论特征和系统性评论特征3个层次特征来描述创意。此外,还引入图注意力网络实现了3个层次创意特征的融合。本文从真实的开放式创新社区收集了数据集,验证了本文模型及其各个特征,该模型准确预测创意采纳的综合性能大约在97%,图模型特征融合后的分类预测结果优于传统的机器学习分类算法。研究结果不仅证明了图模型在特征融合中的有效性,而且从融合评论特征和评论者特征的角度,为创意采纳预测提供了方法和理论上的支持。

集合卡尔曼滤波与随机森林算法在异源遥感降水数据同化融合中的应用

为减小异源遥感降水产品的非均质误差,提出集合卡尔曼滤波(EnKF)联合随机森林(RF)的数据同化融合算法,选取长江流域5种遥感降水产品(ERA5、TerraClimate、GPM、TRMM和PERSIANN-CDR),在分析星地降水数据一致性的基础上,进行EnKF-RF数据同化与融合处理,并利用独立气象站点评估其精度。结果表明,异源产品在长江流域降水量捕捉精度为TRMM>GPM>TerraClimate>PERSIANN-CDR>ERA5;各产品经EnKF同化后的精度纳什效率系数N NSE增至0.93~0.96,均方根误差RRMSE降至89.48~176.03 mm,较未同化前的N NSE提升11.46%~22.34%、RRMSE减小96.35%~122.60%;RF融合进一步改进了单一源降水产品可靠性,融合后产品精度N NSE达0.99、RRMSE为43.56 mm;异源降水数据的EnKF-RF同化融合策略减少了单一源降水产品的误差,在长江流域乃至全球尺度具有较大应用潜力。

纺机车间多源异构数据生产管理系统设计

针对纺织机械制造企业生产过程中的多源异构数据集成、传递和共享问题,结合企业实际生产情况,搭建面向企业业务流程模型,建立车间制造过程数据管理模型,对生产数据进行异常纠正、时间配准、时序数据补足等数据预处理;并采用基于本体的异构数据集成方法,实现纺织机械制造车间智能生产的数据集成与共享,为数字孪生平台、仿真优化决策提供数据支撑;设计和开发了数字化车间数据集成管理系统,通过融合SAP、SCADA等系统数据,实现生产进度跟踪、设备运行监控及生产相关的数据统计分析,并结合三维模型进行三维可视化,满足车间的数据管理需求。

基于多源异构信息融合的目标识别方法

现代化信息战争中,多传感器对目标协同感知的需求愈发迫切,如何有效融合传感器的多源异构信息是当前需要研究的问题。针对可见光图像和电磁信号2种异构信源,提出1种基于多分支深度学习网络的信息融合模型:分别基于CNN(Convolutional Neuron Networks)和CLDNN(Convolutional,Long Short-Term Memory,Fully Connected Deep Neural Networks)设计独立的的特征学习网络,统一异构信息的特征维度并进行矢量融合,再通过全连接网络对融合后的高维特征离散映射,实现目标分类。仿真结果表明:相较于采用单一传感器信息进行特征描述,该论文设计的信息融合模型能够有效利用目标的多模态信息,提升目标识别性能。

新型电力系统多源异构数据融合技术研究现状及展望

能源转型背景下,新型电力系统以清洁低碳、开放互动为目标不断建设,同时监测技术与通信技术也快速发展,电力系统中的数据来源更加广泛,数据结构更加复杂,为新型电力系统数据融合提供数据基础的同时也提出了挑战。首先,分析新型电力系统数据特征,提出新型电力系统的数据融合需求;接着,介绍新型电力系统数据模型、多源异构数据融合技术层级,分析关键融合技术的优缺点,并对不同技术的适用场景进行分析;然后,分别从输配协同、源网荷储协同、虚拟电厂、多元负荷、电碳市场交易5个典型场景,对多源异构数据融合的数据需求、数据来源、融合目标、常见方法及研究难点进行归纳;最后,对新型电力系统数据融合技术的未来研究发展进行了展望。

水电站多源异构数据平台的搭建及应用

水电站各种监测系统独立建设,彼此没有关联,形成数据孤岛;不同系统的数据结构不同,难以融合。针对这些问题,本文提出了多源异构数据融合的技术框架,分析了技术难点以及应用场景,为建设水电站统一数据平台、提升数据利用价值提供参考和思路。