Multi-source heterogeneous data access management framework and key technologies for electric power Internet of Things

The power Internet of Things(IoT)is a significant trend in technology and a requirement for national strategic development.With the deepening digital transformation of the power grid,China’s power system has initially built a power IoT architecture comprising a perception,network,and platform application layer.However,owing to the structural complexity of the power system,the construction of the power IoT continues to face problems such as complex access management of massive heterogeneous equipment,diverse IoT protocol access methods,high concurrency of network communications,and weak data security protection.To address these issues,this study optimizes the existing architecture of the power IoT and designs an integrated management framework for the access of multi-source heterogeneous data in the power IoT,comprising cloud,pipe,edge,and terminal parts.It further reviews and analyzes the key technologies involved in the power IoT,such as the unified management of the physical model,high concurrent access,multi-protocol access,multi-source heterogeneous data storage management,and data security control,to provide a more flexible,efficient,secure,and easy-to-use solution for multi-source heterogeneous data access in the power IoT.

Recent trends of machine learning applied to multi-source data of medicinal plants

In traditional medicine and ethnomedicine,medicinal plants have long been recognized as the basis for materials in therapeutic applications worldwide.In particular,the remarkable curative effect of traditional Chinese medicine during corona virus disease 2019(COVID-19)pandemic has attracted extensive attention globally.Medicinal plants have,therefore,become increasingly popular among the public.However,with increasing demand for and profit with medicinal plants,commercial fraudulent events such as adulteration or counterfeits sometimes occur,which poses a serious threat to the clinical outcomes and interests of consumers.With rapid advances in artificial intelligence,machine learning can be used to mine information on various medicinal plants to establish an ideal resource database.We herein present a review that mainly introduces common machine learning algorithms and discusses their application in multi-source data analysis of medicinal plants.The combination of machine learning algorithms and multi-source data analysis facilitates a comprehensive analysis and aids in the effective evaluation of the quality of medicinal plants.The findings of this review provide new possibilities for promoting the development and utilization of medicinal plants.

Research on Data Fusion of Adaptive Weighted Multi-Source Sensor

Data fusion can effectively process multi-sensor information to obtain more accurate and reliable results than a single sensor.The data of water quality in the environment comes from different sensors,thus the data must be fused.In our research,self-adaptive weighted data fusion method is used to respectively integrate the data from the PH value,temperature,oxygen dissolved and NH3 concentration of water quality environment.Based on the fusion,the Grubbs method is used to detect the abnormal data so as to provide data support for estimation,prediction and early warning of the water quality.

Image Processing on Geological Data in Vector Format and Multi-Source Spatial Data Fusion

The geological data are constructed in vector format in geographical information system (GIS) while other data such as remote sensing images, geographical data and geochemical data are saved in raster ones. This paper converts the vector data into 8 bit images according to their importance to mineralization each by programming. We can communicate the geological meaning with the raster images by this method. The paper also fuses geographical data and geochemical data with the programmed strata data. The result shows that image fusion can express different intensities effectively and visualize the structure characters in 2 dimensions. Furthermore, it also can produce optimized information from multi-source data and express them more directly.

Threat Modeling and Application Research Based on Multi-Source Attack and Defense Knowledge

Cyber Threat Intelligence(CTI)is a valuable resource for cybersecurity defense,but it also poses challenges due to its multi-source and heterogeneous nature.Security personnel may be unable to use CTI effectively to understand the condition and trend of a cyberattack and respond promptly.To address these challenges,we propose a novel approach that consists of three steps.First,we construct the attack and defense analysis of the cybersecurity ontology(ADACO)model by integrating multiple cybersecurity databases.Second,we develop the threat evolution prediction algorithm(TEPA),which can automatically detect threats at device nodes,correlate and map multisource threat information,and dynamically infer the threat evolution process.TEPA leverages knowledge graphs to represent comprehensive threat scenarios and achieves better performance in simulated experiments by combining structural and textual features of entities.Third,we design the intelligent defense decision algorithm(IDDA),which can provide intelligent recommendations for security personnel regarding the most suitable defense techniques.IDDA outperforms the baseline methods in the comparative experiment.

Hierarchical Optimization Method for Federated Learning with Feature Alignment and Decision Fusion

In the realm of data privacy protection,federated learning aims to collaboratively train a global model.However,heterogeneous data between clients presents challenges,often resulting in slow convergence and inadequate accuracy of the global model.Utilizing shared feature representations alongside customized classifiers for individual clients emerges as a promising personalized solution.Nonetheless,previous research has frequently neglected the integration of global knowledge into local representation learning and the synergy between global and local classifiers,thereby limiting model performance.To tackle these issues,this study proposes a hierarchical optimization method for federated learning with feature alignment and the fusion of classification decisions(FedFCD).FedFCD regularizes the relationship between global and local feature representations to achieve alignment and incorporates decision information from the global classifier,facilitating the late fusion of decision outputs from both global and local classifiers.Additionally,FedFCD employs a hierarchical optimization strategy to flexibly optimize model parameters.Through experiments on the Fashion-MNIST,CIFAR-10 and CIFAR-100 datasets,we demonstrate the effectiveness and superiority of FedFCD.For instance,on the CIFAR-100 dataset,FedFCD exhibited a significant improvement in average test accuracy by 6.83%compared to four outstanding personalized federated learning approaches.Furthermore,extended experiments confirm the robustness of FedFCD across various hyperparameter values.

基于“十字”标志物的红外图像与三维点云融合方法

红外热成像技术广泛应用于多个领域,建立含有空间和温度信息的三维温度场模型具有十分重要的意义,可以将该技术扩展到更多应用领域.为此,本文提出一种异源空间数据融合方法,融合红外图像和三维点云,得到三维温度场模型.针对红外相机与可见光相机成像原理存在差异,难以通过常用标定板进行内参标定的问题,基于红外相机成像特性设计并制作镂空圆孔标定板用于内参标定,所得内参平均重投影误差为0.03像素.针对红外相机与结构光相机的成像原理不同,现有标志物制作复杂、外参精度低的问题,基于不同材料的辐射度差异,设计制作“十字”标志物并将其用于联合标定.为解决同名特征点难以识别的问题,针对红外图像和三维点云分别设计了同名特征点提取方法,配合“十字”标志物进行同名特征点提取.红外图像和三维点云特征点提取方法的检测重复率分别为75%和92%,与传统方法相比两者的检测重复率均有所提升.利用该方法建立纸杯、工件和人脸的三维温度场模型.实验结果表明,使用镂空圆孔标定板能实现红外相机的内参标定,对“十字”标志物采用同名特征点提取方法能完成红外相机与结构光相机的联合标定.最终所得三维温度场模型的平均重投影误差为1.70像素,与现有方法相比模型精度有所提升.

多源异构数据和注意力门控机制的小麦产量预测

针对传统的单模态数据预测小麦产量存在精度不高的问题,提出一种结合多源异构数据和注意力门控机制的小麦产量预测方法。首先引入了特征级的门控策略,来捕获每个模态内部特征的信息变化;然后利用神经网络评估每个模态内的置信度分数,并构建模态间的有效信息获取模块;最后设计了基于Transformer的空间和通道注意力门控机制模块,将不同模态之间的有效信息进行充分的融合,从而获得最佳的预测特征表示。实验结果表明,所提方法与传统方法相比具有更高的预测精准度,RMSE和MAE分别仅为809kg/hm^(2)和522kg/hm^(2),R^(2)则达到了0.806,通过对河南省近10年的小麦产量进行预测,得到的三项评价指标均相对稳定,且展现出了较强的鲁棒性。消融实验也验证了该方法中的不同组件均能有效提高小麦产量的预测精度,可为相关部门制定保障粮食安全管理决策提供有力的数据支持。

基于专利异构数据融合的技术演化路径识别方法

[研究目的]针对目前技术演化分析中多关注专利文本,忽略专利引文信息的问题,提出一种基于专利异构数据融合的技术演化路径识别方法。[研究方法]首先,使用Sentence-BERT模型提取专利文本语义特征;其次,使用图卷积神经网络模型将文本语义特征与引文结构特征融合,实现异构数据融合构建专利向量;最后,划分时间窗,使用k-means算法对各时间窗进行技术主题聚类,基于相邻时间窗技术主题相似度构建技术演化路径。[研究结论]以人工智能领域为例进行实证研究,共发现4条技术演化路径。与相关权威报告进行比对,结果表明识别结果与人工智能技术领域的发展现状一致,验证了模型的有效性和科学性。

基于高斯滤波与均值聚类的异质多源传感器数据加权融合

异质多源传感器之间工作频率存在差异,导致数据之间的一致性较差,加权融合后的观测误差较大,因此提出基于高斯滤波与均值聚类的异质多源传感器数据加权融合方法。采用高斯滤波对异质多源传感器数据空间单元格进行划分,建立基于单元格的最佳连通域,保留传感器内部数据,完成传感器数据的高斯滤波平滑处理。引入均值聚类对异质多源传感器数据进行一致性处理。通过免疫粒子群搜索最优权重和参数,利用最优权重和参数完成异质多源传感器数据加权融合。仿真结果表明,所提方法能够降低融合后传感器数据的观测误差与均方误差,观测误差与均方误差最小值均为0.002。因此,说明所提方法提高了融合后异质多源传感器数据的可利用性。

基于多源异构信息融合的采摘机械臂驱动控制研究

[目的]为了准确感知采摘机械臂的作业信息,提高驱动控制精度,需要对多自由度采摘机械臂的驱动控制模块进行优化设计。[方法]本研究将采摘机械臂各关节自由度、运动学以及动力学原理融合到设备结构中,完成了多自由度采摘机械臂等效模型的构建。基于构建的等效模型,确定多源传感器设备的安装位置,利用内部安装的传感器设备对机械臂的实时运行信息进行采集,获取位姿信息。同时,根据传感器的空间位置及其相互之间的作用进行信息分群,得出信息级融合结果,以此作为特征级信息融合结果的输入值,提取多源异构信息特征,并通过特征匹配完成融合操作,由此得出任意时刻采摘机械臂运行参数的检测结果。[结果]结合给定的采摘任务,计算采摘机械臂所需的驱动动力以及位姿数据,通过与当前数据的比对确定驱动控制量,利用装设的驱动控制器生成可执行的控制指令,完成驱动控制。与2种对照方法进行的对比试验显示,基于多源异构信息融合的驱动控制方法采摘机械臂的位置控制误差降低约25 mm,姿态角与驱动力控制误差分别降低了0.22°和6.32 mm,得出的控制数据更精准。[结论]由于多源异构信息融合技术能够发挥多种数据的优势,获取到更全面、更准确的位姿信息和控制数据,能够实现对目标果实的精准采摘,从而降低了采摘工作对果实的伤害,具有明显的对比优势和应用价值。

基于异构数据特征的城市轨道交通OD客流短时预测方法

城市轨道交通起讫点(origin-destination,OD)客流短时预测在智能交通系统中意义重大,它为交通管控策略实施以及出行者出行选择提供了重要的决策依据。卷积神经网络被广泛用于交通数据空间相关性提取,但其平移不变性与局部敏感性导致该方法更重视局部特征而忽视全局特征。本研究构建了基于注意力机制的异构数据特征提取机模型(heterogeneous data feature extraction machine,HDFEM)以实现OD矩阵空间相关性的全局感知。该模型从时空特征和用地属性特征出发,构造异构数据OD时空张量与地理信息张量,依托模型张量编码层对异构数据张量进行分割与编码,通过注意力机制连接各张量块特征,提取OD矩阵中各个部分间的空间相关性。该方法不仅实现了异构数据与OD客流数据的融合,还兼顾了卷积神经网络模型未能处理的OD矩阵远距离特征,进而帮助模型更全面地学习OD客流的空间特征。对于OD时序特性,该模型使用了长短时记忆网络来处理。在杭州地铁自动售检票系统(auto fare collection,AFC)数据集上的实验结果表明:HDFEM模型相对于基于卷积神经网络的预测模型,其均方误差、平均绝对误差与标准均方根误差分别下降了4.1%,2.5%,2%,验证了全局OD特征感知对于城市轨道交通OD客流预测的重要性。

多源异构数据融合关键技术与政务大数据治理体系

随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。

基于模糊数学的多源异构数据融合模型

针对多源异构型数据来源复杂、结构特殊,导致其融合难度较大的问题,为提升数据融合效率与准确性,提出一种基于模糊数学的多源异构数据融合模型.首先,利用联邦加权平均融合策略,整合从各传感器传输至数据级融合层中的元数据,得到数据级融合结果;其次,结合主成分分析法与典型相关分析法,提取出由网络本体语言统一后数据的特征,完成特征级数据融合;再次,根据模糊数学理论建立、更新模糊规则库,通过决策融合算法,得到决策级融合结果;最后,将上述不同层级的数据融合结果结合建立数据融合模型,得到最终的数据融合结果.实验结果表明,该方法的最大协方差值和绝对误差值不超过0.15,最短融合时间仅为12.6 ms.该方法的融合精度和稳定性较好,时效性与抗扰性均具有显著的优越性.

融合多源异构在线评论的开放式创新社区创意采纳预测研究

整合内外部创新资源以获得市场优势一直是企业关注的问题,这是因为企业的创新能力直接决定了企业的兴衰成败。已有的以在线评论为数据源预测开放式创新社区中创意采纳的研究主要依靠单一的文本特征。基于启发式系统性说服理论,本文提出了一种新的开放式创新社区创意采纳预测模型。该模型在基于信任转移理论和价值共创理论基础上,归纳了多源异构在线评论的定义,并从启发式评论者特征、启发式评论特征和系统性评论特征3个层次特征来描述创意。此外,还引入图注意力网络实现了3个层次创意特征的融合。本文从真实的开放式创新社区收集了数据集,验证了本文模型及其各个特征,该模型准确预测创意采纳的综合性能大约在97%,图模型特征融合后的分类预测结果优于传统的机器学习分类算法。研究结果不仅证明了图模型在特征融合中的有效性,而且从融合评论特征和评论者特征的角度,为创意采纳预测提供了方法和理论上的支持。

基于异构数据的变压器远程状态孪生与寿命评估技术

目前以机器人巡视为主的远程运维方式,难以构建全面的数字孪生运维体系,而以电力变压器为代表的变电站一次设备,是集合电气与多种物理特性的状态集合,其远程精准运维与状态分析,必然建立在海量异构数据基础之上。以变压器为例,研究变压器数字孪生模型构建方法和数字孪生数据层技术,建立传感器数据下的数字孪生变压器模型,从物理模型类、基于参数类和基于认识模型类三个方面探索多源异构数据融合方法。依照所构建的寿命模型,在2年的运行阶段中,由于温度导致的变压器老化效应,不断在工作状态中进行累积,最终其热寿命损失累计超过了360 h,与实际情况相符合。

集合卡尔曼滤波与随机森林算法在异源遥感降水数据同化融合中的应用

为减小异源遥感降水产品的非均质误差,提出集合卡尔曼滤波(EnKF)联合随机森林(RF)的数据同化融合算法,选取长江流域5种遥感降水产品(ERA5、TerraClimate、GPM、TRMM和PERSIANN-CDR),在分析星地降水数据一致性的基础上,进行EnKF-RF数据同化与融合处理,并利用独立气象站点评估其精度。结果表明,异源产品在长江流域降水量捕捉精度为TRMM>GPM>TerraClimate>PERSIANN-CDR>ERA5;各产品经EnKF同化后的精度纳什效率系数N NSE增至0.93~0.96,均方根误差RRMSE降至89.48~176.03 mm,较未同化前的N NSE提升11.46%~22.34%、RRMSE减小96.35%~122.60%;RF融合进一步改进了单一源降水产品可靠性,融合后产品精度N NSE达0.99、RRMSE为43.56 mm;异源降水数据的EnKF-RF同化融合策略减少了单一源降水产品的误差,在长江流域乃至全球尺度具有较大应用潜力。

多源异构数据渐进式融合的虚假新闻检测

社交媒体平台上充斥着大量未经验证的信息,这些信息大多为不同来源的异构数据,其传播范围之广、速度之快,对个人和社会造成了严重危害。因此,有效检测和防范虚假新闻至关重要。针对当前虚假新闻检测模型局限于从单一数据来源获取新闻文本及视觉信息,导致新闻报道主观性较强、数据覆盖不全面的问题,提出了一种多源异构数据渐进式融合的虚假新闻检测模型。首先,进行多源异构数据的收集、筛选和清洗,由此构建了一个多源多模态数据集,其中包含关于每个事件的多个不同角度的报道;接着,通过将文本特征提取器和视觉特征提取器获取的特征输入多源融合模块,实现了不同来源特征之间的渐进式融合;同时,引入文本的情感特征和图像的频域特征,以实现多层次的特征提取;最后,采用软注意力机制进行特征集成。实验结果和分析表明,与已有的流行方法相比,所提模型有较好的检测效果,为大数据时代的虚假新闻检测提供了一种有效的解决方案。

跨院区分布式医疗数据采集融合平台设计与实现

目的 解决区域性数据中心或多院区医疗机构进行跨院区数据采集、融合所面临的突出困难。方法综合运用全增量无缝衔接、数据变更捕获、一致性比对、容错机制及带宽优化等关键技术,设计了数据汇聚部署、同步组织、管理控制等平台功能模块。结果 构建了分布式数据采集融合平台,解决多源异构数据归一性、完整性和保鲜性问题,实现跨院区、跨系统、跨领域的医疗数据实时汇聚融合。结论 分布式数据采集融合平台支持区域性数据中心或多院区医疗机构对医疗、管理、科研等方面数据价值进行挖掘,对满足全量实时贴源数据的迫切需求进行有效的技术性探索。

面向直升机装配生产线虚拟运行的多源数据感知与融合应用技术

针对直升机装配生产线中存在的数据来源繁多、描述形式不统一、利用率低等问题,对直升机装配生产线运行过程中的多源数据感知与融合应用技术进行研究。首先,定义生产线运行中的多源数据感知与融合技术内涵及其整体框架,包括生产线多源数据采集系统构建、多源数据融合技术构建、装配过程多源数据分析预测模型构建,以及生产线多源数据分析应用模块;其次,采用标准化的生产物联、基于本体的语义描述与基于多源数据的质量映射等方法,为实际装配生产线多源数据的感知与融合提供可行的解决方案;最后,阐述上述技术在生产线虚拟运行状态分析、设备使用状态监测和装配质量提升等方面的应用措施,为直升机装配生产线的数字孪生构建与虚拟高效运行提供优质数据基础。