基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。

面向多源异质遥感影像地物分类的自监督预训练方法

近年来,深度学习改变了遥感图像处理的方法。由于标注高质量样本费时费力,标签样本数量不足的现实问题会严重影响深层神经网络模型的性能。为解决这一突出矛盾,本文提出了用于多源异质遥感影像地物分类的自监督预训练和微调分类方案,旨在缓解模型对于标签样本的严重依赖。具体来讲,生成式自监督学习模型由非对称的编码器-解码器结构组成,其中深度编码器从多源遥感数据中学习高阶关键特征,任务特定的解码器用于重建原始遥感影像。为提升特性表示能力,交叉注意力机制模型用于融合异源特征中的信息,进而从多源异质遥感影像中学习更多的互补信息。在微调分类阶段,预训练好的编码器作为无监督特征提取器,基于Transformer结构的轻量级分类器将学习到的特征与光谱信息结合并用于地物分类。这种自监督预训练方案能够从多源异质遥感影像中学习到刻画原始数据的高级关键特征,并且此过程不需要任何人工标注信息,从而缓解了对标签样本的依赖。与现有的分类范式相比,本文提出的自监督预训练和微调方案在多源遥感影像地物分类中能够取得更优的分类结果。

多源异构数据和注意力门控机制的小麦产量预测

针对传统的单模态数据预测小麦产量存在精度不高的问题,提出一种结合多源异构数据和注意力门控机制的小麦产量预测方法。首先引入了特征级的门控策略,来捕获每个模态内部特征的信息变化;然后利用神经网络评估每个模态内的置信度分数,并构建模态间的有效信息获取模块;最后设计了基于Transformer的空间和通道注意力门控机制模块,将不同模态之间的有效信息进行充分的融合,从而获得最佳的预测特征表示。实验结果表明,所提方法与传统方法相比具有更高的预测精准度,RMSE和MAE分别仅为809kg/hm^(2)和522kg/hm^(2),R^(2)则达到了0.806,通过对河南省近10年的小麦产量进行预测,得到的三项评价指标均相对稳定,且展现出了较强的鲁棒性。消融实验也验证了该方法中的不同组件均能有效提高小麦产量的预测精度,可为相关部门制定保障粮食安全管理决策提供有力的数据支持。

面向设计研发的核能大数据系统架构及标准化研究

结合核能设计研发基本流程和全生命周期数据特点,开展基于多源异构数据集成的采集、存储、处理、管理、应用等功能需求分析,按照“分层设计”思想和以数据应用为目标的路线,建立核能大数据系统技术架构和数据架构,对架构中的层级、模块、功能进行分析。考虑大数据技术持续应用的特点,基于核能大数据系统架构和技术发展需求,开展标准化研究,提出核能大数据标准体系。该研究为大数据技术在核能设计研发应用提供基础,并为后续开展系统性的核能大数据标准化工作提供技术参考。

勘测数字底座构建技术及应用

本文以我国特大山地城市重庆为例,介绍了利用工程勘察信息、测绘地理信息、建(构)筑物信息及各类专题信息,构建勘测数字底座的方法,即通过多维度数据采集、多尺度信息模型构建、多源时空信息融合与调度服务等技术,建立覆盖重庆全域范围的勘测数字底座,并结合项目实践开展建设工程全生命周期的创新应用。结果表明,勘测数字底座能够实现对勘察设计行业的数字赋能,升级改造传统作业模式,支撑工程建设领域高质量发展。

基于剪枝处理的多源异构数据双挖掘仿真

多源异构数据可能来自不同领域、不同格式和不同质量的数据源,处理难度较大,针对多源异构数据难以精准挖掘的问题,提出基于决策树分类的多源异构数据挖掘算法。构建决策树划分数据属性,对初始决策树实施剪枝处理,得出多源异构数据属性集,提取出多源异构数据因子,获取粗略的数据挖掘结果。再使用深度学习算法进一步挖掘出其余数据中残存的多源异构数据,并对原始多源异构数据集实施二次挖掘,将粗细挖掘结果整合后实现多源异构数据挖掘。实验结果表明,所提算法的F1值较高,泛化误差较低,数据挖掘性能较强。

基于高斯滤波与均值聚类的异质多源传感器数据加权融合

异质多源传感器之间工作频率存在差异,导致数据之间的一致性较差,加权融合后的观测误差较大,因此提出基于高斯滤波与均值聚类的异质多源传感器数据加权融合方法。采用高斯滤波对异质多源传感器数据空间单元格进行划分,建立基于单元格的最佳连通域,保留传感器内部数据,完成传感器数据的高斯滤波平滑处理。引入均值聚类对异质多源传感器数据进行一致性处理。通过免疫粒子群搜索最优权重和参数,利用最优权重和参数完成异质多源传感器数据加权融合。仿真结果表明,所提方法能够降低融合后传感器数据的观测误差与均方误差,观测误差与均方误差最小值均为0.002。因此,说明所提方法提高了融合后异质多源传感器数据的可利用性。

基于智慧计量实验室的多源异构检测数据智能提取技术研究

文章在解决智慧计量实验室中多源异构检测数据的提取与处理问题,对计量实验室检测数据类型和异构类信息提取面临的问题进行分析,提出基于图像处理的检测数据提取技术路线;设计了一种基于可微分二值化网络(differentiable binarization networks,DBNet)和卷积循环神经网络(convolutional recurrent neural network,CRNN)的检测数据智能提取技术,实现了对多源异构数据的自动检测、识别和提取。在此基础上,研制了多源异构检测数据智能提取装置,并进行了验证,结果表明,该装置能够有效地提取纸质报告或表单中的检测数据等关键信息,具有较高的准确性和较快的响应速度,为智慧计量实验室的数据管理和分析提供了有力支持。该研究对于推动智慧计量实验室的建设和试验检测数据应用具有重要意义。

基于多源异构信息融合的采摘机械臂驱动控制研究

[目的]为了准确感知采摘机械臂的作业信息,提高驱动控制精度,需要对多自由度采摘机械臂的驱动控制模块进行优化设计。[方法]本研究将采摘机械臂各关节自由度、运动学以及动力学原理融合到设备结构中,完成了多自由度采摘机械臂等效模型的构建。基于构建的等效模型,确定多源传感器设备的安装位置,利用内部安装的传感器设备对机械臂的实时运行信息进行采集,获取位姿信息。同时,根据传感器的空间位置及其相互之间的作用进行信息分群,得出信息级融合结果,以此作为特征级信息融合结果的输入值,提取多源异构信息特征,并通过特征匹配完成融合操作,由此得出任意时刻采摘机械臂运行参数的检测结果。[结果]结合给定的采摘任务,计算采摘机械臂所需的驱动动力以及位姿数据,通过与当前数据的比对确定驱动控制量,利用装设的驱动控制器生成可执行的控制指令,完成驱动控制。与2种对照方法进行的对比试验显示,基于多源异构信息融合的驱动控制方法采摘机械臂的位置控制误差降低约25 mm,姿态角与驱动力控制误差分别降低了0.22°和6.32 mm,得出的控制数据更精准。[结论]由于多源异构信息融合技术能够发挥多种数据的优势,获取到更全面、更准确的位姿信息和控制数据,能够实现对目标果实的精准采摘,从而降低了采摘工作对果实的伤害,具有明显的对比优势和应用价值。

多源异构数据融合关键技术与政务大数据治理体系

随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。

基于改进DDNet的皮带输送机位移故障诊断研究

针对煤矿带式输送机皮带位移故障诊断中存在局限性大、耗时长的问题,将故障数据进行多源异构处理,并在数据处理的基础上将边缘检测算法与深度细节网络,构建了一种结合边缘检测算法与改进深度细节网络的多源异构数据故障诊断模型;首先利用边缘检测算法提取输送机图像中的边缘特征,然后结合多源异构数据,并通过改进后的深度细节网络进行故障识别,并构建故障诊断模型;结果表明检测模型在皮带边缘图像数据处理的检测准确率平均值为95.27%,比目标检测算法和K最邻近分类算法的准确率高出了5.34%和10.21%;同时检测模型的图像数据查全率平均值为93.46%,比目标检测算法和K最邻近分类算法的查全率高出了4.09%和7.18%;这说明研究构建的多源异构数据故障诊断模型能够显著提升皮带位移检测的可靠性和鲁棒性,具有重要的研究价值和实际应用前景。

山东黄河水文数字孪生关键技术研究及应用

为实现黄河流域防汛“四预”功能,对河道洪水、漫滩演进等过程进行精准的动态化预测预报,构建山东黄河水文数字孪生示范平台,介绍数字孪生构建过程中的多源异构数据融合、水动力学模型构建等关键技术,重点阐述基于流体解算的漫滩仿真和仿真推演方法、三维模拟和动态可视化渲染、洪水演进推演可视化配置等,可动态展示漫滩河段槽蓄量、滩蓄量、淹没趋势等核心数据,自主生成区域洪水灾害影响仿真评估报告。关键技术主要应用于洪水灾害防御业务、水资源优化配置及管理、水利工程全周期管理、河湖保护治理等领域,服务黄河防汛抗旱指挥、河道各级主管等部门,助力新阶段水利高质量发展。

高职数学教育数字化转型研究与实践

本文分析了高职数学教学的现状及存在的问题,探讨了基于人工智能技术的高职数学教育数字化转型的支撑平台建设,首先提出在支撑平台中如何融入人工智能等新技术以实现智能化匹配和推荐,融入感知和诊断等功能,帮助学生进行个性化学习;然后讨论了如何通过数字化转型优化高职数学课程管理模式,针对教学的全样本进行诊断,再从教与学两个方面探讨数字化如何赋能,如何助力教师成长,如何帮助学生实现自适应自主化学习。最后分析了具体院校高职数学数字化转型的实践。

基于模糊数学的多源异构数据融合模型

针对多源异构型数据来源复杂、结构特殊,导致其融合难度较大的问题,为提升数据融合效率与准确性,提出一种基于模糊数学的多源异构数据融合模型.首先,利用联邦加权平均融合策略,整合从各传感器传输至数据级融合层中的元数据,得到数据级融合结果;其次,结合主成分分析法与典型相关分析法,提取出由网络本体语言统一后数据的特征,完成特征级数据融合;再次,根据模糊数学理论建立、更新模糊规则库,通过决策融合算法,得到决策级融合结果;最后,将上述不同层级的数据融合结果结合建立数据融合模型,得到最终的数据融合结果.实验结果表明,该方法的最大协方差值和绝对误差值不超过0.15,最短融合时间仅为12.6 ms.该方法的融合精度和稳定性较好,时效性与抗扰性均具有显著的优越性.

情报研究中多源异构数据的小算力聚合及应用研究

[目的/意义]探索采用低能耗、高效率的算力,应对情报研究中处理语义环境高复杂、知识边界不确定、信息博弈强对抗、数据样本稀疏为主要特征的多源异构数据聚合面临的挑战。[方法/过程]剖析在大数据、人工智能技术快速发展背景下,多源异构数据、小算力、聚合等数据处理相关的概念内涵及其情报研究发展趋势,基于I/O模型和数据流转换分析人机混合增强算力作用路径及其支撑数据价值实现的层次,提出情报研究中人机混合增强算力的多源异构数据聚合模式(MHDAM-HAC),并以动态情报研究业务为对象进行实例应用。[结果/结论]技术领域发展状态概要画像、聚焦某类技术主题挖掘发现隐含知识的两个实例,验证了所构建的多源异构数据的小算力聚合模式可以有效改善情报研究工作面临的问题,实现一部分情报生成过程的可重现,并促进情报研究的新发现,可作为新实践当中的实现方式。

融合多源异构在线评论的开放式创新社区创意采纳预测研究

整合内外部创新资源以获得市场优势一直是企业关注的问题,这是因为企业的创新能力直接决定了企业的兴衰成败。已有的以在线评论为数据源预测开放式创新社区中创意采纳的研究主要依靠单一的文本特征。基于启发式系统性说服理论,本文提出了一种新的开放式创新社区创意采纳预测模型。该模型在基于信任转移理论和价值共创理论基础上,归纳了多源异构在线评论的定义,并从启发式评论者特征、启发式评论特征和系统性评论特征3个层次特征来描述创意。此外,还引入图注意力网络实现了3个层次创意特征的融合。本文从真实的开放式创新社区收集了数据集,验证了本文模型及其各个特征,该模型准确预测创意采纳的综合性能大约在97%,图模型特征融合后的分类预测结果优于传统的机器学习分类算法。研究结果不仅证明了图模型在特征融合中的有效性,而且从融合评论特征和评论者特征的角度,为创意采纳预测提供了方法和理论上的支持。

集合卡尔曼滤波与随机森林算法在异源遥感降水数据同化融合中的应用

为减小异源遥感降水产品的非均质误差,提出集合卡尔曼滤波(EnKF)联合随机森林(RF)的数据同化融合算法,选取长江流域5种遥感降水产品(ERA5、TerraClimate、GPM、TRMM和PERSIANN-CDR),在分析星地降水数据一致性的基础上,进行EnKF-RF数据同化与融合处理,并利用独立气象站点评估其精度。结果表明,异源产品在长江流域降水量捕捉精度为TRMM>GPM>TerraClimate>PERSIANN-CDR>ERA5;各产品经EnKF同化后的精度纳什效率系数N NSE增至0.93~0.96,均方根误差RRMSE降至89.48~176.03 mm,较未同化前的N NSE提升11.46%~22.34%、RRMSE减小96.35%~122.60%;RF融合进一步改进了单一源降水产品可靠性,融合后产品精度N NSE达0.99、RRMSE为43.56 mm;异源降水数据的EnKF-RF同化融合策略减少了单一源降水产品的误差,在长江流域乃至全球尺度具有较大应用潜力。

多源异构数据渐进式融合的虚假新闻检测

社交媒体平台上充斥着大量未经验证的信息,这些信息大多为不同来源的异构数据,其传播范围之广、速度之快,对个人和社会造成了严重危害。因此,有效检测和防范虚假新闻至关重要。针对当前虚假新闻检测模型局限于从单一数据来源获取新闻文本及视觉信息,导致新闻报道主观性较强、数据覆盖不全面的问题,提出了一种多源异构数据渐进式融合的虚假新闻检测模型。首先,进行多源异构数据的收集、筛选和清洗,由此构建了一个多源多模态数据集,其中包含关于每个事件的多个不同角度的报道;接着,通过将文本特征提取器和视觉特征提取器获取的特征输入多源融合模块,实现了不同来源特征之间的渐进式融合;同时,引入文本的情感特征和图像的频域特征,以实现多层次的特征提取;最后,采用软注意力机制进行特征集成。实验结果和分析表明,与已有的流行方法相比,所提模型有较好的检测效果,为大数据时代的虚假新闻检测提供了一种有效的解决方案。

跨院区分布式医疗数据采集融合平台设计与实现

目的 解决区域性数据中心或多院区医疗机构进行跨院区数据采集、融合所面临的突出困难。方法综合运用全增量无缝衔接、数据变更捕获、一致性比对、容错机制及带宽优化等关键技术,设计了数据汇聚部署、同步组织、管理控制等平台功能模块。结果 构建了分布式数据采集融合平台,解决多源异构数据归一性、完整性和保鲜性问题,实现跨院区、跨系统、跨领域的医疗数据实时汇聚融合。结论 分布式数据采集融合平台支持区域性数据中心或多院区医疗机构对医疗、管理、科研等方面数据价值进行挖掘,对满足全量实时贴源数据的迫切需求进行有效的技术性探索。

面向多源异构数据的个性化搜索和推荐算法综述

高效精准的个性化搜索、推荐等服务可为人们生产生活带来极大便利,而随着互联网技术的迅猛发展,面向多源异构数据的个性化搜索和推荐任务逐渐变得日趋复杂,也是当前大数据分析及个性化服务领域的研究热点和难点.个性化搜索和推荐算法广泛收集多源异构数据,获取用户偏好信息,利用各类机器学习、深度学习等技术,构建用户兴趣偏好模型,预测用户偏好,推荐满足用户个性化需求和偏好的项目或内容,提升用户的使用体验和网站平台的商业利益.本文介绍面向多源异构数据的个性化搜索问题的数学描述,综述面向多源异构数据的个性化搜索和推荐算法的相关研究工作,包括:传统个性化搜索和推荐算法、融合多源异构数据的个性化搜索和推荐算法以及动态个性化搜索和推荐算法等相关研究现状,整理了算法常用数据集、性能评价指标及评估体系,进一步阐明了目前面向多源异构数据的个性化搜索和推荐方法的实际应用场景及今后研究的发展方向,并讨论了存在的不足及所面临的严峻挑战,期望为相关领域的研究人员提供有益帮助.