基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。

基于Kettle的医院多源异构数据采集应用案例分析

通过分析医院信息化建设中的多源异构数据采集上报问题。利用开源ETL工具Kettle,将医院需要上报数据定时抽取、转换到DMZ区前置服务器,再通过VPN传输到上报平台。通过实际案例分析可以看出,在医院数据采集和上报工作中,Kettle不仅可以支持关系型数据库Oracle、SQL Server、MySQL等,还能很好地支持后关系型数据库Caché。Kettle友好的用户图形界面化操作、高效稳定的数据处理功能、多源异构数据采集功能等可以优化医院数据采集流程,提高医院各种数据的上报效率。

多源异构数据和注意力门控机制的小麦产量预测

针对传统的单模态数据预测小麦产量存在精度不高的问题,提出一种结合多源异构数据和注意力门控机制的小麦产量预测方法。首先引入了特征级的门控策略,来捕获每个模态内部特征的信息变化;然后利用神经网络评估每个模态内的置信度分数,并构建模态间的有效信息获取模块;最后设计了基于Transformer的空间和通道注意力门控机制模块,将不同模态之间的有效信息进行充分的融合,从而获得最佳的预测特征表示。实验结果表明,所提方法与传统方法相比具有更高的预测精准度,RMSE和MAE分别仅为809kg/hm^(2)和522kg/hm^(2),R^(2)则达到了0.806,通过对河南省近10年的小麦产量进行预测,得到的三项评价指标均相对稳定,且展现出了较强的鲁棒性。消融实验也验证了该方法中的不同组件均能有效提高小麦产量的预测精度,可为相关部门制定保障粮食安全管理决策提供有力的数据支持。

基于剪枝处理的多源异构数据双挖掘仿真

多源异构数据可能来自不同领域、不同格式和不同质量的数据源,处理难度较大,针对多源异构数据难以精准挖掘的问题,提出基于决策树分类的多源异构数据挖掘算法。构建决策树划分数据属性,对初始决策树实施剪枝处理,得出多源异构数据属性集,提取出多源异构数据因子,获取粗略的数据挖掘结果。再使用深度学习算法进一步挖掘出其余数据中残存的多源异构数据,并对原始多源异构数据集实施二次挖掘,将粗细挖掘结果整合后实现多源异构数据挖掘。实验结果表明,所提算法的F1值较高,泛化误差较低,数据挖掘性能较强。

基于智慧计量实验室的多源异构检测数据智能提取技术研究

文章在解决智慧计量实验室中多源异构检测数据的提取与处理问题,对计量实验室检测数据类型和异构类信息提取面临的问题进行分析,提出基于图像处理的检测数据提取技术路线;设计了一种基于可微分二值化网络(differentiable binarization networks,DBNet)和卷积循环神经网络(convolutional recurrent neural network,CRNN)的检测数据智能提取技术,实现了对多源异构数据的自动检测、识别和提取。在此基础上,研制了多源异构检测数据智能提取装置,并进行了验证,结果表明,该装置能够有效地提取纸质报告或表单中的检测数据等关键信息,具有较高的准确性和较快的响应速度,为智慧计量实验室的数据管理和分析提供了有力支持。该研究对于推动智慧计量实验室的建设和试验检测数据应用具有重要意义。

基于多源异构信息融合的采摘机械臂驱动控制研究

[目的]为了准确感知采摘机械臂的作业信息,提高驱动控制精度,需要对多自由度采摘机械臂的驱动控制模块进行优化设计。[方法]本研究将采摘机械臂各关节自由度、运动学以及动力学原理融合到设备结构中,完成了多自由度采摘机械臂等效模型的构建。基于构建的等效模型,确定多源传感器设备的安装位置,利用内部安装的传感器设备对机械臂的实时运行信息进行采集,获取位姿信息。同时,根据传感器的空间位置及其相互之间的作用进行信息分群,得出信息级融合结果,以此作为特征级信息融合结果的输入值,提取多源异构信息特征,并通过特征匹配完成融合操作,由此得出任意时刻采摘机械臂运行参数的检测结果。[结果]结合给定的采摘任务,计算采摘机械臂所需的驱动动力以及位姿数据,通过与当前数据的比对确定驱动控制量,利用装设的驱动控制器生成可执行的控制指令,完成驱动控制。与2种对照方法进行的对比试验显示,基于多源异构信息融合的驱动控制方法采摘机械臂的位置控制误差降低约25 mm,姿态角与驱动力控制误差分别降低了0.22°和6.32 mm,得出的控制数据更精准。[结论]由于多源异构信息融合技术能够发挥多种数据的优势,获取到更全面、更准确的位姿信息和控制数据,能够实现对目标果实的精准采摘,从而降低了采摘工作对果实的伤害,具有明显的对比优势和应用价值。

多源异构数据融合关键技术与政务大数据治理体系

随着信息技术的飞速发展,各级政府和大型企业掌握的数据量正在以指数级别增长。然而,数据来源多样会导致格式差异,数据质量参差不齐会影响应用效果,数据分散管理会弱化关联汇集,数据形态异构会造成语义鸿沟。在此背景下,多源异构数据融合负责将来源不同的多模态数据进行有效整合,完成数据互补与关联,进而实现信息增强。目前,大多数已有研究的关注重点集中在大数据治理流程与多模态深度学习,很少有工作研究讨论完整的多源异构数据融合技术框架。因此,在综述关键技术的基础上,文中提出了一整套涵盖“数据引接-数据清洗-数据集成-数据融合”全过程的多源异构数据融合关键技术框架,并对各个环节需要解决的问题与重点任务进行介绍。然后,通过一个政务应用实例场景,给出了政务大数据治理体系的设计,以解决政务数据来源广泛、质量参差不齐、管理分散、形态异构的问题,并进一步阐述了多源异构数据融合的重要价值。最后总结全文并展望未来。

基于正则化回归的物联网海量多源异构数据处理方法

针对现行方法在物联网海量多源异构数据处理中应用效果不佳的问题,提出基于正则化回归的物联网海量多源异构数据处理方法。先收集物联网数据生成多源异构数据集,并对数据进行预处理;然后采用混沌遗传算法对物联网海量多源异构数据进行填补;最后利用正则化回归对物联网数据进行滤波,消除数据中的高频分量,实现物联网海量多源异构数据处理。经实验证明,所设计方法的数据失真率不超过0.2%,全频域内信号幅值得到了有效降低,所设计方法在物联网海量多源异构数据处理方面具有良好的应用前景。

物联网中多源异构数据安全漏洞检测技术研究

物联网环境下,由于传感器所采集的数据不同,所以存在多源异构数据群;同时,相关数据的安全标准不同,存在较大安全隐患。为了解决现有数据安全漏洞检测技术在物联网环境下漏报率高、挖掘效果差的问题,对物联网中多源异构数据安全漏洞检测技术进行了研究。根据异构信息物联网络建立不同类型的节点模型,完成多源异构数据级融合。引入类别权重参数设置空间异构标签,通过动态调整方式使不同的异构数据按照边缘分布自适应的条件进行分布,实现域适应的动态异构特征转换;对样本降维、分类、归一化处理后,运用多层感知方式提取数据安全特征,实现多源异构数据的安全漏洞检测。实验结果表明:所提方法的检测漏报率低于4%,面对不同类型的漏洞挖掘效果均在90%以上,该方法具有良好的检测效果。

基于MPP数据库的多源异构数据分布式集成平台构建

对多源异构数据进行集成,是实现数据共享、打破“信息孤岛”的关键。运用分布式并行计算技术,对基于 MPP 数据库的多源异构数据分布式集成平台的构建进行分析研究,文章分析了多源异构数据集成的发展动态,阐述了 MPP 数据库基本架构及运行机制,分四个层次设计了基于 MPP 数据库的多源异构数据分布式集成平台的框架结构,并对数据规划进行了分析。为多源异构数据分布式集成的实践应用提供了方法和思路上的借鉴。

多源异构显示系统一体化控制机制设计与实现

随着显示系统组成的复杂度越来越高,在实际应用中从图像源选取到最终显示往往采用人工操作方式完成,自动化程度较低。对多类型图像源和多级视频传输设备组成的复杂显示系统的图像选取投送显示自动化技术进行研究,并设计一种多源异构显示系统一体化控制机制,结合显示系统结构特点进行图像源区、传输区和显示区接口设计,在此基础上进行设备连接配置、显示窗口规划和显示自动控制流程设计,实现了多种图像源定制化自动投送显示。

基于模糊数学的多源异构数据融合模型

针对多源异构型数据来源复杂、结构特殊,导致其融合难度较大的问题,为提升数据融合效率与准确性,提出一种基于模糊数学的多源异构数据融合模型.首先,利用联邦加权平均融合策略,整合从各传感器传输至数据级融合层中的元数据,得到数据级融合结果;其次,结合主成分分析法与典型相关分析法,提取出由网络本体语言统一后数据的特征,完成特征级数据融合;再次,根据模糊数学理论建立、更新模糊规则库,通过决策融合算法,得到决策级融合结果;最后,将上述不同层级的数据融合结果结合建立数据融合模型,得到最终的数据融合结果.实验结果表明,该方法的最大协方差值和绝对误差值不超过0.15,最短融合时间仅为12.6 ms.该方法的融合精度和稳定性较好,时效性与抗扰性均具有显著的优越性.

情报研究中多源异构数据的小算力聚合及应用研究

[目的/意义]探索采用低能耗、高效率的算力,应对情报研究中处理语义环境高复杂、知识边界不确定、信息博弈强对抗、数据样本稀疏为主要特征的多源异构数据聚合面临的挑战。[方法/过程]剖析在大数据、人工智能技术快速发展背景下,多源异构数据、小算力、聚合等数据处理相关的概念内涵及其情报研究发展趋势,基于I/O模型和数据流转换分析人机混合增强算力作用路径及其支撑数据价值实现的层次,提出情报研究中人机混合增强算力的多源异构数据聚合模式(MHDAM-HAC),并以动态情报研究业务为对象进行实例应用。[结果/结论]技术领域发展状态概要画像、聚焦某类技术主题挖掘发现隐含知识的两个实例,验证了所构建的多源异构数据的小算力聚合模式可以有效改善情报研究工作面临的问题,实现一部分情报生成过程的可重现,并促进情报研究的新发现,可作为新实践当中的实现方式。

融合多源异构在线评论的开放式创新社区创意采纳预测研究

整合内外部创新资源以获得市场优势一直是企业关注的问题,这是因为企业的创新能力直接决定了企业的兴衰成败。已有的以在线评论为数据源预测开放式创新社区中创意采纳的研究主要依靠单一的文本特征。基于启发式系统性说服理论,本文提出了一种新的开放式创新社区创意采纳预测模型。该模型在基于信任转移理论和价值共创理论基础上,归纳了多源异构在线评论的定义,并从启发式评论者特征、启发式评论特征和系统性评论特征3个层次特征来描述创意。此外,还引入图注意力网络实现了3个层次创意特征的融合。本文从真实的开放式创新社区收集了数据集,验证了本文模型及其各个特征,该模型准确预测创意采纳的综合性能大约在97%,图模型特征融合后的分类预测结果优于传统的机器学习分类算法。研究结果不仅证明了图模型在特征融合中的有效性,而且从融合评论特征和评论者特征的角度,为创意采纳预测提供了方法和理论上的支持。

融合多源异构数据的图卷积神经网络混合推荐模型

推荐系统可以让用户在海量数据环境下挑选出自己真正需要的内容,为更全面地反映用户个人偏好,提高推荐的准确度,本文提出一种融合多源异构数据和图卷积神经网络的混合推荐模型(MHDGCN)。该模型融合用户评分和评论等用户-项目交互数据,先将其转化为特征向量,然后将特征向量使用图卷积神经网络进行聚合和加权;接着采用Transformer重新分配聚合后的权重系数;最后将聚合后的特征向量优化相关参数得到推荐结果。经在真实数据集上的对比实验,MHDGCN在准确率、召回率、平均倒数排名(Mrr)、命中率和归一化折损累计增益(NDCG)5个指标上均优于基线方法,验证了模型的有效性,提升了推荐模型的推荐性能。

多源异构数据渐进式融合的虚假新闻检测

社交媒体平台上充斥着大量未经验证的信息,这些信息大多为不同来源的异构数据,其传播范围之广、速度之快,对个人和社会造成了严重危害。因此,有效检测和防范虚假新闻至关重要。针对当前虚假新闻检测模型局限于从单一数据来源获取新闻文本及视觉信息,导致新闻报道主观性较强、数据覆盖不全面的问题,提出了一种多源异构数据渐进式融合的虚假新闻检测模型。首先,进行多源异构数据的收集、筛选和清洗,由此构建了一个多源多模态数据集,其中包含关于每个事件的多个不同角度的报道;接着,通过将文本特征提取器和视觉特征提取器获取的特征输入多源融合模块,实现了不同来源特征之间的渐进式融合;同时,引入文本的情感特征和图像的频域特征,以实现多层次的特征提取;最后,采用软注意力机制进行特征集成。实验结果和分析表明,与已有的流行方法相比,所提模型有较好的检测效果,为大数据时代的虚假新闻检测提供了一种有效的解决方案。

面向回收信息的线上线下多源异构数据融合系统

资源循环利用产业的废旧产品回收过程中多系统协同工作会产生大量多源异构数据,针对废旧产品线上线下回收信息难以融合并有效利用的问题,提出了一种面向回收信息的线上线下多源异构数据融合系统。首先,系统采用Web API接口实现线上线下多源异构数据的数据接入,通过数据解析、数据清洗及数据转换等步骤完成对多源异构数据的预处理。其次,针对现有基于聚类分析的数据融合方法在融合过程中往往还需预先指定聚类簇数的问题,提出了一种基于多目标聚类的融合方法,以在融合过程中自动确定聚类簇数。通过对预处理后的数据进行特征选择、标签编码、数据转换和归一化处理,结合多目标聚类算法完成对部分典型数据的特征提取与聚类,并对全量及增量数据进行基于欧氏距离的数据匹配。最后,系统采用了基于MyCat中间件及MySQL主从复制的分布式数据库方案,以实现融合数据的存储与共享交换。测试表明,该数据融合系统可以实现对废旧产品线上线下多源异构回收信息的数据融合及共享交换,同时,相比基于K-Means的数据融合方法,所提出的基于多目标聚类的数据融合方法在不同数据集上都能够自动确定最优聚类簇数,并且能够获得不差于K-Means融合方法的簇内紧密性和簇间分离性。

基于图神经网络的多源异构知识增强对话模型

为解决当前开放域对话系统中端到端模型在生成响应时存在的相关性低、多样性不足的问题,提出了一种多源异构知识增强对话生成模型(multi-source knowledge-enhanced dialogue generation framework,MSGF)。该模型通过整合多个不同的知识源,提高了与对话背景信息相关的知识覆盖率,并采用全局知识选择模块解决不同知识源之间的主题冲突问题,来避免对话主题含义混淆。此外,该模型还引入了融合预测模块,通过获取不同的知识源中的信息来生成响应。实验结果表明,与同类其他模型相比,MSGF模型在性能上具有明显优势,具有更全面的知识覆盖,生成的响应主题相关性更高。可见,所提出的MSGF模型能够很好地理解对话内容,并显著提升对话系统的性能。

基于多源异构数据融合的造价数据与GIM模型挂接方法

针对电网工程构件的GIM模型无法包含造价分析所需要的所有信息,导致造价分析精度及效率较低的问题,提出了一种基于多源异构数据融合的造价数据与GIM模型的挂接方法。该方法建立了电网工程GIM构件属性集和造价数据库,并从中提取出构件本体来实现GIM构件到本体间的映射以及造价数据到本体间的映射关系,进而完成多源异构的造价数据与GIM模型间的挂接。仿真实验及分析结果表明,所提方法能够大幅节省造价分析人员的查询和计算时间,从而提高电网工程造价分析与管理的效率。

面向多源异构数据的个性化搜索和推荐算法综述

高效精准的个性化搜索、推荐等服务可为人们生产生活带来极大便利,而随着互联网技术的迅猛发展,面向多源异构数据的个性化搜索和推荐任务逐渐变得日趋复杂,也是当前大数据分析及个性化服务领域的研究热点和难点.个性化搜索和推荐算法广泛收集多源异构数据,获取用户偏好信息,利用各类机器学习、深度学习等技术,构建用户兴趣偏好模型,预测用户偏好,推荐满足用户个性化需求和偏好的项目或内容,提升用户的使用体验和网站平台的商业利益.本文介绍面向多源异构数据的个性化搜索问题的数学描述,综述面向多源异构数据的个性化搜索和推荐算法的相关研究工作,包括:传统个性化搜索和推荐算法、融合多源异构数据的个性化搜索和推荐算法以及动态个性化搜索和推荐算法等相关研究现状,整理了算法常用数据集、性能评价指标及评估体系,进一步阐明了目前面向多源异构数据的个性化搜索和推荐方法的实际应用场景及今后研究的发展方向,并讨论了存在的不足及所面临的严峻挑战,期望为相关领域的研究人员提供有益帮助.