面向数据联邦的安全多方θ-连接算法

近年来,多个国家地区出台了一系列数据安全相关的法律,例如欧盟的《通用数据保护条例》等.这些相关法律法规的出台,加剧了各企业机构等多方之间数据共享难的数据孤岛问题.数据联邦(data federation)正是解决该问题的可能出路.数据联邦是指多个数据拥有方在不泄露各自原始数据的前提下,结合安全多方计算等隐私计算技术,联合完成查询任务的计算.这一概念已成为近年来的研究热点,并涌现出一系列相关的代表性系统工作,如SMCQL、Conclave.然而,针对关系数据库系统中核心的连接查询,现有数据联邦系统还存在如下问题:首先,连接种类单一,难以满足复杂连接条件下的查询需求;其次,算法性能低下,由于现有系统往往直接调用安全工具库,其运行时间与通信开销高昂.因此,针对以上问题进行研究,提出了数据联邦下连接算法.主要贡献如下:首先,设计实现了面向多方的联邦安全算子,能够支持多种运算;其次,提出了支持θ-连接的联邦连接算法与优化策略,显著减少了连接查询所需安全计算代价;最后,基于基准数据集TPC-H,验证了该算法的性能.实验结果表明,与现有数据联邦系统SMCQL、Conclave相比,该算法能够将运行时间和通信开销分别降低61.33%和95.26%.

面向多方安全的数据联邦系统

大数据时代,数据作为生产要素具有重要价值.因此,通过数据共享实现大规模数据的分析挖掘与利用具有重要意义.然而,近年来日益严格的隐私安全保护要求使得数据分散异质的多方之间不能任意共享数据,加剧了“数据孤岛”问题.数据联邦能让多数据拥有方在保护隐私的前提下完成联合查询.因此,基于“数据不动计算动”的联邦计算思想实现了一种多方安全的关系型数据联邦系统.该系统适配多种关系型数据库,能够为用户屏蔽底层多数据拥有方的数据异构性.系统基于秘密共享实现了支持多方安全的基础操作多方安全算子库,优化了算子的结果重建过程,提高了其执行效率.在此基础上,系统支持求和、求均值、求最值、等值连接和任意连接等查询操作,并充分利用多方特点减少各数据拥有方之间的数据交互,降低安全开销,从而有效支持高效数据共享.最后,在标准测试数据集TPC-H上进行实验,实验结果说明:与目前的数据联邦系统SMCQL和Conclave相比,该系统能够支持更多的数据拥有方参与,并且在多种查询操作上有更高的执行效率,最快可超越现有系统3.75倍.

数据仓库和数据联邦技术在信用信息资源存储和共享上的比较

信用信息资源是实现社会有序发展的重要内容,文章结合浙江省公共信用信息平台的实际情况,比较了数据仓库和数据联邦两种技术在信用信息资源存储和共享上的优劣势,对推动各地信用信息平台的建设具有重要的借鉴意义。

联邦服务:基于分布式数据共治的智能服务范式

随着数字化转型的加速,数据已成为驱动科技创新与经济增长的核心要素。然而,广泛存在的数据孤岛现象严重阻碍了跨领域、跨组织间的数据流通与合作,使得数据供应难以满足多样化的用户需求,数据的供需匹配面临严峻挑战。作为联邦生态的核心环节和对外赋能的重要窗口,联邦服务基于分布式数据共治原则,促进了跨领域、跨组织的数据流通与协同,为智能的供需匹配提供了一种有效的技术框架。首先,探讨联邦服务在联邦生态中的重要地位以及与联邦生态各环节的关系。其次,提出联邦服务的5层基本框架,并探讨其核心优势。在此基础上,提出联邦服务的关键支撑技术,主要包括区块链和去中心化自治组织与运营、大语言模型和场景工程、分布式计算和边缘计算、加密技术和隐私计算。最后,以数据与场景的供需匹配为应用案例,介绍联邦服务如何实现智能的供需匹配。提出的联邦服务理论与技术对于构建基于分布式数据共治的智能服务范式具有重要意义。

澳大利亚联邦档案数据治理体系特色及启示

澳大利亚联邦档案数据治理体系的核心特征包括:档案数据治理融入联邦政府整体数据治理,开展信息、数据与档案的融合性治理,建立治理主体及政策法规的协同关联,注重资产性风险管理理念。据此,文章提出对我国档案数据治理体系建设的启示:守正创新,提升档案部门数据治理能力;积极融入,主动参与国家数据治理体系;价值赋能,充分保障档案数据开发利用。

基于贡献度证明共识机制的去中心化联邦学习框架

在大数据背景下,保证数据可信共享是数据联邦的基本要求.区块链技术代替传统的主从架构,可以提高联邦学习(federated learning,FL)的安全性.然而,现有工作中,模型参数验证与数据持久化所产生的巨大通信成本和存储消耗,已经成为数据联邦中亟待解决的问题.针对上述问题,设计了一种高效的去中心化联邦学习框架(efficient decentralized federated learning framework,EDFL),能够降低存储开销,并显著提升FL的学习效率.首先,提出了一种基于贡献度证明(proof-of-contribution)的共识机制,使得区块生成者的选举基于历史贡献度而不采用竞争机制,从而有效发避免了挖矿过程产生的区块生成延迟,并以异步方式缓解模型参数验证中的阻塞问题;其次,提出了一种角色自适应激励算法,因为该算法基于节点的工作强度和EDFL所分配的角色,所以能够激励合法节点更积极地进行模型训练,并有效地识别出恶意节点;再者,提出一种区块链分区存储策略,使得多重局部修复编码块(local reconstruction code)可被均匀地分布到网络的各个节点上,进而降低节点的本地存储代价,并实现了较高的数据恢复效率;最后,在真实的FEMNIST数据集上,对EDFL的学习效率、存储可扩展性和安全性进行了评估.实验结果表明,EDFL在以上3个方面均优于主流的基于区块链的FL框架.

HLA联邦数据收集的研究与实现

数据收集是仿真过程中必不可少的一环 ,是分析仿真数据、得出仿真结果的前提。本文分别对HLA联邦的集中式和分布式数据收集方法进行了研究 ,并给出了相应的实现策略 。

在MIS系统中构建联邦数据库的解决方案

作为信息集成的方法之一,联邦数据库同时满足现代企业MIS系统对数据库自治性和信息共享的需求。在介绍了联邦数据库系统和复制机制后,提出了一种在MIS系统中构建联邦数据库的解决方案,该方案利用DBMS提供的复制机制实现数据库间的数据传输与共享,并以对等的方式实现联邦数据库,消除了数据交换中的性能瓶颈和安全隐患。

联邦及仿真数据管理

联邦数据管理借助产品数据管理的概念方法,对联邦开发运行过程所涉及的人员、数据及流程进行管理,以提高系统开发速度、降低成本提高质量。从联邦开发运行过程出发,从开发过程和运行过程两个阶段介绍了联邦数据管理的内容、技术途径和发展趋势,分析了数据的表示和数据之间的接口。并且从单个联邦的数据管理出发讨论仿真领域的基础数据管理和数据标准问题,以及如何在联邦数据管理基础上进一步实施联邦开发过程并行工程。

基于数据库联邦方式的多数据源集成检索系统

介绍了多数据源集成检索系统的产生背景和实现方式,分析了基于数据库联邦方式的多数据源集成检索系统的体系框架和异构问题,对国外的基于数据库联邦方式的多数据源集成检索系统进行了介绍和比较分析。

一种解决联邦数据库系统查询处理的模式转换方法

本文在分析联邦数据库系统成员异构的特点后，论述了一种基于输入／输出模式和概念模式的转换方法，通过该转换处理可以有效地解决模式异构的问题。这种方法已在ＳＵ－ＦＤＢＳ原型中实现。

联邦数据库查询处理的规则化及其性能分析

联邦数据库系统由异构分布且自治共享的成员数据库系统组成．联邦用户提交的查询事务不仅涉及本库数据，而且涉及异地多库数据．本文提出一种基于规则的联邦查询分解优化策略，可提高系统优化性能，使联邦事务处理规则化。

联邦式异构数据库应用系统的集成框架和实现技术的研究

现代的企事业单位，由于种种原因，往往并存有多个基于数据库的异构应用系统，从而造成企事业单位难以共享信息资源．为了解决企事业面临的这一问题，从信息集成的角度出发，提出了一种基于集成框架的数据集成新方法。并论述了数据映射、公共数据库接口及分布对象计算等数据集成的关键技术。

基于联邦数据库的数据集成体系研究

数据集成可分为实际存储方式和虚拟方式两种。联邦技术属于虚拟方式,是进行数据集成的有效途径之一。本文对"信息孤岛"和"应用孤岛"的形成原因进行了探讨,阐述了数据集成概念和联邦技术基本原理,分析了联邦技术的优缺点,并提出了基于联邦数据库的数据集成体系结构模型。

跨信任域的联邦k-支配Skyline查询算法

k-支配Skyline查询是一种主流的Skyline查询变种,其在多目标决策与推荐领域有着广泛的应用。随着这些应用规模不断扩大,在由多个参与方组成的数据联邦中进行跨域k-支配Skyline查询的需求日益旺盛。然而,由于数据联邦中的参与方之间彼此不互信,进行跨信任域的查询计算需引入大量安全操作,效率较低。为此提出了一种基于跨域隐私向量聚合的算法,从而实现高效的联邦k-支配Skyline查询,并运用一种密文压缩技术进一步优化查询效率,最后通过充分的实验验证了所提方案的优越性。

联邦数据库系统协商机制的设计和实现

联邦分布数据库系统支持异构自治和多库共享,为此,系统要解决的一个主要问题是协商机制的实现.本文论述了协商机制的结构、访问权限协商模型以及实现的主要步骤和技术,该机制具有灵活可扩充的联邦特点,可以方便地对系统进行剪裁.

基于联邦数据库的数据集成平台研究与改进

本文提出了在联邦数据库模式下增加全局映射模式来集成异构数据的方案,即通过映射规则建立自定义的全局逻辑数据库,实现逻辑数据库与关系数据库数据之间的数据映射,解决异构数据库连接平台与子数据库的数据映射抽取问题。能够根据全局映射的逻辑数据库集成操作每一个子数据库。本文所提出的方案为联邦数据库增加了全局映射模式,是联邦系统的一种改进。

联邦数据库GD-MDBS的总体设计与模式集成

ＧＤ－ＭＤＢＳ是一个改进的基于泛关系的紧耦合型的联邦数据库系统。其主要特点是：１．基于泛关系理论，屏蔽各成员数据库模式的差异，提供一个与实现无关的、逻辑上的数据库全局模式；２．提供Ｆ－ＳＱＬ联邦数据查询语言；３．采用三级客户机／服务器结构。本文主要讨论ＧＤ－ＭＤＢＳ的总体结构和模式集成。

基于联邦数据服务的企业级信息处理服务

针对当前企业级信息处理业务中普遍存在的问题,结合数据网格技术,提出一种新型的联邦数据服务FDSS。FDSS建立了联邦数据服务模型FDSM,提供对广域分布环境下异构企业信息的高效处理和透明管理,并通过本域数据服务和多域联邦数据服务实现信息资源的统一访问和跨域共享。FDSS适用于企业级信息处理平台的构建,可增强企业信息的处理与协同共享能力。

联邦式异构分布数据库的性能分析

从网络数据传输量和响应时间这两个性能因素出发，分析了联邦数据库管理系统（ＦＤＢＭＳ）原型系统ＳＵ－ＦＤＢＳ的运行性能。