基于Lustre文件系统的海量暂存COMTRADE数据分布存储模式

研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和使用效率。实验数据表明该模式具有较高的I/O性能,能够满足目前和未来海量电力数据的高速存储管理需求。

海量COMTRADE数据并行解析算法

针对电力系统暂态监测数据向海量化发展的趋势,以及对各种串行编程分析软件造成的计算压力,研究了一种基于多核的、采用流水线设计思想的海量电力系统暂态数据交换通用格式(COMTRADE)数据文件并行解析算法。在面向二进制格式的并行解析算法中,采用了2阶段的流水线步骤:第1阶段为文件读取;第2阶段为多线程解析。在面向美国标准信息交换码(ASCII)格式的并行解析算法中,采用了3阶段的流水线步骤:前2个阶段与二进制格式的并行解析算法一样,第3阶段为块边缘解析,打破了传统的串行文本解析算法。算法通过有效利用以往被忽视的数据文件中的序号信息,大幅提升了并行解析的并行度。试验证明此算法可获得相当高的加速比,并且可随着CPU核数的增加和COMTRADE数据文件的加大获得线性加速比。

基于递推算法的海量COMTRADE数据计算并行化

针对海量暂态数据交换通用格式(COMTRADE)数据计算时,由于基础算法和串行编程造成的效率瓶颈,经过试验和改进,优选出了可适应快速计算的递推全波离散傅里叶算法、加窗递推全波离散傅里叶算法和能滤除直流分量的可递推算法。在这3种递推算法的基础上,提出了海量通道数据计算并行化框架,此框架为避免伪共享效应所引起的效率损失,在每个计算线程内对参与计算的每个通道提供了一个独立的"通道高速缓存队列",并提供基于下标映射的虚拟块数据访问机制,形成递推算法可直接访问的窗口数据映射块。试验证明,此递推算法和并行化框架相结合可大幅提升计算效率,并且可随着CPU核心数的增加和计算数据量的加大,获得线性加速比。

UN Comtrade数据共享平台设计与实现

UN Comtrade(United Nations international trade statistics database)是全球最大且应用最为广泛的国际贸易数据库,具有高权威性与完整性.本文在框架体系结构设计与数据表结构设计基础上构建UN Comtrade数据共享平台,以期为地理学研究提供数据与工具支撑.在数据聚合策略方面,平台通过综合集成数据爬取、加载模块并嵌套多种错误修正方法,实现5亿多条商品贸易记录的动态高容错聚合.在检索策略方面,平台通过分区复合索引提升数据检索指令执行效率与可扩展性.检索试验表明,平台能够在80用户并发模式下稳定执行不同类型检索指令,并且通过调用ODBC/JDBC接口将计算过程融入检索任务,可以更加有效利用服务器端资源并节省数据传输与读写耗时,具有效率更高、简化数据处理过程等优点.2017年平台被应用于中-美商品显性比较优势特征检索-计算-格网化表达-对比分析,案例表明平台具有高效、稳定的并发检索效率,以及高可扩展性等优点,可以为贸易特征计算与分析提供便捷快速、形式多样的数据共享服务.

面向IEEE COMTRADE格式的海量录波数据并行压缩/解压算法

提出了一种直接面向IEEE COMTRADE格式的海量故障录波数据并行压缩/解压算法。算法给出了COMTRADE数据文件中时间信息无损恢复公式,提出了针对状态量数据的优化RLE编码。对高频模拟量数据采用提升格式小波变换,用硬阈值量化后采用基于LZ77和Huffman混合熵编码的Deflate算法进行压缩,而对低频模拟量数据采用RLE编码。为有效分批压缩COMTRADE数据文件,提出了一种基于高频模拟量数据最佳小波分解层数下的最少补零的数据划分算法。映射到不同CPU核心的压缩/解压线程通过竞争通道序号获取计算数据。简述了压缩文件格式及其采用的变长存储和访问技术。试验证明此算法可获得大压缩比,并且可随着CPU核心数的增加和COMTRADE文件的增加,获得线性加速比。

数据要素流通与安全的研究范畴与未来发展趋势

针对数据从信息技术时代的受控共享向数据技术时代的数据要素泛在流通演化的趋势,分析了数据共享与数据要素流通的差异,阐述了什么样的数据才能成为数据要素,提出了数据成为数据要素所必须具有的6个属性,定义了数据要素流通模型及主要环节,明确了数据要素流通的研究范畴,梳理了数据要素流通研究范畴的相关概念,厘清了研究范畴所涵盖的关键核心技术,并对未来需要突破的关键技术进行了展望。

面向多模态数据的新型数据库技术专题前言

以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据等.这要求数据库系统能够同时高效地管理多种不同类型的数据.多模态数据管理与分析成为亟需解决的问题.目前的方法主要通过拓展现有的数据库或通过集成各种不同模态数据管理引擎来支持多模态数据管理与分析,缺少新颖的理论、方法与技术的支撑.本专题围绕多模态数据管理与分析的整个生命周期,通过结合大数据技术和人工智能方法探讨新型数据库系统理论、方法和技术,包括多模态数据统一建模、存储与索引、查询与挖掘、并发控制、多模态数据库系统构建及其典型应用等主题,赋予数据库系统新的管理能力,形成多模态数据管理与分析在各行各业的最新应用成果.

教育场景驱动的高校数据治理

教育数字化转型的重要任务之一是通过数据治理提高教育治理能力,当前数据治理呈现出场景化和智能化的趋势,但是以管理和标准为核心的静态治理理念难以适应应用场景的数字化转型和创新。该文首先从数据治理的视角探讨了教育场景的概念和特征,然后分析了当前高校教育场景数据治理中存在的数据不够“大”、数据不够“好”、数据未尽其“用”三个核心问题,提出高校教育场景驱动的数据治理方法和治理流程,教育场景中的原始数据经过数据资产化、数据标准化、数据要素化三个关键环节演化为具有计算属性、组织属性和教育属性的场景数据资产,作为关键要素进入到教育教学过程中,从而形成良性循环的数据资产生态,充分发挥数据资产的教育价值。

新型电力系统数据跨域流通泛安全边界防护技术

新型电力系统建设涉及多业务系统、多部门、多方主体间进行海量、异构数据的交互和共享,电力数据的内外部网络环境与安全形势日趋复杂化,数据流通的脆弱性风险加剧。首先,分析新型电力系统下数据流的类型与特性,概括电力数据流通安全防护面临的新形势;其次,基于专用数据处理器(DPU)的高性能流量编排和多功能安全网关能力,构建面向电力数据跨域流通安全增强的泛安全边界,凭借数据面可编程技术沟通网络安全与数据安全双维度安全能力,提出基于DPU的数据跨域流通协同防护技术应用方案;最后,阐释DPU在不同电力通信网络层次的部署方式、价值与关键技术,分析现阶段DPU在电力领域应用存在的挑战。

数据要素在医疗健康领域的内涵、价值与应用

十七部门联合发布的《“数据要素×”三年行动计划(2024—2026年)》引发了社会的广泛关注。本文首先探讨医疗健康领域数据要素的本质、分类及其重要性。在此基础上,提出促进医疗健康数据融合创新的关键策略,包括通过技术赋能医疗健康数据的采集,推动医疗健康数据的整合与标准化工作,促进医疗健康数据的开放和共享,以及加强对医疗健康数据的安全保护。

数字化铀矿勘查服务平台数据资源共享与安全策略

随着“数字核工业”建设的全面铺开,数据资源成为铀矿地质勘查业务中不可或缺的核心生产要素。核工业北京地质研究院基于开源软件架构,研发了基于统一架构、研产一体的“数字化铀矿勘查服务平台”,该平台是基于各类实用型软件功能和丰富的勘查数据资源开展数据共享与应用,在铀矿地质勘查工作中提高勘查效率和准确性的一种服务型软件系统。为了满足铀矿地质勘查不同类型的数据及服务需求,建立了一套较为健全的数据资源和服务体系,提供了一批基础地质、铀矿勘查物化探等相关数据资源,并严格划分数据权限和用户权限,实现根据数据所有权划分审批权限的功能。同时,在国家网络安全和信息安全的要求下,开展了数据安全策略研究,以保障平台安全稳定运行。面向四代勘查项目,面向铀矿地质勘查领域,初步构建了“快速存储、方便查询、灵活调用、共享发布、动态更新、分析应用”的数据资源管理、共享和应用服务平台。

政府数据开放到公共数据开放的嬗变

[目的/意义]分析政府数据开放到公共数据开放的嬗变有利于数据开放活动的健康发展,促进数据要素流通。[方法/过程]在梳理政府数据开放和公共数据开放两者关系基础上,从创新扩散理论出发分析嬗变的三维度表现及嬗变动力。[结果/结论]嬗变动力共有技术、组织和环境三个维度下的9个关键驱动因素,并提出了6个嬗变的趋势。

企业数据权益论

企业对其生产和处理的数据享有的利益应受法律保护,然而现行的物权法、合同法、知识产权法和反不正当竞争法等民事法律制度都不足以实现对企业数据的全面保护,故应当确立企业对其数据享有一种独立的、新型的财产权,即企业数据权益。企业数据权益的确权应当采取单一路径,不应区分数据、数据资源和数据产品或数据的生产与流通而分别确权。企业对其数据享有的权益具有排他效力,但是该排他性受制于数据上其他参与方的权益,即个人信息权益及数据来源者权利。数据资源持有权、数据加工使用权和数据产品经营权并非是企业数据权益的内容,企业对其数据享有的权益的内容仍应从占有、使用、收益和处分等方面加以界定。

我国地方数据政策体系的构建进展与展望

[目的/意义]研究我国地方数据政策体系的构建情况,旨在明确各地数据政策制定的进展与提点,进而推动政策体系的优化建设。[方法/过程]对31个省级政府的数据政策进行统计,并采用文本分析法梳理政策的总体内容框架,基于此,对比与解析政策内容的地区差异。[结果/结论]我国地方数据政策的发布可划分为国家信息化发展时期、大数据发展时期以及数据要素市场化时期三个阶段;政策总体内容框架包含数据基本内涵、数据资源建设、数据共享、数据开放、数据资产化、数据安全6大要点;不同地区涵盖上述政策要点的程度不同,也显示了我国数据政策在地方层面的特点。由此,我国地方数据政策需进一步面向多元数据对象、多层数据行动、多元责任主体,实现内容的体系化建设,并为国家数据政策体系的优化发展提供参考。

国内数据资产研究现状和研究前沿分析

为了解数据资产领域的研究现状,探索其研究热点和前沿,文章使用CiteSpace软件,从发文时间、作者、机构以及关键词等角度对数据资产领域进行可视化分析,研究对象为2004—2021年CNKI数据库中的中文相关文献。研究发现:随着社会的发展,对“数据资产”这一主题的关注度逐渐提高,但该领域的研究仍处于初级阶段,研究体系还不够成熟,该领域具有一定的研究前景。在该领域中,发文机构合作和作者合作已成为常态,但机构合作多局限于同一地区,而发文作者在机构内部和机构外部均有合作。关键词的聚类结果反映出数据资产化和数据治理及应用研究是该领域当前的热点。关键词突变分析结果表明,数据资产的定义、核算范围、估价方式以及管理成为研究重点,然而数据资产定义不一、确权困难、划分范围不明确以及估价方式繁多等问题为数据资产的研究带来困难。

基于扎根理论的政府开放数据价值影响因素研究

[目的/意义]政府开放数据价值是数字经济情境下个体数据行为嬗变的反馈性标志。从政府开放数据使用者视角识别其价值要素,对于促进政府数据管理水平,提升数据交易常态化具有理论和实践意义。[方法/过程]利用会议、访谈与网络数据获取原始资料,结合扎根理论,构建“三维—多层”的数据价值影响因素模型,涵盖121个初始概念、30项范畴和9项主范畴,各领域受访者共33位。[结果/结论]个体感知数据价值影响因素主要涉及需求、进路、市场化三个维度,综合考察各项主范畴,针对数据价值的内在关联以及外部机制,可以提炼出直接、间接、跨层、双元4种关系结构。这个过程在理论上弥补了传统政务体系下政府开放数据与个体需求二元割裂之不足,延展了政府开放数据的价值使用行为与价值释放路径。

数据产权法律构造论

在数字经济环境中,数据已成为一种新型生产要素,需要更好地挖掘和开发其经济价值。数据不同于传统有体物以及知识产权客体的特征和属性使其在法律制度构建和运行上也具有特殊性。数据产权制度是数据基础制度的核心内容,其应涵盖保护数据主体合法权益、协调和平衡数据利益关系、促进数据有序流动和分享、促进数据要素利益公平分配等内容。数据产权的法律构造旨在建立数据资源持有权、数据加工使用权和数据产品经营权的数据动态流转和价值实现机制,最终服务于数字经济发展目标。

基于密度划分的分布式数据容错存储算法研究

为保证数据安全性,缓解数据存储空间,提出基于密度划分的分布式数据容错存储算法。过滤分布式数据高密度数据区域,将具有高度相似的目标划分到不同区域,通过数据来源样本点描述数据的密度分布,设定数据弹性,利用概率以及数据粒度推算出对应的存储梯度和强度指数,并在信息存储中引入数据存储梯度和数据弹性,完成分布式数据容错存储。实验证明,所提算法有较高的容错性,带宽吞吐量平稳,平均路径长度较小,能提高网络数据的安全性。

数据要素市场化配置的法治推进——兼论《数据二十条》相关条款设计

数据要素市场化配置的程度与水平决定了充分释放数据要素动能的程度,对加快数据产业链、价值链重构与转型升级意义重大。数据要素市场化配置的前提是明确数据产权归属,基础是构建统一开放的数据要素市场,发展是健全高效的定价机制,底线是保障数据要素安全发展。我国虽已明确了数据这一新型生产要素的重要地位,但相关法律尚未明确数据的产权归属,全国统一的数据要素市场尚未建立,数据要素定价机制尚未明确,数据要素市场交易与监管的边界也尚未清晰,所有这些阻碍了数据要素市场化配置的充分实现。故需立足数据要素市场的特征与现实,以数据产权结构性分置制度促进数据动态权属流动,构建统一开放的数据要素交易市场机制,同时厘清数据监管边界,保障数据要素市场安全发展,实现数据要素高水平、高质量、高效率的市场化配置。

公共数据进入数据要素市场模式研究

公共数据是数据要素市场的重要组成部分,其如何进入数据要素市场以及其参与数据要素市场的模式分为几类,学界对此少有研究。通过梳理和比较,深入挖掘国内外公共数据参与数据要素市场的模式类型,归纳得出公共数据进入数据要素市场有两大类、五种模式,包括一级市场(授权运营)+二级市场(场内交易)模式,公共数据开发利用+场外交易模式,依托数据平台构建公共数据流通市场模式,借助数据经纪商、数据中介的交易模式,以及通过(公共)数据信托参与数据市场模式等。在此归纳基础上,演绎出公共数据进入数据要素市场的理想模式,这一理想模式分为数据获取、数据产品生产、数据产品交易三个各有其独特特征的环节,可为我国公共数据进入数据要素市场的策略选择提供参考。