面向多模态数据的新型数据库技术专题前言

以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据等.这要求数据库系统能够同时高效地管理多种不同类型的数据.多模态数据管理与分析成为亟需解决的问题.目前的方法主要通过拓展现有的数据库或通过集成各种不同模态数据管理引擎来支持多模态数据管理与分析,缺少新颖的理论、方法与技术的支撑.本专题围绕多模态数据管理与分析的整个生命周期,通过结合大数据技术和人工智能方法探讨新型数据库系统理论、方法和技术,包括多模态数据统一建模、存储与索引、查询与挖掘、并发控制、多模态数据库系统构建及其典型应用等主题,赋予数据库系统新的管理能力,形成多模态数据管理与分析在各行各业的最新应用成果.

互联网时代分布式关系数据库的有益探索

在实现分布式数据库的技术方案上,业界存在不同的选择.第一种方式需要对应用系统进行拆分,通过分库分表将原本单个数据库管理的数据分散到多个集中式数据库.分库分表方案要求应用系统重构,跨库访问效率较低,关系数据库的重要功能,如外键、全局唯一性约束.

基于网格近邻优化的密度峰值聚类算法

密度峰值聚类(DPC)将数据样本点的局部密度和相对距离进行结合,能对任意形状数据集进行聚类处理,但密度峰值聚类算法存在主观选择截断距离、简单分配策略和较高时间复杂度等问题。为此,提出了一种基于网格近邻优化的密度峰值聚类算法(KG-DPC算法)。首先对数据空间进行网格化,减少了样本数据点之间距离的计算量;在计算局部密度时不仅考虑了网格自身的密度值,而且考虑了周围k个近邻的网格密度值,降低了主观选择截断距离对聚类结果的影响,提高了聚类准确率,设定网格密度阈值,保证了聚类结果的稳定性。通过实验结果表明,KG-DPC算法比DBSCAN、DPC和SDPC算法在聚类准确率上有很大提升,在聚类平均消耗时间上DPC、SNN-DPC和DPC-NN算法分别降低38%、44%和44%。在保证基本聚类准确率的基础上,KG-DPC算法在聚类效率上有特定优势。

一种基于关联程度的高效用数量比频繁模式挖掘算法

高效用频繁模式挖掘算法运用数据项的重要度信息,能够从数据中挖掘出更重要的频繁模式,而高效用数量比频繁模式挖掘算法可以进一步研究频繁模式中数据项的数量比例关系,是目前数据挖掘领域中的研究课题。从提高算法性能和实用性的角度出发对高效用数量比频繁模式挖掘算法进行优化,提出了一种基于关联程度的高效用数量比频繁模式挖掘算法RHUQI-Miner。RHUQI-Miner首先提出关联程度的概念,依据关联程度构建项目关联程度结构,并给出关联剪枝优化策略,寻找关联程度更高的项目集合,减少冗余和无效的频繁模式;随后运用修正模式长度策略,修正挖掘过程中项集的效用信息,使算法可根据实际数据情况控制输出频繁模式的长度,进一步提升算法的性能,提高算法的实用性。通过对RHUQI-Miner在动车组PHM系统车载故障数据集上的实验结果进行分析,表明该算法能够有效减少挖掘过程中的时间以及内存消耗,可以得出该算法适用于铁路实际数据和业务的有效结论。

数据挖掘与建模技术在食品嗅觉和味觉感知与情绪认知中的应用

随着食品嗅觉和味觉感官及情绪认知相关的科学技术水平的不断提升,越来越多的仪器分析方法和实验设备用于上述领域的研究。检测方法的多样化、全面化以及检测精度的提升,也伴随着风味感知相关数据规模的扩增。如何从食品风味仪器分析结果以及消费者的情绪认知行为相关研究中收集的大量数据中获得关键信息,并建立数据间的关联,越来越被研究人员所关注。食品领域的数据挖掘与建模技术是利用食品生产及流通过程中获得的大量数据,实时、准确地监控食品产业链的各个环节中的物理化学变化,并预测这些变化可能对消费者感官特征及情绪认知产生的影响。目前在食品嗅觉和味觉感知领域,数据挖掘与建模技术可为食品科研人员和消费者提供前所未有的洞察力和分析能力。本文在针对经典的机器学习方法中的有监督和无监督的数据挖掘与建模方法以及深度学习方法的基础上,对食品感官属性研究以及情绪认知方面的最新应用进展进行分析,并展望数据挖掘与建模技术在食品嗅觉和味觉感知领域的应用前景,助力食品行业的科技进步和产业升级。

时序数据的因果关系交互式可视分析

针对时序数据中因果关系检测算法效率低、错误率高、可解释性低的问题,本文提出一种新颖的用于时序数据的因果关系检测模型。该模型整合了泛函贪婪等价搜索(F-GES)模型与格兰杰(Granger)因果关系模型,展开因果关系的抽取和推断,并提出了因果关系可视分析方法,以交互式地分析时序数据中变量间的因果关系。可视分析方法形成了参数视图用于提高因果关系探索效率、因果关系树图用于直观有效地展示变量之间的因果关系、时间视图用于比较原始时序数据、堆叠流图用于帮助用户探索时序数据的层次演变以及平行坐标图用于进行相关性分析。基于真实数据形成的原型系统交互式地验证和总结时序数据中的因果关系,从而更高效地挖掘和理解时序数据中变量之间蕴含的因果规律以帮助决策。

区块链技术及应用导读

区块链是共识机制、智能合约、分布式账本、对等网络和密码技术等多项关键技术的创造性集成,是分布式技术的深化发展,具有弱中心、难篡改、可追溯等特点,正成为继人工智能、大数据、物联网等技术后,又一项对未来发展产生重大影响的战略新兴技术。区块链的兴起,带动了解决分布式一致性等问题的相关技术的融合。区块链面向弱信任场景下,提供了可传递信任的能力,得到了广泛的产业认同,正在引领全球新一轮技术变革和产业变革,有望成为全球技术创新和模式创新的“策源地”。

基于Python语言的数据筛选与过滤的研究

数据筛选与过滤是数据科学中一项重要的技术,它可从海量的数据中提取有用的信息,提高数据质量和决策效率。Python语言作为数据科学的主要编程语言,其数据筛选与过滤技术相当灵活,主要研究利用for循环、推导式、filter()函数、pandas库实现数据的筛选与过滤。

科学数据网络:概念、系统与应用

【应用背景】科学数据具有分散化、差异化、孤岛化等典型特征,构建可打破各种孤岛、有效整合分布式科学数据资源的基础设施具有重要意义。【方法】本文梳理了国内外类网络科学数据平台、技术与系统的进展,阐明了科学数据网络的概念、特征、功能与关键技术,并针对新型科研范式下科学数据的协作利用需求,提出并设计了科学数据协作网络RDCN。【结论】科学数据网络可有效改善科学数据的分散化、差异化、孤岛化问题,RDCN在生物多样性研究、生态系统野外台站观测研究、多信使天文学研究等融合科学协作场景中将发挥重大的作用。

基于期望核密度离群因子的离群点检测算法

针对基于密度的离群点检测方法在不同分布的数据集上检测精度低的问题,提出了一种基于期望核密度离群因子的离群点检测算法。首先,引入k近邻和反向k近邻扩展邻域空间(ENS)代替传统的k邻域范围,更加全面地考虑数据对象的邻域信息;其次,在传统核密度估计(KDE)方法的基础上引入多元高斯函数,在扩展邻域空间内估计数据对象的密度,同时借鉴自适应核带宽的思想,更好地适应不同数据集的数据分布;然后,给出期望距离的概念,进一步区分局部离群点和位于低密度区域的正常点;最后,定义了期望核密度离群因子刻画数据对象离群程度。在人工数据集和真实数据集上对所提算法进行实验验证,并与部分传统算法进行对比,验证了所提算法的有效性。

一种面向农产品供应链信息管理应用的改进PBFT算法

提出了一种面向农产品供应链信息管理场景的改进PBFT(practical byzantine fault tolerance)算法,即MFW-PBFT(multi-factor weighted PBFT)算法。该算法通过基于节点的活跃度、数据贡献度和历史行为等多因素权重,选出一部分节点作为“代理节点”参与共识过程,且对一致性协议进行优化,从而在一定程度上解决了传统PBFT算法的性能瓶颈问题。结果显示,MFW-PBFT算法相较于传统PBFT算法和2种流行的改进PBFT算法,在处理大规模网络和交易数据时表现出更高的效率和稳定性。

基于熵和置信度的非平衡问题欠采样Boosting框架

为了解决传统方法中存在的边界过拟合、泛化性能差、重要信息丢失问题,提出一种基于熵和置信度的非平衡问题欠采样Boosting框架。将动态重采样方法与Boosting集成在一起,以解决边界过拟合问题,提高泛化性能;在Ecuboost中使用置信度和熵作为基准,以保证欠采样过程中大多数样本的有效性和结构分布,提出的基于置信度的Boosting框架使动态采样方法进一步提升方法的泛化能力。用两个大型数据集上的实验对比结果验证了该方法的有效性。

实时数据库数据的批量写入及性能测试研究

通过对石油化工行业使用较多的PHD实时数据库在多模式下的数据批量写入,以标准差指标对测试值进行可信度分析、测试调校,得出多模式下实时数据批量修改、更新测试的最优结果,探索一种行之有效的工业实时数据库优化、应用的方法。

基于MEC边缘云的智慧商城数据更新控制算法

针对智慧商城中数据量较大的问题,提出基于MEC边缘云的智慧商城数据更新控制算法。在MEC边缘云环境中将数据信息经过整合分类处理后直接推送至用户端,将万有引力搜索算法和布谷鸟搜索算法融合构建CS-GSA算法,用于MEC边缘云智慧商城数据库数据清洗。在差分数据更新方法中引入游程编码和哈夫曼编码,采用游程编码将连续重复的数据压缩处理,降低数据规模,然后通过哈夫曼编码再次压缩,降低传输过程中的通信开销,实现MEC边缘云智慧商城数据更新。实验结果表明,所提方法的解编码时间、数据更新时间更短、通信开销较小,说明其能够提高数据更新质量。

基于权重距离的优势边界小类样本合成算法

提出基于权重距离的优势边界小类样本合成算法(ABWD)来克服数据类别不平衡的问题.ABWD算法具有如下特点:1)定义权重距离,并基于该距离选取样本近邻;2)根据样本近邻确定该样本是否为小类的边界样本;3)对每个小类的边界样本确定其合成位置与合成数量,使该小类样本合成后近邻中小类个数不少于大类的个数,确保该小类样本具有优势边界.实验结果表明,与其他典型过抽样算法相比,算法较大提高了小类的分类性能,在G-mean、F-measure及查全率三种度量上均取得很好的实验结果.

基于Python的实验室信息管理系统设计与实现

阐述Python语言的特点,它以面向对象为基础,具有动态属性的一种脚本语言,大面积应用于各种场景,尤其在开源Web框架中能够快速、高效地开发出各种网络应用。为此,以SQlite信息数据库为例,分析基于Python语言的实验室信息管理系统设计与实现途径。

基于Raft的多主节点拜占庭容错共识机制

为了解决联盟链中实用拜占庭容错(PBFT)共识机制在区块链网络中节点数量增多的情况下,通信复杂度高、共识效率低下等问题,本文提出一种基于Raft的多主节点拜占庭容错共识机制IMRBFT。IMRBFT通过Maglev一致性哈希算法对区块链网络节点均匀分组,将这个共识流程分成组外共识和组内共识2部分。组内先选出领导者节点,通过信用机制将节点分为3个等级:可信节点、普通节点和不可信节点。与投票机制共同降低恶意节点成为领导者节点的概率,并与其他组的领导者节点组成委员会,委员会再经过组外信用值机制选出信用值最高的多个主节点进行组外PBFT共识。组内共识在Raft共识的基础上引入监管节点与中继节点,进一步提升安全性与共识效率,减少恶意节点的作恶行为。实验结果表明:IMRBFT的通信开销为线性增长,通信量为PBFT的41.6%,吞吐量为PBFT的4.2倍,共识延时降低76.4%。随着节点增多,优化更加明显,完全满足大型区块链网络的通信复杂度小、吞吐量高、共识延时短、安全性与共识效率高的要求。

基于同态加密的区块链混币方案

区块链混币技术是一种保护交易隐私、实现交易的不可链接性的重要方案。然而,其结合了Pedersen承诺的验证过程,需要数百字节的空间开销,极大地降低了可用性。利用国密SM2算法、同态加密和混淆地址,提出了一种新的区块链混币方案。该方案通过使用EC-ElGamal半同态加密技术加密交易金额,在链上交易过程中完全隐藏交易金额,将隐藏金额后的交易进行两次验证和一次重随机化后发送到一次性的混淆地址中,打破交易发起方和接收方的联系,实现了交易的不可链接性和不可追踪性。所提方案能够有效提高交易数据隐私保护的强度,增强对分析攻击、密钥重放攻击和女巫攻击的抵抗能力,同时单次交易的空间占用减少了82.25%,交易吞吐量显著提高。

基于知识流动的技术守门人识别——以区块链技术领域为例

[目的/意义]技术守门人是影响新技术信息传播的关键角色,有效识别守门人有利于更好地扶持领域内技术创新主体。[方法/过程]文章以技术守门人的定义为基础,并结合科学—技术互动关联理论,选取区块链技术领域为研究对象,构建学者合作网络与引用网络,在原有技术守门人识别方法的基础上,筛选对知识流动有促进作用的守门人。[结果/结论]实验结果显示,运用该方法筛选出的守门人在知识流动过程中具有控制和促进作用,与传统守门人相比,该方法识别出的守门人对领域发展的贡献与促进作用更为突出,对专业领域的发展更具影响力。

融合物联网技术与混合加密算法的医疗数据信息优化框架设计研究

目前,医疗数据信息系统存在安全性低、共享难度大等问题,对此,提出一种融合物联网技术与混合加密算法的医疗数据信息优化框架,以提升医疗数据的安全。在此基础上,结合物联网的相关技术,对医疗数据采集方法进行设计。基于超级账本搭建完整的医疗数据信息框架。实验结果显示,高级加密标准(AES)算法的加密速度随着数据量的增大而增大,从而使用户能够根据要求传输任意长度的数据。利用非对称加密(RSA)算法对密码进行10次加密实验,得到了15 ms、94 ms的平均加密效果,系统加密效率较高。研究算法具有较好的工作稳定性,在功能和性能方面能够满足实际的医疗环境需要。