基于差分隐私Skyline算法的智能云平台中的数据隐私保护研究

针对工业互联网云平台中不同子系统数据割裂和隐私保护问题,文章提出基于Bubble-Skyline算法的解决方案,该方案包括数据收集模块、数据预处理模块、数据分析建模模块。在数据收集模块和数据预处理模块中使用协议加密和哈希映射转化表,安全地传输与整合不同系统之间的数据;在数据分析模块中使用Bubble-Skyline算法获得最优解。采用某工厂的历史数据验证表明,在工厂排产中,该方案能够在保护数据隐私的同时优化排产方案,平均生产时间减少了17.15%。

基于向量误差修正模型的电池簇不一致检测方法及智能运维方案

针对储能电站实际运行数据中存在电池数据不完整、数据片段化导致检测不准确的问题,提出基于向量误差修正模型的电池簇不一致检测方法。该方法根据随机电压片段数据构建电池簇与电池单体的向量误差修正模型,计算脉冲响应函数,分析电池单体对电池簇的动态作用机制,判断电池簇不一致程度,再通过方差分解分析确定异常电池单体及后续运维。最后,根据储能电站实际运行数据进行分析,验证了电池簇不一致检测方法及运维方案的可行性和有效性,并在100kW/200kW·h储能平台进行实际工程测试。

面向视频行为识别深度模型的数据预处理方法

以视频帧采样和数据增强为代表的预处理操作是提升视频行为识别深度模型性能的重要手段。针对现有视频数据预处理存在的采样视频帧区分性不足、数据增强方式单一等问题,提出一种面向视频行为识别深度模型的数据预处理方法。在视频帧采样上设计动作指导的片段化视频采样策略,综合考虑视频帧间差异特征与视频片段短期时序特征,通过显著行为动作获取关键视频帧并对其邻近视频帧进行采样,有效提高所选取视频帧的时空区分能力。借鉴图像分类中的随机数据增强方法,以随机数据增强方式对采样后视频短片段进行数据增强处理,使视频识别深度模型学习到更复杂的空间变化信息。根据2个公开的视频识别数据集和2个代表性的网络模型的评估实验结果表明,所提预处理方法可以使基准模型获得2.5个百分点以上的准确率提升,最高可提升6.8个百分点。上述实验结果验证了所提预处理方法在视频行为识别任务中的有效性。

基于数据中心的虚拟机放置优化节能策略研究

近年来,随着5G、人工智能等新兴技术的发展,算力为千行百业的数字化转型注入强心剂。社会各行各业对算力需求的增长日益明显,运营商数据中心的服务器为保证高可用性,数据中心的高能耗俨然成为制约数据中心发展的一大阻碍,“节能增效”是数据中心的刚需。由于大量资源碎片造成的资源利用率低下和能源浪费问题。为了解决这个问题,提出了一种基于线性整数规划结合装箱的多目标优化算法。旨在通过优化虚拟机放置,进行虚拟机的二次调度,提高资源利用率,腾挪出更多的空闲主机,执行物理机下电等绿色节能操作,以达到“节能增效”目的。

云计算环境中面向OLTP应用的数据分布研究

云计算为大型OLTP应用中分布式数据的高效存储和管理带来了新的机遇,大数据则对分布式数据的存储与管理提出了新的挑战,自动数据分布逐渐成为分布式系统中的研究重点和难点.该文对影响数据分布问题的三要素数据、负载和节点进行分析,将该问题抽象为数据分片、数据分配和负载执行3个相互关联的子问题,提出了数据分布问题的三角架构DaWN.由于不同的系统有不同的应用需求,DaWN架构以代价模型为枢纽,对特定应用需要达到的效能目标和资源限制进行调配,并提出了数据分布问题所面临的技术挑战.该文对DaWN架构中以顶点为代表的3个基本要素进行详细分析,着重对以边为代表的3条关联关系进行阐释,并据此对云环境中大规模OLTP应用的数据分片、数据分配和负载执行3个数据分布子问题的研究成果和进展进行归纳和总结.基于以上分析,该文以数据分片、数据分片和负载执行为变量,使用真值表覆盖数据分布问题中的8种类型,并采用三维立体坐标系的方式对相关工作的分布进行归纳总结和呈现.最后,该文从代价模型研究、测试基准研究、自动化数据分布技术研究、特定应用研究等4个角度,对数据分布问题的未来发展方向进行展望.

基于B/S模式和分布式数据库技术的物流信息系统

介绍了分布式数据库、物流系统、B/ S模式的概念 ,分布式数据库的设计步骤和原则 ,描述了分布式数据库在物流系统的体系结构中的体现 .最后以 ASP.NET和 SQL Server2 0 0 0为开发环境 ,列举了 B/ S模式下的分布式数据库应用程序开发和应用程序中客户端与服务器端的数据库的连接和访问方法 .

分布式多空间数据库系统的集成技术

该文提出建立分布式多空间数据库系统来实现异构空间数据源的互操作 ,以达到空间信息共享的目的。首先介绍分布式多空间数据库的基本概念、系统结构以及关键技术 ;其次 ,通过对空间数据分布特征的分析 ,提出了多空间数据库系统集成的基本思路“异构同化 ,同构整体化” 。

分布式数据库数据分片与分配

通过对集中式数据库和分布式数据库的比较,指出了数据分片与分配是设计分布式数据库重要环节,给出了数据分片与分配的目的、原则以及方法,分析了数据分布的透明性,对分片与分配之间的关系予以简要说明,最后介绍了在分布式数据库设计中分片与分配产生的问题。

基于粒计算的数据分片算法

提出了一种基于粒计算的数据分片模型及算法,该算法在优先考虑数据本地化的基础上,可动态调整全集划分的粗细,将全集划分的数据分片的数量调整到一个比较合理的状态,既能减少网络流量、降低整个分布式系统开销,同时又控制了数据分片数量,减少了数据连接工作量,从而提高系统效率。

基于Hole-Filler模型的XML流数据剪切分片技术

对基于Hole-Filler模型的XML流数据剪切分片问题,首先利用XML文档的Document Object Model(DOM)结构,根据节点扇出度提出了基于DOM的XML流数据剪切分片策略及其算法.然后,在此基础上,对标签结构进行剪切以确定文档的剪切点,提出了基于标签的XML流数据剪切分片算法,有效地减少了节点扇出度与阈值的比较次数.最后,提出了优化的剪切策略,根据阈值与节点扇出度的比值对XML子树加以整合,以减少碎片的产生.实验结果表明,XML剪切算法在剪切时间、分片粒度等方面都有较好的性能.

一种在去重备份系统中数据碎片整理算法

在去重备份系统中,随着数据实例被引用的次数越来越多,数据碎片也越来越多,后期备份的文件几乎都不是保存在物理上连续的磁盘上。如果从一个反复去重备份系统中恢复数据,就需要从众多的数据碎片的磁盘中还原数据,导致系统的数据恢复速度非常慢。本文提出一种在去重备份系统中提高数据恢复速度的数据碎片整理算法。如果被引用的数据在磁盘上的位置凌乱程度超过某个阈值时,则不再引用,而是直接复制这些数据到新的备份映像。实验结果证明在去重备份系统中,使用这种数据整理算法加快了数据恢复速度,提高了去重备份系统的性能。

从大数据到大知识：HACE＋BigKE

大数据面向异构自治的多源海量数据,旨在挖掘数据间复杂且演化的关联.随着数据采集存储和互联网技术的发展,大数据分析和应用已成为各行各业的研发热点.本文从大数据的本质特征开始,评述现有的几种大数据模型,包括5V,5R,4P和HACE定理,同时从知识建模的角度,介绍一种大数据知识工程模型Big KE来生成大知识,并对大知识的前景进行展望.

面向用户决策的高校信息碎片化整合模型

[目的/意义]弥补现有高校信息整合系统可扩展性差、缺乏面向用户决策的缺陷,提出了高校信息碎片化整合模型,为用户提供个性化的决策支持。[方法/过程]阐述高校信息整合现状及存在的问题,提出"碎片化"整合思路,利用关联数据对异构数据源进行统一碎片化处理及碎片化整合规则确立,通过匹配需求得到所有满足的"信息碎片"并进行数据挖掘及可视化,构建了高校信息碎片化整合模型。[结果/结论]面向用户决策的高校信息碎片化整合模型不仅能有效解决高校"信息孤岛"问题,还能为高校用户的信息决策提供个性化支持。

取证系统中数据恢复关键技术研究

磁盘中已删除文件在未被覆盖之前,其存储方式为连续和离散存储。针对连续存储提出了一种准确匹配已删除文件首簇高16位算法,并重点分析离散存储碎片,提出了一种基于部分匹配预测算法PPMC来重构磁盘上已删除文件碎片的模型。采用PPMC算法确定出任意两个碎片的相邻性概率值,然后再通过剪枝技术,将不可能的分支裁减,逐步加工处理,重构出一个有完整顺序的原文件。

船舶大数据库可视化处理下不均衡数据碎片分类识别

传统船舶数据碎片识别技术不能良好追踪逆向工程中数据的恢复情况。为解决上述问题,提出船舶大数据库可视化处理下的新型不均衡数据碎片分类识别方法。通过大数据库信息的获取、数据可视栅格化处理2个步骤,完成基于大数据库的船舶信息可视化处理。在此基础上,通过数据碎片的特征描述、识别优劣度量确定、分类识别流程完善3个步骤,完成新型方法的顺利搭建。对比实验结果表明,应用船舶大数据库可视化处理下的不均衡数据碎片分类识别方法后,逆向工程中恢复数据的追踪水平得到有效促进。

基于FAT32文件系统的计算机取证研究与实现

针对FAT32文件系统,分析离散存储碎片,提出一种基于部分匹配预测算法PPMC来重构文件碎片的模型。采用PPMC算法确定出任意2个碎片的相邻性概率值,通过剪枝技术逐步加工处理,重构出一个有完整顺序的原文件,并分析系统中的隐藏文件index.dat。

文明旅游的大数据体系建设研究

自媒体发展迅猛,旅游新业态纷繁复杂。面对网络旅游信息暴增、单个客户效用价值稀疏和客户需求碎片化等新特征,梳理旅游大数据体系的主要建设内容,构建"五个层次、三个总线"体系框架,完成文明旅游的精准化营销、业态创新和碎片化价值聚集等功能的大数据支撑。文明旅游大数据体系能提高旅游业务的良好体验和适用性,助力产业链中高端转化、提升产业灵活适用性,全面推进智慧文明旅游的进程。

基于现场试验数据分段的岩基抗剪强度参数概率统计分析方法

依据精度相近亦即试块数相近原则对现场抗剪试验数据适当分段,基于数理统计理论,首先推导并提出了由现场抗剪试块正应力和剪应力直接计算岩基摩擦系数与凝聚力统计参数的新公式;然后根据岩基抗剪试验特点,结合概率论随机模拟方法与线性代数正交变换理论,提出了一种验证试块法的计算机随机模拟测评方法。该方法也可应用于其他考虑了试块抗剪强度离散性的摩擦系数与凝聚力概率统计方法的验证。通过应用该计算机随机模拟测评方法,对有关试块法进行了验证分析,论证了提出的新公式的正确性,探讨了本文试块法所需的最少试块数量。最后还进行了一系列具体工程抗剪强度参数的统计计算分析,给出了摩擦系数与凝聚力的若干统计特点。

基于Hausdorff距离的点云分片精简算法

提出一种基于Hausdorff距离的点云分片精简算法。对点云模型进行X-Y边界获取,保留形状特征;计算除边界外其余数据点对应的曲率,根据平均曲率构造点云模型的模糊集,引入模糊集合理论得到曲率分片的最佳阈值;以曲率最大、最小值差值的1%作为点云的曲率间隔,依次对点云数据进行分片,使某一数据点对当前分片点云的归属程度达到最大;计算各分片内数据点主曲率的Hausdorff距离,获取并保留特征点。实验结果表明,该算法提高了点云精简率,有效缩短了精简时间,较好保留了点云细节特征。

社会保险数据碎片化现状分析--基于对A省11种基金的调研

社会保险管理信息系统多年来积累了大量电子数据。这些数据已经成为社会保险制度建设的宝贵财富,其集中存储和管理具有重要意义,也是社保信息化建设的目标之一。但是,对A省11种社会保险数据的管理现状的调研表明:数据碎片化情况严重,部分险种碎片化的比例高达90.91%,严重制约了以保险关系转移接续为代表的社保公共服务水平的提高。