物流数据仓库的数据粒度

物流数据仓库必须满足物流管理中对数据处理分析的复杂性和预测性的要求。数据粒度是数据仓库设计中的核心问题之一。结合实例介绍了数据仓库中数据粒度处理的确定方法,并探讨了数据仓库在物流管理中的应用。

藏语语料库管理系统中读写数据粒度问题的研究

应用体系的执行效率、访问速度、服务器的负荷、数据处理的安全性、读写数据的粒度是影响系统性能的主要因素.本文在分析藏语语料库应用体系的基础上对藏语语料库管理系统中读写数据的粒度问题进行了探讨,并采用值对象解决了用户通过大量细粒度的调用读取数据时造成的系统性能下降的问题,从而在一定程度上提高了藏语语料库管理系统的性能.

数据仓库中数据粒度在电子商务网站中的应用

数据粒度决定着数据仓库的数据量和回答查询的能力。多重粒度在一定程度上既可以满足数据量的要求,又可以满足回答查询能力的要求,所以在设计数据仓库时,多重粒度成为首选。而当数据仓库采用多重粒度时,就面临着如何管理数据粒度的问题。本文研究粒度级别和多重粒度,在此基础上提出用粒度表进行数据粒度的管理,阐述粒度表的定义过程,分析粒度表的优点,并提出基于粒度表的数据仓库多维模型的构建过程。

基于数据多粒度的隐私差序保护

大数据时代,隐私的数据化与数据的隐私化相互交织,个人隐私边界日渐模糊。传统对于隐私、数据的“粗粒度”保护策略已难以匹配当前高度解析化的“微粒社会”,隐私保护与利用隐私换取便捷生活的悖论进一步凸显,人们的隐私焦虑愈发严重。研究基于数据多粒度探讨隐私差序保护,将个人数据以“人格价值”“敏感程度”与“社会属性”进行分层、分级,明确隐私保护与数据合理使用的价值序位差异及边界,并根据不同层次粒度之间的序关系,赋予用户真正的管理权与使用权,让隐私保护更具针对性,数据管理更具效益。

基于密度划分的分布式数据容错存储算法研究

为保证数据安全性,缓解数据存储空间,提出基于密度划分的分布式数据容错存储算法。过滤分布式数据高密度数据区域,将具有高度相似的目标划分到不同区域,通过数据来源样本点描述数据的密度分布,设定数据弹性,利用概率以及数据粒度推算出对应的存储梯度和强度指数,并在信息存储中引入数据存储梯度和数据弹性,完成分布式数据容错存储。实验证明,所提算法有较高的容错性,带宽吞吐量平稳,平均路径长度较小,能提高网络数据的安全性。

基于高斯混合模型的粒度数据分析新方法及沉积相应用

为解决概率累计曲线存在判断标准模糊、定量化不足等问题,提出了一种新方法,通过高斯混合模型(Gaussian mixture model,GMM)无监督聚类方法精确获得粒度均值、标准差、百分含量等数据分析水动力强度及分选性。其中次总体个数(k)表征不同营力搬运的组分数,均值(μ_(i))为各次总体含量最大(M_(i))对应的粒径值,标准差(σ_(i))表示次总体分散程度,叠合面积(S_(m/n))反映水动力近似性,相对密度ρ判断分选性。以渤海湾盆地馆陶组粒度资料为基础绘制次总体拟合图,σ_(i)越小,M_(i)越高,μ_(i)越小,ρ相差越大,即次总体的图像越窄,μ_(i)对应的碎屑含量越多,分选性越好,水动力越强。可见次总体拟合图与岩心剖面、沉积微相具有很好的匹配性,故该方法在实际应用中具有良好的适用性并提高水动力条件的识别效率和精度。

一种适用于云雾结合环境的数据细粒度加密及共享方案

随着物联网、5G以及6G移动通信网络的快速发展,相应的加密算法需要同时适应云计算和雾计算环境,还需要具备包括属性撤销机制在内的细粒度加密功能,并且具备抵抗共谋攻击的能力.然而,目前这些理论及技术问题的研究还有待进一步发展和完善.本文提出一种适用于云雾集合环境的数据细粒度加密及共享方案(NDSS-FC),面向云雾计算综合环境,借鉴密文策略属性基加密(CP-ABE)算法结构,可以实现细粒度的加密访问控制,可以实现安全的属性撤销,可以动态地管理用户,可以实现外包解密以及抵抗共谋攻击.首先,通过设计雾节点构造新型CP-ABE结构,以保证云雾结合环境下安全的数据共享,并且通过雾节点为计算资源受限的用户执行外包解密服务.其次,通过结合新型CP-ABE结构与单向函数树(OFT)技巧,以分享、更新群密钥的方式保证安全的属性撤销.再次,通过多项式分发版本密钥,以计算、更新版本密钥的方式保证动态用户管理.再次,通过在用户密钥中嵌入随机因子,以抵抗共谋攻击.最后,性能分析和形式化证明显示NDSS-FC方案安全高效.

通信业电耗数据采集粒度方案优选方法

节能减排是目前我国调整经济结构、转变经济增长方式的一项重要任务。对于通信业而言,由于其能源消耗以电能为主,因此对其电耗数据进行合理采集是做好节能减排统计监测工作的核心所在。然而,如何科学选择数据采集粒度却是困扰专家学者的一个现实难题。为解决上述问题,文章首先通过设定粒度方案,然后,应用模糊层次分析法(FAHP),提出了一种通信业电耗数据粒度方案优选方法。最后,通过数值模拟验证了所提方法的可行性和有效性。

专用海洋底质粒度分析数据整编方法

结合海洋环境资料整编项目实际需求,研究海洋底质粒度分析数据的收集、预处理、标准化及质量控制方法。分析海洋底质粒度分析数据的类型和内容特点,结合海洋底质粒度分析数据的处理方法和应用特点,研究海洋底质粒度分析数据质量的检查内容和检查方法,确定控制海洋底质粒度分析数据质量的技术方法。

支持属性粒度数据库加密的查询重写算法

DAS(database as a service)模型数据库中采用加密方案的关键问题之一是针对密文关系的查询处理.DAS模型特有的体系结构和信任模型决定了加密解密操作只能在客户端进行,目前的方案普遍在元组粒度加密的基础上进行查询重写,不可避免地造成了加密效率的损失.为此,提出一种支持属性粒度加密方案的查询重写算法,利用关系代数公式对查询语句进行等价变换,将涉及加密属性的条件谓词与其他条件谓词分离,重构查询语句,支持任意层次的相关子查询.实验显示,算法能够降低客户端与服务器间的网络传输数据量,从而有效地缩短加密DAS模型数据库的查询执行时间.

对数比统计分析及粒度数据中沉积水动力环境信息的萃取

沉积物粒度研究是沉积水动力环境研究的重要手段之一。由于闭合效应的影响，经典统计方法难以揭示粒度数据的真实特征。对数比统计分析是克服闭合效应的有效途径。本文介绍了波罗的海西部和南海北部的两个研究实例，在原始数据的经典统计分析不能揭示样品的自然分类的情况下，以粒度数据的对数比变换为基础的ＲＱ型主分量分析揭示出各沉积物类型之间的明显差异，而根据这种沉积物分类进行的沉积分区清晰地反映了沉积水动力环境的空间变化特征。

粗粒度数据流网络处理器体系结构及原型系统设计

网络处理器是一种支持高速报文处理和转发的可编程通信集成电路.作为路由器中的重要组件,网络处理器设计不但强调高性能,还要求足够的灵活性以支持未来的网络协议.针对控制流网络处理器固定拓扑结构及指令级并行性开发方面的不足,采用粗粒度数据流设计思想,提出了一种粗粒度数据流网络处理器体系结构及原型——DynaNP.DynaNP不但可利用处理引擎内控制流执行方式获得高可编程性,还利用处理引擎间数据流执行方式有效开发报文处理中的任务级并行性.此外,DynaNP提供了处理路径动态配置机制,可有效提高系统流量.DynaNP的原型系统基于SoPC技术设计实现.多个PE和功能模块通过片上高速通信网络连接,其中,核心处理引擎采用嵌入式RISC处理器核LEON3实现,并采用指令集扩展技术优化网络协议处理.该原型系统可有效验证粗粒度数据流网络处理器的功能和关键技术.

激光粒度分析系统数据输出汉化软件研制与应用

本软件系统可输出多种汉化的分析数据和图表,通过转换可输出汉化的数据图。本系统也可用于绘制其它物质颗粒分布图。

咬文嚼字之数据粒度

最近忽然发现,在智能手机App们成为第二人生的时代里,更容易理解数据库的字段(俗称变量或特征)设计了。很多App都问这问那,我就买个东西,你要查看我的运动记录干嘛?害我每次都要去重新设置权限。从技术层面来看,这些App在干什么?粗略地说,是要获得更多的信息;细致一点说,信息意味着差异,就是个人在各个维度上的差异。比如每个人都有年龄、身高和体重,不问的话,大家都一样,相当于这个维度(字段)上没有信息,如果能问出来,自然信息就多一点,对个人的辨识度就高一点。

基于细粒度数据流架构的稀疏神经网络全连接层加速

深度神经网络(deep neural network,DNN)是目前最先进的图像识别算法,被广泛应用于人脸识别、图像识别、文字识别等领域.DNN具有极高的计算复杂性,为解决这个问题,近年来涌出了大量可以并行运算神经网络的硬件加速器.但是,DNN中的全连接层有大量的权重参数,对加速器的带宽提出了很高的要求.为了减轻加速器的带宽压力,一些DNN压缩算法被提出.然而基于FPGA和ASIC的DNN专用加速器,通常是通过牺牲硬件的灵活性获得更高的加速比和更低的能耗,很难实现稀疏神经网络的加速.而另一类基于CPU,GPU的CNN加速方案虽然较为灵活,但是带来很高的能耗.细粒度数据流体系结构打破了传统的控制流结构的限制,展示出了加速DNN的天然优势,它在提供高性能的运算能力的同时也保持了一定的灵活性.为此,提出了一种在基于细粒度数据流体系结构的硬件加速器上加速稀疏的DNN全连接层的方案.该方案相较于原有稠密的全连接层的计算减少了2.44×~6.17×的峰值带宽需求.此外细粒度数据流加速器在运行稀疏全连接层时的计算部件利用率远超过其他硬件平台对稀疏全连接层的实现,平均比CPU,GPU和mGPU分别高了43.15%,34.57%和44.24%.

基于粗粒度数据流架构的稀疏卷积神经网络加速

卷积神经网络(convolutional neural network,CNN)在图像处理、语音识别、自然语言处理等领域实现了很好的性能.大规模的神经网络模型通常遭遇计算、存储等资源限制,稀疏神经网络的出现有效地缓解了对计算和存储的需求.尽管现有的领域专用加速器能够有效处理稀疏网络,它们通过算法和结构的紧耦合实现高能效,却丧失了结构的灵活性.粗粒度数据流架构通过灵活的指令调度可以实现不同的神经网络应用.基于该架构,密集卷积规则的计算特性使不同通道共享相同的一套指令执行,然而稀疏网络中存在权值稀疏,使得这些指令中存在0值相关的无效指令,而现有的指令执行方式无法自动跳过它们从而产生无效计算.同时在执行不规则的稀疏网络时,现有的指令映射方法造成了计算阵列的负载不均衡.这些问题阻碍了稀疏网络性能的提升.基于不同通道共享一套指令的前提下,根据稀疏网络的数据和指令特征增加指令控制单元实现权值数据中0值相关指令的检测和跳过,同时使用负载均衡的指令映射算法解决稀疏网络中指令执行不均衡问题.实验表明:与密集网络相比稀疏网络实现了平均1.55倍的性能提升和63.77%的能耗减少.同时比GPU(cuSparse)和Cambricon-X实现的稀疏网络分别快2.39倍(Alexnet)、2.28倍(VGG16)和1.14倍(Alexnet)、1.23倍(VGG16).

一种面向并行查询的森林资源小班数据划分粒度研究

为在并行环境下高效地利用并行计算资源,促进静态负载均衡,从而总体上提高森林资源小班数据在并行环境下查询的响应效率,通过分析数据划分粒度与查询效率的关系,建立了数据划分粒度与查询效率的关系模型。采用辽宁省森林资源小班数据,实验验证了该模型,并取得森林资源小班数据的最佳划分粒度。实验表明,在最佳划分粒度进行并行查询时,查询效率明显优于其它划分粒度。

一种面向非易失性内存文件系统的数据读写粒度控制策略

数据读写是文件系统的重要操作。传统的文件系统基于磁盘设计,数据读写需要旋转磁头,因此数据读写慢。文件系统使用I/O调度层对读写操作进行拆分和合并,减少磁头寻道时间,提高系统性能。新型非易失性内存(NVMM)支持字节寻址和随机访问,文件系统可以直接使用内存指令进行数据操作。因此,现有的NVMM文件系统,如ext4-dax、PMFS和NOVA,不再考虑数据操作粒度的优化,直接按照文件数据的存储粒度(如4kB)在应用和文件系统之间传输数据。然而,文件系统中的数据读写性能仍然受到操作粒度的影响。本文分析了文件系统在真实NVMM硬件上的性能,发现大粒度操作会降低文件系统性能,并针对数据读写操作粒度提出了优化策略。实验结果表明,本文提出的优化策略使得NVMM文件系统性能提升30.1%。

变熵画像:一种数量级压缩物端数据的多粒度信息模型

近年来由物联网边缘和物端设备产生的数据呈现出爆发式的增长,催生了边缘计算、物端计算等新型物联网计算模式,利用"计算向数据源靠近"这一理念从架构上显著地改善了整体系统性能和能耗.然而,大量资源相对受限的物端设备暴露了现有计算模式的2个缺陷:1)由于不能存储海量数据导致部分计算无法下沉至末端;2)由于无法针对多样化的应用需求提供多粒度信息支持导致冗余计算和存储开销.围绕这2个问题,提出了一种数量级压缩物端数据的多粒度信息模型——变熵画像(variant entropy profile,VEP),及其TSR-VEP数据存储原型.基于真实的智能电表数据集和基准测试实验结果表明:VEP能在较低应用观测误差的前提下,实现物端数据的数量级压缩和多粒度信息存储查询.结合测试结果的讨论显示了VEP具备应用于物端设备的可行性与进一步优化边缘计算和物端计算的潜力.

分布式并行地形分析中数据划分机制研究

数据粒度是海量空间数据并行计算的重要问题之一。通过对不同性质的并行算法的对比分析,提出空间数据粒度模型,量化地反映并行地形分析中数据划分的规模,建立并行数据粒度评价模型。通过研究集群环境下不同算法的数据并行数据粒度问题,提出基于并行数据粒度评价模型的优化数据粒度调度算法。通过计算每一次并行计算的时间与数据粒度效率,从而实现对计算数据粒度动态更新以追求更高的加速比。经过实验验证,该算法较之传统算法,可提供更高的任务执行效率并具有更好的可移植性。