面向杂凑密码算法的专用指令加速器的设计与实现

物联网的快速发展对嵌入式设备的系统性能和数据安全性的要求越来越高,传统的通用嵌入式处理器对密码算法的实现效率不高,不能很好满足性能需要,此外嵌入式设备还有着低功耗的场景需求。为解决以上问题,在Xilinx ZYNQ ZC706嵌入式开发平台上设计了一个低功耗的面向杂凑密码算法的专用指令加速器,该加速器包含有取指译码单元、执行单元和数据访存单元,通过多任务数据并行和专用指令实现计算加速;并设计令牌机制解决指令执行时的数据冲突问题;在高层次综合(high-level synthesis,HLS)工具的基础上通过存储优化改进访存机制,有效提高带宽利用率。实验结果表明,加速器的工作频率为100 MHz,该ARM+FPGA方案相较于单ARM方案可达3倍以上的加速效果,而且运行功耗仅为2.23 W,该加速器也可定制化拓展,有较好的灵活性。

基于节点抽样的分布式二阶段聚类方法

针对大数据聚类中存在的计算资源消耗大、聚类效率低的问题,提出了一种新的基于节点抽样的分布式二阶段聚类方法。该方法首先在各个本地节点对节点上的数据执行局部聚类操作,并基于局部聚类结果,从每个节点中抽取代表性的数据样本,然后将各节点选定的样本数据传输至中央节点。之后,在中央节点上,对合并的样本数据进行进一步的聚类分析,并将样本聚类的结果传回各个本地节点。最后,各本地节点结合自身的局部聚类结果和中央节点的样本聚类结果,完成最终的聚类标签统一。通过以上流程,所提方法实现了对集中式聚类算法的分布式改造,能够快速一致地完成对全局数据的聚类分析。理论分析和数值实验均表明,与传统的全量数据集中式聚类方法相比,二阶段聚类方法有效地结合了并行处理的高效性和集成分析的准确性,在保证聚类质量的前提下能够显著降低计算资源的消耗,是一种可行的大数据聚类分布式解决方案。

分布式算法在大规模数据处理中的应用研究

随着大数据的发展,数据规模急剧增长,传统单机处理模式难以满足高效、实时处理大规模数据的需求。通过将数据和计算任务分布到多个计算节点上进行并行处理,分布式算法成为处理大规模数据的重要手段。

面向大数据的高效计算机算法设计与实现

本文深入探讨了高效的大数据计算机算法的设计与实现。其介绍了并行计算的设计方法和负载均衡策略,解析了分治策略的基本思想及其案例应用,并讨论了抽样估计的方法选择与误差分析。其还详细阐述了数据预处理以及数据查询与挖掘的实现技术。文章通过实验验证了算法的有效性,并对实验结果进行了分析。本研究可以为处理大规模数据集提供有效的计算策略,并且对于大数据领域的研究和应用具有重要的意义。随着数据量增长,这些算法为数据科学家提供挖掘数据潜在价值的工具,促进数据驱动决策的发展。

基于深度并行时序网络的用户侧异常数据智能诊断

在用户侧数据中,异常往往隐藏在复杂的时序关系中,传统的时序分析方法在处理用户侧数据中复杂的时序关系时存在困难,特征提取难以捕获关键特征,导致诊断精度低且易漏检。为此,研究一种基于深度并行时序网络的用户侧异常数据智能诊断方法。深度并行时序网络分解层利用滑动窗口法分割用户侧数据,得到数个窗口序列。编码层依据层叠时序卷积神经网络与长短期记忆(LSTM)网络建立编码器,提取各窗口序列的时空特征;解码层通过引入时间注意力机制的门控循环单元建立解码器,重构窗口序列的时空特征;推断层依据重构特征计算异常分数,当异常分数大于设置阈值时,说明该窗口内的用户侧数据为异常数据,即完成了用户侧异常数据的智能诊断。实验结果表明,所提方法可有效提取用户侧数据特征,计算异常分数,并完成用户侧异常数据智能诊断。

基于相对熵和余弦相似度的并行SVM算法

针对大数据环境下并行支持向量机(SVM)算法存在子集分布偏差大,并行效率低以及过滤非支持向量不准确等问题,提出了基于相对熵和余弦相似度的并行SVM算法(RC-PSVM)。该算法首先提出基于相对熵的数据划分策略(DPRE),平衡当前子集和原始数据集的相对熵,划分样本到适合的子集,降低子集分布偏差;然后提出基于余弦相似度的冗余层级检测策略(CS-RLDS),计算相邻层局部SVM之间法向量的余弦相似度,比较设定的阈值与相似度,识别并停止冗余层级,提高了并行效率;最后提出非支持向量过滤策略(NSVF),结合样本到多个局部支持向量模型决策边界的距离,计算支持向量相似度来识别非支持向量,解决了过滤非支持向量不准确的问题。实验表明,RC-PSVM算法的分类效果更佳,且在大数据下的运行效率更高。

面向数据湖存取性能优化的数据并行处理技术研究

本文围绕数据湖应用背景下海量数据的高性能存取需求,以新型数据存储模型和分布式存储及缓存机制为目标,通过对数据湖存储结构、数据访问模式和数据处理方法进行分析,开展数据湖存取性能优化问题研究。首先,结合数据湖系统中的文件系统存储方式,设计了一种基于列式存储的数据存储结构,并通过索引优化技术提高数据访问速度。其次,针对数据湖中常用的批处理和流处理这两种访问模式,提出了一种基于数据分区和缓存机制的访问优化方案,以提高数据访问的效率和稳定性。最后,针对数据湖在大规模数据情况下更新和增量计算出现的计算时间长问题,提出了一种基于Spark并行计算和分布式文件系统(Hadoop Distributed File System,HDFS)的数据处理方案,以提高数据处理的速度和可靠性。实验结果表明,本文提出的数据湖存储性能优化技术相对于现有方法能够有效地提高数据的存储、访问和处理效率。

MapReduce模型在大规模数据并行挖掘中的应用

MapReduce并行编程模型通过定义良好的接口和运行支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度。系统阐述MapReduce的基本工作原理及其工作流程,以TeraSort算法为例,针对其存在的问题,提出动态数据分区和数据压缩等优化建议。研究成果表明,优化后的TeraSort算法能够显著缩短数据处理时间,优化系统的吞吐量,并改善资源分配的均衡性。

数据驱动模式下基于非平行超平面SVM算法的贸易经济预测

数据驱动的多元化发展导致数据异构性增强、维度提升和特征量规模扩大,给贸易经济分析带来更大挑战。为了提高贸易经济分析的科学性,采用非平行超平面支持向量机算法(support vector machine,SVM)对贸易经济进行预测分析。首先,根据贸易经济影响因素进行主成分分析,获取影响贸易经济的关键特征,并对特征进行量化和去噪处理。然后,采用广义特征值最接近支持向量机(proximal support vector machine via generalized eigenvalues,GEPSVM)进行贸易经济预测分类。根据预测指标要求,选择核函数GEPSVM算法(KGEPSVM算法)对分类的非平行超平面求解,通过类别划分函数获得经济预测结果。实证分析表明,对比常用的非平行超平面支持向量机算法,所提算法的贸易经济预测性能更优,而且在常用贸易经济指标的预测中,表现出较高预测精度和稳定性。

大数据场景下用户评论聚类文本挖掘算法

因传统文本数据挖掘算法在大数据场景下的文本聚类挖掘效果较差,提出一种大数据场景下基于文本数据挖掘的用户评论聚类算法。首先,通过设计改进的信息增益算法提取用户评论数据特征,根据信息熵提取文本关键字和不平衡数据项形成特征数据。之后,使用改进的聚类数据挖掘算法对特征数据进行聚类挖掘。最后,基于Spark框架将改进的聚类数据挖掘算法进行并行化改造。设计实验验证分析所提特征提取算法与聚类挖掘算法的性能,结果表明在大数据场景下所提算法的运行时间、准确率和加速比方面优于传统算法。

面向大数据的可扩展正则采样并行排序算法

排序算法是计算机科学领域的一个基础算法,是大量应用的算法核心。在大数据时代,随着数据量的极速增长,并行排序算法受到广泛关注。现有的并行排序算法普遍存在通信开销过大、负载不均衡等问题,导致算法难以大规模扩展。针对以上问题,提出一种大规模可扩展的正则采样并行排序(scalable parallel sorting by regular sampling,ScaPSRS)算法,摒弃传统正则采样并行排序(parallel sorting by regular sampling,PSRS)算法中由一个进程负责采样的做法,转而让所有进程参与正则采样,选出p-1个分隔元素,将整个数据集划分成p个不相交的子集,然后实施并行排序,避免了单一进程的采样瓶颈。此外,ScaPSRS采用一种新的迭代更新策略选择p-1个分隔元素,保证划分的p个子集尽可能大小相同,从而确保p个进程对各自的子集进行本地排序时的负载均衡。在天河二号超级计算机上进行的大量实验表明,ScaPSRS算法能够成功地扩展到32000个内核,性能比PSRS算法和Hofmann等人提出的分区算法分别提升了3.7倍和11.7倍。

基于流计算和大数据平台的实时交通流预测

目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。

Hadoop平台下大学生学习预警模型研究

将大数据技术应用到教育领域,利用高校长期积累的海量数据,预警大学生可能存在的学习问题。首先给出数据特征提取方法,提取数据特征,得出特征集合;其次提出特征选择方法,根据特征集合选择适合大学生学习预警的特征;然后根据教育大数据的特点和学习预警的需求,选用加权投票组合预警方法组合分类回归树、逻辑回归和贝叶斯等单一模型;最后为满足大数据处理的要求,采用Hadoop平台并行化处理组合预警模型,构建大学生学习预警模型。通过模型评估,证明该模型的准确率、灵敏度和特异性能满足学习预警要求。

用于VSLAM系统的CNN在FPGA平台上的加速

为实现视觉同步定位与建图系统中卷积神经网络在FPGA上的加速,基于SuperPoint模型设计一种低功耗高效CNN加速器及相应的SoC系统。采用循环分块、数据复用、计算单元展开和双缓冲策略充分利用加速器的片上资源;为提高突发传输效率,预先对权重参数重排;提出Pack模块和Unpack模块,设计多通道数据传输,用于提高传输带宽。在Ultra96-V2 FPGA平台上部署整个SoC系统,在仅3 W左右的功耗下实现25.63 GOPS的吞吐量,其BRAM效率、DSP效率、性能密度和功耗效率相比之前的文献有明显优势。

超大规模数据处理中并行计算技术的应用研究

随着人工智能和大数据时代的到来,超大规模数据处理成了一个重要的研究领域。该文主要探讨并行计算技术在超大规模数据处理中的应用,首先详细阐述并行计算和超大规模数据处理的基本理论与概念,特别是并行计算的编程模型与工具,最后通过分析并行计算在搜索引擎、气象预报和金融分析等中的实际案例,阐述并行计算技术在超大规模数据处理中的实际应用。

面向深度神经网络大规模分布式数据并行训练的MC^(2)能耗模型

深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过量能耗方面起着至关重要的作用.目前,大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模,由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析,导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式,从DNN模型训练本质特征角度出发,提出了“数据预处理(materials preprocessing)-前向与反向传播(computing)-梯度同步与更新(communicating)”三阶段MC^(2)能耗模型,并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的Vision Transformer网络验证了模型的有效性和可靠性.实验结果表明,MC^(2)与真实能耗测量结果相差仅为2.84%,相较4种线性比例能耗模型以及AR,SES,ARIMA时间预测模型准确率分别提升了69.12个百分点,69.50个百分点,34.58个百分点,13.47个百分点,5.23个百分点,22.13个百分点,10.53个百分点.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗结果,为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础.

面向分布式数据库的算子并行优化策略

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。

基于并行双通道时空网络的流量数据修复技术

流量数据丢失是网络系统中常见的问题,通常由传感器故障、传输错误和存储丢失引起.现有的数据修复方法无法学习流量数据的多维特征,因此本文提出了一种结合双向长短期记忆网络与多尺度卷积网络的双通道并行架构(ST-MFCN)用于填补流量数据的缺失值,同时设计了一种新的对抗性损失函数进一步提高预测精度,该模型有效地学习流量数据的时间特征和动态空间特征.本文在Web traffic time series数据集上对模型进行测试,并与现有的修复方法进行对比,实验结果表明,ST-MFCN能够减少数据恢复的误差,提升了数据修复的精确度,为网络系统中的流量数据修复提供了一种稳健高效的解决方案.

基于AES算法和混沌映射的嵌入式终端数据传输并行加密方法

传统嵌入式终端数据传输并行加密方法易受到数据传输迭代过程中暂态特性的影响,加密后数据信息丢失量较大,加密效果不佳。为了减少加密后的信息丢失量,提升加密安全性,提出基于高级加密标准算法和混沌映射的嵌入式终端数据传输并行加密方法。根据嵌入式系统中数据的属性分布情况,对其进行编码设计,基于混沌映射原理,对数据进行初级加密,并对传输数据进行整合,求取其状态矩阵,以消除数据传输迭代过程中暂态的影响,以此为依据,采用AES算法,对数据进行轮钥加密,由此实现数据传输并行加密。对比实验结果显示,所提方法能够为数据提供一个安全且稳定的传输空间,加密后的信息丢失量很小。

基于大数据挖掘的城市规划异构数据调度平台

为了提高城市规划异构数据资源的调度效果,设计基于大数据挖掘的城市规划异构数据调度平台。通过配置FPGA采集异构大数据;采用大数据挖掘技术中的二进制分裂聚类算法分类存储数据;基于粒子群聚类算法分发匹配调度任务;基于大数据处理技术优化数据调度效率,完成城市规划异构数据资源调度。测试结果显示:该平台的数据采集速度均在6800字节/s以上;弗里德曼检验和调整随机误差结果最高值分别为0.965和0.02,数据分类效果良好;数据调度匹配率均在0.94以上,提高了城市规划异构数据资源调度效果。