商业银行在智能数据流水线的探索与实践

随着互联网和移动技术的快速发展,商业银行的数据规模和数据种类不断增加,对数据的处理和分析要求也越来越高。为了满足以上需求,商业银行需要建立智能数据流水线来实现高效的数据处理和分析,从而更好地服务客户。探讨商业银行在智能数据流水线方面的实践和探索,包括基于TDH大数据平台建设的数据仓库、数据清洗和转换、机器学习模型的建立和应用等。通过对商业银行实践的总结和分析,可以为其他金融机构提供借鉴和参考,推动金融行业的数字化转型。

ONSET数据流水线

随着天文大科学设备的投入使用,传统的开发模式面临程序重复开发,环境依赖冲突等问题。另外,集群是一个高度耦合的计算资源,严重的环境冲突可能导致整个集群不可用。为了解决这个问题,采用微服务的概念开发新的流水线框架,这种框架可以实现短期内开发和部署新的流水线。介绍了通过这种框架开发的ONSET数据流水线,为了实现准实时数据处理,采用MPI和GPU技术对核心程序做了优化,并对最后的性能做了评估。结果表明,这种开发模式可以在短期内搭建满足需求的流水线,这种开发模式对未来多波段多终端的天文数据处理有借鉴意义。

ISO/OSI参考模型中数据流水线及服务访问点的分类

本文从数据流的观点对国际标准化组织制定的开放系统互连(ISO/OSI)参考模型中的(n)协议机的活动进行了描述;同时,详细讨论了七层参考模型(n)层中数据单元的形式及其相互关系,给出了一种简易的对(n)PM实现进行验证的方法,最后,对(n)SAP的分类与不分类的情况进行了讨论.

网格中数据并行流水线的任务指派优化

为了缩短网格中数据并行流水线在吞吐率受限下的延迟,提出了一种优化任务指派的算法.在一个流水线中,每个任务都可以是一个数据并行程序.当多个任务被指派到同一个并行系统时,假设每个任务排他地使用一组处理机.根据优化目的,优化过程可分成连续的两个阶段,即提高吞吐率和缩短吞吐率受限下的延迟.对不同的优化阶段,用不同的启发式算法确定一个并行系统中每个任务的处理机数.改派任一任务都会使流水线的性能发生变化,性能提高的幅度被称为任务优先级.通过重复改派优先级最高的任务,流水线的性能可迅速提高,这在仿真实验中已得到了证实.

数据并行流水线网格调度的一种优化方法

为改进计算网格上数据并行流水线的性能,用模拟退火算法优化调度,用一个实验性方法确定初始控制参数,用一个随机方法选择下一个调度方案。调整最佳调度方案的稳定次数,可实现优化开销和优化效果之间的折中。实验显示,该文的模拟退火可有效优化流水线的调度。

科学大数据管理:概念、技术与系统

近年来,随着越来越多的大科学装置的建设和重大科学实验的开展,科学研究进入到一个前所未有的大数据时代.大数据时代科学研究是一个大科学、大需求、大数据、大计算、大发现的过程,研发一个支持科学大数据全生命周期的数据管理系统具有重要的意义.分析了研发科学大数据管理系统的背景,阐述了科学大数据的概念和三大特征,通过对科学数据资源发展和科学数据管理系统的研究进展进行综述分析,提出了满足科学数据管理全生命周期的科学大数据管理框架,并从数据融合、数据实时分析、长期存储、云服务体系以及数据开放共享机制5个方面分析了科学大数据管理系统中的关键技术.最后,结合科学研究领域展望了科学大数据管理系统的应用前景.

近数据计算下键值存储中Compaction并行优化方法

大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写,从而提升性能.然而,LSM-tree键值存储也存在一些性能问题.一方面,键值存储利用compaction操作更新数据,保持系统平衡,但造成严重的写放大问题.另一方面,以传统计算为中心的架构下,compaction操作带来大量的数据传输,影响了系统性能.以数据为中心的近数据计算模型(near-data processing,NDP)为基础,利用该模型下主机端与近数据计算使能设备端的并行资源,提出基于系统并行与流水线并行的compaction优化方法(collaborative parallel compaction optimization for LSM-tree key-value stores,CoPro).当处理compaction操作时,CoPro主机端与NDP设备端协同执行compaction卸载任务.此外,进一步提出基于决策组件的CoPro+,根据系统资源变化以及负载键值对中值大小的变化来动态调整并行度,使NDP架构中计算资源的使用更加高效.在搭建的硬件平台上验证了CoPro的有效性.

高精度X射线数字成像检测中图像快速采集方法

高分辨率X射线数字成像检测系统的图像数据量大 ,而且要求较远距离传输。图像采集速度将直接影响检测速度 ,为此设计了科学级大面阵电荷耦合器件 (CCD)信号读出与调理、A/D转换、数据远距离传输并行工作 (流水线 )方式的图像采集系统 ,利用了计算机并行口的增强并行接口 (EPP)工作方式的地址读和数据字读的选通信号来控制各部分工作和数据快速采集 ,并用多位晶体管—晶体管—逻辑 (TTL)和RS4 2 2标准转换方法 ,实现了射线数字成像系统中数据的远距离并行传输。

一种优化可配置的AES密码算法硬件实现

AES加密算法是下一代的常规加密算法,其将被广泛应用在政府部门和商业领域。本文首先介绍了AES加密算法,然后分析了其硬件实现的要点和难点,最后在Xilinx的FPGAVirtexIIXC2V3000-4上对AES密码算法进行了实现和验证。本方案采用一种优化的非流水线加密解密数据路径;同时提出了一种新的可配置的动态密钥调度结构,使得该设计支持128、192和256比特的密钥;而且该设计可以配置AES的四种工作模式。实验的结果表明该设计比其它的设计具有更高的性能。

Pipelined Global Data Communication on Hypertoruses

is paper presents several effective global data communication algorithms on the hypertorus,or kary n-cube interconnection network,which is a generalization of the conventional hypercube structure,The timing analysis of these algorithms is also gven.