跨语言用户态文件系统框架读写性能优化

以深度学习为代表的数据分析应用越来越多依赖分布式文件系统存储管理大规模数据集.为了增强数据访问的兼容性,现有分布式文件存储系统通常需提供标准POSIX接口,以支持深度学习等应用的无缝对接.然而,以内核模块形态开发提供POSIX接口的文件系统非常复杂耗时.近年来,用户态文件系统(Filesystem in Userspace,FUSE)框架大幅简化了文件系统的开发工作,已被Alluxio和Ceph等诸多知名分布式文件系统使用.目前常用的用户态FUSE库libfuse仅提供C语言编程接口,但现有大数据分布式文件系统基本都是基于Java语言开发的(例如HDFS和Alluxio等),为了使基于Java语言开发的分布式文件系统可以对接C语言开发的FUSE库,需采用跨语言FUSE框架作为中介.跨语言FUSE框架利用跨编程语言的函数回调机制,使操作系统FUSE库的C语言函数可以跨语言的调用分布式文件系统提供的Java语言编程接口,从而为大数据分布式文件系统提供标准POSIX接口的访问能力.但在数据密集型应用中,现有跨语言FUSE框架的执行效率低,导致数据密集型作业(深度学习、大数据分析等)中数据I/O耗时占据了显著的性能开销,成为新的潜在性能瓶颈.针对此问题,本文首先评估分析了重要且广为使用的跨语言FUSE框架JNR-FUSE的性能,发现并定位其在高并发和小文件场景下存在的性能瓶颈;接着从多方面剖析性能瓶颈根因,进而总结出高效跨语言FUSE框架的性能优化方向,并面向Java语言设计实现了跨语言FUSE框架JNI-FUSE.JNI-FUSE利用延迟分离和元信息缓存等优化技术降低跨语言函数回调开销,从而提升跨语言FUSE框架的性能.实验结果表明,对比当前性能最好的Java FUSE框架JNR-FUSE,本文提出的JNI-FUSE带来了1.15~6.04倍的FUSE框架性能提升和1.90~2.71倍的文件系统端到端性能提升,并为上层深度学习训练任务带来了1.06~1.73倍的训练加速.本文设计提出的JNI-FUSE(Java Native Interface-Filesystem in User SpacE)因性能优势,已被知名开源分布式文件系统Alluxio官方接受集成.

渐进式深度集成架构搜索算法研究

深度神经网络已在各个领域取得巨大成功.然而,深度学习模型并不只包含深度神经网络.近年来,以深度森林为代表的深度集成学习模型,凭借着无需反向传播训练、计算开销更小、模型复杂度支持自适应确定以及表数据建模任务性能优异等特点,引起了学界和业界的广泛关注,并且取得了良好的应用效果.深度森林为探索DNN(Deep Neural Network)之外的深度学习模型打开了另一扇门.然而,现有的深度集成模型主要以深度森林为主,深度集成架构较为单一,基学习器的数量与集成方式较为固定,需要探索除深度森林之外的深度集成学习模型架构.另外,实际应用中,很难存在一种深度集成学习模型架构能够在不同数据集上均取得优异性能,尤其是对于数据特征差异较大的表格型数据集.因此,也需要一种高效的数据自适应的深度集成学习架构设计方法.为此,本文从搜索空间和搜索算法两个层面,研究提出了一种高效的基于代理模型的渐进式深度集成架构搜索方法PMPAS(Proxy Model-based Progressive Architecture Search).首先,通过归纳分析已有深度集成学习模型的特点,给出了深度集成架构的形式化定义.其次,研究提出了两种全新的深度集成架构搜索空间,即基于完全并行的搜索空间和基于有向无环图的搜索空间.然后,在上述两种搜索空间的基础上,研究提出了基于代理模型的渐进式搜索方法与算法,实现从简单到复杂逐步地在搜索空间中进行探索,并采用代理模型作为指导,降低模型评估开销.最后,本文从时间复杂度和空间复杂度两个方面对搜索算法进行分析.在分类、回归等公开的表格型数据集上的大量实验结果表明,通过PMPAS算法搜索得到的深度集成架构,其性能不仅优于已有的集成学习模型、深度学习模型以及以深度森林为代表的深度集成学习模型,而且优于已有的自动化模型选择算法.随着时间预算的不断增加,性能优势更为明显.PMPAS开源地址为:https://github.com/PasaLab/PMPAS.

超媒体文档库协作写作系统的数据结构设计

本文主要讨论了一个面向大容量超媒体中文文档库的分布协作写作系统的数据和结构模型设计，着重介绍了分布式文档库、文档目录树、节点和超链链表、多媒体对象。

CCHMDBS；一个分布协作超媒体中文文档库写作系统

本文阐述了一个面向大容量超媒体中文文档协作写作系统的主要设计思想和实现。着重介绍了系统的新一代超媒体系统特征和核心技术，如超链自动链接技术，超媒体系统的中文处理技术尤其是中文检索技术，分布与协作写作技术，文档目录可视化组织管理技术等。

大数据机器学习系统研究进展

要实现高效的大数据机器学习,需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统面临诸多技术挑战。近年来,大数据浪潮的兴起,推动了大数据机器学习的迅猛发展,使大数据机器学习系统成为大数据领域的一个热点研究问题。介绍了国内外大数据机器学习系统的基本概念、基本研究问题、技术特征、系统分类以及典型系统;在此基础上,进一步介绍了本实验室研究设计的一个跨平台统一大数据机器学习系统——Octopus(大章鱼)。

曲线轮廓汉字字形缩放与还原中几个问题的研究

本文主要讨论了曲线轮廓字形缩放与还原中两个重要的技术问题。首先描述了一个新的用于提高还原速度的快速封闭区域填充算法。然后，给出了一个笔划缩放误差调整技术，它可保持缩放字形笔划的均匀美观；同时，文中给出了一个完整的字形缩放与还原算法。

常规文本到超文本自动转换技术的研究与实现

文中介绍了一种常规文本到超文本自动转换技术的设计与实现，该系统可对具有自然目录结构的常规文本，在目录自动识别和标注的基础上，自动转换为具有顺序层次链的超文本文档．

基于CSCW的中文超媒体技术的研究实现

讨论了基于ＣＳＣＷ（计算机支持的协同工作）的新一代中文超媒体技术，主要介绍超媒体系统数据结构模型，分布与协作技术，超链自动链接技术，超媒体系统的中文检索技术，超媒体系统的用户界面等，并介绍了一个基于工作组网络系统ＷｉｎｄｏｗｓｆｏｒＷｏｒｋｇｒｏｕｐｓ的超媒体原型系统的实现，该系统是一个面向大容量超媒体中文文档库的协作写作系统，适用于大型中文电子图书和文档资料库类型的光盘出版物的制作。本文的研究课题是国家８６３资助项目，并得到美国ＩＮＴＥＬ公司资助。

大型文档写作系统中的分布协作机制

本文讨论了一大型多媒体中文档库写作系统ＣＣＨＭＤＯＳ中的分布协作机制的设计与实现，着重介绍了分布式文档库的结构设计，数据模型，协作机制等技术内容。

汉字字形向量轮廓压缩算法的设计与实现

本文讨论了一种从点阵式汉字字形由软件自动抽取向量轮廓字形的算法。文中在轮廓点的步进、向量拟合等方面提出了许多新的设计方法和实现技术,并讨论了一种有效的向量轮廓数据二次压缩算法。本系统业已实现,压缩后的向量字形配合相应的还原技术可广泛地应用于各种中文计算机系统中。

常规文本到超文本的自动转换

本文介绍了一个常规文本到超文本自动转换系统的设计与实现,该系统可对具有自然目录结构的常规文本,在目录自动识别和标注的基础上,自动转换为具有顺序层次链的超文本文档。

HiBase:一种基于分层式索引的高效HBase查询技术与系统

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.

Hadoop MapReduce短作业执行性能优化

Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在处理对短作业响应性能有较高要求的查询应用时,Hadoop MapReduce并行计算框架存在明显不足.为了提升Hadoop对于短作业的执行效率,对原有的Hadoop MapReduce作出以下3点优化:1)通过优化原有的setup和cleanup任务的执行方式,成功地缩短了作业初始化环境准备和作业结束环境清理的时间;2)将首次任务分配从"拉"模式转变为"推"模式;3)将作业执行过程中JobTracker和TaskTrackers之间的控制消息通信从现有的周期性心跳机制中分离出来,采用即时传递机制.最后,采用一种典型的基于MapReduce并行化的查询应用BLAST,对优化工作进行了评估.各种不同类型BLAST作业的测试实验表明,与现有的标准Hadoop相比,优化后的Hadoop平均执行性能提升约23%.

基于Spark的LIBSVM参数优选并行化算法

利用Spark集群设计LIBSVM参数优选的并行化实现.LIBSVM是一款广泛使用的SVM软件包,广泛应用于模型搭建、样本训练和结果预测等方面.在用LIBSVM训练数据集时,参数的选择对训练结果影响显著,其中以参数C和g最为重要.LIBSVM软件包中采用网格搜索算法对C、g参数组合进行寻优,尽管该算法在单机上实现了并行化,但当数据量达到一定程度时,仍需要花费大量的时间.基于Spark并行计算架构,进行了LIBSVM的C、g参数网格优选并行算法的设计与实现.实验结果表明,提出的并行粗粒度网格搜索C、g参数优选算法比传统算法速度提升了近7倍,而且这一提升将随着集群规模的扩大而进一步加大.另一方面,在粗粒度网格搜索的基础上,进而提出的细粒度并行网格搜索算法又进一步提升了C、g参数组合的优选结果.

基于Spark的并行化组合测试用例集生成方法

软件系统的正常运行受很多因素影响,各种因素及其相互作用可能引发软件故障,需要设计测试用例检测这些故障.如果因素数量较多且取值情况较复杂,则所需测试用例的数量将非常庞大.如何设计规模较小的用例集是测试用例生成研究的一个关键问题.组合测试能够从待测软件的大规模组合空间中,生成小规模的用例集,实现对各因素取值组合的充分覆盖.已有研究表明,组合测试的最小测试用例集生成问题是一个NP完全问题.目前已有一些研究尝试使用启发式搜索算法生成尽可能小的用例集.启发式搜索算法将组合测试用例集生成问题转化为搜索问题,并使用元启发式算法生成用例集.启发式搜索算法通常能够生成较小规模的用例集,但需要较长的计算时间.为了解决这个问题,文中提出了一种基于Spark的岛模型并行化遗传算法,利用Hadoop分布式文件系统实现了Spark运行节点间交换信息的方法,进而实现个体在子种群间的迁移.该算法首先从初始种群创建Spark的弹性分布式数据集;然后,将该数据集划分为多个子种群分布到集群的多个节点中;接着,各个子种群在各自的节点上计算适应度函数值和独立进化,并每隔一定的进化代数选择一些个体在各个子种群间迁移,提高了种群的多样性以及搜索最优解的有效性和性能;最后,算法返回满足覆盖准则的最优测试用例集.这种基于Spark的并行化遗传算法是大规模并行化在组合测试用例集生成方面的一个有效尝试.在实验部分,首先对文中提出的并行化算法进行系统的参数调整,给出适合组合测试用例集生成的推荐参数配置;接着将文中所提算法与串行遗传算法和独立运行遗传算法进行比较.实验结果表明,文中所提算法在生成用例集规模和消耗时间上均显著优于这两个算法.在运行所选实例时,该算法比串行算法加速约4至30倍,比独立运行遗传算法加速约2至3倍.相对于已有的组合测试用例集生成方法,文中所提算法在生成用例集规模上也具备显著优势.

YARM:基于MapReduce的高效可扩展的语义推理引擎

随着语义网的快速发展,RDF语义数据大量涌现.大规模RDF语义数据推理的一个主要问题是计算量大、完成计算需要消耗很长的时间.显然,传统的单机语义推理引擎难以处理大规模的语义数据.另一方面,现有的基于MapReduce的大规模语义推理引擎,缺乏对算法在分布和并行计算环境下执行效率的优化,使得推理时间仍然较长.此外,现有的推理引擎大多存在可扩展性方面的不足,难以适应大规模语义数据的增长需求.针对现有的语义推理系统在执行效率和可扩展性方面的不足,文中提出了一种基于MapReduce的并行化语义推理算法和引擎YARM.为了实现分布和并行计算环境下的高效推理,YARM做出了以下4点优化:(1)采用合理的数据划分模型和并行化算法,降低计算节点间的通信开销;(2)优化推理规则的执行次序,提升了推理计算速度;(3)设计了简洁的去重策略,避免新增作业处理重复数据;(4)设计实现了一种新的基于MapReduce的并行化推理算法.实验结果表明,在真实数据集和大规模合成数据集上,YARM的执行速度比当前最新的基于MapReduce的推理引擎快10倍左右,同时YARM还表现出更好的数据和系统可扩展性.

基于SparkR的分类算法并行化研究

近几年来,大数据机器学习和数据挖掘并行化算法研究成为大数据领域一个较为重要的研究热点。Spark提供了一个称为Spark R的编程接口,方便一般应用领域的数据分析人员使用所熟悉的R语言在Spark平台上完成数据分析和计算。基于Spark R设计并实现了多种常用的并行化的机器学习分类算法,包括多项式贝叶斯分类算法、支持向量机(support vector machine,SVM)算法和Logistic Regression算法。对于SVM和Logistic Regression算法,在常规的并行化策略的基础上为了进一步提升训练速度,设计采用了并行化局部优化的迭代计算模式。实验结果表明,所设计实现的基于Spark R的并行化分类算法与Hadoop Map Reduce的方案相比,速度上提升了8倍左右。

基于Spark的极限学习机算法并行化研究

极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显。

“计算机组织与系统结构”课程的教学现状和改革思路

"计算机组织与系统结构"是计算机专业最重要的核心基础课之一,课程涉及的内容在整个计算机学科和计算机系统中处于非常重要的位置,因而该课程的教学工作在计算机专业学生培养上具有极其重要的作用。本文就本课程在计算机系统中的地位、国内本课程的教学现状、国外一流大学的教学内容和教学实验等几个方面进行介绍、分析和总结,并在此基础上,提出对课程内容和实验教学的改革思路。

大数据在线实训平台及综合实验课程体系设计

针对“大数据处理综合实验”课程教学中学生接触集群难、编程难度高、学习效率低等问题,设计实现了大数据在线教学实训平台。该平台集成了大数据存储、计算、查询、可交互式编程等模块,实现了包括并行编程实训、学生管理、资源调度、教学过程监控等功能的一体化大数据教学系统。基于该平台,还设计了一系列由浅入深的大数据分析案例和编程实验项目。教学实践表明,该平台在帮助学生直观理解并行处理技术和分布式系统、培养学生大数据应用并行处理编程能力等方面起到了很好的作用。