基于固态硬盘内部并行的数据库表扫描与聚集

随着基于闪存的固态硬盘在个人计算机和企业服务器上的广泛应用,固态硬盘受到学术界和工业界越来越多的关注.除了具有闪存存储器的优良特性之外,固态硬盘内部还具有丰富的并行特性.传统数据库系统的物理操作表扫描和上层聚集操作是针对磁盘的机械特性和对称读写特性而设计的,并不能发挥固态硬盘内部并行特性的优势.文中首先将固态硬盘作为一个黑盒进行探测以了解其内部的并行特性.在此基础上,对传统数据库表扫描操作进行相应的改进,提出一种并行表扫描模型ParaSSDScan以充分利用固态硬盘内部丰富的并行特性.其次,基于并行表扫描模型,文中还提出一种高效的并行聚集操作模型ParaSSDAggr,并利用该聚集操作模型实现几种常见聚集操作.最后,通过实验表明并行表扫描和并行聚集操作的性能较之传统数据库表扫描和聚集操作的性能分别提高了3倍和4倍,同时实验结果还表明并行聚集操作对内存的需求不大.并行表扫描和并行聚集操作大大提高了表扫描和聚集操作的性能,充分说明了固态硬盘内部并行特性的优越性.

基于知识图谱的计算机组成原理课程植入与导入式教学

针对计算机组成原理课程的特点及其教学现状,剖析该课程与先后修课程的关系,构建相应的知识图谱,阐述如何将知识图谱导入到该课程的整个教学过程中,最后通过教学效果反馈信息的数据统计分析,说明导入知识图谱的教学方式可以提高学生对该课程的学习兴趣和重视程度。

基于相变存储器和闪存的数据库事务恢复模型

随着闪存容量不断增大、价格不断下降,闪存在实际存储系统上得到了越来越广泛的应用.但是,闪存的页级读写、异位更新、有限寿命等阻碍了闪存数据库系统的性能提升,尤其是事务恢复.闪存的异位更新使得影子页技术可以很好地支持闪存数据库事务恢复,同时也给闪存数据库带来新挑战,如事务管理、缓冲区管理.相变存储器凭借其比闪存更高的读写速度、更小的读写粒度、更长的寿命成为了下一代主流存储技术,所以相变存储器可以用于解决在闪存数据库中使用影子页技术所产生的事务管理和缓冲区管理问题.该文基于相变存储器和闪存混合式存储提出一种全新的数据库事务恢复模型——SPFP.该模型充分利用相变存储器的特性完成事务管理.为支持非强制缓冲区管理,基于SPFP提出了一种优化的数据库事务恢复模型——SPFLP,利用相变存储器记录更多事务信息.实验结果表明,相较于全闪存存储的数据库系统,SPFLP大大提高了基于混合存储的数据库事务处理性能.

面向解决复杂工程问题的“大数据与数据挖掘”教学研究

学生工程教育培养的核心问题是培养学生解决复杂工程问题的能力。解决该问题,首先要准确理解和把握复杂工程问题的本质,其次要针对该目标采取有针对性的教学方法和手段。因此,本文从解读和阐述复杂性工程问题入手,以"大数据与数据挖掘"课程为例,分析该课程特点以及现有问题,并针对上述培养目标,给出适应该课程的一系列教学方法和改革措施,包括产学合作、项目驱动、"多师"授课、翻转课堂和综合评价等策略。

基于改进DenseNet的水果小目标检测

针对自然环境中小目标水果的检测精度普遍较低的问题,提出基于DenseNet改进的水果目标检测框架.构建以DenseNet为核心的多尺度特征提取模块,在DenseNet不同层级的稠密块中建立特征金字塔结构,加强网络层特征复用.结合低层特征的高分辨率和高层特征的高语义性,实现准确定位和预测小目标水果存在的目的.引入软阈值非极大值抑制(Soft-NMS)算法,改善簇状果实结构中检测框被误剔除的情况.与常用的Faster R-CNN网络相比,所提出的框架在苹果、芒果和杏3个数据集中的平均检测速度大于40 FPS,F1值分别为0.920、0.928、0.831,实现了检测效率及精度的提升.

一种大数据流内存B+树构建方法

面向具有时间维度的大数据流,基于二级B+树索引结构,提出了一种高效的面向时间窗口、采用批量装载技术的内存B+树构建方法。该方法对时间窗口进行分片,通过分离出可以并行处理的操作来加速构建过程,将排序操作与数据流接收并行,B+树骨架的构建与排序并行;采用基于排序的批量装载技术以及优化的构建顺序,能够避免多线程之间不必要的加锁、同步开销,有效提高构建效率。提出的多次微批量排序单次批量装载(MBSortSBLoad)B+树构建方法的构建速度快,能承载的最大流速大。实验验证了所提方法的有效性。

计算机组成原理课程教学设计与案例实践

针对计算机组成原理课程教学要解决的重点问题,提出线上与线下、理论与实践相结合的教学设计,并从教学目标的优化、教学内容的重构、教学方法的创设、教学资源的建设、教学评价的改革5个方面进行详细介绍,以指令周期为教学案例,说明教学设计的具体应用。

面向时空数据流的移动对象空间索引构建

本文针对时空数据流提出了一种基于时间窗口数据排序和批量装载的移动对象空间索引构建方法HSTRCL.该方法用固定长度的时间窗口将连续的时空数据流进行切分,每当一个时间窗口完成数据缓存,采用优化的索引批量装载技术,从传统的构建流程中尽可能分离出耗时的数据划分和排序操作,将数据流的接收及其他构建操作并行执行,避免不必要的加锁同步开销,加快索引的构建效率;同时,采用基于Hash和STR的主、辅索引构建技术,满足高性能且多样化的查询需求.另外,为进一步提高对象查询性能,引入聚合技术划分对象,提出了一种基于时间窗口对象聚合和批量装载的移动对象空间索引构建方法OAHSTRCL,对象查询时间约为HSTRCL的65%,但对空间查询性能会有一定程度的影响.通过理论分析和多种实验验证了所提方法的有效性.

一种利用固态盘特性的散列连接改进算法

随着新一代存储设备固态盘的发展,如何发挥新存储设施的性能成为近年来的一个研究热点.将固态盘作为"黑盒",通过观察固态盘I/O外部特性,即考察访问粒度与访问队列深度与固态盘性能之间的关系,得出算法设计应遵循的原则,并应用到数据库散列连接算法的设计中.提出了并行化Grace散列连接设计方法,以及根据访问粒度、队列深度计算各阶段缓冲区大小的优化分配方法.一系列实验结果表明本文提出的并行散列连接方法能够充分发挥固态盘性能,优化的缓存分配方案可保证固态盘性能充分发挥而不浪费内存资源.

面向大数据流的分布式索引构建

大数据流的高效存储与索引是当今数据领域的一大难点.面向带有时间属性的数据流,根据其时间属性,将数据流划分为连续的时间窗口,提出了基于双层B+树的分布式索引结构WB-Index.下层B+树索引基于窗口内流数据构建,索引构建过程结合基于排序的批量构建技术,进一步对时间窗口分片,将数据流接收、分片数据排序以及B+树构建并行化,提高了构建性能.上层B+树索引基于各时间窗口构建,结合时间窗口时间戳的递增性和无限性,提出了避免节点分裂的构建方法,减少了B+树分裂移动开销,提高了空间利用率和更新效率.WB-Index架构中,将流数据和索引分离,同时利用内存缓存尽可能多的双层B+索引和热点数据来提高查询性能.理论和实验结果表明,该分布式索引架构能够支持高效的实时数据流写入以及流数据查询,能够很好地应用于具有时间属性的数据流场景.

运动腕表心率序列相似性检测

近年来学生整体的体质状况呈现下降的趋势。许多高校实行了阳光晨跑计划,但不尽理想。采用运动心率腕表采集运动心率数据来监控学生课外健身跑状况是较好的方案,由于缺少直接监督,可能会出现一人佩戴多个腕表替他人代跑的情形,这将成为该方案实施的一个技术挑战。对所有时间上重叠的心率序列对抽取距离相关和统计相关的特征,通过基于支持向量机的代跑检测方案,可实现精准并且召回较高的代跑检测。实验验证了所提方法的有效性。

一种改进的整机系统实时功率建模方法

本文通过考察处理器、内存和磁盘三个部件的活动信息,包括硬件性能事件和部件利用率,构建整机系统实时功率模型.对于处理器和内存的功耗,通过特征选择找到合适的处理器内部的性能事件,结合CPU功耗状态C-States,建立低误差的功耗模型;对于没有提供性能事件的磁盘,通过利用率对部件功耗进行估算.采用回归方法分别建立并综合两个模型即可得到整机的实时功率模型.实验使用了真实系统Eureqa建模和PosgreSQL系统运行TPC-H负载对两种功率模型进行验证,结果表明:基于硬件性能事件与C-States的实时处理器与内存功率模型的误差在3%以下;结合性能事件、C-States与利用率的整机功率模型其相对误差在4%~10%之间,优于仅使用利用率的整机功率模型,最大时提升可达7%.

散列连接算法中探测缓存与峰值功率关系建模

功率感知数据库管理系统是数据库界具有挑战性的研究议题,针对数据库系统中核心操作之一—散列连接的峰值功率估计问题开展研究.依据CPU功率与CPU利用率正相关以及CPU利用率与内存可用数据之间的关联关系,以及散列连接算法其峰值功率发生在连接阶段的事实,从理论上分析了CPU利用率与散列连接算法中可用探测缓存大小之间的关系,通过功率计对运行散列连接算法的机器功率消耗实际测量获得数据,并进行了以探测缓存大小为自变量的峰值功率预测模型构建.通过一系列实验对本文所提建模方法进行了有效性验证,所提模型相对误差在6%以内,具有一定的可用性.

数据库服务器系统软功率计

功率建模是功率感知DBMS的基础.针对数据库服务器系统整机系统进行功率建模,构建其软功率计.模型利用处理器、磁盘(包括硬盘和固态盘)和内存等主要部件的活动信息,包括其利用率与核频率,其余部件产生功率作为背景功率,来构建模型.为提高模型的准确性,对各部件、可用参数对模型准确性进行全面分析.实验表明不同的模型准确性、鲁棒性存在一定的差异,大部分模型的相对误差在5%~8%之间,个别没有利用足够信息的模型相对误差在12%左右,利用全部信息的模型具有较好准确性和稳定性.

异构多固态盘的吞吐量优化

固态盘具有低访问延迟、抗震性、内部并行性等诸多优良特性,已被广泛使用。如何利用固态盘提高系统性能是当前研究议题之一。首先通过一系列不同读写比例的负载实验来探索固态盘的特性,发现在较大I/O请求粒度场景下,较高的读请求比例有利于提升各类固态盘的吞吐量。基于实验结论,提出了一种I/O只读负载分离方法 RODI,通过合理放置只读数据来分离只读负载到合适的固态盘上,以提升异构多盘阵列整体的吞吐量。大量实验表明,在较大I/O粒度的异构多盘环境中,相比传统的RAID技术,RODI方法对于改善多盘总体吞吐量更具优势。

异步I/O连接算法的峰值功率建模

峰值功率是影响数据中心能效的一个重要因素.本文提出一种功率感知数据库系统中连接算法的峰值功率估算方法,非运行时峰值功率的估算的挑战在于没有运行时的系统信息作为模型的输入.为克服估算困难,提出使用 CPU密集度作为 CPU功耗指示量,理论上分析了异步 I/O连接算法在峰值功率发生阶段的特性,通过模拟连接算法峰值功率发生阶段算法行为来估算该阶段最大 CPU密集度,通过 CPU密集度与 CPU功率的内在联系建立异步I/O连接算法的峰值功率预测模型.实验对数据库系统中采用异步 I/O机制的四个连接算法时模型准确性进行了验证,结果表明所提预测方法具有较好的预测准确性,平均相对误差低于 7%.

异步连接操作的峰值功率建模

功率感知数据库系统的峰值功率研究是解决数据中心能效的重要议题.非运行时峰值功率的估算的挑战在于没有运行时的系统信息作为模型的输入.为克服估算困难,提出了使用CPU密集度作为CPU功耗指示量,理论上分析了异步I/O连接算法在峰值功率发生阶段的特性,通过模拟连接算法峰值功率发生阶段算法行为来估算该阶段最大CPU密集度,根据CPU密集度与CPU功率的内在联系建立异步I/O连接算法的峰值功率预测模型.实验表明:所提预测方法具有较好的预测准确性,平均相对误差低于4%.

增量跨模态检索方法

跨模态检索是可由一个模态样本查询能够返回另一模态语义相关结果的检索方法.但是在许多实际检索系统中,新数据是不断增量迭代的,这就要求检索模型具有良好的可扩展性.然而当下的大多数跨模态检索方法未聚焦于可扩展性的研究,无法平衡新知识和旧知识之间的关系.针对跨模态检索中存在的这个问题,本文提出了增量跨模态检索方法(Incremental Cross M odal Retrieval,ICM R).该方法仅使用增量样本数据集进行模型的扩展.所提方法包含两个阶段:阶段1是基于跨模态的知识蒸馏网络构建,目的是防止增量学习模型对旧数据集的灾难性遗忘;阶段2是生成不同模态哈希编码的特征表示,利用构建的新旧标签共现概率矩阵更有效的将新增类别语义信息加入到特征表示当中.实验表明基于跨模态的增量学习模型仍能保持旧数据集检索任务性能,并且在新增类样本集上也具有良好的检索精度.

面向专业学位水平评估体系的计算机技术专业培养改革方法研究

以首次专业学位水平评估体系为出发点,探讨计算机技术专业学位相关评估体系的特点,指出当前计算机技术专业研究生在培养过程中普遍存在的问题,并提出改革的目标和手段。