基于内存保护键值的细粒度访存监控

基于内存保护键值硬件扩展,提出了一种轻量化且细粒度的页保护机制。突破了传统页保护方法仅支持页粒度访存监控的技术局限,实现了能够拦截每个访存操作的细粒度页保护机制。充分利用内存保护键值提供的用户态线程局部页访问权限控制,性能开销相比传统页保护的降低了30%以上。通过融合细粒度页保护与编译插桩,弥补了传统编译插桩方法无法覆盖程序中不可重编译部分的局限性。

Spark内存计算课程教学改革探索

分析Spark?内存计算课程的特点以及教学中存在的不足,从协同课程间的知识点衔接、内存计算数据模型分析和数据模型间逻辑关系梳理3个方面,提出Spark理论教学改进思路和具体方法,总结Spark课程实践教学的目标和具体内容,阐述在实践教学中将基础能力训练和综合能力培养相结合的教学方法,为其他大数据相关课程的教学提供参考。

结合计算机运行时内存结构的C语言教学方法研究

针对计算机教学中学生对计算机程序的编译过程及编译后的程序运行机制理解不够深入等问题,在分析C语言特点的基础上,提出结合计算机运行时内存结构的C语言教学方法,从源程序的编译过程、流程控制语句的实现机制、函数参数的传递机制、运行时变量的内存结构、多模块编译5方面,介绍教学方法应用,旨在使学生深入理解C语言程序的运行机制,掌握命令式语言程序运行的一般形式,提升学生的计算机系统软硬件综合能力。

基于类C语言内存模型的复杂数据结构验证方法

对系统中操作复杂结构程序的正确性验证是保证软件高可信的重要途径,目前大多数基于高层抽象建模和程序结构拆分的方法难以满足复杂数据结构程序的验证要求。针对这一问题,论文提出基于类C语言内存模型的验证方法。首先,以内存块为基础将复杂数据结构的操作进行函数形式的定义和描述,形式化描述内存对象操作性质;其次,针对程序层定义了符合复杂结构描述的文法和语义,并基于符号化的程序逻辑进行推理。实验对嵌入式操作系统内核μC/OS-III中的复杂数据结构进行分析和自动化验证,断言描述和验证条件脚本通过了自动定理证明器的求解。

结合模糊测试和动态分析的内存安全漏洞检测

C语言因其在运行速度及内存控制方面的优势而被广泛应用于系统软件和嵌入式软件的开发。指针的强大功能使得它可以直接对内存进行操作,然而C语言并未提供对内存安全性的检测,这就使得指针的使用会导致内存泄露、缓冲区溢出、多次释放等内存错误,有时这些错误还会造成系统崩溃或内部数据破坏等的致命伤害。当前已存在多种能够对C程序进行内存安全漏洞检测的技术。其中动态分析技术通过插桩源代码来实现对C程序的运行时内存安全检测,但是只有当程序执行到错误所在路径时才能发现错误,因此它依赖于程序的输入;而模糊测试是一种通过向程序提供输入并监视程序运行结果来发现软件漏洞的方法,但是无法检测出没有导致程序崩溃的内存安全性错误,也无法提供错误所在位置等详细信息。除此之外,由于C语言的语法比较复杂,在对一些大型复杂项目进行分析时,动态分析工具经常无法正确处理一些不常见的特定结构,导致插桩失败或者插桩后的程序无法被正确编译。针对上述问题,通过将动态分析技术与模糊测试技术结合,并对已有方法进行改进后,提出了一种能够对包含特定结构的C程序进行内存安全检测的方法。文中进行了可靠性和性能的实验,结果表明,在增加对C语言中特定结构的处理方法之后,能对包含C语言中特定结构的程序进行内存安全检测,并且结合模糊测试技术后具有更强的漏洞检测能力。

一种可重构异构内存架构和控制器

融合传统动态随机访问存储器(Dynamic Random Access Memory,DRAM)与新型非易失性内存(NonVolatile Memory,NVM)可构建平行架构或层次架构的异构内存系统.平行架构的异构内存系统往往需要通过页迁移技术把热点数据从NVM迁移到DRAM以提高访存性能,然而在操作系统中实现热页监测和迁移会带来巨大的软件性能开销.硬件实现的层次架构由于增加了访存层次,对于访存局部性差的大数据应用反而增加了访存延迟.为此,本文提出可重构的异构内存架构,可以运行时在平行和层次架构间进行转换以动态适配不同应用的访存特性.设计了基于新型指令集架构RISC-V(Reduced Instruction Set Computing-V)的DRAM/NVM异构内存控制器,利用少量硬件计数器实现了访存踪迹统计和分析,并实现了DRAM和NVM物理页间的动态映射和高效迁移机制.实验表明,DRAM/NVM异构内存控制器可提高43%的应用性能.

基于重用距离的访存指令优化

随着机器学习、推荐系统和社交网络等数据驱动类技术的发展,数据正在以流的形式呈现.传统的缓存替换算法无法有效适应应用程序的流式访问行为,导致数据流程序带来了大量的缓存未命中与严重的缓存污染问题.本文依据数据流程序变化带来的新的局部性优化挑战,提出了一种基于重用距离和非时态访存指令的优化方法RDNT.该方法首先筛选内存访问指令,然后计算重用距离,最后用非时态内存访问指令替换重用距离过大的常规内存访问指令.在SPEC CPU 2017测试集的实验结果表明,RDNT能够有效提高程序性能,与常规访存方式相比产生了8%的加速比,降低了程序的运行时间.

MMOS:支持超卖的多租户数据库内存资源共享方法

多租户数据库为每个租户分配固定的资源配额,而这些资源配额通常未全部得到有效利用,这种静态分配策略导致资源利用率不高。若在不影响租户性能的前提下将未利用的空闲资源共享给其他租户使用,即实现资源超卖,则可以提高资源利用率、提升平台收益。为了支持资源超卖,需要准确预测租户的资源需求,动态地按需为租户分配资源。已有的针对多租户数据库的资源共享方法的研究对象主要是CPU资源,鲜有支持超卖的内存资源共享方法。鉴于此,在联机分析处理场景下,提出了一种支持超卖的多租户数据库内存资源共享方法MMOS(Multi-tenant database Memory resource Overselling and Sharing)。该方法通过准确预测每个租户的内存需求区间,按照区间上限为租户动态调整内存配额,在不影响租户性能的前提下,统一管理空闲内存资源以支持更多租户,实现内存超卖。实验结果表明,MMOS在租户负载动态变化的场景下具有较好效果。在不同资源量的资源池下,支持的租户数可以增加2~2.6倍,资源利用率峰值提升175%~238%。同时,每个租户的业务与性能未受影响。

Fortran内存泄漏静态检测方法研究

内存泄漏在没有垃圾回收机制的语言中是常见的问题,虽然Fortran95引入ALLOCATABLE数组解决了部分泄漏问题,但是通过指针申请内存资源仍然会造成泄漏,现有研究对Fortran内存泄漏的检测流程适配度不高且面向Fortran内存状态分析的效率和精确度上仍存在优化空间.针对这一问题,本文提出了一种面向Fortran指针引发的内存泄漏静态检测方法.首先引入指针引用控制流图(PR-CFG,Pointer Reference-Control Flow Graph)来精简程序模型,并符号化程序节点的内存状态信息,依据数据流生成路径敏感的符号化函数摘要作用于过程间分析,最终通过PR-CFG节点上由抽象内存状态计算得到的内存状态集进行故障模式状态机的状态转化来实现内存泄漏的检测.实验表明,本方法提高了Fortran指针引发内存泄漏的检测精度和效率,降低了检测的误报率.

基于非易失性内存的知识图谱系统优化研究

分布式系统的高扩展性和高可用性使得在其上构建大规模知识图谱已经成为产业发展趋势。新兴的分布式图数据库更推崇采用NoSQL等数据模型,如键值存储作为其存储引擎,以进一步提高其可扩展性和实用性。在这种情况下,上层的图查询语言的语句会被翻译成一组混合的键值操作。为了加速查询翻译生成的键值操作,提出了基于非易失性内存查询性能加速(knowledge graph booster,KGB)的知识图谱系统。KGB主要包含面向邻域查询加速的NVM辅助索引,用于降低键值存储的读取成本;快速响应的改进Raft算法,用于实现高效的键值存取操作;以及面向键值存储引擎的调优机制,为知识图谱存储系统获得额外的性能提升。通过实验表明,KGB能有效降低知识图谱系统的平均延迟和尾延迟的影响,实现更高的性能提升。

APLI:一种基于持久化内存的高性能学习索引

持久化内存(Persistent Memory,PM)已成为容量有限的DRAM的最有潜力的补充或者替代品.学习索引(Learned Index,LI)作为一种感知数据分布的索引结构,在大数据集上能够以较小的内存使用量展现远优于B+树的性能而被广泛关注.最近,一些研究者尝试将学习索引部署在持久化内存中,然而现有的持久化学习索引存在读写性能次优化、结构扩展性不足、动态负载性能不统一等问题.为此,本文在深入分析了持久化内存和学习索引特性的基础上,提出了一种自适应的持久化学习索引结构APLI.APLI由两部分组成:1)高效的混合介质的持久化学习索引树(EPL-Tree),提供稳定的读写性能和结构扩展;2)轻量级的哈希表(SW-Table),用于快速感知负载变化并提升热点访问的性能.在持久化内存真实设备上的评估表明,相比现有的持久化索引结构,APLI读写性能最高分别提升3.2倍和3.3倍,而且拥有更稳定的结构扩展性能.另外,APLI能在较小的DRAM空间占用前提下,实现各种负载场景下的稳定高性能访问.

一种面向计算图的及时内存重用算法

有限的设备内存容量制约了深度神经网络模型的进一步发展,内存重用是少有的在不引入额外开销的前提下节省内存使用的方法之一。计算图中的中间张量占据着主要的内存空间,是内存重用算法的主要优化对象。现有的典型内存重用算法,包括大张量优先算法和短生命周期优先算法,仅从单一特征出发,只考虑张量之间的生命周期是否重叠,忽略了邻近张量之间的生命周期相对位置关系,计算图越复杂,对内存重用的挖掘越不够充分。针对该问题,提出一种新的内存重用算法——UMR,通过深入分析图中邻近张量的生命周期相对位置关系,并及时进行重用,从而获得了更多的内存重用机会。基于MLPerf中的真实推理模型对算法进行评估,结果显示UMR算法的内存重用率不低于现有的主流算法,且能达到该模型内存重用的理论最优。基于相对复杂的计算图对算法进行的评估表明,与大张量优先与短生命周期优先2种算法相比,UMR算法最高节省了21.6%和18.7%的内存占用,平均分别节省了6.5%与13.2%的内存占用。

仿真建模工具内存分配优化

在一体化仿真建模工具的性能优化时,内存分配优化方面提出内存池式分配方式,该分配方式特采用全局内存池基础实现并加上并行线程内存管理的方法来较好地匹配仿真工具的系统多临时对象和多动态分配内存的应用特点,性能测试表明,该内存池具有良好的空间特性和效率,比传统的操作系统直接分配内存节省约50.7%的分配时间。

面向高密度闪存的内存页大小探索

近年来,固态硬盘SSD向高带宽、大容量的方向飞速发展。为了扩大SSD的容量,闪存页面从4 KB增长到了16 KB。然而,操作系统依然以4 KB内存页为粒度向SSD下发读写请求,导致应用难以充分利用SSD的高带宽。增加内存页面的大小,以使操作系统下发的I/O请求和SSD读写闪存的粒度统一是可能可行的解决方案。将首次深入探索内存页大小对系统I/O性能与SSD寿命的影响。具体来说,将内存页大小设置为16 KB,运行测试程序并将实验结果与4 KB内存页进行比较。得出以下结论:(1)16 KB内存页具有更好的读性能;(2)应用的写粒度决定了16 KB内存页的性能;(3)16 KB内存页放大了页内无效数据对SSD寿命的影响。

基于静态和动态混合分析的内存拷贝类函数识别

缓冲区溢出等内存错误漏洞的产生往往来自对内存拷贝类函数的不当使用.对二进制程序中的内存拷贝类函数进行识别有利于发现内存错误漏洞.目前针对二进制程序中内存拷贝类函数的识别方法主要借助静态分析来提取函数的特征、控制流、数据流等信息进行识别,具有较高的误报率和漏报率.为了提高对内存拷贝类函数识别的效果,提出一种基于静态和动态混合分析的技术CPSeeker.所提方法结合静态分析和动态分析各自的优势,分阶段对函数的全局静态信息和局部执行信息进行搜集,对提取到的信息进行融合分析,进而识别二进制程序中的内存拷贝类函数.实验结果表明,尽管CPSeeker在运行时间上有所增加,但在内存拷贝类函数识别的效果上,其F1值达到了0.96,远优于最新的工作BootStomp、SaTC、CPYFinder以及Gemini,并且不受编译环境(编译器版本、编译器种类、编译器优化等级)的影响.此外,CPSeeker在真实的固件测试中也有更好的表现.

动态性感知的深度学习内存分配器

深度学习应用程序通常被认为在训练小批量步之间具有规律的内存分配模式.这种规律性在许多情况下是正确的,但由于未知的张量大小以及各种并行执行模式下不确定的执行顺序等因素,内存分配请求在运行时可能会变得动态和不规律.在这些因素作用下,一些基于内存分配的规律性所进行的优化在运行时存在许多不匹配的情况.为了解决这个问题,本文提出了一个动态性感知的深度学习内存分配器.这个分配器在运行时收集内存分配信息并生成内存分配计划,然后通过模拟分配的方式动态调整生成的内存分配计划.实验结果表明,与TensorFlow相比,本文所设计的分配器平均可以达到1.24的加速比,并减少56.34%的CPU内存使用量以及21.13%的GPU显存使用量.

榫卯:一种可组合的定制化内存分配框架

动态内存分配器是现代应用程序重要组成部分,它负责管理空闲内存并处理用户内存请求.现代通用动态内存分配器能够提供较为平衡的性能与内存利用率,但考虑到不同应用场景的内存使用情况和优化目标不同,使用通用内存分配器并非最优解.针对应用场景定制的专用内存分配器通常能够更好地满足系统需要,然而编写专用内存分配器较为费时,也容易出错.开发者通常使用内存分配框架搭建专用动态内存分配器.然而,现有的内存分配框架存在抽象能力较差,组合性与定制性不足的问题.为此,从函数式编程视角审视动态内存分配过程,基于函数可组合性提出了一种可组合的定制化动态内存分配器框架榫卯.榫卯框架将系统内存分配抽象为多个互不耦合的内存分配层级函数的组合,这些层级函数能够扩展出策略槽,以提供更高的定制性和组合性.榫卯框架基于标准C实现,依赖C预处理器的元编程特性实现层级函数组合的零性能开销.开发者能够通过组合与定制分配器的层级函数,快速构建出适合应用场景的内存分配器.为了证明榫卯框架的有效性,使用榫卯框架构建了3种不同的内存分配器实例:tlsfcc,hslab与wfslab,其中tlsfcc针对多核嵌入式应用场景,通过替换同步策略优化并发吞吐率;hslab是核心感知的slab式分配器,通过定制线程缓存优化在异构硬件的性能;wfslab是低延迟的无等待/无锁分配器.为了评估这3种内存分配器实例,通过运行基准测试对比现有内存分配器.实验分别在8核x86/64平台和8核异构aarch64嵌入式平台进行.实验表明tlsfcc与原始tlsf分配器相比,在上述两个平台上分别取得了平均1.76和1.59的加速比;对比hslab与类似架构的tcmalloc,它在两个平台的平均执行时间仅为tcmalloc的69.6%和85.0%;wfslab则取得了参与实验对比的内存分配器中最小的最差情况内存请求延迟,其中包括目前最先进的无锁内存分配器mimalloc和snmalloc.

混合内存架构下数据放置研究综述

当前基于DRAM和NVM的混合内存系统在系统结构领域的研究前景广阔,特别是对混合内存系统进行数据放置的研究已经成为国内外研究的热点。对混合内存架构下数据放置策略进行了研究,在介绍当前常见混合内存架构的基础上,对现有数据放置策略的设计思路进行了全面分析,主要涉及硬件/软件机制、内存访问特征、静态/动态分析、机器智能、触发方式和粒度选择等方面,并针对混合内存性能、功耗和耐久性的数据放置优化进行总结。综合分析发现,现有的混合内存数据放置策略在内存架构、数据迁移、计算成本和全局优化等方面还存在局限性,未来在架构设计以及内存管理方面的改进还有很大的研究探索空间和发展前景。

面向内存数据库的类字典树索引综述与性能比较

如何快速存取海量数据是大数据时代数据库系统面临的重大挑战.利用大内存构建内存数据库系统是实现大数据实时存取的可行途径.在此背景下,用于加速内存数据存取的内存数据库索引成为近几年国内外的研究热点.但是,内存数据库索引也面临着诸多挑战.以常见的内存B+树索引为例,第一个问题是索引的空间效率较低,这是因为内存B+树索引的节点内部存在较大的空间浪费;第二个问题是索引的查询复杂度较高,B+树的查询复杂度受限于数据规模,随着数据规模的扩张,索引的搜索效率也会下降;第三个问题是变长数据支持弱,B+树对于变长键的支持比较差,往往难以适应实际应用的需要.近年来,由于字典树具有空间代价低、查询效率与数据规模无关、支持变长键等优点,逐步成为了内存数据库索引研究中的一个主要方向.本论文围绕面向内存数据库的类字典树索引,首先介绍了字典树的概念、特点和历史,然后系统梳理和总结了类字典树索引的现状和最新进展,之后提出了一种全新的分类方法对类字典树索引进行了分类.在此基础上,论文对主流的六种类字典树索引进行了实验,在多个数据集和负载上进行了性能对比,并基于实验结果讨论了类字典树索引的设计和使用建议,最后展望了未来类字典树索引的发展方向.

多线程C程序内存安全性动态分析方法

随着软件结构越来越复杂以及其要求更高级别的并发量,出现了越来越多的多线程程序,同时C语言程序缺乏检测其内存安全的能力,进而导致C语言实现的程序可能会存在较多的隐藏漏洞,因此对多线程C程序的内存安全检测尤为的重要。较为前沿且可靠的检测内存安全的技术主要为动态分析技术,且现在对于多线程C程序内存安全检测的工具不是特别完善,错误检测不完全,性能不是很高。因此提出了基于指针的动态分析技术,同时结合无锁技术、源代码插桩技术实现了工具Movec来对多线程C程序的内存安全性进行检测,并且选取专业测试集来进行实验,验证了本工具对于多线程C程序检测内存安全是有效的,检测的错误更多且性能较为优秀。