LPGEMM:低精度通用矩阵乘法计算模拟框架研究

通用矩阵乘(GEMM)算子是AI模型的核心计算,使用低精度数值格式加速GEMM对加速模型的推理和训练有重要影响。由于并不总是有合适的硬件可供选择,而且人们可能希望实验尚未在硬件中实现的新GEMM计算行为,但很难通过构建硬件的方式去进行不同计算行为的GEMM模拟,如何在算子内部进行细粒度模拟还没有被深入研究。通过提出LPGEMM——一个低精度GEMM计算模拟框架来模拟GEMM的计算过程,重新编写了GEMM算子,实现了可变分组累加长度以及低精度累加器,同时还实现了训练和推理全过程的GEMM相关数据统计,来支持用户探索模型精度的下限。实验结果证实了相较于此前的一些工作,所提出的方法模拟最高可减少56%的平均误差。

细粒度任务并行GPU通用矩阵乘

稠密线性代数运算对模式识别和生物信息等许多实际应用至关重要,而通用矩阵乘(GEMM)处于稠密线性代数运算的基础地位。在cuBLAS与MAGMA中,GEMM被实现为若干kernel函数,对大型GEMM计算能够达到很高的性能。然而,现有实现对批量的小型GEMM计算性能发挥则较为有限。而且,现有实现也不能在多个具有不同性能的GPU之间自动扩展并达到负载均衡。提出任务并行式GEMM(TPGEMM),用细粒度任务并行的方式实现批量矩阵乘和多GPU矩阵乘。一个或多个GEMM的计算能够被拆分为多个任务,动态地调度到一个或多个GPU上。TPGEMM避免了为批量矩阵乘启动多个kernel函数的开销,对批量矩阵乘能够取得显著高于cuBLAS与MAGMA的性能。在低开销细粒度任务调度的基础上,TPGEMM支持单个GEMM计算在多个GPU间的自动并行,在一台具有四个不同性能GPU的工作站上取得了接近100%的扩展效率。

面向GPU的通用矩阵乘法计算的容错研究

矩阵计算是GPU最擅长的工作之一,NVIDIA公司在CUDA中提供了线性代数库cuBLAS,用于矩阵和向量相关的计算.但是GPU容易受到电磁或者宇宙射线影响,而发生"位"反转问题,从而发生静默数据损坏错误.针对这个问题,利用基于算法的容错方法,提出了带容错的,用于通用矩阵乘法计算的方法,并以CUDA库函数的方式实现.论文讨论了算法的原理,用一种高效的方法实现了容错计算,并提出了一个低开销、高准确率的阈值计算方法用于在线的快速纠错和检错.在两款嵌入式GPU平台上对带容错功能的GEMM库函数进行了评估,其纠错和检错能力与预期一致,并且在大部分情况下,额外性能开销能够控制在50%以内,证明了该GEMM函数可以在较低的性能开销情况下,能够很好的实现GEMM计算的检错和纠错,在某些结果-关键的高性能计算中,具有一定的实用价值.

异构通信的可伸缩通用矩阵乘二维波动内核成本测量

[目的]采用处理器和通信信道共享策略的异构系统正逐渐成为研究主流,但是算法部署过于复杂,而采用工作负载分配的通信计算模型又会导致通信的不平衡,导致系统均衡性存在偏差。[方法]为解决该问题提出一种内核成本测量可伸缩通用矩阵乘异构通信τ-LOP模型分析方式。首先,在混合异构平台上,采用τ-LOP模型估计并行应用数据的通信开销扩展。其次,使用两个具有相反特征的数据构建并行核的扩展模型,建立具有高通信与计算比SUMMA矩阵乘法和二维波动方程的有限差分求解器,有效降低通信复杂度。[结果]最后,通过仿真实验,验证了所提算法模型的有效性。

火电机组碳排放量及碳敏感性通用矩阵模型

为实现火电机组碳排放量的简便准确计量及掌握运行因素对机组碳排放强度的影响,在排放因子法技术上,参考传统q-γ-τ矩阵结构形式,根据求解火电机组碳排放量的需要,并掌握运行参数对发电碳排放强度的影响,建立了火电机组碳排放量及碳敏感性通用矩阵模型,确定了矩阵填写规则。采用热平衡法结合物料衡算法验证了模型的准确性,并与排放因子法核算结果对比;核算了某火电机组24 h的碳排放量,分析了排烟氧量、主蒸汽温度和压力波动时的发电碳排放强度的扰动量ΔM CO_(2)。结果表明:相较于排放因子法,本文所提模型缩短了碳排放量核算的时间跨度,且能提高碳排放量核算的精度;该机组24 h的碳排放量为5780.644 t;当排烟氧量降低0.1%时,ΔM CO_(2)为1.7726 g/(kW·h);当主蒸汽温度升高0.5 K时,ΔM CO_(2)为3.0206 g/(kW·h);当主蒸汽压力增加0.2 MPa时,ΔM CO_(2)为0.3788 g/(kW·h)。

基于通用矩阵模型研究企业化工新材料发展机会

化工新材料是决定一国高端制造及国防安全的关键因素,对建设现代化产业体系和提升产业链、供应链的韧性和安全性具有重要的战略意义。近年来,在国家政策支持及市场需求增长双轮驱动下,中国化工新材料产业整体面临做大做强的难得机遇,但高质量发展仍面临严峻挑战。因此,文章基于中国化工新材料发展形势和H公司自身情况,采用通用矩阵模型对H公司化工新材料产业的发展机会进行研究,并提出化工新材料备选项目库建议。

通用矩阵算法和区域辨识法电力故障定位计算

为了提高供电的可靠性,当配电网出现故障时,必须快速确定故障区段。文中总结归类电网事故起因,提出事故区域划分方法,分析了电力系统故障定位的两种典型算法,比较分析通用矩阵算法和区域辨识算法应用在故障定位时的优缺点,并提出改进算法,分别采用通用矩阵算法和改进算法对某地区实际电网进行模型分析和验证。最后通过短路电流计算验证了算法的正确性,为电网故障定位提供了参考建议。

火电机组热力系统与设备损分布通用矩阵模型

为了揭示系统部件损分布进而探讨机组节能潜力,在深入分析各部件流特性的基础上,提出了火电机组热力系统与设备损分布的通用矩阵模型.将整个热力系统分为5个控制体,针对每一控制体建立质量平衡与平衡方程,再按各控制体流方向依序相连各控制体级模型构成机组矩阵模型.与已有的回热系统损分布矩阵相比,新建模型可量化评价系统中每一过程(或设备)的热力性能,并全面反映系统及各辅助系统的影响.实例结果表明,热力系统中不可逆性主要来源于锅炉,其损率达50.28%.所建模型准确便捷,适用于各类火电机组;损分布规律清晰,有利于挖掘各设备(或过程)的节能潜力;可为火电机组优化设计及经济运行提供有效工具.

火电机组回热系统损分布的通用矩阵方程

根据平衡方程,首次导出了火电机组回热系统损分布的通用矩阵方程。利用这一方程可方便地得出不同机组回热系统的损分布规律,同时这一方程也为建立回热系统乃至整个机组与损分布通用矩阵方程相关的通用的分析模型、经济学分析模型、经济学优化模型和经济学故障诊断模型奠定了基础。利用这一方程还可以方便地开发出实时监测回热系统损分布的计算机程序,为降低机组能耗提供一个实用化的分析工具。

火电机组热力系统成本分布通用矩阵方程

基于成本理论建立了热力系统局部成本分析通用模型及火电机组热力系统成本分布的通用矩阵方程,并对某600MW机组的热力系统进行实例计算与分析,得到了额定工况下独立流的单位成本.结果表明:该方程构造规范,适用于各种不同的热力系统,可以用于分析热力系统中存在的共性规律;对于具体的热力系统,通过将一些必要的矩阵元素代入方程中,可得到独立流的单位成本和单位成本的分布规律,为机组的节能降耗提供指导;如果对方程进行进一步的微分运算分析,还可求出一些因素变化对单位成本影响的敏感度.

火电厂热力系统并联算法通用逻辑-矩阵模型

采用逻辑变量表达热力系统和回热加热器的结构特征 ,以矩阵理论为基础 ,对回热加热器物质平衡和能量平衡关系进行分析 ,建立了火电厂热力系统并联算法通用逻辑 -矩阵模型。该模型全面考虑了回热加热器换热效率以及各种辅助汽水等因素。该逻辑 -矩阵模型概念清晰 ,含义明确 ,构造容易 ,通用性强。该模型不仅为编制通用的热力系统计算程序提供了依据 ,而且为实时测试。

混合发电系统热经济性分析的通用矩阵模型

生物质与太阳能辅助燃煤混合发电系统是缓解煤炭资源紧张、有效实现电厂节能减排的一种新型混合发电模式。以热平衡方程为基础,以矩阵方程为数学依据,建立了混合发电系统热经济性分析的通用矩阵模型。该通用模型全面反映了辅助系统的引入及各项辅助汽水对机组热经济性的影响,适用于混合发电系统及传统热力系统的热经济性分析计算,使系统整体及局部计算更加清晰简单,通用性强且易实现计算机程序化。以某引进600MW机组为例,利用所建通用矩阵模型计算和分析了机组采用混合发电模式时的热经济性和特点,当辅助系统分别作用于整个低压级和高压级控制单元时,混合发电系统的汽轮机装置效率可提高0.34%和1.45%。

回热系统变工况热经济性计算通用矩阵方程

以小扰动理论和热力系统通用矩阵方程为基础,推导出回热系统多个参数同时变化时计算热力系统功率变化的通用矩阵方程,进而求得循环热效率。这种计算方法简便,避免了传统方法中计算全部抽汽量的繁琐过程。以300MW火电机组回热系统为对象,计算验证了方程的准确性和通用性,从而为火电机组热力系统节能分析特别是为局部定量分析提供了理论工具。

谱估计方法的通用矩阵表示与新的谱估计方法

本文指出几种常见的谱估计方法可以归结为同一数学问题并可用同一矩阵方程表示。从这通用矩阵表示可导出许多新的谱估计方法。本文还具体研究了相关阵特征矢量空间谱估计方法,得出一些有益的结论。

火电机组回热系统加热器损系数通用矩阵方程

导出了汽轮发电机组回热系统加热器损系数的通用矩阵方程。利用这一方程对某600 MW机组回热系统的损系数进行了计算,得出了该机组回热系统加热器损系数的数值大小分布规律。与传统求取损系数的方法相比,该矩阵方法简便,计算速度快。利用这一方程还可以方便地开发出实时监测回热系统加热器损系数的计算机程序,为降低机组能耗提供一个实用化的分析工具。

火电机组热力系统与设备损通用矩阵方程

为探讨系统部件损分布以推断机组节能潜力,在深入分析各部件流特性的基础上,提出了火电机组热力系统与设备损分布的通用矩阵模型。该模型可量化评价系统中每个过程的热力能,并全面反映系统及各辅助系统的影响。通过验证,所建模型准确、便捷,损分布规律清晰,可供火电厂现场节能降耗参考。

通用矩阵类库的Java实现技术

该文根据矩阵的存储、操作、分解、求解等特性,利用Java语言,提出并实现了一个通用的矩阵类库框架。它具有良好的通用性、跨平台操作性和代码重用性,为矩阵类库本身的扩展以及基于矩阵的求解算法(包括并行求解)等方面的研究打下了基础。

基于申威1621的通用矩阵向量乘法的性能分析与优化

通用矩阵向量乘法(GEMV)函数是整个二级基础线性代数子程序(BLAS)函数库的构建基础,BLAS作为关键基础计算软件之一,目前在申威处理器上却没有一个高性能实现的版本。针对上述问题,为充分发挥申威1621平台的高性能BLAS库计算优势,提出一种基于申威1621的通用矩阵向量乘法的性能分析与优化方法。首先对GEMV函数进行计算重排序、循环分块的改进;然后采取单指令多数据流(SIMD)以及指令重排的优化方式;最后对内存分配方式进行择优选择。测试结果表明,GEMV函数平均性能达到GotoBLAS版的2.17倍。在使用堆栈分配内存空间或增加对y向量步长的判断分支两种方案后,相较于GotoBLAS,小规模矩阵的平均性能由2.265倍提升至2.875倍。为提高大规模矩阵的性能,以及发挥申威1621多核处理器并行机制,在开启4线程后,平均性能达到单核的3.57倍。因此,优化后的GEMV函数在申威平台上较好的体现了并行效果。

基于通用电气矩阵的中小物流企业细分市场大客户分类研究

随着物流行业竞争的日趋激烈,中小型物流企业越来越多地将关注的焦点集中到如何更好地服务目标客户,针对目标客户的特征、需求来设计企业的总体战略、竞争战略和职能战略,并合理地安排、分配企业的资源来保持竞争能力,以便在激烈的市场竞争中能生存下去并发展壮大。而在所有的目标客户中,大客户对中小物流企业的贡献是非常重要的。该文通过运用通用电器矩阵来帮助企业对已选择的细分市场内大客户进行分类,以便更好地拟定相应的营销策略。

基于“承影”GPGPU的张量处理器设计

针对神经网络对算力和通用性的需求进一步扩大,基于开源项目“承影”GPGPU,设计了张量处理器,可以对卷积、通用矩阵乘进行加速。首先,分析现有张量处理器设计方案及其对应算法,与直接进行卷积计算进行对比,分析性能差异。然后,提出基于三维乘法树结构的张量处理器设计,将其部署在Xilinx VCU128开发板上。在VCU128开发板上,张量处理器的工作频率为222 MHz。同时,开发了指数运算单元,辅助完成神经网络运算。在VCU128开发板上的工作频率为159 MHz。最后,利用编写汇编程序的方法,验证张量处理器的功能正确性。引入张量处理器后,预期运行时间明显减少。