以GPT-4为代表的大语言模型(Large Language Model,LLM)展现出了惊人的通用智能潜力,基于相关技术,一系列大语言模型相继诞生。在这场技术变革中,一方面是巨大的参数量和计算量要求,另一方面是大量的使用需求和有限的算力资源支撑。如...以GPT-4为代表的大语言模型(Large Language Model,LLM)展现出了惊人的通用智能潜力,基于相关技术,一系列大语言模型相继诞生。在这场技术变革中,一方面是巨大的参数量和计算量要求,另一方面是大量的使用需求和有限的算力资源支撑。如何使得其高效、低成本地规模性推广成为LLM更大范围落地的关键。本文围绕压缩、推理和评测三个角度,介绍相关大模型压缩技术和分布式推理技术,以及大模型在应用中的效果评估方式,探讨大语言模型时代的落地方法论,并对未来发展进行展望,期待推动大语言模型在各行各业的广大范围的应用和推广。展开更多
归约算法在科学计算和图像处理等领域有着十分广泛的应用,是并行计算的基本算法之一,因此对归约算法进行加速具有重要意义。为了充分挖掘异构计算平台下GPU的计算能力以对归约算法进行加速,文中提出基于线程内归约、work-group内归约和w...归约算法在科学计算和图像处理等领域有着十分广泛的应用,是并行计算的基本算法之一,因此对归约算法进行加速具有重要意义。为了充分挖掘异构计算平台下GPU的计算能力以对归约算法进行加速,文中提出基于线程内归约、work-group内归约和work-group间归约3个层面的归约优化方法,并打破以往相关工作将优化重心集中在work-group内归约上的传统思维,通过论证指出线程内归约才是归约算法的瓶颈所在。实验结果表明,在不同的数据规模下,所提归约算法与经过精心优化的OpenCV库的CPU版本相比,在AMD W8000和NVIDIA Tesla K20M平台上分别达到了3.91~15.93和2.97~20.24的加速比;相比于OpenCV库的CUDA版本与OpenCL版本,在NVIDIA Tesla K20M平台上分别达到了2.25~5.97和1.25~1.75的加速比;相比于OpenCL版本,在AMD W8000平台上达到了1.24~5.15的加速比。文中工作不仅实现了归约算法在GPU计算平台上的高性能,而且实现了在不同GPU计算平台间的性能可移植。展开更多
文摘以GPT-4为代表的大语言模型(Large Language Model,LLM)展现出了惊人的通用智能潜力,基于相关技术,一系列大语言模型相继诞生。在这场技术变革中,一方面是巨大的参数量和计算量要求,另一方面是大量的使用需求和有限的算力资源支撑。如何使得其高效、低成本地规模性推广成为LLM更大范围落地的关键。本文围绕压缩、推理和评测三个角度,介绍相关大模型压缩技术和分布式推理技术,以及大模型在应用中的效果评估方式,探讨大语言模型时代的落地方法论,并对未来发展进行展望,期待推动大语言模型在各行各业的广大范围的应用和推广。
文摘归约算法在科学计算和图像处理等领域有着十分广泛的应用,是并行计算的基本算法之一,因此对归约算法进行加速具有重要意义。为了充分挖掘异构计算平台下GPU的计算能力以对归约算法进行加速,文中提出基于线程内归约、work-group内归约和work-group间归约3个层面的归约优化方法,并打破以往相关工作将优化重心集中在work-group内归约上的传统思维,通过论证指出线程内归约才是归约算法的瓶颈所在。实验结果表明,在不同的数据规模下,所提归约算法与经过精心优化的OpenCV库的CPU版本相比,在AMD W8000和NVIDIA Tesla K20M平台上分别达到了3.91~15.93和2.97~20.24的加速比;相比于OpenCV库的CUDA版本与OpenCL版本,在NVIDIA Tesla K20M平台上分别达到了2.25~5.97和1.25~1.75的加速比;相比于OpenCL版本,在AMD W8000平台上达到了1.24~5.15的加速比。文中工作不仅实现了归约算法在GPU计算平台上的高性能,而且实现了在不同GPU计算平台间的性能可移植。