基于MPI+CUDA的DSMC/PIC耦合模拟异构并行及性能优化研究

DSMC/PIC耦合模拟是一类重要的高性能计算应用,大规模DSMC/PIC耦合模拟计算量巨大,需要实现高效并行计算。由于粒子动态注入、迁移等操作,基于MPI并行的DSMC/PIC耦合模拟往往通信开销较大且难以实现负载均衡。针对自主研发的DSMC/PIC耦合模拟软件,在原有MPI并行优化版本上设计实现了高效的MPI+CUDA异构并行算法,结合GPU体系结构和DSMC/PIC计算特点,开展了GPU访存优化、GPU线程工作负载优化、CPU-GPU数据传输优化及DSMC/PIC数据冲突优化等一系列性能优化。在北京北龙超级云HPC系统的NVIDIA V100和A100 GPU上,针对数亿粒子规模的脉冲真空弧等离子体羽流应用,开展了大规模DSMC/PIC耦合异构并行模拟,相比原有纯MPI并行,GPU异构并行大幅缩短了模拟时间,两块GPU卡较192核的CPU加速比达到550%,同时具有更好的强可扩展性。

解耦N-S/DSMC方法计算推力器真空羽流的边界条件研究

准确模拟羽流流场是合理评估空间推力器真空羽流效应的基础。因羽流流场同时包含连续和稀薄两种流动机理,通常采用解耦方式的Navier-Stokes(N-S)方程和直接模拟蒙特卡罗(DSMC)混合方法对其进行模拟。为保证解耦N-S/DSMC方法应用于羽流计算时的准确性并尽量提高其计算效率,对计算中的DSMC入口和喷管壁面等边界条件设置问题开展了研究。通过与文献中低总压工况的羽流试验数据比较,确定了合理设置DSMC入口边界位置、壁面反射类型、壁温等边界条件的方法。针对将此方法应用于实际推力器工况计算时效率过低的问题,通过多种数值试验,表明从喷管出口处开始沿KnGL为0.05的等值线作为DSMC入口界面可同时保证仿真精度和较高的计算效率;并证明实际工况下壁温设置对羽流场仿真结果影响不大。

动态网格的DSMC方法在GPU上的并行

直接模拟蒙特卡罗方法(direct simulation Monte Carlo,DSMC)是稀薄气体动力学领域的重要工具。然而,DSMC方法有两个比较主要的缺点:一是复杂的网格处理;另一个是庞大的计算量。使用动态网格的DSMC方法可以根据流场信息,动态生成自适应的碰撞网格,能有效解决前一个缺点;针对后一个缺点,使用统一计算架构(compute unified device architecture,CUDA)编写并行程序,将基于动态网格的DSMC方法移植到图形处理器(graphic processing unit,GPU)上以减少计算时间。在并行实现中,GPU负责绝大部分的计算,而CPU只负责初始化、结果输出等少量工作。使用一个二维超音速横掠平板问题作为算例,验证了并行程序的正确性。对于不同规模的算例,在NVIDIA Fermi C2050之上均获得了10倍以上的加速比;对于相同算例,NVIDIA最新发布的Kepler K20上的速度约为FermiC2050上的1.3～1.6倍。

一种分子运动和碰撞双重网格DSMC方法研究

基于非结构网格与直角网格相结合的策略,提出一种分子运动和碰撞双重网格DSMC实现方法。通过分子的位置坐标信息,实现运动网格与碰撞网格信息交互,从而结合非结构网格的贴体性和直角网格易于控制子网格数量的优点,同时提出并实现了基于MCS自适应的动态子网格技术以有效限制分子平均碰撞距离,提高了DSMC方法的通用性和计算精度。通过对超声速圆柱绕流和扩张管道的数值模拟,验证该方法的有效性和高精度性。数值结果表明,本文提出的基于分子运动和碰撞双重网格的DSMC方法提高了流场的分辨率,且通过基于MCS自适应的动态子网格技术,有效地降低了流场的平均碰撞距离,提高了碰撞质量和计算精度。

过渡流区N-S/DSMC耦合计算研究

在已有CFD和DSMC方法程序研究基础上,采用MPC耦合处理原理,发展适于流场分区信息交换的亚松弛技术,建立了N-S/DSMC耦合算法。通过对近连续过渡流区不同Kn数条件下钝锥绕流计算与低密度风洞试验结果比较分析,一方面证明了本文所建立的N-S/DSMC耦合计算模型和方法在低Kn数过渡流区的有效性,另一方面剖析了N-S/DSMC耦合计算误差,可望发展一个工程适用的近连续过渡流区高超声速飞行器气动特性预测分析工具。

高空羽流场的DSMC计算和实验研究

以小推力发动机的高空羽流场为研究对象 ,实现了高空小喷管氮气流DSMC方法数值模拟 ,验证了DSMC方法在高空膨胀流中的可用性 ,并在现有设备基础上 ,进行一组高空羽流试验 ,给出试验与计算的对比结果。结果表明 :喷管出口附近能得到满意结果 ,由于实验设备能力所限 。

过渡区侧向喷流干扰的并行DSMC数值模拟研究

在高空低密度环境,空间飞行器的控制面效率下降较快,反作用控制系统(RCS)作为改变飞行姿态或轨道的直接力系得到大量应用,为了精确预测高空RCS喷流与稀薄大气的干扰效应,本文建立了直角与表面非结构网格混合结构的DSMC数值算法以及网格自适应算法,保证了碰撞分子是在自适应后的亚网格内选取,提高了计算精度。采用静态随机负载平衡技术构建了并行DSMC代码,计算分析了不同压比条件下的三维平板模型侧向喷流与稀薄大气的干扰流场。计算的复杂流场结构和表面流动特征、分离长度与低密度风洞试验有较好的一致性。在保持来流参数不变的情况下,喷流干扰区的分离长度及喷流透射高度随着喷流压比的增大而增大。随着来流稀薄度的增加,来流对喷流的影响越来越弱,而喷流自身的影响区域却越来越大。

固体火箭发动机喷管内气粒两相流动的CFD-DSMC模拟

气相采用Jameson中心差分格式和显式Runge-Kutta法求解可压缩的雷诺时均N-S方程,颗粒相采用DSMC方法描述,采用PSIC耦合算法模拟了JPL喷管中的气粒两相流动,得到了气相和颗粒相的参数分布规律。结果表明,流场中颗粒相含量越高,颗粒相对气相的阻碍和加热效应越显著,导致气相马赫数降低、温度升高;在相同颗粒含量的情况下,颗粒粒径越小,也能明显阻碍气相流动,同时对气相的加热效应也更显著;在颗粒确定性轨道模型计算下得到的无粒子区中,仍有少量非连续的颗粒存在。

DSMC-LES方法研究循环流化床内颗粒团聚物的流动特性

采用直接模拟MonteCarlo方法(DSMC)模拟颗粒间的碰撞,采用考虑颗粒脉动流动对气相湍流流动影响的大涡模拟(LES)研究气相湍流.单颗粒运动满足牛顿第二定律,颗粒相和气相相间作用的双向耦合由牛顿第三定律确定.数值模拟垂直管内气固两相上升流动,对管内气相速度和颗粒相速度、浓度以及聚团流动进行分析.研究平均单个颗粒团聚物的存在时间、颗粒团聚物的时间份额和颗粒团聚物的生成频率分布特性,模拟结果与文献的实验结果基本吻合.

三维非结构网格DSMC并行算法及应用研究

基于PC-CLUSTER机群并行体系结构与消息传递库MPI并行环境,研究了三维非结构网格DSMC并行算法。提出一类基于结构背景网格上的非结构网格动态分区策略,保证各子区域的分子数量大致相等,实现计算进程间的动态负载平衡。利用MPI库函数构造了两类符合DSMC并行原理的通讯法:单步通讯法与多步通讯法。采用单控制多数据流(SPMD)以及Master/Slave并行模式,设计了三维非结构网格DSMC整体并行算法。给出了跟踪模拟分子在四面体网格间迁移运动的详细计算过程。最后对全尺寸航天飞机高超声速绕流进行了并行模拟,验证并行算法的有效性。

基于两级直角网格结构的三维DSMC算法研究

结合直角网格计算的高效率以及表面非结构网格对飞行器几何外形的精细描述,本文建立了基于两级直角坐标网格结构的DSMC数值模拟算法。一级网格为计算区域离散后的背景网格,二级网格为独立的碰撞网格和取样网格,是在背景网格的基础上根据流场性质的变化经过自适应后获得的亚网格,碰撞分子对在亚网格内选取,以保证选取的分子是"最相邻的"。计算的Orion飞船外形从自由分子流到稀薄过渡流的气动力系数,与DS3V和DAC软件计算结果的一致性非常好,验证了本文算法的可靠性和有效性。同时对过渡区的流动特征和表面气动参数的分布规律进行了分析。

姿控发动机内流场及高空羽流流场的DSMC一体化数值模拟

通过引入“平衡抽样方法”有效解决了DSMC求解近连续流区所遇到的碰撞项计算效率问题 ;对于过渡流及自由分子流区 ,构造了适合于DSMC仿真的分子碰撞传能模型并配置了一种光滑过渡以减少误差的权函数。在此基础上首次实现了对姿控发动机喷管内流场及包括倒流区在内的高空羽流流场的DSMC方法一体化数值模拟。

DSMC/EPSM混合算法研究

将EPSM算法与DSMC方法结合,构造了可模拟含近连续流区及过渡流区的DSMC/EPSM混合算法。运用混合算法模拟了马赫数等于5时超音速竖板绕流及马赫数等于4时超音速平板绕流,并将结果与DSMC算法的结果进行比较,证明了DSMC/EPSM混合算法的有效性,同时将EPSM算法与DSMC算法的效率进行了比较。

DSMC方法在大规模气固两相撞击流中的应用

将直接模拟Monte Carlo(DSMC)方法应用于颗粒数目庞大的大规模气固两相撞击流的数值模拟研究,旨在解决基于拉格朗日法模型难以模拟含大量颗粒碰撞的多相流问题,建立了气固两相撞击流的数理模型。应用所建立模型计算分析了撞击流中的气相流动、颗粒运动、颗粒及颗粒碰撞位置分布;并对模型中考虑颗粒碰撞和不考虑颗粒碰撞时,计算获得的颗粒运动行为、停留时间以及对气相的影响等结果进行了对比分析。结果表明:经发展,DSMC方法能够有效地应用于大规模气固两相撞击流的数值研究;颗粒运动区域可分为颗粒碰撞区、颗粒射流区和颗粒发散区;颗粒碰撞主要发生在颗粒碰撞区内,使得颗粒在该区域富集,且明显缩短颗粒在撞击区的停留时间;在所研究的较小固气比条件下,颗粒的存在对气相流动的影响不显著。

DSMC位置元方法中的表面元的程序标识及分子表面反射确定论判据

在直接模拟Ｍｏｎｔｅ－Ｃａｒｌｏ（ＤＳＭＣ）方法的位置元方法中，精确描述物面形状、准确判断分子是否与某一表面元相撞，直接关系着气动力热的计算精度，是该方法需要解决的关键问题．为解决此问题，给出了发展的ＤＳＭＣ方法在计算三维过渡领域的位置元方案的两个改进首先，编制了一个对所有外形描述均可做到标识表面元及计算表面元面积等工作的通用程序，并通过两个例子验证了该程序的快速性和有效性；其次，发展了分子表面反射确定论判据，代替了原有的几率判据，与圆球自由分子流准确解和过渡领域贴体网格ＤＳＭＣ结果进行比较，证明了上述判据的有效性．

球锥钝头体再入稀薄气体电离过程三维DSMC模拟与验证

采用增大电子质量三个数量级并相应调整离子质量的方法,拓展化学反应的DSMC仿真方法处理稀薄气体电离过程;采用单温度模型处理全部化学反应,修正涉及电子的反应速率常数以保证真实化学反应速率;以直角/非结构网格相结合,运用碰撞网格自适应技术,基于MPI并行环境,开发适用于真实复杂外形的三维稀薄气体电离DSMC计算程序。对RAM-C II外形的再入绕流稀薄气体电子密度进行模拟验证,所得结果与飞行试验测量值吻合较好;对Stardust外形的再入稀薄段电离特性数值仿真分析,电子密度等值线云图与参考文献结果一致。相较于稀薄气体不含电离反应的DSMC方法,本文发展的模型和程序不会导致计算量的显著增大,可直接应用于三维复杂外形体极高速再入条件下的稀薄气体电离计算,为工程设计提供技术支持和指导作用。计算结果表明,极高速再入条件下传统稀薄流区的电子数密度足以引起通信黑障,需在通信设计上给予高度关注。

姿控发动机高空羽流流场干扰效应的DSMC方法研究

在研究权函数设置及热力学非平衡模型的基础上,将DSMC方法应用于求解三维问题,数值模拟了轴线平行的两姿控发动机喷流干扰形成的高空羽流流场。结果表明,过渡区流场中存在显著的干扰效应,采用将单个流场物理量简单相加的方法是不合适的。

高超声速飞行器复杂流场过渡区DSMC数值模拟的一种新方案

采用DSMC方法,研究了高超声速三维复杂外形飞行器在过渡领域飞行的气动力、热特性。提出了一种对飞行器物面网格与DSMC计算域网格分别标识,进行高超声速复杂流场过渡区DSMC数值模拟的一种新方案,通过判断模拟分子与表面碰撞来完成飞行器物面网格与DSMC计算域网格间的信息传递和信息存贮,对于复杂外形飞行器的精确描述的物面网格不需做进一步处理,直接应用于不依赖于飞行器外形的DSMC计算的通用子程序中。对物面网格的标识、分子的运动及与表面碰撞的判断、流场量的采集的实施方法和细节进行了分析和讨论。仿真计算了三维复杂飞行器流场压力、热流分布量,飞行器表面气动力、气动力矩和气动热参数,证明了采用的方案和技术的有效性。

二维自适应非结构网格DSMC并行算法研究

研究了二维自适应非结构网格DSMC并行算法实现的过程。首先提出了一类非结构网格自适应策略,有效降低了网格尺度对计算结果的影响,提高了流场的分辨率;然后基于PC-CLUSTER群机并行体系结构与消息传递库MPI并行环境,利用分区并行思想,设计了非结构网格DSMC并行算法,节约了计算时间。利用For-tran90的动态分配内存技术编制了通用计算程序;最后对过渡流域高超声绕流进行了数值模拟,计算结果初步验证了算法的可行性与有效性。

一种基于自适应碰撞距离的DSMC虚拟子网格方法

为提高DSMC方法的计算效率及其对较高密度稀薄流问题的模拟能力,针对其碰撞对抽样环节,发展了基于自适应碰撞距离的虚拟子网格方法,并通过平板、钝锥等典型算例验证了该方法的正确性。结果表明:虚拟子网格技术放宽了DSMC方法对网格尺度的要求,可以在较大的网格尺度下得到满足计算精度要求的结果。