从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

基于GPU直访存储架构的推荐模型预估系统

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在着CPU-GPU通信开销大和额外的内存拷贝2个问题,这增加了嵌入层的访存延迟,进而损害模型预估的性能.提出了一种基于GPU直访存储架构的推荐模型预估系统GDRec.GDRec的核心思想是在嵌入参数的访问路径上移除CPU参与,由GPU通过零拷贝的方式高效直访内外存资源.对于内存直访,GDRec利用统一计算设备架构(compute unified device architecture,CUDA)提供的统一虚拟地址特性,实现GPU核心函数(kernel)对主机内存的细粒度访问,并引入访问合并与访问对齐2个机制充分优化访存性能;对于外存直访,GDRec实现了一个轻量的固态硬盘(solid state disk,SSD)驱动程序,允许GPU从SSD中直接读取数据至显存,避免内存上的额外拷贝,GDRec还利用GPU的并行性缩短提交I/O请求的时间.在3个点击率预估数据集上的实验表明,GDRec在性能上优于高度优化后的基于CPU访存架构的系统NVIDIA HugeCTR,可以提升多达1.9倍的吞吐量.

氡室氡浓度均匀性测试与评价

为确保氡室提供较好的氡浓度计量标准,氡室氡浓度均匀性评价是一个关键问题。基于氡观测数据的统计特征,提出了氡室氡浓度均匀性评价方法。氡浓度参考值根据各观测点结果采用迭代算法获得,用于分析各观测点结果的指标为相对百分比差异D(%)和Zeta分数(ζ)。在HD-6型多功能自控氡室中进行了两次均匀性测试,所得相对百分比差异均在±5%以内,Zeta分数|ζ|值均≤2。通过应用实例,证明了所提评价方法的可行性,为高精度氡室标准的研究奠定了基础。

小儿脑瘫康复护理中应用以家庭为中心延续护理的效果

分析以家庭为中心延续护理应用在小儿脑瘫康复护理中的效果。方法:选择在我院接受治疗的100例脑瘫患儿,根据护理方案的不同分为观察组和对照组,分别实施以家庭为中心延续护理和常规护理。对比两组应用效果。结果:观察组患儿心理状态改善情况、运动功能和智力发育指数、生活质量评分、精细化运动能力均优于对照组(P<0.05)。结论:将以家庭为中心延续护理干预措施有效介入到脑瘫患儿康复护理中,有助于其康复速度的加快,同时还能够改善其心理状态和生活状态,为提升患儿智力发育水平和精细运动能力提供有利条件。

从反射地震剖面中认识芦山地区的地壳精细结构和构造

采用深地震反射剖面探测,结合地表地质信息,本文对芦山地区的地壳结构、深浅构造和隐伏活动断裂进行了分析.研究结果表明:该区上地壳结构特征清晰,深度约为15km左右;区内断裂由于受青藏高原向东南方向的推挤和坚硬的四川盆地阻挡的联合作用均属逆冲断裂,其中双石—大川断裂以低角度向深部延伸,主要表现为纯逆冲的运动学性质,并与周边小断裂共同组成叠瓦状断层构造.而广元—大邑断裂为上陡下缓式逆冲断裂,与其六条分支断裂共同组成了"正花状"构造,断裂活动是以逆冲为主,并伴随着小的水平滑动,是一条斜向逆冲的断裂.在芦山地震发震断裂的2km范围内推测存在一陡一缓两条断裂,并根据三者形态推测其在18km或以上收敛到一起并向深部延伸,从而使它们在芦山地震中被同时激活.研究结果揭示了研究区近地表活动断裂和地壳深部构造之间的关系,为进一步研究龙门山断裂带的深部构造环境、深浅构造关系以及断裂的活动性提供了有利的依据.

龙门山断裂带北段深部结构与反射地震特征

2008年5月12日汶川MW7.9特大地震发生在龙门山断裂带,龙门山断裂带深部结构的复杂性制约了地震的破裂过程.通过对研究区区域地质、汶川地震前后采集的地震反射剖面等研究,在对龙门山北段汶川地震断裂带的深部结构和反射地震特征进行了分析的基础上,探讨了它对地表破裂过程的制约.研究结果表明,在地震剖面上,断裂带表现为能量破碎、联系性差;频率剖面上显示整体剖面频率在5~45Hz,断裂带呈现频率低(15~26Hz)等特征.龙门山北段映秀—北川断裂在10km以上是一条倾向北西的高角度走滑兼逆冲性质的断裂,倾角50°~70°.它分割了西侧的轿子顶杂岩和东侧的唐王寨推覆体,错断了早期形成的逆冲岩片,从南到北总位移量由大变小.它高角度的几何形态约束了断裂以走滑为主兼逆冲分量的运动性质,降低了地表滑移量,影响了地震破裂过程以及余震沿断裂带两侧分布的特性.

西藏雄巴地区重力异常特征分析及火山沉积型硼矿成矿预测（英文）

火山沉积型硼矿是一种重要的硼矿床成因类型,主要发育在第三纪湖相蒸发岩沉积层和火山岩互层的二元结构单元中。针对硼矿具有低密度的特点,本文对西藏雄巴地区进行了1:5万高精度重力勘探,获得了研究区布格重力异常和剩余重力异常。根据其异常特征进一步分析了区域构造特征、断裂体系、沉积单元以及火成岩的分布与火山沉积型硼矿的形成关系;通过对所获得重力资料的处理,清楚地揭示了局部异常的变化和研究区的断裂构造特征;通过对重力异常进行优选延拓和小波变换处理,并结合研究区的其他地质资料的综合分析,对火山沉积型硼矿的分布范围进行了预测,为该地区火山沉积型硼矿的钻探工程部署提供了地球物理依据。

基于反射地震方法勘探深处汶川地震发震断裂科钻4号孔(WFSD-4)精确定位

通过深钻资料直接获取发震断层信息,有助于理解地震发生机理以及地震引起的深部结构和物质成分的改变。然而,如何确保钻探孔位位于最有利于穿过地震断层的位置,需要地球物理资料进行约束。为了探查龙门山断裂带北段的地壳深部结构,获取汶川地震的发震断裂特征,拟在北川-映秀断裂北段实施一口科学钻探(钻孔编号为WFSD-4)。钻孔选址要求钻穿北川-映秀断裂,同时尽可能多地穿透与地震断层滑动相关的地质体和目的层。基于该钻孔的科学目标,开展了针对断裂带深部结构的高精度地震探测工作,在垂直于断裂带的方向布设了两条高精度深反射地震测线。在数据采集和处理的过程中分别采取了针对断裂带特征的采集方案和特殊处理方法。最终,根据获得的剖面解译结果,确定了WFSD-4井的地表位置和钻深路线。通过与实际钻探结果进行对比,证明了反射地震方法应用于汶川地震断裂带科学深钻选址的可行性,为进一步研究断裂带深部结构奠定了基础。

中子发生器中子产额智能控制方法初探

将模糊控制、神经网络和传统PID控制三种方法相结合,设计了一种智能控制方法.该方法既具有自学习、自适应的优点,同时又可以很好地在控制过程中利用已有的经验知识,在线整定PID控制的三个参数,将中子发生器的产额控制进一步智能化.该方法以产额为反馈信息,直接稳定产额,比传统自动控制方法的控制精度和稳定性更高.

基于“有诸内者,必形诸外”探析黄褐斑从三焦辨治

“有诸内者必形诸外”,黄褐斑虽为皮肤色素性疾病,发于颜面却与机体内在阴阳失衡、脏腑失调、三焦不通、经络不畅、气血不能上荣于面有关。故而临床治疗黄褐斑不应拘泥于局部斑片所在部位、色泽、范围等表象,应从中医整体观出发,重视人体为一个系统的有机整体,本于辨证型之不同,分证型而论治。文章简要梳理了三焦学说及主持诸气运行津液的功能,从上、中、下三焦分别论述黄褐斑发病病因以及临床方药针刺治疗。通调三焦,充足营血则五脏六腑得以滋养、四肢百骸得以濡润,故而也是治疗黄褐斑的基本原则,三焦不通则斑生,三焦通则斑无以生。

梅花愈溃油治疗Ⅲ、Ⅳ期压疮临床疗效观察

目的:观察梅花愈溃油治疗压疮的疗效,探索安全、简便、有效的压疮治疗方法。方法:选取压疮患者119例按随机数字表法分为两组,观察组60例,对照组59例。观察组予以梅花愈溃油联合“TIME”原则进行治疗,对照组予以湿润烧伤膏联合“TIME”原则进行治疗,对比观察两组创面的愈合率、肉芽生长情况、脓液渗出量、细菌阳性发生率、治疗效果和患者血清中白蛋白含量及D-二聚体水平。结果:治疗4周后两组压疮创面愈合率、肉芽生长情况评分均高于治疗前,观察组评分较对照组升高更明显(P<0.05);治疗4周后两组压疮创面脓液渗出量评分、细菌阳性发生率均低于治疗前,观察组指标较对照组降低更明显,差异具有统计学意义(P<0.05);治疗后两组压疮患者血清中白蛋白含量较治疗前升高,D-二聚体水平较治疗前降低,观察组变化较对照组更明显(P<0.05);治疗8周后,两组压疮创面治疗效果比较,差异具有统计学意义(P<0.05),且观察组优于对照组。结论:梅花愈溃油治疗压疮效果较好,可有效促进压疮创面的愈合。

^(3)He中子探测器小型直流高压电源设计

介绍了低纹波、低功耗^(3)He中子探测小型直流高压电源的设计。该直流高压电源核心部分采用MAX1771芯片、电感和MOS管构成自激振荡,并经后级的多级倍压电路进一步放大输出电压,滤波电路选用π型滤波网络,纹波可控制在20 mV以内。测试结果表明:该直流高压电源输出电压范围为1.0~1.5 kV可调,输出电流最大可达到0.535 mA,静态功率损耗最大为0.3 W,总体指标达到^(3)He中子探测器的电源要求。

基于玄府、气血、脏腑间联系探析痤疮的治疗

痤疮是一种慢性、炎症性、损容性累积毛囊皮脂腺的常见皮肤病,以粉刺、丘疹、脓疱、结节、囊肿伴红肿疼痛为主要表现;多数在青春期发病,素有“青春痘”之称;且随着生活水平的提高,痤疮的发病率逐年升高。现代医学以抗生素类、抗雄激素、维甲酸类等药物为常用治疗方法,但存在耐药及不良反应多等难题。中医学认为“有诸内者,必形诸外”,基于玄府、气血、脏腑间联系与痤疮发生密切相关;考虑玄府密闭、气血不畅、脏腑失和乃痤疮发生的关键;提出“开玄府、调气血、和脏腑”为痤疮治疗的基本目标。