分布式训练系统及其优化算法综述

人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本文首先阐述了单机训练面临的主要挑战.其次,分析了分布式训练系统亟需解决的三个关键问题.基于上述问题归纳了分布式训练系统的通用框架与四个核心组件.围绕各个组件涉及的技术,梳理了代表性研究成果.在此基础之上,总结了基于并行随机梯度下降算法的中心化与去中心化架构研究分支,并对各研究分支优化算法与应用进行综述.最后,提出了未来可能的研究方向.

深度学习编译器模型训练负载均衡优化方法

对于计算密集型的人工智能(AI)训练应用,其计算图网络结构更加复杂,数据加载、计算图的任务划分以及任务调度的负载均衡性都会成为影响计算性能的关键因素。为了使深度学习编译器中模型训练应用的任务调度达到负载均衡的状态,提出了三种计算图负载均衡优化方法:第一,通过自动建立数据加载与模型训练的高效流水实现中央处理器和后端计算设备的负载均衡,提高了系统整体能效;第二,通过计算图的分层优化技术,实现计算图在后端设备执行调度时的负载均衡;最后,通过自动建立层间的高效流水提高后端设备的资源利用率。实验结果表明,计算图负载均衡优化方法实现了训练任务到底层硬件设备自动映射过程中系统的负载均衡,与Tensorflow、nGraph等传统的深度学习框架和编译器相比,在不同模型训练中通过任务调度负载均衡优化技术分别获得了2%~10%的性能提升,同时能够使系统整体的能耗降低10%以上。

企业ESG表现对其债务融资成本的影响研究

随着绿色发展成为中国高质量发展的基本要求,ESG也逐渐成为企业可持续发展的一个重要衡量指标。本文选取2009-2022年沪深A股上市公司作为研究对象,以探究企业ESG表现对其债务融资成本的影响。研究结果表明,企业良好的ESG表现有助于缓解债务融资成本。异质性检验表明:ESG表现对债务融资成本的缓解作用在成长期、非国有企业更为显著。机制检验发现:企业ESG表现的提高有助于减少企业的经营风险,进而降低其债务融资成本。

数据驱动的污水处理曝气过程低碳优化控制方法

针对现有的污水处理过程存在碳排放机理不清且难以评估,无法通过有效的调控方式降低碳排放总量的问题,设计了一种数据驱动的污水处理曝气过程低碳优化控制方法。首先,通过深入分析碳排放影响因素及其与水质指标的相互关系,获得了曝气过程各水质指标和碳排放之间的关联关系;其次,采用数据驱动的方法,设计了曝气过程能耗与碳排放的优化模型,以获取曝气过程最优化的控制策略;最后,将获取的曝气过程低碳优化控制方法应用于基准仿真模型。测试结果说明该方法能够有效地跟踪控制曝气过程,降低能耗与碳排放量总量。

宽工况下水蒸气喷射制冷系统试验研究

针对低品位余热资源热负荷的不稳定性,开展研究利用低品位余热资源的水蒸气喷射制冷系统性能变化规律。通过搭建水蒸气喷射制冷试验平台,对蒸汽喷射器的引射系数与系统性能进行了试验研究。结果表明:当发生温度为设计温度140 ℃时,蒸汽喷射器引射系数与系统性能最佳,分别为0.34和0.33,当发生温度高于设计温度时,系统性能和蒸汽喷射器引射系数要比发生温度低于设计温度时更优;随着蒸发温度从2 ℃上升到22 ℃时,蒸汽喷射器引射系数由0.17上升到了0.22,增加了25%,系统性能从0.17上升到了0.24,提高了41%,因此较高的蒸发温度对系统的性能有所提升;系统存在1个临界冷凝温度,当超过临界冷凝温度时,蒸汽喷射器引射系数与系统性能急剧下降。研究结果为水蒸气喷射制冷的模拟研究提供了试验验证,对水蒸气喷射制冷系统的优化具有重要意义。

一种通用型卷积神经网络加速器架构研究

针对当前AI专用加速器设计复杂且存在内存瓶颈等不足,提出一种通用型卷积神经网络加速器架构.其RISC(Reduced Instruction Set Computer)指令集支持不同类型卷积神经网络到硬件加速器的高效映射.其通用卷积计算模块是一个由多个基本运算单元组成的可重构三维脉动阵列,支持不同尺寸的二维卷积计算;脉动阵列规模可根据需要进行配置,适用不同的并行加速需求.为缓解内存瓶颈、提高算力,输入模块引入多级缓存结构,可实现对片外数据的高速读取;输出模块设计一种基于“乒乓”架构的多级数据累加结构,以实现卷积计算结果的高速缓存输出.将所提架构在FPGA芯片上予以实现,实验结果表明该架构凭借较少计算资源和较低功耗取得了与当前先进加速器相近的性能,且通用性更强.

浅析《那年花开月正圆》赵白石人物塑造成功之处

电视剧《那年花开月正圆》在2017年走红,2018年初迎来了二轮复播。该剧情节曲折跌宕,平凡人物的命运与宏阔的历史相交织,人物形象塑造丰满,不仅孙俪所饰演的周莹受到观众喜爱,性格各异的男性角色也备受瞩目。其中,任重所饰演的赵白石虽然并非男主角,却以其丰满的人物形象赢得了出乎意料的关注和支持。

应变型抗争:风险社会下都市青年维权新样态——对长租公寓爆雷事件中一起协商案例的分析

作为青年群体在大城市中主要的租房形式,长租公寓颠覆了传统的房屋租赁模式,其爆雷导致的无责任主体维权事件是风险社会特有的产物。随着抗争场域中外界风险要素的复杂多变,都市青年在维权过程中产生了新的抗争样态,现有解释框架对新样态的解释力稍显式微“。应变型抗争”指的是抗争主体以明确的抗争目标为导向,不依附于特定的抗争工具,根据抗争对象和场域变化适时做出的理性选择,本质上是将抗争的时间性、过程性和多元性共同纳入抗争整个考察过程中,填补了现有抗争框架的解释缝隙。其中,在无责任主体风险中,都市青年群体“应变型抗争”的表现涵盖抗争目标的转变和抗争策略的应变两个部分;风险社会中不确定性的增加、多元主体的参与及其多变的互动策略则共同构成了都市青年“应变型抗争”的外部动力因素。

广播电视开机广告精准投放系统

为解决广播电视开机广告投放效率低的问题,提出广播电视开机广告精准投放系统,系统包括收视人群兴趣分析系统和开机广告投放系统两大部分。系统充分利用观众收视习惯与人群兴趣特征之间的关系,以及兴趣特征和广告受众需求之间的联系,通过用户收视数据分析,基于用户收视习惯与商品类型的匹配,将系统中的两大部分结合,实现广播电视开机广告精准投放的目的。

难治性产后出血子宫切除术的病因及危险因素研究进展

尽管现在医学环境和医疗设施有了很大的进步,难治性产后出血仍然是世界范围内孕产妇死亡的主要原因。子宫切除术作为围产期难治性产后出血其他治疗方案均无效的情况下采取的最后手段,以挽救患者生命为主要任务。导致子宫切除术的因素可能因妊娠合并症、分娩方式、宫腔操作史、剖宫产史等的不同而有所不同。本文主要对难治性产后出血子宫切除的病因及年龄、孕产次、分娩类型、宫腔操作史、既往剖宫产史等危险因素进行总结,为早期识别风险,减少不良结局提供依据。

友谊县城乡居民点用地转型研究

研究目的:以友谊县为研究区,总结城乡居民点用地转型时空格局及演化规律。研究方法:空间离散测度及分形维数测度。研究结果:(1)友谊县城乡居民点用地转型经历了乡村发展主导期、城乡共进发展期、城进乡退调整期三个阶段;(2)乡村发展主导期呈现出以乡村为主导的城乡居民点用地规模迅速增加,以小型乡村居民点用地为主,分布较为集聚,并逐渐呈现场县、乡镇、村屯3级结构;(3)城乡共进发展期城镇与乡村居民点用地同步增加,中小型居民点为主体,分布趋于均衡但仍有一定的随机性,居民点3级结构稳定;(4)城进乡退调整期乡村居民点用地规模大幅减少,而城镇居民点用地持续增加,大型居民点陆续占据主导地位,居民点分布更趋均衡,居民点等级逐渐缩减为场县、乡镇2级结构。研究结论:城乡居民点用地转型具有一定的历史必然性,城乡居民点用地转型规律可以为城乡用地管理提供理论依据。

港口节能减排多目标优化研究

打造绿色低碳港口是港口发展的必由之路,在港口节能减排建设过程中,需要综合考虑建设成本、减排量、节能效果和经济效益等因素,根据各个港口自身特性选择针对性的节能减排方案组合,并合理安排建设序列。将多目标优化应用到港口节能减排建设中,综合考虑经济效益和环境效益等目标,以及建设成本、时序和节能减排控制性指标等约束条件,构建绿色港口节能减排项目建设的多目标0-1规划模型,采用Excel的规划求解功能进行模型优化,科学确定节能减排项目及其实施序列。并以江苏某港口节能减排规划为例进行实证分析,得出该港口节能减排建设优化方案,优化方案减排率达38.4%,效果显著,证明了模型的可行性。

耕地资源富集区县域贫困格局及其影响机制——以黑龙江省兰西县为例

以耕地资源较为富集的贫困县兰西为例,采用空间统计方法分析县域贫困格局,剖析耕地利用对农村贫困格局的影响机制。研究发现:①兰西县贫困发生率呈西北向东南梯度递减特征。②贫困家庭收入来源单一,对耕地的依赖性较强。③耕地利用的各因子对贫困发生率在影响方向和影响程度上不同,且由于耕地资源差异形成了资源依赖机制和资源利用机制,进而影响贫困格局。④建议该类型区域加强土地整治,提高耕地的自然质量和生态价值;加大对农业投入强度,促进农业提档升级;调整农业生产关系,实现现代农业与贫困户的有机结合,确保农业可持续发展与贫困户增收、脱贫。

一种新的三角模糊数算子在加权模糊推理中的应用

针对基于模糊逻辑的加权模糊推理,Chen Shy i-M ing提出了两种计算合取式前件整体真值的方法。由于所用模糊数算子的影响,两种方法的求取结果在准确性和合理性上都存在一定的缺陷。这种缺陷将直接影响推理的性能。因此,为改善这种缺陷,提高推理性能,本文提出了一种新的三角模糊数算子。它的应用可以提高推理的准确性和合理性。

水蒸气喷射制冷系统中蒸汽喷射器性能研究

利用自然工质的水蒸气喷射制冷系统可有效利用低品位余热制冷,但系统性能受制于关键部件喷射器的性能,而有关研究中采用的理想气体模型,不能真实反映内部情况。通过建立蒸汽喷射器的湿蒸汽模型,着重研究流体参数对蒸汽喷射器引射性能的影响,并比较不同模型的差异。结果表明:湿蒸汽模型的引射系数高于理想气体模型6.92%;蒸汽喷射器存在临界压力值,超过临界值后,随着流体出口压力升高,引射系数下降;随着入口压力升高,引射系数先增加后减小,存在最佳工作流体入口压力;随着引射流体入口压力的增加,引射系数增加;引射系数随工作流体过热度的增加而增长,但随引射流体过热度的增加无明显变化。

从单一性到多样性:转产转业过程中沿海渔民与海洋的关系变迁

实现渔民的转产转业从根本上来说, 就是实现渔民劳动力的转移. 在渔业资源日益匮乏, 海洋捕捞业日益膨胀的情况下, 政府鼓励渔民向其他产业转移. 本文旨在通过对沿海渔民转产转业主要实现路径进行分析, 透视我国沿海渔民与海洋关系发生的变化. 在实现渔民转产转业的过程当中, 渔民与海洋的关系逐渐由单一走向多样性. 这种变化主要表现在四个方面： 一是沿海渔民对海洋的依赖关系依然存在， 二是渔民转产转业过程中渔民海洋市场化意识提高; 三是渔民与海洋的关系逐渐向单纯的情感关系转变;四是渔民职业向非渔产业转移, 渔村新型群体出现. 对渔民和海洋的关系变迁进行研究, 有助于我们进一步了解渔民生活的变迁.

氯代多氟烷基醚磺酸盐环境污染及治理研究进展

氯代多氟烷基醚磺酸盐(chlorinated polyfluorinated ether sulfonates,Cl-PFESA)在中国作为全氟辛烷磺酸盐(perfluorooctane sulfonate,PFOS)替代物,被广泛应用于电镀工业中,Cl-PFESA是目前最具生物持久性的全氟和多氟化合物(per-and polyfluoro-alkyl substances,PFASs),潜在毒性与PFOS相当甚至高于许多传统PFASs。其在各环境、动物及人体中已被频繁检出,是水环境、生物体甚至人体中PFASs的主要贡献者。本文总结了Cl-PFESA在各种环境介质、生物体及人体中的赋存情况,分析了吸附法、还原法、机械化学法和电化学法等处理技术对Cl-PFESA的降解效果,并对Cl-PFESA环境行为研究和人类健康风险评估提出展望,以期为Cl-PFESA的生态风险评估和污染治理研究提供理论参考。

出租汽车电召服务中存在的问题及对策研究——以合肥市为例

随着城市规模的扩大和城市人口的增长,市民出行需求越来越高,"出行难"问题逐渐凸显,出租汽车作为城市公共出行交通工具的重要组成部分,其服务的有效性直接影响着市民出行便捷性。信息技术的进步促使出租汽车电召服务的出现成为可能,并且电召服务对城市的影响愈加明显,但其发展存在众多问题。本文以合肥市为例,在对其出租汽车电召服务的特点及作用分析的基础上,剖析其存在问题及其原因,有针对性地提出相应的对策与建议。

卷积神经网络压缩与加速技术研究进展

神经网络压缩技术的出现缓解了深度神经网络模型在资源受限设备中的应用难题,如移动端或嵌入式设备.但神经网络压缩技术在压缩处理的自动化、稀疏度与硬件部署之间的矛盾、避免压缩后模型重训练等方面存在困难.本文在回顾经典神经网络模型和现有神经网络压缩工具的基础上,总结参数剪枝、参数量化、低秩分解和知识蒸馏四类压缩方法的代表性压缩算法的优缺点,概述压缩方法的评测指标和常用数据集,并分析各种压缩方法在不同任务和硬件资源约束中的性能表现,展望神经网络压缩技术具有前景的研究方向.

面向混合异构架构的模型并行训练优化方法

随着混合异构平台的发展,出现了类型不一的加速设备,如何在混合异构平台中充分利用这些不同类型的设备,以及如何在多个计算设备之间部署深度学习模型,而且训练大型和复杂模型的重要性不断提高。数据并行(DP)是应用最广泛的并行化策略,但是如果数据并行训练中的设备数量不断增加,设备之间的通信开销就会成为瓶颈。此外,每个步骤因设备性能差异处理的批总量不同会导致精度损失,即需要更长的训练周期以收敛到期望的精度。这些因素会影响整体训练时间,并且会影响某些设备的运行效率。除了数据并行(DP),每个训练步骤都可以通过模型并行(MP)来加速。提出了一种适合混合异构平台的模型并行训练优化算法。首先,为解决混合异构平台中设备性能分布不均问题,提出了层级并行和通道并行混合的模型并行划分策略,同时通过合并一些性能偏低的设备来减少流水线的长度和缓解通信压力。然后为了优化设备间的流水效果,通过分析流水线建立时间占比和设备性能利用率对整体训练时间的影响,提出了一种可以使两者达到均衡状态的微批次划分方法。实验表明,通过本文方法优化之后的模型并行流水训练算法比传统的模型并行算法具有更好的加速比,在单一类型设备的异构平台上的训练性能加速比提升4%左右,在混合异构平台的训练性能加速比要比没有使用优化方法之前提升7%左右。