基于动态指导的深度学习模型稀疏化执行方法

以深度学习为代表的人工智能技术迅速发展,庞大的数据、模型,更大的计算量和更复杂的计算都对模型的执行提出了挑战.在实际应用中,资源和应用的动态特征以及用户的动态需求,需要模型执行的动态性来保证.而稀疏化是在资源受限、用户需求调整情况下动态模型的执行重要手段.目前主流的稀疏化技术主要是针对特定问题的稀疏化,且针对推理的多,针对训练的少,缺乏在训练执行阶段进行动态调整和稀疏化的手段.本文在对深度学习领域的基本计算单元进行可稀疏性分析的基础上,进一步分析了模型执行的不同层面、不同组成部分的稀疏化能力;经过对动态需求、模型稀疏化策略的建模后,提出了基于动态指导的深度学习模型稀疏化执行方法,并进行了基本实验;最后从量化建模与量化实验的角度对今后的研究工作提出了展望.

图计算中基于一致性约束条件的迭代模型研究

迭代计算是数值计算中有效的逼近方式,能够拟合多种计算模型.在大数据分析领域尤其是图计算中,迭代计算能够抽象描述大部分图算法,对结构化数据挖据和关联分析至关重要.随着数据规模的增长,很多精确算法的时空复杂度已经难以满足现实需求,迭代计算的算法越来越丰富.并行迭代是图计算的主要实现形式,已有的图并行策略大多数是同步模型,少量异步模型,对于一致性约束条件下的迭代研究较少.研究内容重点关注图计算模型中迭代执行技术,分析了同步迭代和异步迭代的适用性,以及不同一致性下的异步迭代方式,针对已有异步迭代方式的不足提出了自适应的弱一致异步执行模型,并进行了验证性实验.实验证明:该模型能有效提高部分图算法的执行效率,尤其是收敛速度和效果.

“神威·太湖之光”计算机系统大规模应用特征分析与E级可扩展性研究

复杂应用系统面临着全系统、全物理过程、自然尺度的计算模拟,对计算机能力提出更高要求.该文介绍了"神威·太湖之光"系统半机以上超大规模并行应用的算法特点、体系结构适应性、计算复杂度、访存复杂度和通信复杂度的大规模实验分析结果,基于大规模应用计算和数据移动特征以及异构众核体系结构特点提出新的性能模型,得出影响大规模应用性能的关键因素,提出E级复杂应用对未来E级计算机系统的设计需求.

面向图计算的运行时系统的消息聚合技术

图计算应用的通信模式以时空随机的点对点细粒度通信为主,但现有高性能计算机的网络系统应对大量细粒度通信时表现不佳,进而影响整体性能。虽然在应用层进行通信优化可以有效提升图计算应用性能,但这会给应用开发人员带来很大的负担,因此提出并实现结构动态的消息聚合技术,通过构建虚拟拓扑的方法在通信路径上增加中间点从而提升消息聚合的效果。传统的消息聚合策略一般仅在通信源或者目的地上进行,聚合机会有限,而所提技术通过灵活调整虚拟拓扑的结构和配置适应了不同硬件条件和应用特征。同时,还提出并实现了面向图计算的有消息聚合的运行时系统,这使得在程序迭代执行时可以动态选择参数,从而减少开发人员负担。在256节点规模的系统上实验的结果显示,使用所提消息聚合技术优化后的典型图计算应用的性能可得到100%以上的提升。

三江源地区生态经济展望

我国西部大开发战略继续实施，政府开始高度重视江河保护和建设，尤其是高度重视三江源地区的生态保护，作出了全面停止长江、黄河中上游天然林采伐的决定，不断加大对生态环境建设的投资，启动了天然林保护工程，突出了“退耕还林（草）、封山育林（草）、以粮代赈、个体承包”等具体政策和措施，加强防沙治沙，污水、污染治理等工程建设，使生态环境恶化的趋势得到一定程度的减缓。但是，由于三江源地区特殊的地理位置、条件，生态环境十分脆弱，受自然和人为因素的影响，局部地区的生态环境虽然有所改善，整体趋于恶化的基本态势还没有改变，环境问题仍是影响该地区经济发展和提高人民生活质量的制约因素之一。