基于Spark+YARN的空气污染预报云平台设计

近年来我国空气污染导致的雾霾天气频繁发生,空气污染已经成为一个亟待解决的重要问题,其数值预报推广应用是一个难题,主要表现在数值预报系统的运行过程中计算量大,数据量大,在传统高性能计算集群中进行空气污染预报存在资源有限、复杂的并行化操作、批处理作业等待耗时等问题,尤其对于资源缺乏的研究团队,还存在基础设施昂贵而无法负担的问题。因此,如何利用有限的资源,为大气科学家提供一种基于云计算模式的高性能计算环境,提供可扩展、快速、廉价和动态可分配的计算和存储资源,是亟待解决的关键问题。研究一种基于Spark+YARN的空气污染数值预报的云平台,针对空气污染数值预报特点,为大气科学家提供一种空气污染数值预报大数据解决方案。

一种基于Yarn云计算平台与NMF的大数据聚类算法

为了改进Map Reduce早期版本在大数据聚类算法方面的性能,文章提出了基于Yarn(Yet Another Resource Negotiator)云计算平台与非负矩阵分解NMF(Nonnegative Matrix Factorization)的大数据聚类方法。文章讨论了高维数据相似性聚类与非负矩阵分解的结合及其面向Map Reduce的数据聚类的任务划分方式。该方法的实现采用Hadoop2.0的Yarn平台,利用Hadoop的HDFS(Hadoop Distributed File System)来存储大容量的外部数据;描述了基于NMF的大数据相似性聚类方法的编码与实现过程,并以电信运营商的大数据作为案例程序进行了测试。实验结果表明,Yarn云平台比传统用于数据聚类的非负矩阵方法具有更好的运行时间与加速比,能够在可以接受的时间范围内完成电信运营商的大数据处理。

Spark on Yarn模式的电信大数据处理平台

为了提高电信大数据处理的性能,提出了一种Spark on Yarn模式的电信大数据处理平台SY-TPP(Spark on Yarn Telecommunication Big Data Processing Platform)。SY-TPP平台的实现采用Hadoop2.0的Yarn规范,运用了Spark分布式内存计算框架,使SY-TPP平台数据集的处理尽量在内存中进行。以分级聚类算法为案例分析了SY-TPP平台的编程步骤;测试结果表明:电信运营商的上GB级的用户数据能够半个工作日内完成,32物理节点的SY-TPP平台比同等配置的MapReduce平台的加速比从9.5提升10.25。

不同引纱方法对云纹纱成纱外观及质量的影响

为改善云纹纱外观及提高其成纱质量,探究了3种不同引纱方法对云纹纱成纱外观及质量的影响。在牵伸细纱机上分别纺制29.2、14.6、9.7、7.3和5.8 tex的云纹纱,对每种线密度的云纹纱,保证其他工艺参数一致,通过改变饰纱的喂入方式纺制而得,即饰纱分别从细纱机后罗拉、中后罗拉、中前罗拉喂入。通过观察成纱外观,并对其强伸性能、条干、毛羽指标进行测试和对比分析。结果表明:不同的引纱方法会产生不同的成纱外观,较其他2种方式,饰纱从中后罗拉喂入时,所纺成的云纹纱成纱3 mm内有益毛羽较多,3 mm以上有害毛羽较少,强力及成纱品质指数均高于其他2种方式,成纱质量较优,且成纱包缠结构较为紧密,立体感更强。

饰纱的线密度及捻系数对云纹纱成纱影响

探讨了饰纱线密度及捻系数对云纹纱成纱外观及质量的影响。在DTM129空心罗拉紧密纺细纱机上纺制7.3 tex的云纹纱,通过改变所用饰纱的线密度及捻系数,即采用5.8~29.2 tex、捻系数为280~440的饰纱,纺制成不同色彩分布的云纹纱。利用MDA1300视频显微镜观察成纱外观,并对其强伸性能、条干、毛羽指标进行测试和对比分析。研究结果表明:云纹纱在纵向上呈现有色纱包缠本色纱的包缠结构,其织物的图案呈现一种云纹彩霞的效果。为保证良好的花式效果及质量,纺制云纹纱时,应选择7.3~9.7 tex、较相应线密度针织用纱正常捻系数低的饰纱。

非遗传承理念下香云纱服饰的年轻化创新设计研究

香云纱是广东地区特有的面料,其染整工艺入选了第二批国家级非物质文化遗产目录,香云纱由于其自身价格贵、色泽暗淡等特点目标群体一直定位在中老年群体。为了更好地推广、传承和保护香云纱,针对18~45周岁的年轻人进行了市场调研,分析年轻消费者的消费能力与设计需求,并根据所调研的设计需求进行香云纱年轻化服饰产品的创新设计,拓宽香云纱的消费群体,使更多的年轻人接触香云纱、了解香云纱,进而喜爱上香云纱。

面向云环境的蛋白质折叠模拟计算并行化算法

提出了面向云环境Yarn(yet another resource negotiator)规范的蛋白质折叠模拟计算并行化算法Yarn_PERM。分析了蛋白质折叠的格点模型PERM算法的运行流程及其面向MapReduce的子任务划分方式。Yarn_PERM算法实现采用Hadoop2.0的Yarn框架作为工作平台,其资源的分配与调度、应用子任务的申请和子任务的具体执行都由Yarn来透明地完成;描述了Yarn_PERM算法的Map程序与Reduce程序及主控程序的功能实现。实验结果表明:在相同的时间内Yarn_PERM比PERM串行计算、MapReduce的PERM计算在能量最低寻优的吞吐量上明显增加,加速比和可扩展性上也有明显的优势。

基于Hadoop平台的云计算节能研究

云计算的广泛应用导致数据中心的产生.数据中心的能效的高低不仅涉及到电费,还关系到否符合环境法规.作者通过修改Hadoop YARN编程模型,使用RAPI的能耗限制功能来降低应用程序中计算失衡时的能耗.目的是测试在不会明显地降低性能的条件下,通过RAPL,接口控制CPU的能耗是否有效.通过实验表明,在同样的负载下,Phadoop架构在分块矩阵乘法上相对于原来的Hadoop架构的能耗降低了34%.

饰纱喂入位置对云纹纱表面饰纤分布的影响

分析后罗拉和中罗拉两种饰纱喂入位置对云纹纱表面饰纤分布的影响。利用图像处理技术对饰纤占纱线面积比、饰纤包缠长度占纱线总长比、饰纤在其包缠长度上分布系数进行计算和比较。结果显示:两类云纹纱的实际饰纤质量占纱线总质量比均低于饰纤占纱线面积比,说明饰纤主要包缠在云纹纱表面;中罗拉喂入的云纹纱饰纤占纱线面积比、饰纤包缠长度占纱线总长比、饰纤分布系数均大于后罗拉喂入的云纹纱,说明中罗拉喂入的饰纱纤维分布较为均匀。认为:饰纱不同喂入位置直接影响着云纹纱表面饰纤的分布情况及织物外观效果。

云纹纱纬编针织物外观模拟

云纹纱颜色渐变,对应的布面颜色难以直观预测,需要通过打小样来预测布面效果,但这种方式耗时、费力、增加成本。为解决此问题,文章提出一种应用真实云纹纱图像的针织物外观模拟方法,可以快速、直观、准确地预测云纹纱织物的布面颜色。首先利用图像分割、形态学开运算和闭运算等图像处理技术对采集到的云纹纱图像进行处理,得到原始纱线图像主体部分;然后利用改进的Peirce线圈模型,将真实云纹纱线纹理映射至线圈的几何模型上;最后调整线圈的串套关系,完成织物外观的模拟。模拟结果显示,模拟的织物与实际织物扫描图像颜色纹理相近,外观效果逼真。

大肚子纱,锁眼纱的计算机模拟

根据大肚子纱,锁眼纱特殊的喂入及加捻方式而形成的蓬松外观,描述两种纱线的特征参数,并处理色彩明暗度,建立数学模型。通过图形显示,可以作为其工艺仿真。

基于PaaS技术的大数据云化平台实践

大数据平台作为数据存储、处理和服务的基础平台,需支撑内部和外部多种大数据应用的开发及运行。提出一种把PaaS(platform as a service,平台即服务)技术应用到大数据平台的方案,详细描述了大数据PaaS云化平台的架构体系以及分层调度、多租户管理、Hadoop任务全局调度等关键技术方案。实践证明,该平台可以显著提高大数据应用的开发效率,实现应用快速部署上线;同时,其良好的弹性伸缩能力可以有效地提高大数据应用系统资源的使用效率。

云纹花色纱工艺参数优选

探讨云纹花色纱工艺参数的优选。为纺制出高质量C 18.2tex云纹花色纱,采用正交试验方法对其在DTM129型空心罗拉集聚纺细纱机上纺制的关键技术参数进行优化分析。通过改变成纱捻系数、饰纱线密度和饰纱捻系数等3个因素,对不同参数下所纺云纹纱的条干、毛羽和断裂强力进行测试分析,结合极差与方差分析法,获得了较优的纺纱工艺方案。结果表明:纺制高质量C 18.2tex的云纹花色纱最优工艺试验方案为成纱捻系数360,饰纱线密度14.6tex,饰纱捻系数260。认为:工艺参数的优化有助于云纹花色纱质量的提升。

香云纱的艺术表现及其传承研究

香云纱作为中国传统艺术品,是丝绸织染的重要原材料,究其外部色彩与质感都有独到之处,对于艺术研究者而言其拥有独特的审美情趣与审美价值,尤其在丝绸审美方面其特有的优势可以为服饰提供特有的面料手感与独有的视觉观感。本课题对香云纱在现有情况下的艺术表现形式以及发展状态进行研究,认为香云纱自身艺术表现形式应向多样化以及精细化方向发展,应在传承的基础上根据现代审美设计要求进行方案的重新构建。

广绣花鸟元素在香云纱服装上的创新设计与应用

广绣是岭南刺绣,具有丰富的岭南文化特质、独特的艺术魅力和宝贵的历史文化价值。黑缎地广绣花鸟四挂屏作为广绣代表作之一,将条屏中的锦鸡牡丹图案采用现代刺绣的方式呈现在香云纱(非遗)服装和家纺用品设计中,构图饱满、色彩绚丽、形象富有寓意,能更好地融入人们的日常生活中,对岭南文化具有传承创新的作用。

堆叠筒子纱机器人无序分拣方法

针对筒子纱分拣机器人对作业目标堆叠时识别不准确、抓取位置不稳定的问题,课题组提出了一种堆叠筒子纱的机器人无序分拣方法。构建了具有3D视觉感知的筒子纱分拣机器人系统,利用Kinect V2相机获取堆叠筒子纱的图像信息,对采集到的筒子纱点云进行处理;通过M估计抽样一致性算法(MSAC)和直通滤波算法对原始点云进行裁剪,采用改进E-R分割算法和ICP算法完成点云的分割和配准,得到筒子纱的位姿信息;最后使用机器人进行抓取实验。实验结果表明:该方法能够实现对堆叠场景下的作业目标的识别定位,系统的抓取成功率达到86%,可以满足筒子纱分拣的实际生产需求。

基于地域色彩因素的香云纱文创产品设计方法研究

地域色彩是地域文化的重要组成部分,是一定区域内的文化视觉体现,是可贵的文化财富,探讨基于地域色彩因素的文创产品设计方法为文创产品设计方向拓展新的思路,为具有地域代表性的文创产品设计领域带来了新的参考,地域文化与文创产品之间的关系体现在视觉形象、地域色彩、材料运用、工艺表现等各个方面,地域色彩是其中最为直观的视觉部分的重要体现,地域文化的文创产品设计要遵循基于地域文化推陈出新及符合当下生活方式的原则,总结出用情感体验式、地域文化再设计、传统与现代相结合等方法,并依据方法展开基于地域色彩因素的佛山香云纱创产品设计。

冰蓝云雕功能性针织面料的研发

介绍了冰蓝云雕功能性针织面料的设计开发及织造工艺,详细阐述了冰蓝云雕功能性针织面料前处理、染色、定形等工序,并测试了产品的基本性能指标,同时采用4种不同的测试方法对抗起毛起球性能进行测试。结果表明,冰蓝云雕功能性针织面料轻薄通透、手感细腻、设计新颖,呈现出像云层岩式浮雕形状,具有冰凉滑爽的手感,穿着更加舒适,织物基本指标性能均达到优等品标准,为高档、新颖、差异化面料的设计与开发提供参考。

网格化系统建设若干问题与解决途径

近年来,为了更好推进高校综合治理工作,及时解决学生管理工作的种种问题,各高校相继建立了高校网格化系统。在建设和使用的过程中,系统架构选型和数据建设往往成为首要的重点和难点问题。笔者以武汉城市职业学院网格化系统为例,介绍了网格化系统的运行机制与功能,阐述了网格化大数据架构的基本原理,针对网格化系统的数据建设问题,提出了对应的问题解决方案,最终实现网格化系统的正常运行,为学生综合治理工作提供数字化系统应用支撑,为学校的管理工作提供决策分析支持。

基于Yarn云平台的生物基因多序列比对并行算法

为了解决生物信息学中基因多序列比对的计算速度慢和软件陈旧的问题,提出了基于Yarn(Yet Another Resource Negotiator)云平台的生物基因多序列比对并行计算方法Yarn_clustalW。分析了clustalW算法的数学模型及其面向MapReduce的任务划分方式,Yarn_clustalW中综合考虑了基因的长度和数目,采用一种基于阈值刻度的任务划分方式。利用NCBI的GenBank生物基因数据作为案例程序进行了测试。实验结果表明:Yarn_clustalW比起多序列比对clustalW串行计算方法具有更快的运行时间与加速比,可以使生物科研人员节省很多时间与精力,方便对于药物靶标的发现,缩短生物药物的开发周期。