YARN平台上的并行主题标引算法

文档主题标引是当前个性化智能检索的重要前提,但面对大规模海量数据资源时,主题标引也成为性能瓶颈。当前在Map Reduce框架上设计实现的主题标引算法,通常存在启动任务耗时长,中间数据过多地进行磁盘IO等缺陷。为了解决此类问题,采用YARN(yet another resource negotiator)作为底层分布式资源管理平台,选择更加合适的计算框架来改善计算性能。针对文档主题标引算法计算步骤多、阶段性强的特点,选择有向无环图(directed acyclic graph,DAG)计算模型进行算法实现,避免不必要的作业拆分,从而减少中间结果的磁盘IO。另外,考虑到Map Reduce的排序策略耗时较多,而有些计算无需对结果排序,故可以改用基于Hash的数据归约策略来提高计算性能,但这又会带来随机读的问题。利用固态硬盘高速随机读的特性,设计相应的优化计算策略来解决随机读的问题。通过实验对比发现,以YARN为底层管理平台,在此基础上选择合适的计算框架并加以优化,可以有效改善分布式计算的性能。

一种基于Yarn云计算平台与NMF的大数据聚类算法

为了改进Map Reduce早期版本在大数据聚类算法方面的性能,文章提出了基于Yarn(Yet Another Resource Negotiator)云计算平台与非负矩阵分解NMF(Nonnegative Matrix Factorization)的大数据聚类方法。文章讨论了高维数据相似性聚类与非负矩阵分解的结合及其面向Map Reduce的数据聚类的任务划分方式。该方法的实现采用Hadoop2.0的Yarn平台,利用Hadoop的HDFS(Hadoop Distributed File System)来存储大容量的外部数据;描述了基于NMF的大数据相似性聚类方法的编码与实现过程,并以电信运营商的大数据作为案例程序进行了测试。实验结果表明,Yarn云平台比传统用于数据聚类的非负矩阵方法具有更好的运行时间与加速比,能够在可以接受的时间范围内完成电信运营商的大数据处理。

一种应用FPGA的灰度投影法断纱检测平台设计

为解决纺织过程中断纱难以及时发现的问题,设计一种基于FPGA的灰度投影算法检测平台。系统中数字CCD相机采集纺纱图像后,FPGA进行灰度投影计算、局部极值法、极值点校正等处理,得到特征值,然后通过与FPGA内部已存储的特征值阈值进行比较,判断出纱线的断纱情况。在20S,30S和40S三种典型纱线生产过程中进行实测,结果表明,所设计平台满足断纱检测的准确性和实时性需求。

基于色纺纱产品与技术的网络服务平台构建

目前市场上还缺乏精准定位的专注于色纺纱产品及相关技术的网络服务平台,研究构建色纺纱产品及产品相关技术的网络服务平台,为入驻平台的买方、卖方、技术服务企业构建贸易桥梁,实现多方共赢。

基于纤维性能的单纱条干均匀度极限值预测

为了获取单纱条干极限不匀率,设计了能够直观描述单纱条干均匀度的模拟平台。根据输入纤维根数平均长度、细度指标和单纱线密度等参数,模拟等长纤维纱和不等长纤维纱中纤维的随机排列分布,并计算出单纱的条干极限不匀率。认为:该模拟平台能够直观明晰地表达纤维在单纱中的随机分布,并涵盖纤维长度、细度指标分布图,能够实现对单纱条干极限不匀率的快速定量预测。

基于树莓派的深度学习色织物疵点检测研究

研究基于树莓派的深度学习色织物疵点检测效果。设计了一种基于树莓派的深度学习疵点检测系统。采用多线程并发执行思路,将系统任务划分为图像采集、图像处理和人工交互三个线程;采用改进的Inception-v3模型图像处理算法,实现了织物图像疵点检测和分类;通过人工交互界面,实时显示系统的运行数据,根据色织物疵点报警停车。结果表明:该系统实现了色织物疵点检测和分类,平均准确率达94%。认为:该织物疵点检测方法可达到工业现场在线检测的要求。

基于人工智能的配棉与纱线质量预测系统的设计与实现

论述了基于人工智能的配棉与纱线质量预测系统软件的设计思想,研究了B/S结构模式下,将数据层、业务逻辑层和表示层进行封装和分离的数据保护问题。探讨了综合计算机软件和人工智能算法等多种关键技术来实现计算机自动配棉和纱线质量预测等多种功能的方法,并在ASP.Net开发平台中实现了MVC架构模式。

混搭型大数据平台的统一资源管控

针对目前通信行业大数据平台普遍存在的混搭型结构,建立统一资源管控体系,在Hadoop生态圈系统以及ShareNothing MPP数据库方面分别设计并实现了基于Yarn以及CGroup技术的资源隔离管控机制,保证集群的最大资源利用率。

基于.NET平台的竹节纱管理监控系统开发

在现有竹节纱生产装置的基础上,基于.NET平台,采用PPI协议、通过MSComm串口通信技术完成了对竹节纱生产监控软件的开发。该软件结合竹节纱纺纱原理编写对应的PPI协议,通过向PLC中读取或写入竹节纱生产工艺参数,最终实现在线监控竹节纱生产过程与机器运行状态,以及存储、修改相关工艺参数和节长等功能,有效提高了生产效率,实现了与西门子S7-200系列PLC的通信。认为:基于.NET平台开发的竹节纱管理监控系统可以有效监控竹节纱生产。

竹节纱及其面料设计与模拟平台的开发

为模拟竹节纱及其面料,直观反映竹节的风格效应和评价竹节分布,开发了竹节纱及其面料设计与模拟平台。平台可以选择纤维原料,通过设置竹节纱的基纱长度、竹节长度和倍率,选择竹节纱类型和竹节生成方式来设计和模拟常规和较复杂的竹节纱;通过设置面料的经纬密、长宽、组织结构、经纬纱颜色和间隔排纱规则,可以设计和模拟竹节纱面料风格;通过统计模拟竹节纱面料单位采样区域内的竹节数和计算多个采样区域内竹节数的变异系数来评价竹节分布。该模拟平台可用于企业中竹节纱及其面料的设计和开发,也可以进行虚拟仿真试验,补充纺纱学课程虚拟仿真教学中竹节纱设计与模拟环节。

SCE大数据平台接入的研究与实现

SCE是中国科学院计算机网络信息中心自主研发的用于聚合各超算中心、高校、研究所高性能计算机资源的科学计算中间件。大数据技术近年来飞速发展,SCE的用户在海量数据处理与大数据计算上的需求日益提升。为了解决这个问题,我们希望可以实验性的将大数据平台与SCE实现对接,为用户提供大数据平台服务。本文利用自建的Hadoop平台为例,并编写程序实现了将其接入SCE中。实验证明,可以通过SCE向Hadoop平台进行提交、查询等一系列操作,正常的将Hadoop平台接入。