联邦学习场景中Piraeus存储网络应用系统设计

随着大数据与云原生的不断融合,大数据云原生已逐渐成为大数据技术框架未来的发展趋势。传统大数据平台是指以处理海量数据存储、计算及不间断流数据的实时计算等场景为主的一套基础设施。典型的大数据平台包括Hadoop系列、Spark、Flume、Flink、Kafka等大数据生态组件。如今,面对海量数据爆发式的增长,对大数据的管理和使用提出了更高、更新的要求,在此背景下,以“弹性、敏捷、开放”著称的云原生技术赋予了大数据平台新的含义,云原生大数据平台开始登场,发挥大数据的真正生产力。介绍了如何利用好云原生技术对大数据进行技术创新、场景落地,最终赋能企业的数字化战略。

基于YOLO V5算法的建筑外立面渗漏红外图像识别方法

采用深度学习技术中的YOLO V5目标识别算法对红外成像仪中采集到的渗漏区域红外图像进行识别。对于红外渗漏目标而言,不同背景条件、不同时间的红外渗漏目标样本量较少且难以采集,给深度学习模型的训练造成了很大的困难。深度学习需要较多的检测目标数据量进行训练,为了减少对真实渗漏红外图像数量的需求,结合仿真渗漏红外图像与真实渗漏红外图像来制作数据集,作为深度学习的样本进行训练。试验结果表明,所提出的数据集制作与识别方法,对建筑外立面红外图像中渗漏区域的识别准确率达87.6%。

基于迁移学习的铝硅合金文献的文本识别

近年来,材料基因组计划(material genome initiative,MGI)已成为全球热点。数据源的缺乏和数据存储方法的不规范导致材料领域缺乏可用于机器学习模型训练的结构化数据,这成为了研究人员对材料性能进行预测的瓶颈。随着材料科学的不断发展,材料领域文本中包含的大量信息,已成为材料领域研究人员应用机器学习的主要数据来源,如何获取大量有效的材料数据是成为现阶段的一项具有挑战意义的工作。本论文采用自然语言处理技术从铝硅合金材料文献中获取有效数据。命名实体识别是自然语言处理中一项重要的子任务,旨在识别文本中具有特定意义的实体。具体研究方法是从材料科学文献中选择五类实体,手工标注构建了铝硅合金材料实体识别数据集,包括5347个句子,2835个实体。为了减少自然语言处理任务对标注语料的依赖,利用迁移学习将语言模型预训练后应用到特定领域任务中;结合实体特征,基于ALBERT(A Lite BERT)预训练语言模型与条件随机场(conditional random fields,CRF)进行联合建模,并将预训练模型基于主动学习应用于合金材料实体识别。在基于少量标注的训练集样本下,结合主动学习,使得模型的F1值、精确率、召回率分别提高了0.61%,2.68%,0.29%。实验证明结合预训练和主动学习能够进一步减少实体识别任务模型对标注数据的依赖及人工标注的成本。论文研究成果可解决材料数据孤岛问题,改善材料基因组机器学习一直处于小规模数据集的困境,将促进铝硅合金的研发进程,为材料基因组新材料设计提供科学依据。

一种基于聚类的视频子片段分割方法

视频的子片段检测和分割是视频分析的一个重要步骤,提取视频中的关键信息能大大减少视频索引的数据量。基于此,简要介绍了传统的特征聚类技术,在聚类算法的基础上,提出一种聚类评估的方法,通过数值表示聚类的匹配程度,并对结果进行优化得到最佳聚类中心个数,保证了视频子片段检测的精度。实验证明该方法可较好地分割视频子片段。