基于大数据流水线系统的算法模型整合方法研究——以基于机器学习方法的LiDAR数据树木生物量反演为例

【背景】激光雷达(LiDAR)数据在森林资源分析利用方面有着广泛应用,科研人员研制了很多涉及大数据管理和人工智能的专业算法模型,这些算法模型目前多数散落在研究人员手里,尚缺乏新型信息化平台对其进行整合。【方法】大数据流水线系统πFlow软件具有大数据管理能力和大数据算法集成能力,并可以所见即所得方式构建流水线并调度运行流水线,适合于LiDAR数据复杂算法模型的整合,且流水线可定制、可复用。【内容】本文介绍了πFlow的特点和功能,并以基于LiDAR冠层高度模型(CHM)数据的树冠解析及利用机器学习方法估测树木生物量为例,介绍了将算法整合到πFlow并构建LiDAR数据分析处理流水线的方法和技术,且对流水线进行了测试运行。【结果】利用πFlow构建的可重复信息化平台可支撑野外站观测网络的LiDAR数据生物量快速反演,为数据密集型的专业数据处理算法模型的整合提供了创新方法技术。

科学数据网络:概念、系统与应用

【应用背景】科学数据具有分散化、差异化、孤岛化等典型特征,构建可打破各种孤岛、有效整合分布式科学数据资源的基础设施具有重要意义。【方法】本文梳理了国内外类网络科学数据平台、技术与系统的进展,阐明了科学数据网络的概念、特征、功能与关键技术,并针对新型科研范式下科学数据的协作利用需求,提出并设计了科学数据协作网络RDCN。【结论】科学数据网络可有效改善科学数据的分散化、差异化、孤岛化问题,RDCN在生物多样性研究、生态系统野外台站观测研究、多信使天文学研究等融合科学协作场景中将发挥重大的作用。

基于服务依赖图的微服务系统故障根因定位方法

【目的】为解决微服务架构中频繁出现的系统故障以及异常快速传播的问题,特别是由于服务粒度细、更新迭代频繁及服务依赖复杂性引起的诊断复杂性,本文提出了一种基于动态微服务依赖图的故障根因快速定位方法。【方法】本方法基于微服务的配置信息和日志数据,动态生成服务依赖图,有效捕获服务间的动态依赖变化。在故障发生时,利用服务依赖图和异常事件数据推断异常间的因果链,构造异常因果关系图。结合服务依赖的权重,通过服务依赖图中搜寻并排序可能的根因节点,以实现异常源头的精准定位。【结果】实验结果表明,本方法异常根因top 5平均定位精确率达到66%,优于现有其它同类方法。

跨节点RDF关联路径检索技术研究与实现

【目的】跨节点关联路径检索是实现大规模分布式场景下科学数据关联发现的重要手段,如何突破多节点多跳查询的效率和准确性是一个关键技术难题,相关解决方案和技术具有重要而广泛的应用前景。【方法】本文提出了以RDF类关系为驱动的跨节点关联路径检索技术,该技术以分布式节点RDF类关联关系构建为基础,将跨节点数据实体关联检索映射为RDF类关联检索,进而以RDF类关联关系为基础,指导SPARQL联邦查询语句的动态封装,实现关联数据跨节点检索。【结果】通过测试验证,本文技术方案能有效提升跨节点RDF关联路径检索的效率和质量,可以支持多数据源节点,任意关联方向,多跳的动态查询。【结论】基于RDF类关系驱动的跨节点关联路径检索技术,为解决分布式环境下的数据联合查询提供了一种高效且准确的解决方案,有望在复杂网络环境及大数据应用场景中发挥重要作用。

面向国家科学数据中心的基础软件栈及系统专刊序言

科学数据是支撑国家科技创新和经济社会发展的基础性、战略性资源。国家科学数据中心作为国家科技创新体系的重要组成,旨在实现科学数据的汇聚管理、分析挖掘和共享利用。随着面向多学科交叉的“融合科学”范式的发展,传统的科学数据中心软件系统在科学数据的高效共享利用以及跨中心流转方面,还存在着“管存不管用”、“数据流通不畅”和“孤岛化”等突出问题。

GROMACS在鲲鹏920平台的性能分析及运行优化

【应用背景】ARM众核架构处理器以其高性能、高并行性及低功耗的特点,在分子动力学、流体及天气模拟等领域扮演着越来越重要的作用。【局限】然而,分子动力学模拟软件运行时不同维度的任务分解策略(如粒子作用、时空域分解等)、多样化的并行策略导致负载特征多样而与众核处理器基于高度并行的计算资源所产生的算力这一特点难以很好地匹配,进而导致各计算单元运行时效率低的问题已成为了限制运行时性能提升的重要瓶颈之一。【方法】针对这一问题,以华为技术有限公司自主研发ARM架构鲲鹏920处理器和GROMACS软件为研究对象,通过对鲲鹏920处理器结构特点和算力特征、GROMACS软件任务分解、并行执行过程进行深入分析,提出运行时并行参数优化策略,以更好地适配软件的算力需求和硬件的算力特点,提升了软件计算性能。【结果】通过系统分析性能瓶颈并实践优化策略,相比优化前取得了16.9%的加速效果。【结论】此研究成果可为分子动力学模拟在众核计算环境下的性能优化、国产高性能计算系统及分子动力学模拟专用机等的研发提供一定的参考依据。

基于高性能计算环境的科学应用平台工作流设计与实现

【目的】为了有效解决领域科学应用计算中的复杂多步计算及高通量计算流程繁琐、低效的问题,本文研究科学应用平台工作流的关键技术。【应用背景】本文将基于高性能计算环境的科学应用平台与工作流的理念相结合,同时适用于多领域、多体系的科学计算软件,为相关高性能计算应用的科学研究与工程研发提供有力支撑。【方法】针对不同领域应用需求,本文设计实现了多任务连用工作流和高通量应用计算工作流。多任务连用工作流不仅在服务端和客户端设计了一套通用自定义工作流的逻辑方案,让用户能够自主设计多任务连用,还在高性能计算环境中封装领域特色工作流,满足更特殊专有的需求;高通量应用计算工作流在任务间相互独立的情况下,采用多进程并发以及异步上传文件流的方法提高并发程度,在任务间相互关联的情况下,编写脚本生成批量文件后仅与高性能计算环境交互一次,在申请的计算资源下采用了两层主从模式的负载均衡方案实现子任务间的协同并发。【结果】相较于平台普通提交任务方式,多任务连用工作流可以使用户节省接近10倍的时间,高通量应用计算工作流可以在耗时、易用性和自动化程度等方面展现出显著优势。【结论】本文设计实现的科学应用平台工作流能够更加高效、自动化地解决众多复杂的应用需求,为广大科研人员带来更优质的高性能计算应用服务。

大规模动态图版本化管理:需求、技术与挑战

【目的】在大数据时代,从生活生产到科研领域,产生了海量的动态图数据,对这些数据进行管理和分析可以有效地辅助人们进行工艺设计、智能决策和科学研究。【文献范围】本文使用动态图、演化图和版本图管理等关键字在知网和谷歌学术上进行搜索,整理收集了几十篇相关文献。【方法】本文以数据模型、管理系统和挖掘分析方法三大类为依据对相关研究文献进行分类和归纳总结,分析了国内外研究现状。【结果】其中对动态图数据三种主流存储策略的空间消耗情况在理论上进行了研究并得到了初步结论,其次从集合的角度对现有的动态图查询需求进行了更深层次的总结,最后从论文的分类数量发现当前对动态图的研究更侧重于挖掘分析方面。【局限】本文整理收集的相关文献包含的图模型以属性图为主,RDF相关的文献并未涉及。【结论】本文在分析了大规模动态图版本化管理的相关需求与技术后,也提出了存在的一些挑战,包括动态图多版本管理带来的高空间膨胀率、指定版本的高效随机检索和版本之间的演变关系精准刻画等问题。

面向“融合科学”新范式的科学数据跨中心可信共享技术框架

【目的】大数据催生了一种基于多学科数据融合解决重大科技问题的科研新范式,即“融合科学”新范式。科学数据跨学科、跨领域、跨机构的协同分析与应用成为了科学数据价值充分释放的重要方式,科学数据的跨中心可信共享成为科学数据中心建设的关键目标。【方法】针对科学数据中心数据多源异构、数据量大、资源分散、专业性强、具有明确的知识产权等特点与挑战,本文提出科学数据跨中心可信共享技术框架,该框架包括科学数据建模与互操作方法、双标识融合解析、可信存证、数据确权与流转追溯等关键技术。【结果】在跨越五个科学数据中心的数据共享场景下,验证了该框架的有效性。【结论】为实现面向“融合科学”新范式的科学数据跨中心可信共享提供了一种可行技术路径。

基于ChatGLM2-6B的农业政策问答系统

【目的】为了提高政策的透明度、降低信息不对称,为利益相关者提供一个获得农业政策信息与指导的便捷途径,本文构建了结合ChatGLM2-6B和Langchain-Chatchat的农业政策问答系统。【方法】通过爬虫获取国家乡村振兴局公示的农业政策全文和中央一号等指导性农业政策全文以及黄河九省乡村振兴局农业政策全文,构建农业政策问答数据集,利用该数据集对ChatGLM2-6B模型进行QLoRA微调及模型合并量化,然后将得到的ChatGLM2-6B-QLoRA-int4模型与Langchain-Chatchat及本地农业政策知识库结合构建农业政策问答系统。【结果】对ChatGPT、ChatGLM2-6B、ChatGLM2-6B-QLoRA和本问答系统分别进行提问,对回答结果采用专家打分法进行评价,本系统在农业政策专业领域中回答评分优于ChatGLM2-6B、ChatGLM2-6B-QLoRA,综合效果而言优于ChatGPT。【结论】本研究所构建问答系统在农业政策领域表现较好,能确保专有数据安全,可以实现基于LLM的问答系统本地部署。

DPML:一种面向科学数据语用的标记语言

【目的】科学数据的使用场景日益丰富,了解已有场景中科学数据如何使用,对科技探索与发现有很重要的启发和借鉴作用。然而,由于科学数据的场景化使用蕴藏了复杂的输入、算法和执行环境,这使得如何统一地描述数据的场景化使用成为了一个挑战。这种统一描述的缺失导致了理解和学习已有场景中的科学数据的用法变得难度大、成本高、效率低。【方法】针对数据场景化使用的统一描述缺失的问题,本文采用数据语用的概念,从超图的角度来建模数据的场景化使用,设计了面向数据语用的新型标记语言DPML(Data Pragmatics Markup Language),并提出了一套基于AI的科学数据语用的自动化提取方法。【结果】DPML可以表征多种典型的基于科学数据的场景化使用中的数据语用,同时利用上述的自动化方法,可以高效地提取出DPML。【结论】通过提出DPML及其自动化提取方法,本文实现了科学数据场景化使用中隐含的数据语用的自动化表征。通过数据以及数据之间的语用关系所形成的科学数据的语用网络蕴藏了科学数据如何使用的知识,可以促进科学数据跨学科的共享和再利用,为科学研究的深入合作与数据驱动发现开辟了新的路径。

基于深度学习的农业科技政策知识抽取方法研究

【应用背景】农业科技政策对科技进步和农业生产发展具有重要影响,不同政府部门发布的政策具有针对概念实体的关联性。【目的】针对农业科技政策命名实体识别及关系抽取高度依赖人工设计特征耗时耗力的问题,提出一种基于BERT-BiLSTM-CRF模型的农业科技政策知识抽取方法。【方法】针对领域语料特征,提出一种新标注模式,对三元组直接建模,替代传统的联合抽取或分别建模,将实体关系识别转化为序列标注问题,实验选取政策文本共19,779个句子、376,721个字符,针对政策、行业等8类实体和引用、发布等10种关系进行识别。【结果】使用的BERT-BiLSTM-CRF模型在语料集上准确率为81.61%、召回率为85.34%、F1值为83.47%,实验结果表明,该方法能够有效抽取农业科技政策实体及关系,效果优于其他经典模型。

基于参考的基因序列压缩算法综述

【背景】在过去的二十年里,DNA测序技术持续发展,海量生物序列数据的产生给数据存储、管理和传输带来了严峻的挑战。【目的】本文主要总结近十五年基于参考的基因序列压缩算法,以寻求加速生物数据共享和降低存储成本的方法。【方法】本文从算法的发展角度出发,按照不同算法所使用的关键技术和针对压缩优化的方案进行分类。通过实验验证当前主流算法的性能,揭示当前基于参考的压缩算法所存在的问题。提出一些值得探讨的研究方向,并对未来的研究方向进行了展望。【结果】本文分析了已有基于参考的基因序列压缩算法使用的技术,包括基于单核苷酸多态性、检测最大精确匹配、分段/分块处理和基于LZ77等技术。并对几种较著名的算法进行了复现,发现这些算法倾向于在基准数据集上表现出高压缩比,但在普通数据集上的压缩比普遍不高。【结论】目前已有的基于参考的基因序列压缩算法在理论上可以加速数据传输效率、节约存储成本,但是实用性存疑。须继续改进公共子序列匹配方式以提升对普通数据集的支持,增加预处理参考序列步骤以降低匹配时间开销。

大会征文|2024CCF全国高性能计算学术年会征文通知

征文涉及的领域包括但不限于:高性能计算机体系结构、高性能计算机系统软件、高性能计算环境、高性能微处理器、高性能计算机应用、并行算法设计、并行程序开发、大数据并行处理、科学计算可视化、云计算和网格计算相关技术及应用、Al+Science、量子计算、State of Practice最佳实践,以及其他高性能计算相关领域。本次大会设置“CCF HPC China2024超算年度最佳应用”Track,评选CCF HPC China2024超算年度最佳应用。

灌浆密实度冲击弹性波检测信号智能解译方法研究

【目的】目前,灌浆密实度的检测常采用冲击回波法,但信号解译依赖人工对冲击弹性波信号进行频域分析,存在客观性差、效率低下的缺点。基于此,本文提出一种基于深度学习和冲击弹性波检测信号的智能解译方法。【方法】基于真实灌浆套筒弹性波检测信号和相应云图创新性地将一维时序信息和二维频谱空间信息特征融合进行多模态智能分析,在网络框架中进行抗干扰训练将回归后的主轴和基准线的相似度送入规则库中,获取精确的密实度检测结果。在Transformer网络基础上,增加多任务网络分支,通过两条前端支路分别进行一维信号的特征提取和频谱云图的图像分割任务,特征融合后进行回归。【结果】该方法可有效解决灌浆密实度检测痛点,具有速度快、准确率高的优点。【结论】在测试数据和现场工程验证中对该方法进行检验,实验结果表明,本方法具有较大工程应用价值。

化学自动合成机器态势分析及进展研究

【目的】化学自动合成机器是重大前沿科学问题,涉及合成科学、信息科学、计算机科学等多个学科。准确分析、研判其研究态势,是我国精准布局该领域研究的重要前提和基础。【方法】首先,基于各国战略规划、项目部署和研究产出数据,本文使用文献计量方法将化学自动合成机器研究分解为4个方面。然后,根据各方面的特点,有针对性地选择数据和分析策略,揭示4个方面各自的研究态势。最后,基于4个方面的相互关系和权重,综合成整体研判结果。【结论】在化学自动合成机器研究领域,欧美处于全面领先的位置。我国虽然在自动化技术方面追上国际领先水平,但在算力、算法、数据方面还存在一定差距。

基于深度学习的低纬F区电离层场向不规则体事件识别

【目的】利用子午工程甚高频(very high frequency,VHF)相干散射雷达观测数据,基于深度学习技术对低纬F区电离层3m尺度不规则体进行识别与特征提取。【方法】本文基于CSPDarknet神经网络技术构建了电离层不规则体事件智能识别模型,并基于预训练好的CSPDarknet为骨干网络以及Yolo目标检测算法,构建了电离层不规则体事件定位模型。【结果】所构建不规则体识别模型能自动从整天甚高频相关散射雷达观测数据当中挑选出低纬电离层不规则体,并根据不规则体定位模型提取出不规则体的高度和持续时间。实验结果表明,不规则体识别模型的F1得分达到了85.89%,比EfficientNet模型的F1得分高5.68%;不规则体定位模型的平均精度指标mAP可以达到87.22%,比Yolov5s模型的mAP高4.32%。【局限】模型训练过程中主要利用了海南富克站单台站的观测数据,为提升模型的泛化性能需进一步引入更多台站观测数据。【结论】本文基于深度学习技术首次提出了一套电离层不规则体事件的智能识别与定位方案,极大改善了传统基于阈值法识别不规则体效率低下且依赖专家的问题,提升了电离层不规则体的研究效率。

对地观测卫星知识图谱的构建与应用

【目的】为厘清对地观测卫星、平台、仪器、传感器、相关参数之间的关系,为相关数据智能查询和知识推理提供知识基础,提出构建对地观测卫星知识图谱。【方法】本研究通过自顶向下与自底向上相结合的知识图谱构建技术,使用自然语言处理和人工审核的方法进行卫星数据的提取、融合和质量评估,构建对地观测卫星知识图谱。【结果】总结了知识图谱的逻辑架构和技术架构,梳理了对地观测卫星知识图谱的构建流程,最终构建了包含8种实体、9种关系和33种属性的对地观测卫星知识图谱。【结论】凭借对地观测卫星知识图谱结构化视图和智能查询的功能为卫星数据管理提供了新的解决方案,将在未来促进地球科学研究和社会服务中取得更广泛的成果。

《数据与计算发展前沿(中英文)》征稿启事

《数据与计算发展前沿(中英文)》(CN10-1649/TP,中英文双月刊)是由中国科学院主管、中国科学院计算机网络信息中心主办的学术性专业期刊。期刊旨在以开放、创新的前瞻姿态,聚焦数据、计算与网络的发展态势与技术前沿,推广原创技术方案、创新成果与最佳实践,促进学术交流,推动自然科学、社会科学以及各技术领域与先进信息技术的广泛交叉与深度融合,提高我国在该领域的科研应用水平。

国际生物数据共享服务体系运行模式研究

【目的】通过对国际生物数据共享服务体系以及国内科学数据共享服务体系的运行模式进行调研,从协作运行模式、相关政策支持、资助保障支持、运营管理支撑、基础设施支撑、规范标准支撑、工具技术支撑方面进行深入分析。【方法】采用网络调研和文献分析法,对数据共享体系的文献资料进行检索和分析。【结果】各国在生物数据共享方面的布局不同。欧美等发达国家较早建立较为完善的管理体系,形成了良好的生物数据生态环境。美国、日本等国家的生物数据中心采用集中模式,实现资源的集中管理和监控;而瑞士采用联合协作模式,由多个团体协作管理运行,但保持团队独立性。我国亟需加快生物数据共享体系的建设,当前在科学数据共享服务系统的建立中进行了积极探索,并已形成了有效的管理模式。【结论】通过对现有运行模式的调研,考虑到我国生物数据资源分布情况、研究医疗机构的特点以及生物数据安全等多种因素,认为在建设国家生物数据共享体系的过程中,可以采用“中心和节点的联合协作模式”,加强核心节点建设,提供基础支撑,构建互联互通的生物数据共享网络。在服务体系上,可以结合联合协作的运营模式,推动节点基础设施、技术服务、领域方向等多方面的合作,促进生物医学研究的创新发展。