期刊文献+
共找到30篇文章
< 1 2 >
每页显示 20 50 100
分布式技术在大模型训练和推理中的应用
1
作者 郑纬民 《大数据》 2024年第5期1-10,共10页
近几年,人工智能被广泛应用于多个领域,大语言模型(以下简称大模型)的“预训练-微调”成为人工智能的最新范式。分布式技术存在于大模型生命周期的每一环,为大模型的发展助力。在数据获取环节,针对海量小文件的存储问题,研发了文件系统S... 近几年,人工智能被广泛应用于多个领域,大语言模型(以下简称大模型)的“预训练-微调”成为人工智能的最新范式。分布式技术存在于大模型生命周期的每一环,为大模型的发展助力。在数据获取环节,针对海量小文件的存储问题,研发了文件系统SuperFS,能够同时满足低延迟和可扩展的要求。在数据预处理环节,针对从分布式文件系统读取数据开销大的问题,研发了高效大数据处理引擎“诸葛弩”。在模型训练环节,针对检查点文件读写性能差的问题,提出了分布式检查点策略,加快了检查点文件的读写速度。在模型推理环节,针对KVCache对存储系统的挑战,研发了高吞吐推理方案FastDecode以及大模型推理架构Mooncake。分布式技术的应用,使大模型能够充分利用计算资源,加快训练速度,有利于人工智能领域的发展。 展开更多
关键词 分布式技术 大模型 海量小文件 大数据处理引擎 检查点 KVCache
下载PDF
基于卡口数据的车辆特征及道路运行特征分析
2
作者 戴露 沈巍 李婷 《城市道桥与防洪》 2024年第7期22-24,M0005,共4页
机动车出行调查是城市交通调查中十分重要的内容,传统调查方法主要为人工观测方法,人力成本较大且获取信息较少。随着信息化管理水平不断提升,道路交通科技设施如电子警察/卡口等覆盖面越来越广,通过卡口识别的车辆位置数据可以实现对... 机动车出行调查是城市交通调查中十分重要的内容,传统调查方法主要为人工观测方法,人力成本较大且获取信息较少。随着信息化管理水平不断提升,道路交通科技设施如电子警察/卡口等覆盖面越来越广,通过卡口识别的车辆位置数据可以实现对机动车出行轨迹进行全跟踪。基于C市主城区范围内的卡口数据,辅以道路网数据,主要利用数据统计分析、地图匹配和可视化等手段,提取机动车出行特征数据和道路网络运行情况,统计出的数据特征和结果基本符合C市交通出行规律,具备较好的可操作性和可复制性。 展开更多
关键词 城市交通 卡口数据 机动车出行特征 道路运行特征 溯源分析
下载PDF
口岸不停关施工技术探究
3
作者 魏小强 王盛宝 +2 位作者 宋永良 刘长山 吴可为 《工程建设与设计》 2024年第11期121-123,共3页
以横琴口岸项目通关二期改扩建工程为案例,该工程既要满足粤澳两侧陆路口岸的通关功能,又要保证改扩建工程施工有序进行,介绍一种通过将道路、业务用房及机房、卡口(仅包含物理设施)在施工场地内进行“倒切”的不停关施工技术,围绕口岸... 以横琴口岸项目通关二期改扩建工程为案例,该工程既要满足粤澳两侧陆路口岸的通关功能,又要保证改扩建工程施工有序进行,介绍一种通过将道路、业务用房及机房、卡口(仅包含物理设施)在施工场地内进行“倒切”的不停关施工技术,围绕口岸正常通关所需的必要条件,合理利用施工分区的划分、施工计划的安排、施工工序的穿插来实现“倒切”,从而达到“一边通关,一边施工”的条件,满足“一边通关,一边施工”的要求。 展开更多
关键词 查验场及平台 道路 业务用房和机房 卡口 倒切 通关
下载PDF
基于车辆信息的大数据分析系统设计与实现 被引量:3
4
作者 张积存 宋雪萍 +1 位作者 费继友 王凯 《计算机应用与软件》 北大核心 2023年第1期11-16,37,共7页
为了充分利用日益庞大的交通卡口数据,满足公安机关信息化建设需求,设计并实现基于结构化过车数据的车辆大数据分析系统。系统以视频结构化平台提供的车辆卡口数据为基础,使用Kafka作为消息总线,Elasticsearch作为存储平台和搜索引擎,... 为了充分利用日益庞大的交通卡口数据,满足公安机关信息化建设需求,设计并实现基于结构化过车数据的车辆大数据分析系统。系统以视频结构化平台提供的车辆卡口数据为基础,使用Kafka作为消息总线,Elasticsearch作为存储平台和搜索引擎,并结合Redis内存数据库及分布式的模型算法服务,实现车辆卡口数据的实时传输、入库、检索及分析。在分析中融入多种业务数据,该方法会提供更多有价值的线索。经部署和测试,系统在功能方面满足业务要求;性能方面,总体数据量达到亿级、每分钟新增数据达十万级时,UI响应和算法模块运算时间均达到秒级响应,满足性能要求,能够为公安机关提供种类丰富、结果精准、分析全面、预警及时的实战应用服务。 展开更多
关键词 交通卡口 大数据 Kafka ElasticSearch 实时分析
下载PDF
基于卡口监测数据的路段交通异常状态识别方法研究 被引量:2
5
作者 张雷元 张韧 刘海平 《中国人民公安大学学报(自然科学版)》 2023年第1期83-87,共5页
以路段为对象,研究交通异常状况自动识别方法,为道路交通管理部门提供技术手段。首先,系统分析了现有交通异常状态识别方法原理和存在的问题,结合卡口监测数据特性,设计异常状态识别的基本思路及研究路线;其次,对路段模型进行重新定义,... 以路段为对象,研究交通异常状况自动识别方法,为道路交通管理部门提供技术手段。首先,系统分析了现有交通异常状态识别方法原理和存在的问题,结合卡口监测数据特性,设计异常状态识别的基本思路及研究路线;其次,对路段模型进行重新定义,利用其上下游卡口历史数据,获取行程时间指标参数;再次,基于行程时间概率分布规律,确定异常状态对应的行程时间阈值,建立识别流程,将实测行程时间与行程时间阈值进行比较,实现异常状态判别;最后,选取乌鲁木齐市建国路部分路段开展实例验证。结果显示,采用所提方法进行路段异常状态评价,其评价结果与人工观测情况完全相符,能有效提升异常状态识别的实时性、准确性。 展开更多
关键词 交通管理工程 异常状态识别方法 行程时间分布规律 卡口监测数据
下载PDF
基于WAL的应用服务器同步实现研究
6
作者 王晨 刘学纵 刘勇 《工业控制计算机》 2023年第8期18-20,共3页
在主备应用服务器对控制命令的处理过程中,如果出现异常掉电或系统崩溃等情况,可能会导致应用服务器出现数据不一致的问题。针对这一问题,介绍了一种基于WAL(Write-Ahead Logging)机制的应用服务器同步实现方法,描述了应用服务器通过WA... 在主备应用服务器对控制命令的处理过程中,如果出现异常掉电或系统崩溃等情况,可能会导致应用服务器出现数据不一致的问题。针对这一问题,介绍了一种基于WAL(Write-Ahead Logging)机制的应用服务器同步实现方法,描述了应用服务器通过WAL及索引、共享队列、检查点实现数据同步的过程,并在各种试验场景中对同步过程进行了详细的论述。研究表明,利用WAL机制实现应用服务器数据同步是行之有效的方法。 展开更多
关键词 数据同步 WAL WAL索引 共享队列 检查点
下载PDF
基于多源数据的货车交通模型构建及应用研究——以广州市为例
7
作者 张科 陈先龙 宋程 《交通与港航》 2023年第4期1-7,共7页
通过分析既有货运交通模型的难点及建模数据源的独立性,设计了多源数据融合的数据驱动货车交通模型框架。面向长周期道路卡口监测数据,运用轨迹溯源方法,建立了基于卡口交通分析小区的车辆出行OD。针对重型货车长距离和短距离出行活动... 通过分析既有货运交通模型的难点及建模数据源的独立性,设计了多源数据融合的数据驱动货车交通模型框架。面向长周期道路卡口监测数据,运用轨迹溯源方法,建立了基于卡口交通分析小区的车辆出行OD。针对重型货车长距离和短距离出行活动特征的差异性,基于重型货车GPS数据的时空OD出行链生成算法,建立了区分高速公路和非高速公路的重型货车出行OD矩阵。基于数据驱动的货车模型框架,建立土地利用数据与高速公路收费流水数据、重型货车GPS数据及道路卡口监测数据之间的联系,推算得到以高速公路和非高速公路、重型货车和非重型货车为分类基础的货车出行需求矩阵。结合广州实例,从货车出行总体特征、时空分布、道路货车交通及与城市空间结构的协调性等方面进行了分析。研究结果表明,基于多源数据融合的货车交通模型能够较好地适应城市现状和初近期货车交通预测分析的需要。 展开更多
关键词 数据驱动 货车模型 道路卡口 GPS轨迹 土地利用
下载PDF
一种基于扩展数据流分析的OpenMP程序应用级检查点机制 被引量:7
8
作者 富弘毅 丁滟 +1 位作者 宋伟 杨学军 《计算机学报》 EI CSCD 北大核心 2010年第10期1809-1822,共14页
随着多核处理器体系结构在高性能计算领域日益广泛的应用,面向共享存储并行程序的容错问题成为研究的热点.近年来,检查点技术已经成为该领域占主导地位的容错机制.目前已有一些针对OpenMP程序检查点技术的研究工作,但其中绝大多数解决... 随着多核处理器体系结构在高性能计算领域日益广泛的应用,面向共享存储并行程序的容错问题成为研究的热点.近年来,检查点技术已经成为该领域占主导地位的容错机制.目前已有一些针对OpenMP程序检查点技术的研究工作,但其中绝大多数解决方案都依赖于特殊的运行时库或硬件平台.该文提出一种编译辅助的OpenMP应用级检查点,它是一种平台无关的方案,通过面向OpenMP的扩展数据流分析选择那些"必需"的变量保存到检查点映像,从而降低容错的开销,同时通过运行一种非阻塞式的协议维护检查点的全局一致性.文章讨论了该机制的各个关键问题,并通过实验评测以及与同类工作的比较,表明了该文所提出的检查点机制在容错性能方面的优势. 展开更多
关键词 容错 共享存储 OPENMP 应用级检查点 数据流分析
下载PDF
面向异构并行计算系统的流水线式压缩检查点 被引量:2
9
作者 刘勇鹏 王锋 +1 位作者 卢凯 刘勇燕 《电子学报》 EI CAS CSCD 北大核心 2012年第2期223-229,共7页
在大规模并行计算系统中,并行检查点触发大量结点同时保存计算状态,造成巨大文件存储空间开销,以及对通信和存储系统的巨大访问压力.数据压缩可以缩小检查点文件尺寸,从而降低存储空间开销以及对通信和存储系统的访问压力.但是,它也带... 在大规模并行计算系统中,并行检查点触发大量结点同时保存计算状态,造成巨大文件存储空间开销,以及对通信和存储系统的巨大访问压力.数据压缩可以缩小检查点文件尺寸,从而降低存储空间开销以及对通信和存储系统的访问压力.但是,它也带来额外的压缩计算开销.本文针对异构并行计算系统,提出流水线式并行压缩检查点技术,采用一系列优化技术来降低压缩引入的计算延时,包括:流水线式双重写缓存队列、文件写操作的合并、GPU加速的流水压缩算法和GPU资源的多进程调度,等等.本文介绍了该技术在天河一号系统中的实现,并对所实现的检查点系统进行综合评测.实验数据表明该方法在大规模异构并行计算系统中是可行、高效、实用的. 展开更多
关键词 异构并行体系结构 检查点 数据压缩 软流水线 图形处理器
下载PDF
基于数据流分析的软件容错策略 被引量:8
10
作者 刘云龙 陈俊亮 《软件学报》 EI CSCD 北大核心 1998年第7期537-541,共5页
该文就软件容错中备查点与卷回机制展开深入讨论,提出一种基于数据流分析技术的软件容错新方法.首先对软件容错进行简介,指出数据错是一切控制系统软件失效的根源与最终表现以及对数据采取强有力的容错措施的必要性.然后将数据流分... 该文就软件容错中备查点与卷回机制展开深入讨论,提出一种基于数据流分析技术的软件容错新方法.首先对软件容错进行简介,指出数据错是一切控制系统软件失效的根源与最终表现以及对数据采取强有力的容错措施的必要性.然后将数据流分析技术应用于软件容错,通过求解程序变量的到达-定值数据流方程来静态地确定任何数据在任何引用点出错时的最小充分卷回,通过求解活跃变量的数据流方程来静态地确定程序在执行各个基本块时需动态保存的变量集合,得出最小充分卷回定理与备查点数据范围定理,从而解决了时间冗余容错途径中必须回答的两个基本问题.此外,还给出了恢复块定义有效的充分条件.最后,以电信系统为应用实例,介绍了该方法的一种具体实施.该方法在简单地扩展后可被广泛应用于各种容错软件的设计中. 展开更多
关键词 软件容错 数据流分析 软件开发
下载PDF
一种优化的分布式系统的失效恢复策略 被引量:2
11
作者 刘云龙 陈俊亮 《计算机学报》 EI CSCD 北大核心 1999年第3期249-257,共9页
本文对确定性进程组成的分布式系统的失效(包括处理机崩溃和进程出错)恢复策略做了深入的研究,独到地提出了应用数据流分析来静态地计算进程的最小备查点数据集的方法.从而允许每个备查点操作只需对那些充分必要的数据进行合法性检... 本文对确定性进程组成的分布式系统的失效(包括处理机崩溃和进程出错)恢复策略做了深入的研究,独到地提出了应用数据流分析来静态地计算进程的最小备查点数据集的方法.从而允许每个备查点操作只需对那些充分必要的数据进行合法性检测与备份,这种方法使引入的备查点操作的附加时空消耗降到最低.本文还对因进程通信所产生的备查点间隔的依赖关系做了深入讨论,得出了进程错误的最大可能影响范围定理及出错后系统一致性状态的构造定理,从而可以把错误对整个系统的影响限制在一个可控的最小范围内,这不仅可减小因错误而造成的计算损失,而且将直接降低失效恢复过程中的通信开销.在理论分析之后,我们给出了相应的异步备查点与卷回算法,最后通过比较得出本文的算法在空间性能上优越于已发表的几个具有代表性的算法.本文提出的理论及其算法可以应用于以有限自动机为模型的分布式系统的容错设计方法中. 展开更多
关键词 分布式系统 容错 备查点 卷回 进程
下载PDF
支持大规模流数据在线处理的自适应检查点机制 被引量:1
12
作者 魏晓辉 刘智亮 +2 位作者 庄园 李洪亮 李翔 《吉林大学学报(工学版)》 EI CAS CSCD 北大核心 2017年第1期199-207,共9页
提出了一种支持流数据处理、在线动态调节周期的检查点机制。首先,面向突发性流场景,建立恢复时间计算模型,机制为节点故障提供最大恢复时间保障。其次,针对数据流实时变化的特点,提出检查点实时性代价量化模型。最后,设计流量高峰避让... 提出了一种支持流数据处理、在线动态调节周期的检查点机制。首先,面向突发性流场景,建立恢复时间计算模型,机制为节点故障提供最大恢复时间保障。其次,针对数据流实时变化的特点,提出检查点实时性代价量化模型。最后,设计流量高峰避让协议,基于检查点实时性代价判断,动态选取最佳检查点时机。对比实验结果表明:与传统检查点方法相比,该机制在灵活性和实时性方面具有明显优势,能够满足流数据处理高可靠性和实时性容错的要求。 展开更多
关键词 计算机系统结构 流数据处理 检查点 处理延迟 恢复时间
下载PDF
基于检查点的数据库恢复技术 被引量:2
13
作者 周如意 《沙洲职业工学院学报》 2006年第2期11-14,共4页
从介绍基于日志的数据库恢复技术出发,阐述检查点法的数据恢复原理,并以MSSQLServer系统为例,研究数据库系统采用检查点法的数据恢复技术。
关键词 事务 日志 检查点 数据恢复 MSSQLSERVER
下载PDF
A Partition Checkpoint Strategy Based on Data Segment Priority
14
作者 LIANG Ping LIU Yunsheng 《Wuhan University Journal of Natural Sciences》 CAS 2012年第2期109-113,共5页
A partition checkpoint strategy based on data segment priority is presented to meet the timing constraints of the data and the transaction in embedded real-time main memory database systems(ERTMMDBS) as well as to r... A partition checkpoint strategy based on data segment priority is presented to meet the timing constraints of the data and the transaction in embedded real-time main memory database systems(ERTMMDBS) as well as to reduce the number of the transactions missing their deadlines and the recovery time.The partition checkpoint strategy takes into account the characteristics of the data and the transactions associated with it;moreover,it partitions the database according to the data segment priority and sets the corresponding checkpoint frequency to each partition for independent checkpoint operation.The simulation results show that the partition checkpoint strategy decreases the ratio of trans-actions missing their deadlines. 展开更多
关键词 embedded real-time main memory database systems database recovery partition checkpoint data segment priority
原文传递
基于检查点的长时应用容灾方法研究
15
作者 陈海涛 卢宇彤 韦中伟 《计算机应用》 CSCD 北大核心 2010年第1期246-248,共3页
针对带有时间约束的长时关键应用面临的容灾需求,提出一种基于检查点的应用容灾方法,在应用运行过程中定期保存应用的中间运行状态,并将中间状态异步传输到异地,灾难发生后应用无需重新运行,可自动从最近的检查点位置接力运行。给出自... 针对带有时间约束的长时关键应用面临的容灾需求,提出一种基于检查点的应用容灾方法,在应用运行过程中定期保存应用的中间运行状态,并将中间状态异步传输到异地,灾难发生后应用无需重新运行,可自动从最近的检查点位置接力运行。给出自适应的检查点参数设定方法,并构造原型系统验证了该技术的有效性。 展开更多
关键词 检查点 信息系统 时间约束 持续性数据保护
下载PDF
支持数据库访问的进程检查点技术研究与实现 被引量:1
16
作者 韦中伟 陈海涛 +1 位作者 王强 沈志宇 《计算机工程与科学》 CSCD 北大核心 2011年第8期84-88,共5页
现有的检查点技术不支持socket连接的恢复,也没有将进程恢复和数据恢复结合起来,因此不能支持含有数据库访问的应用程序。本文提出一种支持含有数据库访问的进程检查点技术。对于含有数据库访问的应用程序,在设置进程检查点之前,先设置... 现有的检查点技术不支持socket连接的恢复,也没有将进程恢复和数据恢复结合起来,因此不能支持含有数据库访问的应用程序。本文提出一种支持含有数据库访问的进程检查点技术。对于含有数据库访问的应用程序,在设置进程检查点之前,先设置数据库检查点,获取当前数据库的系统改变号SCN,然后生成进程检查点。当程序从进程检查点处恢复运行时,将未关闭的数据库重新建立连接,并利用数据库的回退技术,将用户所操作的数据库表回退到数据库检查点,保证数据和应用的一致性。实验表明该方案是可行的,且性能开销率较低。 展开更多
关键词 进程检查点 数据恢复 容错 容灾
下载PDF
统一容灾备份技术在高校数据安全中的应用 被引量:1
17
作者 付向艳 蒲伟华 甘霖 《吉林大学学报(信息科学版)》 CAS 2019年第6期664-670,共7页
为提高备份高校数据的安全性能,减少高校系统损坏或数据丢失造成的损失,提出统一容灾备份技术。首先明确数据备份为统一容灾技术的关键,通过心跳和检查点技术对目标系统所处状态进行实时检测;其次在对高校数据备份的过程中划分信息,并... 为提高备份高校数据的安全性能,减少高校系统损坏或数据丢失造成的损失,提出统一容灾备份技术。首先明确数据备份为统一容灾技术的关键,通过心跳和检查点技术对目标系统所处状态进行实时检测;其次在对高校数据备份的过程中划分信息,并使每部分都由一个线程支持,根据相应的网络协议完成传输,在数据保证准确性和完成性的同时,极大地提升了备份效率;最后通过资源量化处理、数据故障分析以及算法优化,进一步提升统一容灾备份技术性能,令其更好地满足高校数据安全需求。通过测验结果表明,将统一容灾备份技术应用于高校数据安全保护中,可以最大程度的保障数据的完整和安全,在高校数据安全中具有较高的应用推广价值。 展开更多
关键词 数据丢失 容灾备份技术 检查点技术 数据分配
下载PDF
基于卡口数据的交通参数提取方法研究 被引量:1
18
作者 孙猛 李建梅 +3 位作者 孙锋 吴晓炜 陈浩田 朱爽 《交通信息与安全》 CSCD 北大核心 2020年第6期137-144,共8页
针对交通参数提取繁琐及流程混乱问题,提出了数据预处理-指标提取-可视化一体的交通卡口数据挖掘流程。针对传统断面数据无法获取过饱和状态交通参数的缺陷,通过深入挖掘卡口数据蕴含的时间关联信息,并结合路网空间逻辑关系,基于Pandas... 针对交通参数提取繁琐及流程混乱问题,提出了数据预处理-指标提取-可视化一体的交通卡口数据挖掘流程。针对传统断面数据无法获取过饱和状态交通参数的缺陷,通过深入挖掘卡口数据蕴含的时间关联信息,并结合路网空间逻辑关系,基于Pandas和NumPy工具包构建了行程时间、平均车速和车辆延误提取模型,进而利用时空轨迹图研究了过饱和状态下的最大排队长度测算方法,该方法使用延误、流量、车速参数均为实时提取,实现了主动全时状态提取;以淄博市实际道路卡口数据为例验证了模型的有效性,结果显示,排队长度的准确率达85%以上;基于Python可视化库和Echarts对数据分析结果进行可视化处理,实现了交通需求及状态数据的动静态展现,能够为智能交通管控的决策提供支撑。 展开更多
关键词 智能交通 卡口数据 交通参数提取 PYTHON Echarts
下载PDF
面向流式数据处理系统的高效故障恢复方法 被引量:2
19
作者 刘阳 张扬扬 周号益 《计算机应用》 CSCD 北大核心 2022年第11期3337-3345,共9页
针对流式数据处理系统Flink无法高效处理单点故障的问题,提出了一种基于增量状态和备份的故障容错系统Flink+。首先,提前建立备份算子和数据通路;然后,对数据流图中的输出数据进行缓存,必要时使用磁盘;其次,在系统快照时进行任务状态同... 针对流式数据处理系统Flink无法高效处理单点故障的问题,提出了一种基于增量状态和备份的故障容错系统Flink+。首先,提前建立备份算子和数据通路;然后,对数据流图中的输出数据进行缓存,必要时使用磁盘;其次,在系统快照时进行任务状态同步;最后,在系统故障时使用备份任务和缓存的数据恢复计算。在系统实验测试中,Flink+在无故障运行时没有显著增加额外容错开销;而在单机和分布式环境下处理单点故障时,与Flink系统相比,所提系统在单机8任务并行度下故障恢复时间减少了96.98%,在分布式16任务并行度下故障恢复时间减少了88.75%。实验结果表明,增量状态和备份方法一起使用可以有效减少流式系统单点故障的恢复时间,增强系统的鲁棒性。 展开更多
关键词 流式数据处理系统 故障恢复 分布式检查点 状态备份 Apache Flink
下载PDF
Redis基于RDB+AOF的数据恢复策略研究 被引量:2
20
作者 张文帅 《电脑知识与技术(过刊)》 2016年第5X期7-10,共4页
该文针对Redis数据库中两个问题,RDB(Snapshot)恢复数据不完整和AOF(Append Only File)恢复速度慢,提出了RDB+AOF的数据恢复方案。该方案借鉴检查点思想,依赖RDB和AOF两种方法,不但具有AOF恢复数据全面的特点,又兼具RDB恢复速度快的优... 该文针对Redis数据库中两个问题,RDB(Snapshot)恢复数据不完整和AOF(Append Only File)恢复速度慢,提出了RDB+AOF的数据恢复方案。该方案借鉴检查点思想,依赖RDB和AOF两种方法,不但具有AOF恢复数据全面的特点,又兼具RDB恢复速度快的优势。按照此方案修改Redis源码并作对照实验,结果证明该方案可行且有效。 展开更多
关键词 REDIS 数据恢复 检查点 RDB+AOF
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部