聚变堆主机关键系统的综合研究设施的磁体性能研究平台(Magnet Performance Research Platform,MPRP)是为先进超导磁体实验建立的大型实验平台,其历史数据在海量存储情况下存在检索速度慢的问题。因此,对系统检索速度进行研究并开发了M...聚变堆主机关键系统的综合研究设施的磁体性能研究平台(Magnet Performance Research Platform,MPRP)是为先进超导磁体实验建立的大型实验平台,其历史数据在海量存储情况下存在检索速度慢的问题。因此,对系统检索速度进行研究并开发了MPRP数据归档系统(MPRP Data Archiving System,MPDAS)。MPDAS设计了EPICS(Experimental Physics and Industrial Control System)数据归档插件并采用MongoDB分片和副本集机制搭建高扩展性数据存储架构。为提高数据检索速度,MPDAS借鉴最近最少使用(Least Recently Used,LRU)、使用频率最低(Least Frequently Used,LFU)、先进先出(First In First Out,FIFO)三种传统缓存替换算法核心思想,基于牛顿冷却定律建立数据温度模型并提出一种综合访问时间、访问频率以及存储顺序的多维度特征数据划分算法。根据数据划分算法标识冷热历史数据实现数据分层存储。MPDAS在查询历史数据时优先访问Redis,根据命中结果和数据完整性选择不同的检索策略。系统测试结果表明:MPDAS功能特征满足设计要求,其搭载的冷热数据划分算法相比FIFO、LRU、LFU在热数据库保存1%历史数据量时的Redis命中率分别提升了38.05%、26.91%和11.06%。通过提高热数据命中率能够直接减少数据检索平均响应时间,MPDAS通过量化历史数据热度并进行冷热划分,有效地提升了系统检索响应速度。展开更多
文摘聚变堆主机关键系统的综合研究设施的磁体性能研究平台(Magnet Performance Research Platform,MPRP)是为先进超导磁体实验建立的大型实验平台,其历史数据在海量存储情况下存在检索速度慢的问题。因此,对系统检索速度进行研究并开发了MPRP数据归档系统(MPRP Data Archiving System,MPDAS)。MPDAS设计了EPICS(Experimental Physics and Industrial Control System)数据归档插件并采用MongoDB分片和副本集机制搭建高扩展性数据存储架构。为提高数据检索速度,MPDAS借鉴最近最少使用(Least Recently Used,LRU)、使用频率最低(Least Frequently Used,LFU)、先进先出(First In First Out,FIFO)三种传统缓存替换算法核心思想,基于牛顿冷却定律建立数据温度模型并提出一种综合访问时间、访问频率以及存储顺序的多维度特征数据划分算法。根据数据划分算法标识冷热历史数据实现数据分层存储。MPDAS在查询历史数据时优先访问Redis,根据命中结果和数据完整性选择不同的检索策略。系统测试结果表明:MPDAS功能特征满足设计要求,其搭载的冷热数据划分算法相比FIFO、LRU、LFU在热数据库保存1%历史数据量时的Redis命中率分别提升了38.05%、26.91%和11.06%。通过提高热数据命中率能够直接减少数据检索平均响应时间,MPDAS通过量化历史数据热度并进行冷热划分,有效地提升了系统检索响应速度。
