基于HBase的HLS-Ⅱ数据存档与检索系统开发

HLS-Ⅱ(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS),以提高历史数据的检索速度。HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据。原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗余数据表中检索、返回具有此粒度的特征数据。该系统自投入运行以来,性能稳定,可以在1 s内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询需求。这种设计以较小的冗余存储空间为代价,完全解决了长期历史数据检索速度慢的问题。