基于TEQC的数据批量预处理程序实现与应用

利用Python对TEQC软件进行二次开发,编制了qualitycheck.py和unificate.py程序,实现了数据的格式标准化和质量检查的功能,此程序有批处理、高效率、跨平台、结果可靠等优点。利用实测数据进行实验,对原始观测数据进行格式标准化和质量检查,结果表明利用文中开发的程序进行预处理的效率和便利程度有了非常显著的提高。同时,根据质量检查结果对观测数据进行相应处理,并使用GAMIT/GLOBK软件进行基线解算,通过对比分析结果表明,经过预处理后的数据有效地提高了基线解算的精度。

基于安全散列算法的电子数据存证方法设计

传统的数据存证方法难以有效统一数据格式,容易出现数据处理结果不一致的现象。为了避免因此造成的存证效果差的问题,设计了基于安全散列算法的电子数据存证方法。根据安全散列算法实现消息处理,完成对填充位、消息长度、初始化缓存、消息主循环的处理,得到最简明的消息摘要,然后将大文件写入HDFS中,将小文件与信息摘要写入HBase中,并在设计HBase存储结构的基础上设计具体的存证流程。由测试结果可知,该方法不仅能够查看完整电子数据,还能够查看操作周期里的全部数据,具有高效的存证效果。