大规模数据清理的相关问题与探讨

随着工业化进程的推进,我国的环境污染问题日益显现,环境污染对居民健康造成了一定程度的影响,因此环境与健康工作有待广泛和深入地开展,然而伴随着信息化时代的到来,环境与健康工作面临着新的挑战,当前的环境与健康工作已不再是简单地基于几个或者几十个实验室数据的分析结果,而是需要大规模监测和调查数据作为支撑,许多大规模监测网络和调查研究不断涌现,如全国城市空气质量实时发布平台、全国空气污染（雾霾）人群健康影响监测网络和全国农村饮用水水质卫生监测网络等，这些大规模的监测和调查通常会由多个实施机构共同参与完成，存在数据质量参差不齐、数据录入不规范、存在缺失值和异常值及逻辑错误等数据质量问题，因此如何甄别大规模数据的数据质量并最大程度地保证数据的可用性，已成为当前环境与健康工作的新挑战。数据质量是分析结果的重要保障，数据质量的高低严重影响分析结果的科学性和准确性，笔者就一些大规模数据清理经验进行论述。