面向食源性疾病爆发检测的大数据分析方法

食源性疾病是指通过摄食而进入人体的有毒有害物质(包括生物性病原体)等致病因子所造成的疾病,一般具有感染性或中毒性。爆发检测的目标是根据收集得到的医院病例数据判断是否有同构性的食源性疾病爆发。本文采用基于并查集[1]的MPI并行[2]DBSCAN算法来检测聚集性的食源性疾病爆发,可以在1分钟完成25万病例数据集的聚集性爆发检测,比原始的单机DBSCAN算法速度快了100倍。本文设计了S-K-CPS算法(Spark下的[3]K-CPS算法)来检测食源性病例数据的散发性爆发,能够实现对于100万病例数据规模的检测,并在速度上比K-CPS算法快了10倍左右。