基于大数据的异常检测方法研究

离群数据检测,主要目的是从海量数据中发现异常数据。其有以下两点好处:第一,作为数据预处理工作,减少噪声点对模型的影响;第二,针对特定场景检测出异常,并对异常现象本身进行挖掘,也非常有价值。目前,国内外主流的方法像LOF、KNN、ORCA等,无法兼顾全局离群点、局部离群点和离群簇同时存在的复杂场景的检测。针对这一情况,提出了一种新的离群数据检测模型。为了能够最大限度对全局、局部离群数据以及离群簇的全面检测,基于iForest、LOF、DBSCAN分别对于全局离群点、局部离群点、离群簇的高度敏感度,选定该三种特定基分类器,并且改变其目标函数,修正框架的错误率计算方式,进行融合,形成了新的离群数据检测模型ILD-BOOST。实验结果表明,该模型充分兼顾了全局和局部离群数据及离群簇的检测,且效果优于目前主流的离群数据检测方法。

大数据下的销售异常发现与定位模型研究

当今时代传统零售业竞争异常激烈且数据量庞大,因此在大数据平台下挖掘异常并让其辅助决策成为企业提高竞争力的有效手段.目前大多数离群点检测方法仅能对具有可比性的数据进行异常挖掘,但销售数据却受到季节性、节假日等因素影响而失去可比性,且管理层的需求并不仅仅是挖掘异常,其最终目的是定位异常、实现责任到人等实用意义,从而针对销售数据的异常发现与定位方法成为一大难题.为此提出了大数据下的销售数据的异常发现与定位模型.该模型利用权重的思想使数据具有可比性,从不同角度的数据进行离群点检测后通过建立概率模型实现异常定位.由于权重思想及独有的异常定位两个特征,该模型在实际应用于步步高商业连锁股份有限公司时获得了相关专业人员的高度认可.