支持多维度数据去重的交互式可视分析方法

多维度数据中的重复数据会严重影响数据的挖掘、分析与应用.针对传统的数据去重方法的成本、效率和便捷性无法满足大数据分析需求的问题,提出一种数据去重的交互式可视分析方法.该方法将多维度数据通过表示学习提取高维特征向量;使用降维算法将其降至二维散点图;采用无监督聚类算法进行分析;支持用户交互式地调整算法模型及参数,逐步筛选确认重复数据并执行去重操作.对某大型供应链集成服务集团公司数据集进行分析、实验和用户调研,结果表明该方法能有效地处理主流数据清洗软件Trifacta Wrangler和OpenRefine难以发现的复杂数据重复问题,并且效率是它们的2倍以上,在学习难度和使用便捷性等方面也具有明显优势.