基于Min-Hash数据降维的伴随关系研究

文中提出一种新的计算伴随关系(同行、同停留)的方法,该方法基于手机信号数据、人脸行踪和车辆记录等多源数据。首先,利用ID-MAPPING技术将多源数据统一关联到同一ID,实现数据融合;接着,采用min-Hash算法进行数据降维,降低运算量和存储空间;最后,利用分块Hash映射将具有相同轨迹特征片段的用户映射进同一个桶,计算时空相似度,得到具有相似时空序列的人员列表,从而生成伴随关系。实测数据表明:该方法在提高伴随关系准确度的同时,运行效率比传统方法提升了12倍。

Flink在广西广电实时用户画像系统中的设计与实践

数据量的不断增大,使信息筛选和处理的困扰与日俱增,用户画像项目以此背景成立,旨在“数据驱动业务与运营”。系统地介绍了用户画像项目:首先,介绍了三种技术选型,通过对比阐明了采用Flink架构的原因;其次,从用户画像的业务架构、处理流程描述了项目的设计和实施,并详细介绍了ID-Mapping数据结构;最后,探讨了数据量增加时可能存在的问题,并提出了未来的优化方案。