基于JAVA的京东商品分布式爬虫系统的设计与实现

数据科学正在改变着人们的生活。从百度搜索推荐到今天网上的推荐资讯。对数据科学的构建,数据来源则是千里行之始。本文介绍用JAVA结合分布式技术实现的一个高效爬虫系统,希望能为数据研究者垒好数据高楼的基石。

复杂建筑平面图纸的空间布局融合对偶识别方法

矢量化的复杂建筑平面图纸受各类图元的干扰,其空间布局识别难度非常高,然而在5G基站建设、智能家居以及AR/VR(augmented reality/virtual reality)中广为应用。提出了一种结合栅格图像和矢量表示的高性能融合对偶识别方法。首先,采用建筑平面图纸的栅格化表示,提取建筑图纸的主要发展方向,构建分割的若干个封闭区域空间。然后,采用建筑平面图纸的矢量化表示,利用空间识别的有向性和邻接特性,创新地提出使用半墙数据结构进行墙体几何位置和拓扑关系的计算,从而根据空间对偶原理高精度地整体重建墙体布局。最后,获取包含各类墙体布局的矢量建筑平面图数据集,并进行方法的实验验证。实验结果证明了所提出的先空间后墙体的融合对偶识别算法对于各类建筑模型类型均具有可用性和有效性。与传统先墙体后空间的识别方法相比,所提方法具有更高的鲁棒性,受特定建筑图纸类型的干扰更少。