基于街景影像和深度学习技术的城市流动商贩空间分布制图

流动商贩是城市社会生态系统中不可或缺的组成部分,高效治理流动商贩问题需要全面调查他们的经营规模和空间聚集信息。然而,传统方法在大规模流动商贩信息(尤其是他们的空间分布)的自动调查存在不足。文章提出一种基于街景影像和深度学习目标识别模型的流动商贩空间分布自动调查方法。按城市路网的固定间隔距离采集街景影像,通过人机交互的方式选取1957张包含一个或以上商贩的图像建立流动商贩标签数据。构建基于YOLO v4深度神经网络的图像目标检测模型识别街景影像库中的流动商贩,模型的平均F1值为0.77、mAP为0.67。精度能满足覆盖城市主要道路的流动商贩数量和位置调查的需要,进而应用核密度分布模型评估流动商贩的空间分布格局。以广州市的街头流动商贩为案例,通过所建立的自动调查模型在3339062幅街景影像中识别出26119名街头商贩,结果表明,流动商贩在中心城区以多中心聚集模式分布,主要集中在地铁站、城中村附近等人流量大的区域,随着道路等级的下降其数量上升,而且流动商贩偏好分布于租金中等的地区。文章提出的方法有助于实现高效、低成本和城市尺度的街头摊贩分布制图,所得结果有助于制定和实施非正规经济的空间治理政策,并进一步为街景图像丰富且开放的城市的空间治理政策的改进和实施提供建议。识别结果可用于对从业者的区位偏好分析、“邻避效应”探究以及疏导区的划定提供决策参考依据。

基于空洞卷积的街景影像多目标检测方法研究

针对街景影像中的目标背景复杂、尺寸跨度大、小目标数量多等问题,提出一种基于卷积神经网络的检测方法。首先利用空洞卷积核及快捷链路机制构建了具备跨层信息传递的特征提取网络;然后利用密集连接技术构建了跨尺度上采样特征强化金字塔,输出4个不同尺度特征图;最后根据街景影像中的目标尺寸特点精准设计锚点框,加快模型训练初期的收敛速度。测试结果表明,所提方法在开源数据集CCTSDB上对所有目标的综合检测精度达到了90.56%,同时检测速度可达到每秒37帧,说明模型能够在复杂街景环境下对多类目标实施快速精准的检测。

基于深度学习街景影像解译和景感生态学的视域环境定量解读

城市物理环境带给居民丰富而生动的视觉意象,目前许多文献结果表明其宜人性与公共福祉以及健康状况息息相关。景感生态为探究城市物理环境与居民感知信息之间的联系提供了指导依据,通过人本尺度的定量手段解读城市环境中视觉、听觉和味觉等多维度感知信息。秉承景感生态学的基本原理,引入一种结合街景大数据和深度学习的城市环境量化手段,以北京市六环范围为例,将景感视率作为测度对人本视角下的城市环境展开定量解读。在全面把控多维景感要素的同时,旨在实现以人为本的城市物理环境优化设计,从而满足人们对生活品质提升的实际需求。实验结果显示:(1)从视觉感受的宏观表现来看,北京四环路范围内建成环境的"闭合感"较强,而对绿植的感知程度相对偏弱,因而需要开展存量环境设计并优化视域界面结构;(2)以景感视率作为特征值进行聚类得出3类主导空间(绿色空间、灰色空间和蓝色空间),可针对灰色空间着重部署垂直绿化资源,提高城市视觉绿化的可感知性,从而营造舒适宜人的绿色氛围、促进公众身心健康;(3)为景感生态学提供了基于大数据思维的数据集和定量方法补充。综上,以街景影像和景感生态视角对北京市中心城区的视域环境展开定量分析,采用了先进的深度学习框架(Detectron2)并结合经典的机器学习方法(K-Means)对人本视域内多维景感要素的空间分布特征进行解读。借助景感生态规划可以有针对性的改善城市视域界面的感知质量,提升智能管理水平,帮助城市规划设计人员和管理者从人本视角提升城市公共环境品质和风貌。

基于街景影像的交通护栏空间分布特征研究

首先提出了基于街景影像大范围提取护栏分布道路的方法,并利用该方法对北京和上海中心区域护栏空间分布特征进行了研究。结果表明,北京五环和上海外环内设置护栏的主干路、次干路和支路总长度分别约为799.45 km和889.35 km,密度分别为0.001 19 m/m^2和0.001 34 m/m^2。随着研究区域圈层由内向外扩展,两地设置护栏不同等级道路的长度和密度变化基本一致,但北京在各等级道路设置了多重护栏,其长度超过370 km。此外,北京护栏分布存在的聚集趋势较上海更为显著。基于街景影像对交通护栏进行提取,可有效描述城市交通护栏分布情况,在城市规划和交通管理方面有重要意义。

街景影像技术在新增违法建设监测中的应用

为实现新生违法建设严格管控,动态零增长真正落实的目标,北京市采用多种手段进行新增违法建设的发现和处理。探讨采用街景扫描车按规划好的时间和路线进行扫描,并对扫描的影像进行比对,提取出差异部分,发现新增违法建设的可行性。文章介绍了该方法的技术路线,总结了北京市近5年来采用该方法取得的经验和成果,探讨了该方法和其他发现违法建设方法对比的优点和存在的不足,为其他城市发现违法建设提供参考。

街景影像技术在监测新增违法建设中的应用研究

对于城市建筑密集区域的违法建设,利用卫星遥感监测难以及时发现,迫切需要一种新的技术手段进行补充。街景影像监测技术可以实现对道路两侧、建筑密集区的新生违法建设从发现到拆除全过程、全方位的影像监测,有效遏制违法建设的发生。文章提出了基于街景影像技术监测新增违法建设的总体思路、技术流程和关键技术,并以此为依托开展北京市新增违法建设监测,为城市建筑密集区治理违法建设提出了可行的监测方法。

基于YOLO的街景影像中行人车辆检测方法

车辆等移动平台搭载全景相机、全球导航卫星系统接收机、惯性测量单元等传感器,可以采集360°的街景。在街景影像中检测行人车辆,一方面可以在数据发布时更好地保护隐私,另一方面可以为城市治理能力提升提供数据支撑。由于街景影像具有表达环境复杂、数据量庞大、目标距离变化大等特点,现有的行人车辆检测算法应用时均存在一定局限。为此,提出一种兼顾效率和精度的街景影像中行人车辆检测方法,利用球形投影原理和先验知识从街景的经纬映射图中划分出目标区域,接着使用你只观察一次(You Only Look Once,YOLO)v4模型从目标区域检测行人和车辆。实验证明,本文方法车辆检测的准确率高于91%,行人检测的准确率高于73%,每张平均耗时21 ms,具备准确率高、速度快的优势,满足实际项目的数据生产需求。

基于保形变换和横轴切平面投影的街景影像纠正方法

街景影像由于畸变难以直接进行三维重建方面的应用,针对该问题,提出一种基于保形变换和横轴切平面投影的街景影像纠正方法。首先,参照表面网格尽可能刚性形变的思想,在影像上放置一定数量的网格作为纠正参考;然后,引入保形能量函数有效地修复街景影像中的变形,恢复影像中的直线结构;最后,估计适当的切平面,利用横轴切平面投影对街景影像进行投影转换,纠正街景影像中的非线性畸变。实验表明,修复和纠正后的街景影像可直接作为三维立面建模的辅助数据。

建筑物立面精细建模的多视街景影像几何纠正与拼接方法

同时搭载差分卫星定位系统、惯性测量单元和街景全景相机的移动测量系统,可高效获取具有精确位姿信息的城市环境高分辨率街景图像,为建筑物立面结构实景三维精细建模提供了重要的数据源。由于地面遮挡、视野限制、影像畸变等因素,单视街景影像难以有效覆盖较大建筑物立面结构。本文提出多视街景影像几何纠正与拼接方法,消除多视影像间的几何、曝光不一致性。利用谷歌开源街景影像数据实验,结果表明该方法可提高建筑物立面重建的纹理质量,同时也具有较高的几何精度。

面向街景影像的直线特征迁移学习匹配方法研究

街景影像因存在畸变较大、亮度变化、遮挡等问题,易导致街景影像匹配困难。建筑物包含丰富的直线特征,可显著提高街景影像的匹配精度。本文利用迁移学习的思想,通过自定义街景影像数据集对SOLD2预训练模型进行迁移学习,以实现基于直线特征的街景影像准确匹配。首先利用单应性变换结合训练检测器生成自定义数据集上的原始伪真值,并将数据集的点线真值作为图像标签信息。然后利用自定义数据集对预训练模型参数进行迁移训练。实验结果表明,本文所提方法能够克服街景影像线特征广泛存在的遮挡等问题,可取得更好的直线匹配效果。本文的研究可为城市影像三维精细重建等提供技术支持。

一种用于街景影像窗户提取的神经网络

针对现有方法受类内多样性以及窗户间距较近的影响,造成漏提取和分割不足等问题。该文提出一种面向窗户提取的WBSNet模型。根据窗户在影像上的密集分布特点,加入CEB模块,用于扩大感受野,减少了目标的漏提取问题。针对相邻窗户间距较近引起的分割不足现象,引入了一种特征提取模块,在保证细节信息编码的基础上,加强网络的特征提取能力。该文在自制的街景数据集上进行实验,实验结果表明,该文方法精确率、召回率、F1-Score和交并比分别达到了76.42%、91.34%、81.82%和70.46%,验证了该文方法的有效性和可行性。

不同街景影像微环境提取方法对街面财产犯罪解释的差异分析

作为城市的骨架,街道网络是人们日常活动的重要载体,其也在很大程度上影响着犯罪事件的分布。因此,街道微环境是研究街面犯罪空间格局及其影响机制的重要切入点。已有研究中基于街景影像的街道微环境度量,多采用语义分割单一技术提取各类环境要素在影像中的像素占比,但该方法不适宜提取行人等离散要素。近期有学者结合使用语义分割和目标检测2种技术来提取影像中复杂的环境要素,但2种方法提取的微环境要素对街面犯罪的解释还未有比较研究。为探究这一问题,本文将百度街景影像作为街道层级建成环境数据,采用上述2种做法分别提取并获得街道微观环境特征变量:第1种做法仅使用语义分割技术将所有要素以像素比例度量;第2种做法用语义分割技术将人行道、建筑、墙面、栅栏、树木和草地以像素比例度量,而用目标检测技术将街面行人和路灯以个数度量。在控制了土地利用混合度、集中劣势、街道长度和密度、犯罪吸引器和发生器后,构建零膨胀负二项回归模型以分析街道微环境特征与街面财产犯罪(如街面盗窃、扒窃)间的关系。模型中分别加入通过两种方式提取的街道微环境特征变量,并比较其对街面财产犯罪影响的差异。研究结果表明:(1)与采用语义分割单一技术提取的街道微环境特征相比,加入了结合使用语义分割和目标检测两种技术提取的街道微环境特征之后,模型表现更好,对街面财产犯罪的解释力提升了7%;尤其是对于街面行人而言,采用目标检测方法对街面行人进行计数,比采用语义分割方法提取行人的像素占比更能有效反映路段上的行人规模,其与街面财产犯罪的关联性更强,其回归系数从0.09提升到0.32,其回归系数绝对值排序从第十位提升至第三位;(2)基于街景影像提取的街道微环境特征能有效解释街面财产犯罪的发生,其中作案目标、活动支持2个维度的街道微环境特征对街面财产犯罪都产生显著影响。具体地说,街面行人规模与街面财产犯罪,如街面盗窃、扒窃,存在显著的正相关关系,而人行道、建筑、树木、草坪在影像中的平均像素占比和绿视率等均与街面财产犯罪存在显著的负相关关系。本文的研究结果对犯罪地理和环境犯罪学文献做了有益的补充,尤其在通过环境设计来预防犯罪方面。

街景影像下的临街建筑风格映射及地图生成方法

精细化的城市建筑风格地图已成为古建筑保护、城市规划、旅游资源开发的重要参考依据。但城市建筑众多,信息采集困难,仅靠人工难以实现成图,因此提出了面向街景影像建筑区域匹配的建筑风格地图生成方法。首先,在提取特征建筑风格影像的基础上,结合球形全景影像的空间几何约束和图像特征,通过匹配同名建筑区域构建双像建筑区域点位映射;然后,利用街景采集点到建筑俯视轮廓的方位范围,提出单像建筑区域方位映射,建立街景建筑区域与单体建筑俯视轮廓的空间匹配关系;最后,综合判定各单体建筑的风格属性,生成精细尺度的建筑风格地图。实验结果表明,基于单、双像位置映射的建筑区域匹配正确率分别达80.3%和85.1%,且19类建筑风格地图的分类精确率为55.1%,召回率为76.4%,在一定程度上能反映大范围的城市建筑风格的地理分布特征。

基于街景影像的城市道路空间舒适度研究

城市道路空间舒适度是综合刻画城市道路环境的量化指标之一,可为城市道路规划建设、城市交通优化、城市环境评估等提供参考。本文以街景影像为基础数据,从空间视角阐述了城市道路空间舒适度内涵,构建了城市道路空间舒适度量化指标,建立了以语义分割和等距采样为基础的城市道路空间舒适度测度方法和空间插值方法,最后以南京市局部城区为样区进行了实验,并分析了城市道路空间舒适度特征。实验结果表明:(1)语义分割中主要要素的分割精度满足要求,分割总体精度为84.92%,Kappa系数为80.06%;(2)综合考虑数据处理时间和舒适度量化表达程度,200 m采样间距可以综合描述研究区道路空间舒适度状态;(3)本文提出的双向约束插值方法可消除突变点、梯形插值形态、花斑状纹理等异常插值现象,同时可有效保持道路空间舒适度方向特征;(4)本文提出的测度方法可以有效度量城市道路空间舒适度,测度等级精度达80%;(5)城市道路空间舒适度等级与道路等级整体上呈现正相关关系,且舒适度在实验区呈现南高北低、建邺区较高、鼓楼及历史老城区低的空间分布状态。

街景影像中的斑马线检测与定位

针对街景影像中斑马线的自动检测与定位识别率和定位精度不高的问题,文章引入俯视投影与霍夫直线检测来改进基于双极系数的斑马线识别算法,并设计球面全景单像测量方法对斑马线进行粗略定位:对全景图像上路面区域进行俯视投影,使图像各处比例尺保持一致;对路面俯视图分块计算以生成双极系数图,并用形态学中闭运算与开运算进行处理;对候选区域进行霍夫直线检测,利用直线长度与方向的统计信息来排除干扰;最后使用单像量测方法对斑马线进行自动地理定位。实验结果证明,该方法对街景中的斑马线具有较高的识别率与定位精度。

基于彩色信息尺度不变特征的街景影像匹配

提出了一种基于彩色信息的尺度不变特征匹配算法以实现彩色图像间的特征匹配。引入对光照变化具有一定鲁棒性的对角-偏移模型,通过模型变换求出图像各位置的彩色不变量,并以此作为输入图像,再采用改进的Harris算法提取图像的几何信息,建立一种具有几何和颜色不变性的特征向量,最后利用特征向量间的相关系数完成匹配。本文将该算法用于街景影像匹配中,并对比与传统SIFT算法的差异,结果表明此算法不但能够得到分布均匀密集度高的匹配点,且耗时少,匹配精度高,证明了对于街景影像匹配研究的适用性。

多层平面单应约束车载街景影像匹配算法研究

车载街景影像匹配中含有较多难以剔除的误匹配,建议采用一种多层平面单应约束的车载街景影像匹配方法进行剔除。车载街景影像的拍摄对象主要为多层次的建筑物立面,物方平面在立体像对中的投影满足单应约束,所以建筑物立面在影像中满足多层平面单应约束。采用Harris算法提取角点特征,采用SIFT算子描述并用邻近距离比约束匹配获取初始同名点。首先,采用核线约束初步剔除误匹配;然后,结合RANSAC估计立体像对间的多层平面单应删除外点。该方法可删除纹理重复造成的误匹配,提高立体像对间匹配的正确率。

基于街景影像多特征融合的广州市越秀区街道空间品质评估

全面准确地描述街景影像的多层次特征在基于街景影像对街道空间品质进行评估的研究中具有重要意义。以广州市越秀区为例,获取前后左右各视角街景影像中手工设计的特征(SURF特征、HOG特征)和基于深度学习的特征(语义特征),基于单一特征和多特征融合采用支持向量机(Support Vector Machine,SVM)、随机森林(Random Forest,RF)训练各视角的评估模型。结果表明,以基于SVM建立的单特征模型为例,基于HOG特征(73.03%)、语义特征(72.28%)的模型平均精度优于SURF特征(56.00%),基于SVM前后左右各视角模型的最优分类精度为82.8%(前)、81.7%(后)、76.6%(左)、76.6%(右),而基于RF各视角模型的最优分类精度为82.8%(前)、85.0%(后)、78.1%(左)、70.3%(右)。前后视角的模型精度略优于左右视角。各视角最优模型均为多特征融合模型,最优模型平均分类精度和Kappa系数可达80.6%和0.62。利用街景影像评估街道空间品质时,各算法之间性能差异微弱,而特征选择及组合方式是提升精度的关键。越秀区街道空间品质存在明显空间分异,其西南部的街道空间品质亟待提升。本研究构建了基于街景影像多特征融合的大规模高精度街道空间品质测度方法,实现了对越秀区街道空间品质的评估,研究结果可为相关部门进行街道环境综合整治提供参考。

耦合GF-2遥感影像与街景影像的广州市城中村识别

及时准确地获取城中村的空间分布及其环境质量信息对于优化城市空间、改善人居环境具有重要意义。本文以广州市越秀区为例,提出了耦合GF-2高分遥感影像和百度街景影像的城中村识别方法。首先,从街景影像中提取越秀区的街道空间品质特征;其次,在对高分遥感影像预处理并进行多尺度分割的基础上计算光谱、形状、纹理、场景特征和建筑结构5类共计23个特征;最后,融合两种影像的特征用于构建随机森林分类器进行城中村识别。结果表明,基于高分影像和基于街景影像的城中村识别整体精度分别为94.5%和85.7%,Kappa系数分别为0.58和0.31,而两者融合后的分类精度和Kappa系数为96.1%和0.67;其中基于街景影像获取的度量街道空间品质的5个指标贡献了31.6%的特征重要性。鸟瞰视野高分影像和人本视角街景影像提供的信息综合互补,构建了更有区分度的特征空间,减少了城中村的错分现象。本文证实了高分影像和街景影像在特征尺度的融合提升了城中村识别精度。街景影像中的信息可以融入到高分遥感影像等数据源中,辅助进行城中村等非正规居住空间的识别。

街景影像——基于人工智能的方法与应用

街景影像是感知城市物质环境的一种新型地理大数据。这种数据以人的视角详尽描绘了城市的可视环境,同时也隐性地表达了可视环境背后有关城市功能、社会经济和人类活动的信息。然而,传统的数字图像处理技术对街景影像的处理能力有限,不能高效地理解其中的语义信息。近年来,随着人工智能领域的不断发展,图像分析和机器学习方法取得了突破性的进展。以深度学习和计算机视觉为代表的前沿人工智能技术,为挖掘街景语义信息、理解和定量表达场所物质空间、建成环境的特征提供了强有力的支持。在此背景下,街景影像被广泛应用于地理学、城市规划等众多领域,并在此过程中出现了大量的新方法和新视角,为基于大数据的城市环境研究、人地关系研究、空间数据挖掘与知识发现研究提供了新的思路。本文综述了基于街景影像和人工智能技术的相关研究,从深度学习和计算机视觉两个方面对街景影像分析的支撑技术进行了梳理,并从场所物质空间量化、场所感知以及场所语义推测3个方面对街景影像研究的应用方向进行了总结,对其在发展过程中面临的数据稀疏性问题、分析方法的严谨性问题进行了归纳,同时讨论了未来研究的方向。