New Fusion Approach of Spatial and Channel Attention for Semantic Segmentation of Very High Spatial Resolution Remote Sensing Images

The semantic segmentation of very high spatial resolution remote sensing images is difficult due to the complexity of interpreting the interactions between the objects in the scene. Indeed, effective segmentation requires considering spatial local context and long-term dependencies. To address this problem, the proposed approach is inspired by the MAC-UNet network which is an extension of U-Net, densely connected combined with channel attention. The advantages of this solution are as follows: 4) The new model introduces a new attention called propagate attention to build an attention-based encoder. 2) The fusion of multi-scale information is achieved by a weighted linear combination of the attentions whose coefficients are learned during the training phase. 3) Introducing in the decoder, the Spatial-Channel-Global-Local block which is an attention layer that uniquely combines channel attention and spatial attention locally and globally. The performances of the model are evaluated on 2 datasets WHDLD and DLRSD and show results of mean intersection over union (mIoU) index in progress between 1.54% and 10.47% for DLRSD and between 1.04% and 4.37% for WHDLD compared with the most efficient algorithms with attention mechanisms like MAU-Net and transformers like TMNet.

Fuzzy c-means clustering based on spatial neighborhood information for image segmentation

Fuzzy c-means （FCM） algorithm is one of the most popular methods for image segmentation. However, the standard FCM algorithm is sensitive to noise because of not taking into account the spatial information in the image. An improved FCM algorithm is proposed to improve the antinoise performance of FCM algorithm. The new algorithm is formulated by incorporating the spatial neighborhood information into the membership function for clustering. The distribution statistics of the neighborhood pixels and the prior probability are used to form a new membership func- tion. It is not only effective to remove the noise spots but also can reduce the misclassified pixels. Experimental results indicate that the proposed algorithm is more accurate and robust to noise than the standard FCM algorithm.

Investigating the Existence of Second Order Spatial Autocorrelation in Crash Frequency across Adjacent Freeway Segments

This study developed spatial Poisson model to incorporate spatial autocorrelation in crash frequency across contagious freeway segments. Spatial autocorrelation is the presence of spatial pattern in crash frequency over space due to geographic proximity. Usually crash caused congestion on a freeway segment propagates upstream and creates chance of occurring secondary crashes. This phenomenon makes the crash frequency on the contiguous freeway segments correlated. This correlation makes the distributional assumption of independence of crash frequency invalid. The existence of spatial autocorrelation is investigated by using Conditional autoregressive models (CAR models). The models are set up in a Bayesian modeling framework, to include terms which help to identify and quantify residual spatial autocorrelation for neighboring observation units. Models which recognize the presence of spatial dependence help to obtain unbiased estimates of parameters quantifying safety levels since the effects of spatial autocorrelation are accounted for in the modeling process. Based on CAR models, approximately 51% of crash frequencies across contiguous freeway segments are spatially auto-correlated. The incident rate ratios revealed that wider shoulder and weaving segments decreased crash frequency by factors of 0.84 and 0.75 respectively. The marginal impacts graphs showed that an increase in longitudinal space for segments with two lanes decreased crash frequency. However, an increase of facility width above three lanes results in more crashes, which indicates an increase in traffic flows and driving behavior leading to crashes. These results call an important step of analyzing contagious freeway segments simultaneously to account for the existence of spatial autocorrelation.

对外开放对全国统一大市场建设的影响研究:基于我国市场分割的视角

双循环新发展格局下,进一步扩大对外开放将成为我国构建全国统一大市场的关键。在分析对外开放影响全国统一大市场建设的理论机制基础上,选取2005—2020年中国省级面板数据,构建空间计量模型,检验对外开放对我国市场分割产生的空间溢出效应,并通过中介效应模型对理论机制进行检验。研究表明:对外开放能显著降低本地区的市场分割程度,具有正向的空间外溢效应;理论机制检验进一步发现,对外开放通过国企股份制改革、基础设施建设以及提高地区经济发展水平三条路径打破市场分割局面,对全国统一大市场建设产生积极效应。

基于边缘特征和注意力机制的图像语义分割

在语义分割任务中,编码器的下采样过程会导致分辨率降低,造成图像空间信息细节的丢失,因此在物体边缘会出现分割不连续或者错误分割的现象,进而对整体分割性能产生负面影响.针对上述问题,提出基于边缘特征和注意力机制的图像语义分割模型EASSNet.首先,使用边缘检测算子计算原始图像的边缘图,通过池化下采样和卷积运算提取边缘特征.接着,将边缘特征融合到经过编码器提取的深层语义特征当中,恢复经过下采样的特征图像的空间细节信息,并且通过注意力机制来强化有意义的信息,从而提高物体边缘分割的准确性,进而提升语义分割的整体性能.最后,EASSNet在PASCAL VOC 2012和Cityscapes数据集上的平均交并比分别达到85.9%和76.7%,与当前流行的语义分割网络相比,整体分割性能和物体边缘的分割效果都具有明显优势.

基于pix2pixHD的类平面图空间分割清晰度提升及评价方法研究

用图像转译算法生成建筑平面图的研究存在训练难、取样难、控制难、评价难等问题。为了探索更有效的训练及评价方法,文章基于先前研究,探索经典算法pix2pixHD在建筑“类平面图”生成上的应用方法。在样本实验中,发现算法的学习偏好,通过对pix2pixHD算法与“夹芯线”样本的结合运用,提升生成模型的学习效果,使生成图的空间分割线更加清晰;在算法实验中,通过改进评价生成图与真实图像素相似度的计算方法,提升评价的精确度,并提出用于量化评价空间分割清晰度的“矢量比值”算法。通过两种评价方法的优势互补,量化模型的学习效果和生成图质量,以获得生成效果好且有一定创新能力的生成模型。研究结果可初步验证基于图像转译算法,从条件图到矢量结果图路线的可行性,可为训练高质量的建筑平面图生成模型提供理论与实践基础。

大跨环形矮塔斜拉桥主塔力学性能分析

以大跨度环形矮塔斜拉桥的主塔为研究对象,借助大型有限元程序midas进行了静力及地震动时程分析,通过提取杆系模型中的最不利内力,对索塔锚固区及下塔柱钢混结合段空间应力进行分析。结果表明:1)钢塔在静力及地震工况下强度及稳定均满足要求;2)索塔锚固区及钢混结合段应力状态良好、构造细节处理较为合理。

语义重建的动态监督伪装物体检测

伪装物体检测旨在分离视觉上高度融入周围环境的物体,但是物体前景与背景存在大量相似干扰,导致分割过程中易于出现明显错误.针对上述问题,文中提出基于语义重建的动态监督伪装物体检测网络(Dynamic Supervised Camouflaged Object Detection Network with Semantic Reconstruction,DSSRNet),通过重建特征图的空间语义和引入置信度指导网络训练,实现对伪装物体的准确分割.首先,提出空间语义低秩重建机制,精细感知不同尺度下伪装物体具有区分性的语义特征.然后,生成预测置信度图,对分割过程进行动态监督,减少网络因过于自信造成的假阳性和假阴性判断.最后,提出模糊感知损失函数,对网络施加强约束,改善预测时产生的图像模糊问题.在3个具有挑战性的基准数据集上的实验表明,DSSRNet可较好地排除相似信息干扰,取得精准的分割效果.

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

A Semantic-Sensitive Approach to Indoor and Outdoor 3D Data Organization

Building model data organization is often programmed to solve a specific problem,resulting in the inability to organize indoor and outdoor 3D scenes in an integrated manner.In this paper,existing building spatial data models are studied,and the characteristics of building information modeling standards(IFC),city geographic modeling language(CityGML),indoor modeling language(IndoorGML),and other models are compared and analyzed.CityGML and IndoorGML models face challenges in satisfying diverse application scenarios and requirements due to limitations in their expression capabilities.It is proposed to combine the semantic information of the model objects to effectively partition and organize the indoor and outdoor spatial 3D model data and to construct the indoor and outdoor data organization mechanism of“chunk-layer-subobject-entrances-area-detail object.”This method is verified by proposing a 3D data organization method for indoor and outdoor space and constructing a 3D visualization system based on it.

基于混合智能的街景影像知识提取方法

针对街景影像目标的智能化提取难题,本文提出了一种基于混合智能的街景影像知识提取方法(K-CAPSNet)。首先,在现有全景分割网络的基础上,同时关注街景影像的通道信息和空间信息,发展了一种联合注意力机制的全景分割网络,以提高目标分割精度;其次,将人们在生产、生活中形成的街景知识融入街景影像认知过程,借助先验知识设置目标标记阈值,对分割结果进行优化;然后,进一步根据街景影像先验知识验证街景目标之间的拓扑关系并利用深度信息进行空间关系知识挖掘;最后,采用语义模板对街景目标类型、数量及空间关系进行描述和表达。试验表明,相较于基线网络,本文方法在全景分割质量和识别质量方面都有明显提升,较好地实现了对街景影像知识的提取与表达。

基于多源数据的街道空间品质测度研究——以芜湖市中心城区为例

在20世纪80年代后,城市经济与高速公路的发展使城市结构发生剧变,由街道构成的传统城镇空间形态被打破。而街道空间作为城市公共空间的重要组成部分,其空间品质的研究对城市在打造魅力街道、传统特色保留以及时代新元素的融入方面具有重大意义。研究发现:芜湖市中心城区街道综合空间品质整体上,呈现出中心放射状的整体结构,城市空间品质测度结构及城市建设强度的重心数值也呈现出南高北低、内高外低的指状分布特征;芜湖市中心城区5种类型的街道在空间分布上表现出较为分散的特征,不同类型的街道聚类伴随区位的迁移具有明显的差异性;交通导向型街道趋向于城市干道及快速路,但由于城市的各类服务型业态难以覆盖而导致街道服务性不足,生活导向型街道多数位于城市核心建设区,需要加强街道绿化和空间开敞度方面的建设。

采用级联策略融合边界特征的多尺度息肉分割网络

结直肠息肉分割能有效辅助医生筛查大肠腺瘤,但息肉分割存在噪声较多、边界区分度不够等问题。针对以上问题,本文设计了一种采用级联策略融合边界特征的多尺度息肉分割网络。首先,本文提出了一种改进的通道分组空间增强模块,以增强骨干网络提取的图像特征,从而提高通道和空间位置的相关性。其次,考虑到边界区分度不够,设计了一个级联特征融合网络,以更好地保留边界信息并提高边界区分度,从而提高分割精度。最后,引入了一种双分支混合上采样模块来获取更多的特征细节信息,以实现特征的互补以及捕获更完整有效的特征。在CVC-ClinicDB和Kvasir数据集上进行测试,本文算法的平均Dice系数分别为0.944,0.920,平均交并比分别为0.900,0.869;而M2SNet算法的平均Dice系数分别为0.922,0.912,平均交并比分别为0.880,0.861。在ETIS-LaribPolypDB,CVC-300和CVC-ColonDB数据集上进行测试,本文算法的平均Dice系数分别为0.776,0.915,0.782;而M2SNet算法的平均Dice系数分别为0.749,0.903,0.758。实验结果表明本文算法的分割精度较高,泛化能力较强。

锚框校准和空间位置信息补偿的街道场景视频实例分割

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

面向自动驾驶的高精度实时语义分割算法架构

PID(Proportion Integration Differentiation)语义分割架构缓解了双边架构中细节特征容易被周围的上下文信息淹没的问题(超调),同时取得了优越的性能。然而,该架构中高分辨率的边界分支严重影响了推理速度。针对此问题,提出了基于空间注意力机制和轻量辅助语义分支构建的高效PID架构。其中,轻量注意力融合模块用于提取精确的上下文信息并指导不同特征信息的融合,快速聚合金字塔池化模块能够快速聚合多种尺度的语义信息,并设计了一种结合Canny边缘检测算子的深监督训练策略以增强训练效果。与基线相比,所提模型以较小的时延代价换取了6%的精度提升,并且在Cityscapes,CamVid和KITTI数据集上取得了准确性和速度的良好平衡,精度超越了现有同一速度区间的模型。其中,所提模型在Cityscapes测试集上以120.9 frames/s的帧率达到了78.5%的精度。

融合位置注意力机制与轻量化STDC网络的非结构化场景语义分割

近年来,非结构化道路分割已成为计算机视觉领域的重要研究方向之一.现有的大多数方法适合结构化道路的分割并无法满足非结构化道路分割的准确性与实时性需求.为了解决上述问题,本文对STDC网络进行改进,引入残差连接来更好地融合多尺度语义信息,还提出一种嵌入位置注意力模块的空洞空间卷积池化金字塔(PAASPP)来增强网络对道路等特定区域的位置感知能力.本文在RUGD与RELLIS-3D两个数据集上进行实验,所提出方法的MIoU在两个数据集的测试集上分别达到了50.78%和49.96%.

整合组织学图像信息增强空间转录组细胞聚类的分辨率

【目的】增加空间转录组基因表达的空间分辨率以提升遗传发育与疾病研究中的细胞谱系和类型变化的精度,提供更精细的分子表型信息。【方法】通过图像分割实现空间转录组点阵的细胞空间分布模拟,使用线性插值方法重构超分辨率基因空间表达,并利用图聚类方法揭示组织中细胞分布的空间偏好性。【结果】将新方法SpaGMM在小鼠后脑10X Visium数据集上进行检验,可以精确识别小鼠脑神经空间结构域。通过与几种空间转录组聚类的常用方法进行比较,结果显示SpaGMM的聚类结果更加符合组织学区域的注释,这些区域具有大量标记基因的空间表达支持。SpaGMM还可以从小鼠小脑区域中区分出浦肯野细胞(Purkinje cell)和伯格曼胶质细胞(Bergmann glial cell)所对应的组织区域,发现不同细胞层中存在互补的基因表达模式。【结论】SpaGMM可以通过提高点阵的空间分辨率揭示组织结构域的精细结构。

一种基于Transformer的伪装目标实例分割方法

本文研究主要针对伪装复杂背景下的图像进行实例分割.由于分割对象的伪装性以及缺少大规模训练集来支撑模型训练,这对于复杂背景下的实例对象分割构成了巨大挑战.受SOTR(Segmenting Objects with Transformer)的启发下,本文设计了一种方法框架,以解决动物野生环境和其他各类复杂伪装背景下的实例分割问题.相较于原始模型在特征目标的检测表现效果不佳,以及分割掩码存在上下文信息丢失的问题,本文提出的框架主要采用以下方法:引入特定的上下文特征金字塔提取网络CEM-FPN,以解决在高分辨率图像与感受野之间的矛盾.具体而言,高分辨率图像需要更大的感受野,但大感受野会导致小目标的检测误判为背景.在多层级融合模块加入通道空间注意力模块(CS Module),以提升对不同尺度上的各个实例对象的关注度,从而提高原型掩码的质量.实验结果表明,本文方法相较于原模型在COD10K-Test数据集上提升了4.1%的精确度,并在NC4K-Test数据集上提升了4.5%的精确度.

我国农产品市场分割的动态演进、地区差异及其收敛性

基于我国31个省份2000—2021年的农产品零售价格指数数据,采用相对价格法对农产品市场分割程度进行测度,并运用Kernel密度估计方法、Dagum基尼系数和空间收敛模型探讨市场分割的演变趋势、空间差异及收敛性特征。研究表明,全国整体及东部、中部和西部三大地区的农产品市场分割指数均呈波动下降趋势,且中部地区的市场分割绝对差值最小,而西部地区相对较大;我国农产品市场分割存在明显的地区差异,市场分割指数在区域之间的交叉重叠程度是总体差异的主要来源,但其贡献率逐渐下降并被区域间净差异吸收。在收敛性方面,从横向比较看,仅西部地区存在σ收敛特征,呈现农产品市场分割的离散程度随时间变化逐渐降低的态势;从纵向比较看,全国及三大地区农产品市场分割均存在绝对β收敛和条件β收敛特征,呈现农产品市场分割随时间变化逐渐趋同发展的态势,且我国各省份间农产品市场分割的空间互动影响是存在β收敛趋势的原因之一。此外,经济密度与地区生产优势缓解了农产品市场分割程度,而技术差距的提高则加剧了农产品市场分割。本研究为理解我国农产品市场分割的发展趋势,推进区域市场协调发展、发挥市场的规模效应提供了理论基础和实践依据。