基于傅里叶频域截断的神经辐射场优化

神经辐射场(neural radiance fields,NeRF)作为一种通用的场景表达方法,可以更好地理解三维世界的同时创造出更加逼真的感官体验。然而在实际应用中,输入图像较少导致重建效果不佳是一个常见的问题。为此,本文提出了基于傅里叶频域截断的神经辐射场(sparse views neural radiance fields,Sv-NeRF),通过在频域空间对输入频率进行截断并应用正则化策略来控制高频信号的输入来优化NeRF的位置编码机制,有效地降低了高频噪声,保留了关键的细节信息以提升渲染的质量和稳定性。该方法提升了模型对场景的理解能力,相较于现有方法在渲染质量、细节保留能力上均有显著提升,尤其适用于稀疏输入视角的场景重建工作。

基于显著图的弱监督实时目标检测

深度卷积神经网络(Deep convolutional neural network,DCNN)在目标检测任务上使用目标的全标注来训练网络参数,其检测准确率也得到了大幅度的提升.然而,获取目标的边界框(Bounding-box)标注是一项耗时且代价高的工作.此外,目标检测的实时性是制约其实用性的另一个重要问题.为了克服这两个问题,本文提出一种基于图像级标注的弱监督实时目标检测方法.该方法分为三个子模块:1)首先应用分类网络和反向传递过程生成类别显著图,该显著图提供了目标在图像中的位置信息;2)根据类别显著图生成目标的伪标注(Pseudo-bounding-box);3)最后将伪标注看作真实标注并优化实时目标检测网络的参数.不同于其他弱监督目标检测方法,本文方法无需目标候选集合获取过程,并且对于测试图像仅通过网络的前向传递过程就可以获取检测结果,因此极大地加快了检测的速率(实时性).此外,该方法简单易用;针对未知类别的目标检测,只需要训练目标类别的分类网络和检测网络.因此本框架具有较强的泛化能力,为解决弱监督实时检测问题提供了新的研究思路.在PASCAL VOC 2007数据集上的实验表明:1)本文方法在检测的准确率上取得了较好的提升;2)实现了弱监督条件下的实时检测.

基于卫星图的小样本街区品质评估

量化的城市街区品质评价是街区设计规划的重要依据,图像数据是街区品质评价模型的重要维度。目前的研究中存在街区品质标注成本较高的问题。因此本文改进基于子空间的小样本学习方法,对街区卫星图像特征进行奇异分解生成类别子空间,并将训练集子空间参数继承到街区品质评估模型中。实验结果表明,在小样本街区品质评估问题上,本文方法相比传统小样本学习方法的正确率提高约30%,一致性提高约15%。

基于过采样和卫星图像多特征融合的街区品质评估

城市街区的品质评估是城市规划中的重要步骤之一。针对已有街区品质评估模型中使用的街景图像采集位置和角度不统一造成的图像内容偏差问题,本文提出使用视角统一且易获取的卫星图像代替街景图像。同时考虑多种街区品质测度指标,将非图像型数据与图像型数据进行特征融合,从多角度进行城市街区品质表达,然后针对小样本和数据不平衡场景,结合机器学习中的随机过采样和随机森林(Random Forest, RF),基于融合数据进行城市街区的品质评估。实验结果表明,本研究方法可以有效进行全面的城市街区品质表达,并有效降低过拟合,对比未使用过采样和多特征融合的方法,正确率提高约8个百分点。