Natural Scene Classification Inspired by Visual Perception and Cognition Mechanisms

The process of human natural scene categorization consists of two correlated stages: visual perception and visual cognition of natural scenes.Inspired by this fact,we propose a biologically plausible approach for natural scene image classification.This approach consists of one visual perception model and two visual cognition models.The visual perception model,composed of two steps,is used to extract discriminative features from natural scene images.In the first step,we mimic the oriented and bandpass properties of human primary visual cortex by a special complex wavelets transform,which can decompose a natural scene image into a series of 2D spatial structure signals.In the second step,a hybrid statistical feature extraction method is used to generate gist features from those 2D spatial structure signals.Then we design a cognitive feedback model to realize adaptive optimization for the visual perception model.At last,we build a multiple semantics based cognition model to imitate human cognitive mode in rapid natural scene categorization.Experiments on natural scene datasets show that the proposed method achieves high efficiency and accuracy for natural scene classification.

长视频的超级帧切割视觉内容解释方法

针对现有基于编码解码的视频描述方法存在的对视频较长、在视频场景切换频繁情况下视觉特征提取能力不足或关键性片段捕获能力不足等视频描述不佳的问题,提出一种基于超级帧切割长视频的视频字幕方法。首先,提出超级帧提取算法,计算关键视频时间占比率以满足视频浏览时长限制,缩短视频检索时间。然后,构建两层筛选模型以自适应提取超级帧,过滤冗余关键帧,执行多场景语义描述。将保留的关键帧嵌入周围帧,利用深层网络模型以及小卷积核池化采样域获取更多的视频特征,克服了经典视频标题方法不能直接用于处理长视频的困难。最后,通过用长短时记忆模型代替循环神经网络解码生成视频标题,给出视频内容的分段解释信息。在YouTube数据集视频、合成视频和监控长视频上进行测试,采用多种机器翻译评价指标评估了该方法的性能,均获得了不同程度的提升。实验结果表明,该方法在应对视频场景切换频繁、视频较长等挑战时,能够获得较好的片段描述。

基于FMI的卫星数字仿真平台设计及实现

针对卫星仿真技术的标准化和通用化发展需求,基于FMI(functional mock-up interface)的接口标准和模型复用技术,构建一个能够支持卫星数字仿真的工具体系架构,在此基础上,运用模块化思想设计了卫星数字仿真平台,并给出Simulink及C/C++模型的FMI标准封装方法.利用卫星数字仿真平台,搭建了多星运行仿真场景,通过远程过程调用技术,将仿真过程数据推送到可视化平台中,完成对卫星运行场景的可视化展示.仿真案例说明,卫星仿真平台可以对模型运行状态及变化趋势进行监控,同时,场景可视化平台可以对卫星的运行轨道及姿态等数据实时动态显示.

一种特征点权重自适应优化的动态SLAM算法

针对传统的同步定位与地图构建(SLAM)在动态场景中位姿估计准确率低、鲁棒性差的问题,提出一种基于特征点权重自适应优化的动态视觉SLAM算法。首先,利用掩膜区域卷积神经网络(Mask R-CNN)对输入图像进行语义分割并获取动态特征点掩码,在此基础上对静态特征点进行帧间匹配得到位姿变换初值;然后利用运动一致性检测算法和多视图几何算法处理图像并分别得到对应的动态特征点掩码,进而依据得到的3种动态特征点掩码信息构建特征点权重函数,利用最小化重投影误差自适应调整特征点对位姿优化的影响程度,降低场景中的动态目标对SLAM精度的影响;最后使用慕尼黑工业大学动态数据集进行仿真测试,在室内高动态场景中,绝对轨迹误差(ATE)的均方根误差值(RMSE)仅为尺度不变特征变换同步定位与地图构建(ORB-SLAM2)的3.1%。与DS-SLAM、DynaSLAM等动态SLAM系统相比,绝对轨迹误差分别为DS-SLAM的52%、DynaSLAM的86.1%。结果表明,该算法可以显著提高SLAM系统在高动态环境下的定位精度和鲁棒性。

基于CityEngine CGA规则建模在城市不同尺度场景的三维可视化应用

为了能更好地解决在城市规划、智慧城市规划、交通规划等过程中的问题。文章通过ArcGIS对地理信息数据等多源数据的分析、处理和CityEngine CGA规则建模,旨在利用快速、批量创建城市不同尺度场景的三维模型来丰富辅助决策的技术手段,助力城市的高质量发展和精细化治理。

基于无人机摄影技术的农田场景可视化系统设计与实现

为了快速且准确地获取大面积农田数字影像和三维图像信息,提出了一种基于无人机倾斜摄影技术构建高精度农田影像和实景三维模型的方法。以新疆维吾尔自治区昌吉市华兴农场作为研究区域,基于无人机采集的地面影像数据,分别使用全景地图构建技术和三维建模技术制作农田高精度的数字正射影像和实景三维模型,在此数据基础上与研究区域基本信息数据进行融合,采用B/S架构设计基于农田场景的可视化系统。结果表明,该可视化系统能够对农田场景进行二维和三维视图的可视化展示。

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图(SLAM)鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差(SD)值最高分别提升98%和97%。

联合目标检测与深度信息的动态特征点去除方法

针对在动态环境中,视觉定位系统的定位精度和鲁棒性容易受到动态特征点影响的问题,提出了一种联合目标检测与深度信息的动态特征点去除方法.引入YOLOv7目标检测网络快速获得当前图像帧的目标类别及位置信息,加入坐标注意力(coordinate attention,CA)机制优化深度学习模型,提升网络目标检测精度.此外,提出了一种利用深度信息和对极几何约束的动态特征点优化策略.有效剔除了动态特征点,同时保留了尽量多的静态点,从而降低了动态点对系统定位精度和鲁棒性的影响.在公开的数据集TUM上进行实验验证.结果表明:与ORBSLAM2(oriented fast and rotated brief-SLAM)相比,所提方案在定位精度和鲁棒性上有明显优势.同时与动态同步定位和地图构建(dyna simultaneous localization and mapping,DynaSLAM)相比,定位精度基本持平,但在运行速度上实现了显著提升.

融合场景深度估计和视觉传达的复杂光照图像虚拟重建

复杂光照图像虚拟中受到光照强度不均衡性影响导致重建效果不好,为了提高复杂光照图像虚拟重建效果,提出基于融合场景深度估计和视觉传达的复杂光照图像虚拟重建方法。针对不同场景深度混频光照的相互干扰采用相关匹配降噪方法实现图像降噪处理,以光照图像低亮度区域内亮度值中位数作为场景深度的参考值,采用全局特性和局部细节特征拟合的方法实现对复杂光照图像的场景深度检测和视觉跟踪拟合,采用HSV空间特征分解方法实现对不同场景中光照图片亮度通道融合处理,提取场景物体边缘、纹理等细节信息,根据场景深度检测和全局对比度融合下的视觉传达效果实现复杂光照图像虚拟重建。测试结果得知,采用该方法进行复杂光照图像虚拟重建的视觉表达能力较好,重建后的图像细节展示能力较强,能准确重建暗区域内隐藏的图像信息,两个数据集图像的峰值信噪比较高,均方根误差较低,分别为45.63 dB、53.21 dB和0.366、0.265,且重建时长短,仅为1.5 s,具有较强的重建性能。

弹载大倾角惯性辅助视觉景象匹配导航方法研究

针对制导弹药视觉景象匹配导航中由于飞行姿态引起的定位误差,提出了一种适用于高动态、倾斜视角情况下的惯性辅助视觉景象匹配的导航方法。该方法对现有的景象匹配导航方法进行改进,以惯性姿态辅助视觉景象匹配导航求解校正前后图像之间的单应性矩阵以及重采样尺度,进行实时图的畸变校正,避免在后续匹配算法中多次迭代盲目匹配,提高算法效率;同时,对匹配算法后得到匹配点位置信息进行定位修正,减小飞行过程中的定位偏差。实验表明:该方法能够有效减小载体倾斜在高动态环境下引起的导航定位误差。其中,图像校正算法平均误差为1.07像素,耗时为0.005 s,与传统方法相比平均误差减小69%,耗时缩短88%。惯性辅助视觉景象匹配导航系统位置误差为11.23 m(RMSE),更新频率优于10 Hz,能够有效应对中末制导的高动态、倾斜环境,为卫星拒止下的制导弹药提供低成本的自主导航方案。

BIM+虚幻引擎技术在园林景观工程可视化交互设计中的应用研究

为了解决园林景观工程中BIM技术在多专业集成难度大、三维模型可视化效果差、景观设计效率低以及场景交互体验感差等应用难题,本文采用BIM+虚幻引擎技术,以深圳市安托山自然艺术公园为例,开展设计阶段在可视化交互的应用研究。运用虚幻引擎导入体积和表面积算法,实现三维土方算量可视化交互问题的求解。采用Dynamo+ArcGIS技术获取苗木名称、定位等基本信息,并通过虚幻引擎中的脚本编辑器实现景观信息模型批量创建,集成各专业模型和数据;通过添加视域分析和碰撞检测等可交互蓝图模块,完成景观与常规专业模型的碰撞检测结果的输出和景观敏感点位置的确定。研究表明:通过BIM与虚幻引擎结合技术,改善了场景可视化交互体验,除了能进一步提升景观模型的设计效率和质量,还能起到深化设计的作用,为园林景观项目设计应用提供精细化的指导作用。

数字露头实景三维Web平台研究与云端地质考察应用

露头是地质考察的重点,结合无人机倾斜摄影测量技术构建数字露头实景三维模型并实现露头可视化研究能够为解决传统地质研究中存在的效率低、危险性高和数据复用性差等问题提供全新的思路。论文研究了倾斜影像三维建模、数字露头三维可视化和全景影像可视化等三维技术,并基于Cesium开源三维地球引擎研发了数字露头实景三维Web平台。平台实现了高精度露头实景三维模型的可视化,并将露头相关的描述、图片、视频、全景、文献、观察点、地质标绘等信息与露头三维模型有效结合,实现了露头三维模型上传与实景漫游、露头相关地质信息自主提供、分享、互动与可视化展示。论文通过实例证明了平台云端地质考察应用的有效性和新颖性。该平台作为第21届国际沉积学大会虚拟野外地质路线考察的首选,已成功应用于15条路线中的12条。相比传统地质研究手段,露头云端三维可视化研究能够帮助地质学者更加全面、直观地理解露头地质现象的时空展布和地质特征,并且支持数字环境下露头资源的共建、共享,节省了地质考察的时间和成本。

基于SketchUp开发码头视景三维模型

码头视景建模与仿真是数字化改革工作的一种体现,具有广泛和迫切的需求。文中关注基于SketchUp的码头视景三维建模,结合实践经历,介绍并总结了基于SketchUp开发码头视景三维模型的具体操作方法/流程;并对在建模过程中出现的问题,给出了相应的解决办法。展示了使用文中方法/流程开发码头视景三维模型的示例。结果表明:构建的码头视景三维模型与实景一致,模拟场景视觉效果逼真。文中介绍的方法/流程充分基于实践,可操作性强,易于掌握和应用,能够快速、高效地开发码头视景三维模型。

基于WebGIS的动态演播系统的设计与实现

针对商业化演播软件在处理与地理信息相关的演播时存在交互性有限、动态和多维展示能力不足等问题,设计了一种基于WebGIS的多源信息动态演播系统。探讨了该系统的总体框架、数据库设计和技术体系,分析了演播页面结构设计、演播编排设计、数据自动上图、地图服务构建等关键技术,并以成都到拉萨的驾驶路线演示为例,探讨了关联图层的编辑、演播工程的编辑及演播展示等技术环节。

面向数字孪生流域的多尺度三维数据底板建设

【目的】数据底板是数字孪生相关项目建设的第一要务,是数字孪生流域“四预”目标实现的“基石”。【方法】根据水利部智慧水利实施方案和流域信息化需求,提出了基于地理空间数据的多尺度三维数字底板建设方案思路,明确了三维场景数据底板构建的目标,提出了多来源、多尺度数字孪生底板数据构建的具体方式,阐明了底板建设过程中包括数据来源、数据获取、数据治理、数据融合的理论和方法。【结果】通过实践,细化了L1~L3级数据底板的建设内容和技术路线,提供了完整的数字孪生项目数据底板建设的思路和方法。【结论】通过三级数据底板建设与共享,构建了高精度、可视化场景,为智慧防汛、水资源管理与调配等业务化应用提供了强有力的数据支撑。

舞台场景设计中的视觉传达技术应用路径

在现代舞台场景设计中,更为强调视觉传达综合性,即整合多种艺术表现元素,形成良好视觉传达效果。本文基于视觉传达视角,全面分析舞台场景设计功能,通过对比度及平衡度,探究舞台视觉传达原则。在此基础上,总结舞台场景设计创新应用路径,设计人员应重视舞台场景设计细节,合理运用现代技术,凸显视觉传达主题,以此强化舞台设计效果。

基于虚拟现实的施工进度三维可视化模拟系统

当前建筑施工进度多使用二维系统进行可视化显示,并且在可视化模拟过程中,未计算各工序的施工工期,导致施工进度模拟效果较差。为此,设计基于虚拟现实技术的施工进度三维可视化模拟系统,通过功能模块层、业务逻辑层和应用系统层构建总体架构。其中,功能模块层由施工监测图像采集模块、图层管理模块、工序排布与工期估算模块,以及虚拟现实场景可视化展示模块组成。通过鱼眼摄像头采集施工监测图像,采用小波阈值方法对采集到的施工监测图像进行去噪处理,根据图像预处理结果,计算出各工序的施工工期,获取施工进度,构建三维虚拟展示场景模型,对施工进度进行虚拟现实场景可视化展示。实验结果表明,该系统进行高层建筑工程施工进度三维可视化模拟的精度较高,模拟时间较短,且施工进度的效率较高。

面向三维场景动态设计的可视化工具设计与实现

可视化工具能改善三维设计领域中工作复杂繁琐的问题,但现有工具较少同时兼顾动态设计与低编程门槛要求。面向设计师群体,设计实现可视化工具,关注三维场景中的动态设计内容。使用基于任务价值、影响力以及紧迫度的动态任务调度算法,改善关键视觉效果的响应延迟问题。实验及运行结果表明,调度算法能优化关键任务执行,可视化工具有助于简易快捷地进行三维场景设计。