基于VD-MobileNet网络的WebAR生活垃圾分类信息可视化方法

随着我国垃圾分类制度的加速推行,基于虚拟/增强现实技术的垃圾分类应用大量涌现。受识别设备平台及居民应用习惯等方面的影响,针对目前该类应用在便捷性、实用性上存在较大不足,提出了一种基于轻量化神经网络并融合移动增强现实及可视化技术的垃圾分类应用方案。首先,提出了基于深度学习的垃圾分类可变扩张卷积VD-MobileNet模型方法能够解决移动设备中存在的计算能力有限、网络庞大等问题,通过在MobileNet模型中引入空洞卷积增加感受野、扩大垃圾的特征信息以提升分类精度,引入LeakyReLU激活函数优化网络的表达能力;其次,将该模型与WebAR技术结合,设计了一款面向移动设备的轻量级垃圾分类信息可视化系统,该系统具备跨平台特性,实现了对分类信息的多元化可视呈现,提供了灵活的交互方式。实验及评估表明,该VD-MobileNet模型在垃圾分类数据集中分类效果良好,能够在参数量不变的前提下有效减少计算量,此外结合该模型所设计的WebAR应用系统可为用户的垃圾处理事务提供合理有效地协助。

基于改进L-K光流的WebAR信息可视分析方法

信息可视化技术结合移动增强现实(MAR)技术在目标跟踪领域仍然存在设备计算负载过大的问题。若仍坚持采用同跟踪平面图像特征点的方案来跟踪立体对象各角度的特征点,则目标跟踪过程所需要获取的多角度特征点数据无疑会加重跟踪过程的计算压力,进而导致移动设备负载过大,最终影响模型渲染,所渲染的模型常出现剧烈抖动、卡顿或运动滞后于目标物的现象。针对上述问题,提出了一种基于改进的L-K(Lucas-Kanade)光流跟踪算法的WebAR(基于Web端的MAR技术)解决方案,将特征点的跟踪问题转化为光流估计问题以及一种优化的三维信息可视化交互策略。实验结果表明,该方法能够提高MAR在跟踪目标时的计算效率和稳定性,丰富信息可视化的呈现效果和交互方式。

基于微信小程序的WebAR在医用物理学教学中的应用探索

WebAR作为增强现实的实现形式之一,为增强现实应用的开发提供了新的可能。本研究将微信小程序作为应用终端,立足医用物理课程的特点,结合当下的教学现状和需求,尝试结合WebAR技术与医用物理学教学,构建相关教学资源。

基于改进MobileNet网络的AR辅助手语字母识别方法

针对手语手势姿态待规范、识别率低的问题,提出一种AR辅助手语字母识别算法MSMobileNet。设计多尺度卷积模块提取底层特征,增强网络的特征提取能力;利用ELU激活函数来保留更全面的负值特征信息;结合适用于Web的轻量级MobileNet模型,提高面向移动AR应用的手语字母识别准确率和实时性。实验结果表明:MS-MobileNet在数据集ASL-M、NUS-II和Creative Senz3D上识别准确率较原模型分别提高了2.58%、5.32%和3.04%。基于MS-MobileNet网络设计一套WebAR辅助的手语字母协同交互系统,经评估测试,用户平均参与度达到8.2分,单次识别耗时低于0.115 s,能较好地满足用户沉浸式的实时手语字母交互需求。

基于AKAZE的融合空间位置信息的视觉词汇树检索算法

针对WebAR在自然环境中易受光照、拍照角度、拍照距离、待识别物大小等因素影响,目标识别的准确度和速度难以得到保障的问题,提出了基于AKAZE的融合空间位置信息的视觉词汇树检索方法。利用AKAZE算法提取图像局部特征,通过分层词汇树将图像局部特征量化为视觉单词,将图像检索转换为视觉单词统计匹配,量化过程融合了局部特征的空间位置信息,细化特征间的匹配重要性。以此为基础实现了一个面向图书馆和艺术馆的WebAR系统,实验结果表明,该方法能够提高自然特征识别的速度和准确率,可以进一步应用在室内外以及更复杂的交互环境中。

关于增强现实技术潜在发展方向的思考

增强现实(AR)和虚拟现实(VR)技术近年来迅猛发展,引起了产业界和学术界的高度关注。AR/VR技术在当前仍然是雷声大雨点小,并未广泛渗透到普通老百姓的日常生活中。针对现有AR/VR提供模式的局限性,提出了一种新的轻量级、普适化和跨平台的Web AR/VR技术,分析了其发展方向。同时,还探讨了Web AR/VR发展所面临的机遇和挑战。