针对基于传感器的行为识别任务中识别场景单一且固定的问题,提出一种多场景下基于传感器的行为识别迁移模型,由基于传感器的动态感知算法(dynamic perception algorithm,DPA)和自适应场景的行为识别迁移方法(adaptive scene human recog...针对基于传感器的行为识别任务中识别场景单一且固定的问题,提出一种多场景下基于传感器的行为识别迁移模型,由基于传感器的动态感知算法(dynamic perception algorithm,DPA)和自适应场景的行为识别迁移方法(adaptive scene human recognition,AHR)两部分组成,解决在固定场景下对传感器的依赖性以及在场景转换时识别模型失效的问题。DPA提出两阶段迁移模式,将行为识别阶段和模型迁移阶段同步推进,保证模型在传感器异动发生后仍能持续拥有识别能力。进一步提出AHR场景迁移方法,实现模型在多场景下的行为识别能力。实验验证该模型具有更优的适应性和可扩展性。展开更多
【目的】为了使室内机器人能准确地识别室内不同类别的物体,从而选择更安全可行的路线,提出一种用于室内场景解析的基于自蒸馏和双模态的自蒸馏多级级联网络(self-distillation multi-stage cascaded network,SMCNet)。【方法】首先,使...【目的】为了使室内机器人能准确地识别室内不同类别的物体,从而选择更安全可行的路线,提出一种用于室内场景解析的基于自蒸馏和双模态的自蒸馏多级级联网络(self-distillation multi-stage cascaded network,SMCNet)。【方法】首先,使用分割变换器(segmentation transformer,SegFormer)作为骨干网络以双流的方式分别提取三色图(red green blue,RGB)和深度图中的特征信息,得到4组特征输出;其次,设计了特征增强模块(feature enhancement module,FEM),将这四组特征进行特征增强后分组融合,以充分提取双模态特征中的有用信息并充分交融;最后,设计了自蒸馏监督模块(self-distillation supervision module,SSM),通过自蒸馏方法将高层特征中的有价值信息传递到低层特征中,并设计了多级级联监督模块(multi-stage cascaded supervision module,MCSM)进行跨层监督,得到最终的预测图。【结果】在室内场景双模态数据集纽约大学深度版本2(New York University Depth version 2,NYUDv2)和场景理解彩色-深度(scene understanding red green blue-depth,SUN RGB-D)上,相比已有的方法,本研究提出的模型在相同条件下得到的结果超过其他方法,均值交并比(mean intersection over union,MIoU)在NYUDv2和SUN RGB-D两个数据集上分别达到了57.3%和53.1%。【结论】SMCNet能比较准确地解析出室内场景中不同类别的物体,可为室内机器人获取室内视觉信息提供一定的技术支撑。展开更多
Mode decision based on rate-distortion optimization algorithm brings high compression efficiency to H.264/AVC. However, heavy computation load is also added to the encoder at the same time. In order to reduce the comp...Mode decision based on rate-distortion optimization algorithm brings high compression efficiency to H.264/AVC. However, heavy computation load is also added to the encoder at the same time. In order to reduce the computation burden of mode decision, this paper presented a fast mode decision method based on mode information of the previously coded frame. Moreover, all coding modes were activated when scene change occurs and a scheme to detect scene change was proposed. The simulation results show that compared to the original encoder, the proposed method achieves a reduction of over 38% encoding time and keeps almost the same PSNR and bitrate for a wide range of quantization parameter.展开更多
本文设计制作了一款阵列规模为1024×1024元、像元尺寸为10μm×10μm的昼夜兼容成像EMCCD(electron multiplying charge coupled device),该器件包含国内首次制作的浮置栅放大器,该放大器电荷转换因子(Charge to voltage facto...本文设计制作了一款阵列规模为1024×1024元、像元尺寸为10μm×10μm的昼夜兼容成像EMCCD(electron multiplying charge coupled device),该器件包含国内首次制作的浮置栅放大器,该放大器电荷转换因子(Charge to voltage factor,CVF)为3.57μV/e^(-),满阱55 ke^(-),能够非破坏性判断信号强度。该功能使得场景中微光照区域的像素可以选择性地路由至倍增通道输出,而强光照区域的像素会路由至非倍增通道输出,有了这种场景内可切换增益特性,两种输出的信号重新组合,实现高动态成像。同时为了实现器件在强光应用场合的抗光晕功能,器件像元区域采用了纵向抗晕设计,抗晕倍数为200倍,基于此类器件制作的相机能够恰当地在暗视场中呈现明亮的图像。展开更多
文摘针对基于传感器的行为识别任务中识别场景单一且固定的问题,提出一种多场景下基于传感器的行为识别迁移模型,由基于传感器的动态感知算法(dynamic perception algorithm,DPA)和自适应场景的行为识别迁移方法(adaptive scene human recognition,AHR)两部分组成,解决在固定场景下对传感器的依赖性以及在场景转换时识别模型失效的问题。DPA提出两阶段迁移模式,将行为识别阶段和模型迁移阶段同步推进,保证模型在传感器异动发生后仍能持续拥有识别能力。进一步提出AHR场景迁移方法,实现模型在多场景下的行为识别能力。实验验证该模型具有更优的适应性和可扩展性。
文摘【目的】为了使室内机器人能准确地识别室内不同类别的物体,从而选择更安全可行的路线,提出一种用于室内场景解析的基于自蒸馏和双模态的自蒸馏多级级联网络(self-distillation multi-stage cascaded network,SMCNet)。【方法】首先,使用分割变换器(segmentation transformer,SegFormer)作为骨干网络以双流的方式分别提取三色图(red green blue,RGB)和深度图中的特征信息,得到4组特征输出;其次,设计了特征增强模块(feature enhancement module,FEM),将这四组特征进行特征增强后分组融合,以充分提取双模态特征中的有用信息并充分交融;最后,设计了自蒸馏监督模块(self-distillation supervision module,SSM),通过自蒸馏方法将高层特征中的有价值信息传递到低层特征中,并设计了多级级联监督模块(multi-stage cascaded supervision module,MCSM)进行跨层监督,得到最终的预测图。【结果】在室内场景双模态数据集纽约大学深度版本2(New York University Depth version 2,NYUDv2)和场景理解彩色-深度(scene understanding red green blue-depth,SUN RGB-D)上,相比已有的方法,本研究提出的模型在相同条件下得到的结果超过其他方法,均值交并比(mean intersection over union,MIoU)在NYUDv2和SUN RGB-D两个数据集上分别达到了57.3%和53.1%。【结论】SMCNet能比较准确地解析出室内场景中不同类别的物体,可为室内机器人获取室内视觉信息提供一定的技术支撑。
基金The National High Technology Research andDevelopment Program of China (863 Pro-gram) (No2002AA1Z1190)
文摘Mode decision based on rate-distortion optimization algorithm brings high compression efficiency to H.264/AVC. However, heavy computation load is also added to the encoder at the same time. In order to reduce the computation burden of mode decision, this paper presented a fast mode decision method based on mode information of the previously coded frame. Moreover, all coding modes were activated when scene change occurs and a scheme to detect scene change was proposed. The simulation results show that compared to the original encoder, the proposed method achieves a reduction of over 38% encoding time and keeps almost the same PSNR and bitrate for a wide range of quantization parameter.
文摘本文设计制作了一款阵列规模为1024×1024元、像元尺寸为10μm×10μm的昼夜兼容成像EMCCD(electron multiplying charge coupled device),该器件包含国内首次制作的浮置栅放大器,该放大器电荷转换因子(Charge to voltage factor,CVF)为3.57μV/e^(-),满阱55 ke^(-),能够非破坏性判断信号强度。该功能使得场景中微光照区域的像素可以选择性地路由至倍增通道输出,而强光照区域的像素会路由至非倍增通道输出,有了这种场景内可切换增益特性,两种输出的信号重新组合,实现高动态成像。同时为了实现器件在强光应用场合的抗光晕功能,器件像元区域采用了纵向抗晕设计,抗晕倍数为200倍,基于此类器件制作的相机能够恰当地在暗视场中呈现明亮的图像。
