神经形态视觉传感器的研究进展及应用综述

神经形态视觉传感器具有高时域分辨率、高动态范围、低数据冗余和低功耗等优势,近年来在自动驾驶、无人机视觉导航、工业检测及视觉监控等领域(尤其在涉及高速运动和极端光照等条件下)产生了巨大的应用前景.神经形态视觉是一个包含硬件、软件、生物神经模型等的视觉感知系统,终极目标是模拟生物视觉感知结构与机理,以硅视网膜达到、扩展或超越人类智能.作为神经形态工程的重要分支,神经形态视觉是计算神经科学与计算机视觉领域的交叉学科与研究热点.本文从生物视觉采样模型、神经形态视觉传感器的采样模型及类型、视觉信号处理与特征表达、视觉任务应用等视角进行了系统性地回顾与综述,展望了该领域未来研究的技术挑战与可能发展方向,同时探讨了其对未来机器视觉和人工智能领域的潜在影响.

神经形态晶体管研究进展

神经元是大脑信息处理的基本单元,突触则是神经元之间在功能上发生联系的部位,也是信息传递和处理的关键部位。从底层出发研制具有生物突触和神经元功能的固态器件与系统对于研制超低功耗"类脑芯片"和实现全新一代人工智能系统意义十分重大。其中多端口晶体管由于其独特的电容耦合机制,多元化的界面调控手段和丰富的材料选择等优点,最近引起了科研界的广泛关注。从铁电突触晶体管、双电层/电化学突触晶体管、光电突触晶体管3类器件介绍近年来神经形态晶体管的研究进展,并总结该类器件面临的机遇和挑战。

脉冲强化学习算法研究综述

借助人工神经网络(Artificial Neural Network,ANN),深度强化学习在游戏、机器人等复杂控制任务中取得了巨大的成功.然而,在认知能力与计算效率等方面,深度强化学习与大脑中的奖励学习机制相比仍存在着巨大的差距.受大脑中基于脉冲的通信方式启发,脉冲神经网络(Spiking Neural Network,SNN)使用拟合生物神经元机制的脉冲神经元模型进行计算,具有处理复杂时序数据的能力、极低的能耗以及较强的鲁棒性,并展现出了持续学习的潜力.在神经形态工程以及类脑计算领域中,SNN受到了广泛的关注,被誉为是新一代的神经网络.通过将SNN与强化学习相结合,脉冲强化学习算法被认为是发展人工大脑的一个可行途径,并能够有效解释生物大脑中的发现.作为神经科学与人工智能的交叉学科,脉冲强化学习算法涵盖了一大批杰出的研究工作.根据对不同领域的侧重,这些研究工作主要可以分为两大类:一类是以更好地理解大脑中的奖励学习机制为目的,用于解释动物实验中的发现,并对大脑学习进行仿真,例如R-STDP学习规则;另一类则是以实际控制任务中的性能、功耗等具体指标为导向,用作人工智能的一种鲁棒且低能耗的解决方案,在机器人、自主控制等领域具有巨大的应用潜力.本文首先介绍了脉冲强化学习算法的基础(即脉冲神经网络以及强化学习),然后对当前这两大类脉冲强化学习算法的研究特点与研究进展等进行分析.对于第一类算法,本文重点分析了利用三因素学习规则实现的强化学习算法,并回顾了其生理学背景以及具体实现方式.根据在训练过程中是否使用ANN,本文将第二类算法分为依托ANN实现的脉冲强化学习算法与基于脉冲的直接强化学习算法,并率先对这一脉冲强化学习算法的最新进展进行了系统性的梳理与分析,同时全面展示了在深度强化学习算法中应用SNN的不同方式.最后,本文对该领域的研究挑战以及后续研究方向进行了深入地探讨,总结了当前研究的优势与不足,并对其未来对神经科学以及人工智能领域可能产生的影响进行展望,以吸引更多研究人士参与这个新兴方向的交流与合作.

忆阻器纵横闩

现今微处理器的发展趋势是速度更快,体积更小,功能更密集.纵横栓依靠微小精细的网格结构实现电路的逻辑判断控制,纳米级别的纵横栓更是神经形态计算系统的重要组成部分.应用忆阻器的可操控性和记忆功能是解决纵横栓连接处信号的通断控制的最理想办法,进而实现神经形态计算系统的智能识别.

基于事件的视觉传感器及其应用综述

基于事件的相机是一种生物启发的新型视觉传感器,可实时高效地捕捉场景的变化.与基于帧的传统相机不同,事件相机仅报告触发的像素级亮度变化(称为事件),并以微秒级分辨率输出异步事件流.该类视觉传感器已经逐渐成为图像处理、计算机视觉、机器人感知与状态估计、神经形态学等领域的研究热点.首先,本文阐述了事件相机的基本原理、发展历程、优势与挑战;然后,介绍了3种典型事件相机(包括DVS(dynamic vision sensor)、ATIS(asynchronous time based image sensor)和DAVIS(dynamic and active pixel vision sensor))以及多种新型事件相机;接下来,重点回顾了事件相机在特征提取、深度估计、光流估计、强度图像估计与三维重建、目标识别与跟踪、自主定位与位姿估计、视觉里程计与SLAM、多传感器融合等方面的应用研究;最后,归纳了事件相机的研究进展,并探讨了未来的发展趋势.