面向自动驾驶场景的脉冲视觉研究

自动驾驶是计算机视觉重要的研究方向,具有广阔的应用前景。纯视觉感知方案在自动驾驶场景中具有重要的研究价值。不同于传统相机,脉冲视觉传感器能更加灵敏地感受光子,具备比传统视频快千倍以上的成像速度,具有高时间分辨率、高动态范围、低数据冗余和低功耗等优势。本文面向自动驾驶场景,总结了脉冲相机的成像原理、感知能力与优势;围绕自动驾驶相关视觉任务,详细介绍了脉冲视觉影像重建原理与方法,讨论了基于传感器融合的影像增强技术路线;归纳总结了基于脉冲相机的运动光流估计、目标识别检测分割与跟踪,以及三维场景深度估计算法进展及技术路线;梳理了脉冲相机数据及感知系统的发展现状,分析了脉冲视觉的研究挑战;研究提出了潜在解决方案及未来研究方向。脉冲相机及其算法和系统在自动驾驶领域具有巨大潜力,是未来计算机视觉的主要研究方向之一。

面向生物视觉的神经编码模型研究:进展与挑战

视觉系统通过神经元将丰富且密集的动态视觉刺激编码成时变的神经响应。探寻视觉刺激与神经响应之间函数关系是理解神经编码机理的一种常见手段。该文首先介绍了视觉系统的神经编码模型,归纳为两类:生物物理编码模型和人工神经网络编码模型。然后介绍了各种模型的参数估计方法。通过对比各种模型的特性,总结了各自的优势、应用场景及所存在问题。最后,对视觉编码研究的现状以及未来面对的挑战进行了展望。

类脑机的思想与体系结构综述

经典计算机的理论边界在1936年就由图灵确定了,冯·诺依曼体系结构计算机也受限于图灵机模型.囿于神经形态器件的缺失,神经网络模型一直在经典计算机上运行.然而,冯·诺依曼体系结构与神经网络的异步并行结构及通信机制并不匹配,表现之一是功耗巨大,发展面向神经网络的体系结构,对于人工智能乃至一般意义上的信息处理都是重要方向.类脑机是仿照生物神经网络、采用神经形态器件构造的、以时空信息处理为特征的智能机器.类脑机的思想在计算机发明之前就提出了,研究开发实践也已经进行了30多年,多台类脑系统已经上线运行,其中SpiNNaker专注于类脑系统的体系结构研究,提出了一种行之有效的类脑方案.未来20年左右,预计模式动物大脑和人脑的精细解析将逐步完成,模拟生物神经元和神经突触信息处理功能的神经形态器件及集成工艺将逐步成熟,结构逼近大脑、性能远超大脑的类脑机有望实现.类脑机像生物大脑一样都是脉冲神经网络,神经形态器件具有真正的随机性,因此类脑机具备丰富的非线性动力学行为.已证明任何图灵机均可由脉冲神经网络构造出来,类脑机在理论上是否能够超越图灵机,是需要突破的一个重大问题.

针对强人工智能安全风险的技术应对策略

未来进入强人工智能(AGI)时代,人类可能面临重大安全风险。本文归纳了AGI与传统人工智能的区别,从模型的不可解释性、算法及硬件的不可靠性、自主意识的不可控性三方面研判了AGI安全风险的来源,从能力、动机、行为3个维度提出了针对AGI的安全风险评估体系。为应对安全风险,从理论及技术研究、应用两个层面分别探讨相应风险的防御策略:在理论技术研究阶段,完善理论基础验证,实现模型可解释性,严格限制AGI底层价值取向,促进技术标准化;在应用阶段,预防人为造成的安全问题,对AGI进行动机选择,为AGI赋予人类价值观。此外,建议加强国际合作,培养强AI研究人才,为迎接未知的强AI时代做好充分准备。

《中国图象图形学报》类脑视觉专栏简介

脑科学研究是21世纪科学研究的前沿高地之一,我国“十四五”规划明确指出要瞄准脑科学、人工智能等前沿领域,实施一批具有前瞻性、战略性的国家重大科技项目。科技部近期发布科技创新2030“脑科学与类脑研究”重大项目申报指南,标志着中国脑计划项目正式启动。

生物视觉系统的神经网络编码模型综述

生物视觉系统的研究一直是计算机视觉算法的重要灵感来源。有许多计算机视觉算法与生物视觉研究具有不同程度的对应关系,包括从纯粹的功能启发到用于解释生物观察的物理模型的方法。从视觉神经科学向计算机视觉界传达的经典观点是视觉皮层分层层次处理的结构。而人工神经网络设计的灵感来源正是视觉系统中的分层结构设计。深度神经网络在计算机视觉和机器学习等领域都占据主导地位。许多神经科学领域的学者也开始将深度神经网络应用在生物视觉系统的计算建模中。深度神经网络多层的结构设计加上误差的反向传播训练,使得它可以拟合绝大多数函数。因此,深度神经网络在学习视觉刺激与神经元响应的映射关系并取得目前性能最好的模型同时,网络内部的单元甚至学习出生物视觉系统子单元的表达。本文将从视网膜等初级视觉皮层和高级视觉皮层(如,视觉皮层第4区(visual area 4,V4)和下颞叶皮层(inferior temporal,IT))分别介绍基于神经网络的视觉系统编码模型。主要内容包括:1)有关视觉系统模型的概念与定义;2)初级视觉系统的神经网络预测模型;3)任务驱动的高级视觉皮层编码模型。最后本文还将介绍最新有关无监督学习的神经编码模型,并展望基于神经网络的视觉系统编码模型的技术挑战与可能的发展方向。

脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。