卷帘快门式CMOS探测器的星图像移补偿

本文研究了卷帘快门式CMOS成像器件在拍摄星图时引入的快门效应。根据卷帘快门CMOS图像传感器的成像原理和特点,分析了星图中由于快门效应导致的星点变化情况,对该成像方式引入的图像变形,提出了一种像移补偿方法。该方法在已知星图拍摄帧频、CMOS图形传感器相邻行曝光时间间隔的基础上,通过对相邻星图中的星点进行目标提取、质心计算以及星点质心匹配等操作,完成景物在像面上像移速度的计算,最后结合该速度值和CMOS图像传感器的行曝光时间间隔,计算星点质心在单帧星图中的像移,逆向补偿。通过实际拍摄的星图对算法的效果进行测试,实验结果表明,利用补偿后的星图解算姿态数据时,其中非机动模式下与两个星敏的夹角误差可达到0.5″以内,机动模式下与两个星敏的夹角误差也可达到0.6″左右,不仅明显优于补偿前,且精度高于很多目前主流的星敏感器。该实验结果不仅证明了算法的有效性,而且在一定程度上推广了卷帘快门式CMOS相机在航空航天领域的应用。

卷帘快门sCMOS相机对空间碎片观测的影响研究

同每个像素曝光开始及结束时间相同的传统科学级CCD相机相比,近年来出现的卷帘快门(rolling shutter)sCMOS相机工作时每个像素的曝光开始及结束时间不同,曝光时间相同,因此需要评估sCMOS相机像素之间曝光开始及结束时间不同对空间碎片测量精度的影响。首先测试了卷帘快门sCMOS相机的工作时序和最大延迟时间,并得出曝光不同步的改正公式,再以激光卫星为目标,测试了两种典型观测模式下空间碎片的天文定位精度,并对应用曝光不同步改正前后结果进行对比。测试结果表明sCMOS相机卷帘快门的工作时序与理论一致,边缘曝光延迟最大10ms;实测表明恒星位置内符合精度优于2arcsec,目标天文定位精度优于3arcsec。sCMOS相机能够用于空间碎片观测,能够实现较高的位置测量精度。

利用卷帘快门面阵CMOS自相关成像的空间相机振动参数检测

为了获取空间相机在轨摄像期间的振动幅频特性,提出了一种基于卷帘快门面阵CMOS自相关成像的空间相机振动参数检测方法。基于卷帘式快门CMOS成像原理,对同一景物连续拍摄,得到一组具有相关性的图像序列,通过灰度投影算法对所成图像进行比对求取相对偏移量,拟合偏移量数据,进而根据拟合结果计算出空间相机的振动参数。验证实验显示,二维振动的周期检测相对误差不超过2%,振幅检测绝对误差不超过1pixel。实验结果表明,该方法能够利用低帧频图像序列检测高频振动,大幅度降低了检测算法的数据传输及处理压力,为检测算法的星上嵌入式实现提供了可能,在推扫相机和凝视相机上均有较好的应用。

堡盟推出10款帯卷帘快门传感器的CX和EX系列相机

瑞士堡盟集团CX和EX系列相机再添10名新成员。这些相机搭载了美国ON半导体公司和日本索尼公司的CMOS卷帘快门传感器，可提供500万、1000万、1200万和2000万像素的分辨率，具有低噪声、低发热、高性价比等优点，可获得与全局快门传感器相当的高分辨率和高成像质量，是成本敏感型应用的理想选择。凭借全局复位功能，新款相机可同时复位所有像素单元，即使是快速移动的物体，也能清晰抓拍并确保出色的图像质量，不会出现由于卷帘快门导致的图像失真。

基于卷帘快门相机模型的高精度建图与视觉定位

使用卷帘快门相机进行移动测量时,由于逐行曝光的特点,影像上会产生果冻效应。而传统的建图与视觉定位方法大多假设影像是全局快门获取,直接处理卷帘快门影像很难得到高精度的结果。针对以上问题,构建基于插值的卷帘快门相机模型,并将其用于卷帘快门影像的高精度建图与视觉定位。建图时使用运动恢复结构算法,利用卷帘快门相机模型对影像特征点进行坐标插值,获取该点的位姿,继而得到对应的投影矩阵,再进行卷帘快门三角化和卷帘快门光束法平差优化,完成高精度建图。在视觉定位环节,利用PnP(perspective-n-point)算法获取影像定位初值,之后使用卷帘快门影像绝对位姿优化算法进行优化。实验结果表明,与传统方法相比,所提方法的建图与视觉定位精度更高。

卷帘快门对数字域TDI成像的影响分析

数字域时间延迟积分(TDI)互补金属氧化物半导体(CMOS)成像以其成本低、功耗小、操作灵活等优势,近几年逐渐引起研究关注。然而CMOS传感器的卷帘快门存在运动失真,为了深入研究其对数字域TDI的影响,结合卷帘快门工作原理,建立了卷帘快门效应对数字域TDI引起的像移及调制传递函数(MTF)下降的数学模型。并结合推导模型开展了预估分析和验证实验。结果表明:卷帘快门效应会对数字域TDI算法带来较大的影响;读出时间越长像移量越大、MTF下降越严重;另外行周期越短影响也越严重,其中行周期从200 us变为100 us时,对应的数字域TDI图像MTF从0.6144下降为0.4807。

一种基于卷帘快门CMOS成像的空间相机颤振检测方法

星上运动部组件所引起的颤振是当前影响超高分辨率、超高机动成像质量的一个重要因素。针对该信号难以被精确业务化检测识别的问题,提出一种基于卷帘快门CMOS成像的空间相机颤振检测方法,进一步采用高频角位移与高精度参考的数字正摄影像/数字高程模型(DOM/DEM)数据进行效果验证与评价。对2020年发射的某高分型号卫星进行了分析,分析结果表明所设计的检测方法可以有效识别空间相机成像过程中的颤振特性,颤振频率主要集中在156 Hz左右,补偿后的全色影像相对几何精度可提升1.2 pixel左右。

基于卷帘快门RGB-D相机的视觉惯性SLAM方法

针对当前单目视觉惯性SLAM(同步定位与地图创建)中初始化需要加速度激励以及高IMU(惯性测量单元)噪声条件下系统精度下降的问题,提出一种基于卷帘快门RGB-D相机的视觉惯性SLAM方法——VINSRSD方法.VINS-RSD方法联合卷帘快门RGB-D图像和IMU对系统进行初始化,通过控制特征的速度对卷帘快门效应进行校正,并采用一种带置信因子的损失核函数进行滑动窗口优化.为了评测该方法,在WHU-RSVI数据集的基础上制作了一个可以评价RGB-D视觉惯性SLAM算法的开源深度数据集并进行实验验证.结果表明,与VINS-Mono方法相比,VINS-RSD方法的均方根误差平均值下降了30.76%,表明该方法能获得更高的跟踪精度.

飞行器姿态对CMOS航空相机成像的影响

为了消除CMOS航空相机高速成像时存在的卷帘快门(RS)效应对成像质量的影响,建立了在任意姿态角下计算CMOS相机RS效应的数学模型。通过分析CMOS成像原理,利用坐标变换法求得像面上任意像素点的速度。在分析卷帘快门原理的基础上推导出了RS效应的解析式。利用蒙特卡洛统计方法分析模型精度,对模型关键参数进行了仿真实验,并讨论了帧间延迟和姿态角对RS效应的影响。实验结果显示:在高度测量误差小于0.09km,速度测量误差小于0.3km/h,姿态角测量误差小于0.02°时,该模型的精度在1/3个像元以内。得到的结果证明了本文模型的有效性。该模型可作为定量分析大面阵CMOS相机RS效应的理论依据,对CMOS传感器在航空相机领域的应用有指导作用。

基于CMOS图像传感器的视频采集系统

设计了一个基于CMOS图像传感器的视频采集系统,.详细介绍了该系统的硬件电路和时序设计,系统采用FillFactort公司的IBIS5-A-1300芯片作为图像采集芯片,通过USB2.0控制器EZ-USBFX2芯片作为数据采集芯片,实现了图像数据的实时采集。试验结果表明,该系统视频采集系统成像清晰,可靠,能够很好的完成视频采集的要求。

数字域时间延迟积分CMOS遥感相机动态传函建模分析

调制传递函数(MTF)是遥感相机的重要评价指标,但是目前对于数字域TDI CMOS相机动态MTF特性研究十分有限,为了深入研究其像质下降机理,结合数字域TDI CMOS成像原理,建立了像元、电子快门、曝光时间、振动引起的数字域TDI成像MTF下降数学模型。结合推导模型开展了预估分析和实验验证。结果表明:传感器的有效像元区域分布会影响图像MTF,且开口率越小影响越大;CMOS传感器的卷帘快门会导致数字域TDI成像MTF下降,卷帘速度越慢影响越严重,其中卷帘速度从6μs变为10μs时,对应的图像MTF从0.191下降为0.177;曝光时间越短则MTF越高,尤其当存在低频像移失配时更为明显,曝光时间从180μs减小为100μs时,图像MTF从0.126提高为0.155,但同时也会影响图像信噪比,因此在实际应用中应合理选择曝光时间。

有限状态机实现CMOS成像系统驱动时序

介绍Cypress公司的CMOS图像传感器IBIS5-A-1300的特点以及卷帘快门工作模式,并以其为成像核心,以MaxⅡ系列CPLD芯片EPM570T144C5为平台,搭建CMOS成像系统。采用有限状态机的方法设计并实现了系统在卷帘快门模式下的驱动时序。提供了设计方法、流程,进行了系统仿真、分析和成像实验,由所得结果可以证明该方法效果较好。

一种基于智能手机的可见光室内信标定位方法

由于室内环境的特殊性,传统定位技术在室内的应用受到诸多限制。针对室内定位问题,提出了一种基于智能手机的可见光室内定位方案。该方案利用室内LED(发光二极管)照明光源作为定位信标,通过智能手机内置摄像头的卷帘快门工作方式,接收LED照明光源发出的可见光调制信号,结合手机应用软件内的图像处理算法提取信标信息,从而实现智能手机可见光定位功能。实验结果验证了该方案的可行性及有效性。

一种面向光学相机通信系统的数据帧结构

针对光学相机通信(Optical Camera Communication,OCC)链路收发两端不同步和相机帧间间隔等因素引起OCC链路数据丢失的问题,本文在分析相机接收机卷帘快门工作机制的基础上,研究了光电二极管(Light Emitting Diode,LED)-相机OCC链路的基本工作原理,以及相机像素行数、像素行读取时间、拍摄帧速率、拍摄角度姿态等因素对OCC链路数据传输速率、链路丢帧率等参数的影响,并针对OCC链路的特点,设计了一种新型的适用于OCC链路的数据帧结构.通过对比分析发现,使用该数据帧的OCC链路,可以有效地解决收发端不同步和相机帧间间隔引起的OCC链路数据丢失的问题,优于常用的交错Hamming码和Raptor码帧结构.最后,本文设计搭建了相关的OCC链路测试平台,通过对比数字仿真结果和实际测量结果,验证了理论分析的有效性.

基于视听信息融合的噪声源定位研究

声源定位对于故障诊断、机器人自主感知有着重要意义。当前声源定位技术主要是基于麦克风阵列,其体积大、扩展性差。因此引入视觉分析技术,在频域内辅助单个麦克风进行声源定位或音频分析。为解决视频流数据量过大的问题,采用带电子卷帘快门的相机,以实现低速、低成本相机测量高速运动的目的。在电子卷帘快门相机测量过程中,着重分析了两种常见的振动和转动物体的成像规律,并由此规律提出相应的解算方法。最后,进行了视听的全局分析和局部分析实验,验证了视听融合对噪声源定位的有效性。

基于RGB型LED的光学相机通信系统的实现方案

针对可见光-光学相机通信技术的实现,提出了一种传输速率及信息容量高效的可见光通信系统解决方案。该方案采用RGB型LED作为信源发射机,通过波分复用的方式可有效提高系统传输速率及信息容量,接收端以Android智能手机搭载光学相机作为接收机,利用手机相机的卷帘快门工作特性实现信息的接收。对于信息接收解码,设计了基于Java语言可独立运行的Android APP,通过引入直方图均衡化、最小二乘拟合等技术有效地抑制了接收图像的光晕效应,并且提出的同步动态补偿技术有效地提高了信息传输的可靠性。实验表明:提出的方案可在Android智能手机上实现传输速率为21.6kb/s的信息传输。

基于可见光与成像通信技术的煤矿人员精确定位方法

针对发光二极管(LED)技术和成像通信分析技术的成熟发展,结合井下人员定位系统定位精度的需求,提出了一种基于可见光通信与摄像仪图像采集分析技术的煤矿井下人员定位方法。该方法利用井下防爆摄像仪采集LED矿灯的可见光信号图像,识别与矿灯绑定的矿井人员编码信息;利用可见光图像识别算法,确定矿井人员的位置信息,定位矿井人员。试验验证表明:系统定位误差不大于0.4 m,响应时间不大于0.368 s,该定位方法能够有效提高位置定位精度和实时性。

基于CMOS相机的可见光通信解调算法设计

基于互补氧化物半导体(CMOS)相机卷帘快门效应的可见光通信系统比特速率越高,拍摄的图片中每个比特对应的像素列数越少,且像素灰度值波动加剧,严重影响数据解调性能。针对这一问题,文章提出采用全局和局部两个动态阈值判决结合分段降采样的解调算法,首先由图片中全部待解调列的灰度值拟合得到全局动态阈值,判决后检测出所有数据帧头位置,然后根据各帧对应列的灰度值分别拟合出局部阈值,最后对各帧判决结果分段降采样恢复原始比特序列。实验结果表明,当相机卷帘快门的列扫描频率为103.68kHz时,能正确解调的最小比特分辨率为2.962,对应的最大比特速率和有效数据速率分别为35和10.8kbit/s。

基于光学相机通信的传感器节点调试信息安全传输研究

无线传感器网络是由分散自组织的传感器节点组成的。一旦节点发生故障或处于待更新状态时,需要通过无线网络接收传感器节点的调试信息。然而,无线网络采用广播方式传输数据,在传输调试(Debug)信息的时候,存在泄露节点内部敏感信息的可能。特别在诸如博物馆监测等对安全需求较高的应用场景中,信息的泄露会造成很大的安全隐患。为了保证调试信息的安全传输,在不修改设备硬件的前提下,基于光学相机通信的定向传输特性设计并实现一个基于光学相机通信的传感器节点调试信息安全传输方案。针对光学相机成像原理,提出一种面向卷帘快门的帧同步机制。实验表明,采用该帧同步方案可在30fps条件下达到600bps的数据传输率。

图像传感器视域下的可见光通信技术分析

为了设计功能更加完善的可见光通信(Visible Light Communication,VLC)系统,针对图像传感器基础上的可见光通信技术应用展开分析。介绍可见光通信系统,了解可见光通信技术优势,随之构建可见光信道模型,利用图像传感器设计可见光通信系统,以高速全局快门相机为参照,明确设计原理与方案,经过分析认识到图像传感器在可见光通信系统中的优势,旨在为今后可见光通信技术的应用积累经验。