基于阴影解耦和重参的轻量级阴影检测算法

由于阴影边界上的像素数量往往远小于阴影内部区域的像素数量,准确检测阴影边界区域相比于检测阴影内部区域像素更困难。为了提高在阴影边界上的检测准确率,本文提出了一种新颖且高效的轻量级边界感知阴影检测算法RBNet。首先,将图像分为阴影区域和非阴影区域,并分别采用距离变换将图像的阴影区域、非阴影区域的边界部分和主体解耦。接着,提出RBNet的解码器通过学习阴影区域的边界特征,在监督学习中平衡阴影边界与区域内部像素的对阴影检测性能的影响。然后,在RBNet中设计了一种可多分支融合的结构化重参模块RepConv,通过重参进行多分支融合来减少模型参数量、降低模型计算量并提高模型推理速度。将提出的RB-Net和其他常见的阴影检测算法进行了一系列阴影检测对比实验和算法模型消融对比实验。实验结果表明,本文提出的阴影检测算法RBNet不仅模型最小,且具有最快的推理速度,同时,在性能上优于现有的阴影检测算法。RBNet可在小型移动端设备上进行广泛应用,结合阴影去除算法,显著提高目标检测或分割任务的准确性。

单幅RGB-D图像本征图像交互分解算法

为使分解结果可保留光照的空间变化性,获取较为准确的本征图像分解结果,提出一种单幅RGB-D图像本征图像交互分解算法.首先提出了一个包含远距离光照项、近距离光照项和材质项3个本征属性部分的本征图像模型,以模拟光照的空间变化性;之后利用球面调和函数估计场景远距离光源分布,为提高分解的准确性,将恢复的光照分布作为先验约束,设计能量函数求解远距离光照项;最后通过用户交互指定部分材质相同但光照条件不同的像素,并设计算法将用户交互约束传递至全图,从而实现对于场景材质图像及近距离光照图像的求解.实验结果证明,该算法是有效的.

基于Ray Tracing的《计算机图形学》实验教学研究

真实感图形学是计算机图形学的重要研究方向之一,主要研究如何使用计算机模拟真实场景,生成真假难辨的画面。但是,目前高校《计算机图形学》的教学内容常以简单画面的绘制为主,忽略了有关真实感绘制的内容。文中针对真实感图形学,根据真实感绘制中常用的光线跟踪算法设计教学实验,以加强学生对真实感图形学的了解。实验涉及场景光照明模型与几何求交等知识,可以培养学生研究问题和解决问题的能力。

一种鲁棒的实时室外光照估计算法

针对动态变化的室外光照求解问题,提出一种室外场景的实时光照估计算法.该算法基于室外场景图像的线性分解模型,利用太阳光基图像中阴影像素的特点和视频中光照的时空连续性构建由数据项和光滑项组成的目标函数,对太阳光和天空光的入射光强进行求解,得到视频帧图像所对应的实时光照参数与相应的太阳光基图像.实验结果表明,文中算法可应用于计算机视觉中受光照变化影响的在线视频处理,如增强现实、视频阴影检测、重光照等.

基于能量优化的在线室外光照估计算法

为了保证增强现实中的光照一致性,提出一种基于能量优化的室外场景的实时光照估计算法.首先将室外场景图像表示成太阳光基图像和天空光基图像的线性组合;在此基础上,利用太阳光基图像的特点,将太阳光和天空光入射光强的求解归结为一个可实时求解的能量最小化问题.与现有算法相比,文中算法不需要离线学习,因而更适合于增强现实.

室外移动视点视频的在线阴影边缘检测

针对移动视点视频的阴影边缘检测问题,提出一种在线检测室外场景阴影边缘算法.该算法将当前帧中的阴影边缘分为通过前一帧光流跟踪得到的阴影边缘和由视点改变出现的新阴影边缘,由于光流追踪不可避免地存在累积误差,使用Canny边缘置信和单应性矩阵对追踪结果进行优化,在检测新阴影边缘时,根据同一幅图像不同区域具有相似的光照条件这一观察提取优化后的跟踪阴影边缘的阴影特征,匹配并筛选出新阴影边缘;针对整体结果中仍可能存在的阴影边缘断裂等不连续情况,提出基于梯度一致性的优化算法对断点进行修复.对手持摄像机拍摄的室外移动视点视频,采用文中算法与光流跟踪、Groundtruth进行比较,实验结果表明,文中算法能准确、完整地检测到在线视频中的阴影边缘.

Blackfin@处理器低功耗设计

Blackfin@处理器广泛应用于便携音视频产品等嵌入式系统,低功耗设计直接影响产品使用时间。文中从时钟频率、工作模式、片内外设、内核电压等方面,说明了Blackfin@处理器低功耗设计的具体方法,根据实际应用实现对系统功耗的灵活控制与调节,最大程度上延长系统的有效使用时间。

基于Blackfin DSP的液晶接口设计

ADI公司的Blackfin系列处理器具有强大数据处理和控制能力,在仪器控制、音视频处理等系统中应用广泛。在应用中显示输出是必要的,文中根据Blackfin DSP处理器的特点介绍了一种简单实用的液晶接口设计方法。

移动视点视频的平面检测与跟踪

针对广泛存在的建筑物场景,提出了一种基于视频的平面检测与跟踪算法.算法分为3步,给定初始帧图像中的平面边界,第1步通过相邻2帧图像间的单应性矩阵跟踪平面边界,由于单应性矩阵跟踪会导致累积误差,首先采用RANSAC算法拟合边界线段,再使用绝对二次曲线约束和LM算法优化平面边界.第2步检测新出现的平面,根据原平面边界是由两组不同的平行线段组成提取该平面外围的第三类平行线段,由此判断是否有新的平面出现并检测新平面边界.第3步在检测到新平面边界后跟踪当前帧的所有平面到下一帧,当新出现的平面区域有增加或减少时,根据同一平面材质相似这一信息使用漫水填充和图像分割更新平面边界.最后,采用5个真实场景进行了实验,结果表明,文中算法能准确、稳定地在线检测与跟踪视频中的平面边界.

深度人脸识别的光照分析

光照是影响人脸识别效果的重要因素,针对当前人脸数据建库技术构建满足光照分析需求的数据库难度较大的问题,开展基于三维人脸模型的深度人脸识别光照分析研究.首先,借助三维人脸模型,根据人脸基图像表示理论提出一种对应任意光照的人脸图像生成方法,用于构建光照分析所需的人脸图像库;然后,利用构建的多光照人脸图像库分析不同光照采样方案对人脸识别模型性能的影响,探索建库所需的最优光照采样方案;最后,借助虚拟数据具有准确光照标注的优势,基于多任务学习框架测试不同光照标注方法对识别网络训练效果的影响,进一步提高深度人脸识别网络对光照变化的鲁棒性.通过在虚拟数据和真实数据上开展的不同光照采样方案及标注方法对人脸识别模型性能影响的实验得出,使用适量基图像光照构建数据库是一种有效的光照采样方案,而准确的光照标注可进一步提升人脸识别率,对应的识别模型在具备极端光照的测试集上的人脸识别率可达98%以上.该研究提高了深度人脸识别模型的性能,为构建人脸图像库的光照采样策略和光照标注方法提供了依据.

一种基于高动态范围(HDR)人脸图片的室外光照估计算法

从人脸图片中进行室外光照估计在增强现实、人脸识别、人脸图片防伪等多个方面的应用都有着重要意义。由于低动态范围(LDR)人脸图片的动态范围小,会丢失一部分信息,用于光照估计会不准确,而HDR图片则有更大的动态范围,包含完整的信息。因此不同与以往用LDR图片进行光照估计的算法,提出一种基于HDR人脸图片进行光照估计的算法。该算法首先通过对人脸图片进行三维建模,得到人脸几何;然后利用朗伯体反射模型以及普利兹天空模型建立人脸光照模型,得到参数模型下人脸的着色;最后用参数模型下的人脸着色信息和真实人脸图片中的着色信息形成能量方程,并对能量方程进行优化求解得出光照参数。实验结果证明该光照估计算法的准确性。

一种基于自然特征的AR算法

增强现实(AR)技术,是一种通过在现实世界中叠加虚拟物体,强化和突出重要信息的技术。该实验提出一种使用自然特征匹配,来估计相机运动,并检测平面作为参照物,最终渲染虚拟物体的AR实现方式。与放置标记的实现方式相比,不需要在现实场景中放置人工标记物,同时也没有使用惯性传感器。因此该AR系统能适用于更广泛的场景,并且能够实现稳定的特征匹配,正确的相机运动估计和良好的AR视觉效果。

一种基于室外光照估计的数字图片伪造检测算法

数字图片伪造已经逐渐成为信息可信度的威胁之一,如何衡量图片信息的可信度变得越来越重要。在各种各样的伪造图片中,人脸照片的拼接伪造有着非常重要的影响。针对此类伪造图片,提出一种新颖的基于室外光照分析的图片伪造检测算法来进行鉴别。通过人脸三维建模、光线追踪加速算法等对人脸图片进行预处理,采用改进后的普利兹天空模型结合漫反射模型设计能量方程并对光照模型参数进行优化,进而计算人脸所处环境光照条件。通过判断每张人脸还原出的光照是否一致,得出图像的真伪结论。对于室外光照下的人脸图片,该方法更具有优势,能够准确地还原出拍摄人脸照片当时的光照环境。

基于视觉SLAM的热红外视频标定

目前主流的视觉和激光SLAM系统,在雾霾、粉尘、烟雾以及弱光等环境都无法正常工作。热红外摄像机能够在这些环境下很好的工作,这使得视觉SLAM方法在这些恶劣的环境下有着良好的应用前景。然而,由于热红外图像的本身具有高噪声、低纹理的特点,现有的视觉SLAM方法无法直接用于热红外视频的标定。提出一种基于视觉SLAM的红外视频标定技术,该方法能够在高噪声,低纹理热红外图像上,实现稳定的特征跟踪,并能够进行准确的定位。

基于深度学习的阴影检测算法

阴影检测是基本且具有挑战性的任务。在图像的比较复杂的情况下,理解全局图像语义有助于检测阴影。因此,提出一种基于卷积神经网络(CNN)的多尺度网路(MSN),用于检测单张图像中的阴影。将同一张图像缩放到多个不同大小的图像,通过引入的Extract模块,从大尺寸图像中学习细节信息,从小尺寸图像中学习全局信息。所提出的算法在SBU和ISTD数据集上取得先进的效果。