内容感知的可解释性路面病害检测模型

针对实际场景中高分辨路面图像难以直接作为现有卷积神经网络(convolutional neural network,CNN)的输入、现有预处理及下采样算法无法有效感知并保留原始路面图像中低占比的病害区域信息等问题,借助于可视化解释的技术手段,设计了一种即插即用的图像内容自适应感知模块(adaptive perception module,APM),既平衡了高分辨路面图像与CNN输入限制,又能够自适应感知激活前景病害区域,从而实现高分辨路面图像中病害类型的快速准确检测,构建可信路面病害视觉检测软件系统.APM利用大卷积核和下采样残差操作降低原始图像分辨率并获取图像浅层特征表示;通过注意力机制自适应感知并激活图像中路面病害区域信息,过滤无关的背景信息.利用联合学习的方式,无需额外监督信息完成对APM的训练.通过可视化解释方法辅助选择和设计APM的具体结构,在最新公开数据集CQUBPMDD上的实验结果表明:APM相比于现有的图像预处理采样算法均有明显提升,分类准确率最高为84.47%;在CQU-BPDD上的实验结果及APM决策效果可视化分析表明APM具备良好的泛化性与鲁棒性.实验代码已开源:https://github.com/Li-Ao-Git/apm.

数据分布不平衡的课堂参与度自动识别研究

在线课堂学习参与度自动评估是提升课堂教学效果的重要技术途径.本文使用计算机视觉特征分析技术,提出一种在线课堂学习参与度自动识别方法.首先,采用VGGFace网络和C3D网络分别对学习者的面部表情和身体姿态进行特征编码;然后,设计基于注意力机制的双层级联聚合模块,对视频片段的特征进行融合,使得参与度高度相关的帧序列获得更大的权重.由于低参与度样本的数量和高参与度样本相比非常少,课堂参与度自动识别属于类别不平衡的数据分类问题.类别高度不均衡,导致模型训练存在很大挑战.为了缓解参与度数据分布不平衡带来的影响,本文提出采用双边分支网络作为参与度识别基本的网络结构.其中,传统学习分支进行表征学习,重新平衡分支关注少数样本分类,将特征学习和分类器学习进行分别建模.在DAiSEE数据集上的实验结果表明,提出的方法有效提升了参与度自动识别性能,尤其对少数类样本的分类具有明显的性能提升.

深度有序度量学习改进的课堂参与度识别

在线课堂已成为当前最重要的教学场景之一.针对当前基于视觉特征学习和距离度量学习的参与度识别模型仍然缺乏足够的判别力和稳定性等问题,本文将有序深度度量学习方法引入课堂参与度识别任务,联合建模视觉特征学习和判别度量学习.首先,提出一个有序度量损失函数建模参与度样本的有序标签结构,使得在学习获得的有序度量空间中,视觉特征与其参与度标签保持有序一致性,提高识别模型的判别力.其次,提出一种四元组困难样本构造策略,对困难正样本的视觉特征相似度进行最小化,同时最大化困难负样本的视觉特征相似度,充分挖掘困难样本,提高模型训练的效率和稳定性.最后在课堂参与度基准数据集DAiSEE上进行测试,验证了算法的有效性.

基于SLIC和SVR的单幅图像去雾算法

为了提升图像去雾算法的效果和适应性,提出了一种基于简单线性迭代聚类(SLIC)超像素分割和支持向量回归(SVR)的单幅图像去雾算法.首先,将雾霾图像进行超像素分割,对于每个超像素块,取其最大通道内的最大值作为局部大气光的估计,并使用引导滤波优化大气光图的边缘.然后,采集清晰户外图像并切割成块,利用大气散射模型为其加入不同程度的雾作为训练样本,提取对比度、饱和度、直方图均衡度和最小通道均值4种特征,利用支持向量回归算法训练传输参数估算模型.实验结果表明,所提算法有效地恢复了图像的对比度和颜色饱和度,同时无论是在主观视觉效果方面,还是在结构相似度和峰值信噪比等客观评价指标方面,所提算法均优于现有传统算法.

基于SPOC的“数理逻辑”在线课程教学改革探究

以在线课程建设为切入点,探讨数理逻辑SPOC课程的建设及教学改革思路,强调教学任务中的师生互动和个性化教学模式,侧重于以学生学习成效为导向,以学习评价为中心的教学范式转变,进一步依托在线课程建设进行混合式教学模式改革,提升本科课程教学质量。

基于暗原色先验的图像快速去雾

目的针对暗原色先验去雾算法出现的边缘残雾、天空色彩失真以及速度较慢问题,提出一种快速有效的图像去雾算法。方法舍弃传统分块的思想,采用逐像素处理的方法估计透射率,并对估计值过低的透射率进行适当的增强。大气光采用效率更高的四叉树算法来求解。结果有效地解决了边缘残雾和天空色彩失真问题,相比其他算法,去雾后的视觉效果有所提升。透射率和大气光的求解速度都得到一定程度的提高,去雾速度是暗原色先验去雾算法的近4倍。结论实验结果表明,本文算法在保证良好去雾效果的前提下能大幅提升去雾的效率,节省去雾所花费的时间。对于大部分有雾图像,本文算法都能够达到较好的去雾效果,但在处理具有较大景深的图像时,远景部分的去雾效果欠佳。鉴于速度上的优势,本文算法适用于对实时性要求比较高的去雾场合。

颜色与纹理相融合的自适应粒子滤波跟踪算法

针对目标跟踪过程中存在的光线变化及目标遮挡等复杂情况所导致的跟踪目标的丢失或跟踪错位等问题,采用特征融合的策略,将其用于粒子滤波框架中进行跟踪。利用特征融合加权直方图的方法来描述目标的颜色和纹理特征,并对变化的目标自适应地更新参考目标模型,能有效地处理视频中由于旋转、遮挡、光线变化带来的影响。实验证明,提出的算法在保证跟踪精确性的情况下,具有较好的适应性及鲁棒性。

反正切色调分化模型的铅笔画绘制

目的在现阶段采用计算机模拟绘制真实铅笔画往往不能够逼近真实效果,主要原因之一是没有考虑到真实铅笔画中的色调较灰度图像有着更明显的暗灰亮层次变化的特性,基于这一问题提出一种新的铅笔画自动生成算法。方法一方面在外轮廓提取中采取了LAB空间色差图与纹理图结合的方法,取代了传统基于梯度图的方法;另一方面保留了纹理色调连续变化的特点,且为了体现色调的分层效果提出了反正切色调分化模型,其核心思想是基于图像暗灰亮图层的像素比例来自适应地调整像素灰度值以达到色调分层的目的。结果本文算法能够避开噪点的影响更好地展示细节,同时解决了直接分层结果中色调变化突然的缺陷,实现了亮度分层与色调连续变化的结合。结论新算法在最终效果上较其他算法的优势体现在两方面,一是轮廓线的连续性更好,对比度更强,其次是纹理的效果能够同时兼顾连续性和分层,这是其他算法做不到的,本文算法适用于所有不同分辨率的彩色或灰度图像,且分辨率越高效果越好。

团块建模与粒子滤波相结合的行人目标视觉跟踪

针对粒子滤波算法在遮挡情况下导致视觉跟踪不稳定甚至丢失目标的问题,提出了一种基于团块建模与粒子滤波相结合的目标跟踪算法。首先通过图像分割的方法得到视频帧中的初始目标,并构建目标团块模型;然后基于多团块目标信息并结合粒子滤波算法进行分块跟踪;最后利用高斯加权的方式,得到最终的目标预测位置。实验结果表明,该算法具有较强的鲁棒性,尤其是在遮挡的情况下能够实现目标的稳定跟踪。

一种面向弱纹理图像的特征点描述子

现有的大多数特征点提取算法适用于处理纹理丰富的图像,而对于弱纹理图像则无法提取有效的特征点.对此,提出了多邻域结构张量特征(MNSTF)算法.基于一系列固定的邻域和图像结构张量,通过表达局部图像的结构和纹理信息,解决了弱纹理和无纹理场景下特征点提取和匹配等相关问题;同时,通过计算邻域之间的相对方向,实现了MNSTF算法特征描述子的旋转不变性.实验结果表明,MNSTF算法在经过旋转的弱纹理图像测试集上的特征点匹配准确率达到了99.9%以上,验证了其良好的适用性、旋转不变性和鲁棒性.