基于时空交叉感知的实时动作检测方法

时空动作检测依赖于视频空间信息与时间信息的学习.目前,最先进的基于卷积神经网络(Convolutionsl Neural Networks,CNN)的动作检测器采用2D CNN或3D CNN架构,取得了显著的效果.然而,由于网络结构的复杂性与时空信息感知的原因,这些方法通常采用非实时、离线的方式.时空动作检测主要的挑战在于设计高效的检测网络架构,并能有效地感知融合时空特征.考虑到上述问题,本文提出了一种基于时空交叉感知的实时动作检测方法.该方法首先通过对输入视频进行乱序重排来增强时序信息,针对仅使用2D或3D骨干网络无法有效对时空特征进行建模,提出了基于时空交叉感知的多分支特征提取网络.针对单一尺度时空特征描述性不足,提出一个多尺度注意力网络来学习长期的时间依赖和空间上下文信息.针对时序和空间两种不同来源特征的融合,提出了一种新的运动显著性增强融合策略,对时空信息进行编码交叉映射,引导时序特征和空间特征之间的融合,突出更具辨别力的时空特征表示.最后,基于帧级检测器结果在线计算动作关联性链接.本文提出的方法在两个时空动作数据集UCF101-24和JHMDB-21上分别达到了84.71%和78.4%的准确率,优于现有最先进的方法,并达到73帧/秒的速度.此外,针对JHMDB-21数据集存在高类间相似性与难样本数据易于混淆等问题,本文提出了基于动作表示的关键帧光流动作检测方法,避免了冗余光流的产生,进一步提升了动作检测准确率.

基于对比性视觉-文本模型的光场图像质量评估

光场图像作为一种能够捕获场景每个位置光线信息的图像类型,在电子成像、医学影像和虚拟现实等领域具有广泛的应用前景.光场图像质量评估(Light Field Image Quality Assessment,LFIQA)旨在衡量此类图像的质量,但当前方法面临视觉效果与文本模态间异构性的重要挑战.为解决上述问题,本文提出了一种基于文本-视觉的多模态光场图像质量评估模型.具体来说,在视觉模态方面,我们设计了多任务模型,结合边缘自动阈值算法有效丰富了光场图像的关键表示特征.在文本模态方面,基于输入噪声特征与预测噪声特征的对比,准确识别光场图像的噪声类别,并验证了噪声预测对优化视觉表示的重要性.基于上述研究,进一步提出了一种优化的通用噪声文本配置方法,并结合边缘增强策略,显著提升了基线模型在光场图像质量评估中的准确性和泛化能力.此外,通过消融实验,评估了各组件对整体模型性能的贡献,验证了本文方法的有效性和稳健性.实验结果表明,该方法不仅在公开数据集Win5-LID和NBU-LF1.0的实验中表现出色,还在融合数据集中展示出优秀的实验结果,与现有最优算法相比,本文所提方法在两个数据库中的性能分别提升了2%和6%.本文提出的噪声验证策略和配置方法不仅为图像质量评估中的噪声预测任务提供了有价值的参考,也可用于其它噪声预测类型的辅助任务.

基于多特征融合的花卉图像检索

以植物花卉图像为研究对象,对植物花卉图像在区域分割、特征提取、基于内容的雷同图像过滤以及基于SVM的植物花卉图像检索等方面进行了系统、深入和较为全面的研究。首先为保证检索效果,提出了基于Canny边缘的雷同图片过滤算法对花卉图像库中的雷同图片进行过滤。然后提出基于2RGB混合颜色模型的自适应阈值分割算法来对花卉图像进行分割。对特征提取采用多特征融合的方法,其中针对形状特征提出了基于HSV颜色模型的加权不变矩,并提出了结合形状特征与纹理特征的边缘LBP算子。通过在花卉图像库进行的实验表明,提出的若干方法都是有效的。

融合深度特征和语义邻域的自动图像标注

传统图像标注方法中人工选取特征费时费力,传统标签传播算法忽视语义近邻,导致视觉相似而语义不相似,影响标注效果.针对上述问题,文中提出融合深度特征和语义邻域的自动图像标注方法.首先构建基于深度卷积神经网络的统一、自适应深度特征提取框架,然后对训练集划分语义组并建立待标注图像的邻域图像集,最后根据视觉距离计算邻域图像各标签的贡献值并排序得到标注关键词.在基准数据集上实验表明,相比传统人工综合特征,文中提出的深度特征维数更低,效果更好.文中方法改善传统视觉近邻标注方法中的视觉相似而语义不相似的问题,有效提升准确率和准确预测的标签总数.

基于相关视觉关键词的图像自动标注方法研究

图像自动标注是计算机视觉与模式识别等领域中的重要问题.针对现有模型未对文本关键词的视觉描述形式进行建模,导致标注结果中大量出现与图像视觉内容无关的标注词等问题,提出了基于相关视觉关键词的图像自动标注模型VKRAM.该模型将标注词分为非抽象标注词与抽象标注词.首先建立非抽象标注词的视觉关键词种子,并提出了一个新方法抽取非抽象标注词对应的视觉关键词集合;接着根据抽象关键词的特点,运用提出的基于减区域的算法抽取抽象关键词对应的视觉关键词种子与视觉关键词集合;然后提出一个自适应参数方法与快速求解算法用于确定不同视觉关键词的相似度阈值;最后将上述方法相结合并用于图像自动标注中.该模型能从一定程度上解决标注结果中出现的大量无关标注词问题.实验结果表明,该模型在大多数指标上相比以往模型均有所提高.

基于蒙特卡罗数据集均衡与鲁棒性增量极限学习机的图像自动标注

针对传统图像标注模型存在着训练时间长、对低频词汇敏感等问题,该文提出了基于蒙特卡罗数据集均衡和鲁棒性增量极限学习机的图像自动标注模型.该模型首先对公共图像库的训练集数据进行图像自动分割,选择分割后相应的种子标注词,并通过提出的基于综合距离的图像特征匹配算法进行自动匹配以形成不同类别的训练集.针对公共数据库中不同标注词的数据规模相差较大,提出了蒙特卡罗数据集均衡算法使得各个标注词间的数据规模大体一致.然后针对单一特征描述存在的不足,提出了多尺度特征融合算法对不同标注词图像进行有效的特征提取.最后针对传统极限学习机存在的隐层节点随机性和输入向量权重一致性的问题,提出了鲁棒性增量极限学习,提高了判别模型的准确性.通过在公共数据集上的实验结果表明:该模型可以在很短时间内实现图像的自动标注,对低频词汇具有较强的鲁棒性,并且在平均召回率、平均准确率、综合值等多项指标上均高于现流行的大多数图像自动标注模型.

基于词频同现与WordNet的图像自动标注改善算法研究

图像自动标注是模式识别与计算机视觉等领域中的重要问题。针对现有图像自动标注模型普遍受到语义鸿沟问题的影响,提出了基于关键词同现的图像自动标注改善方法,该方法利用数据集中标注词间的关联性来改善图像自动标注的结果。此外,针对上述方法不能反映更广义的人的知识以及易受数据库规模影响等问题,提出了基于语义相似的图像自动标注改善方法,通过引入具有大量词汇、包含了人知识的结构化电子词典WordNet来计算词汇间的关系并改善图像自动标注结果。实验结果表明,提出的两个图像自动标注改善方法在各项评价指标上相比以往模型均有所提高。

基于Co-training的图像自动标注

图像自动标注是图像理解与模式识别等领域中具有挑战性的关键研究问题.目前图像自动标注领域存在着一些问题,如未标注数据规模要远大于标注数据规模,只能单独使用某种图像分割策略与某类图像表示方法.针对上述问题,提出了基于Co-training的图像自动标注方法,通过构建4个独立的特征属性进而建立4个子分类器,将不同的图像分割方法与特征表示方法整合到一个统一框架中,利用提出的基于投票与一致性相结合的自适应算法扩展原始训练集.该方法通过使用Co-training算法,利用大量未标注数据来提升图像自动标注的性能.通过在Corel 5K数据库上进行实验,验证了提出方法的有效性.

基于区域空间与词汇加权的图像自动标注

图像自动标注是图像检索与图像理解中重要而又极具挑战性的问题.针对现有模型忽略了图像不同区域对图像整体贡献程度的差异性,提出了基于区域空间加权的标注方法,改善了图像的区域特征生成概率估计.此外,针对现有模型未考虑词汇本身重要性以及词汇分布对标注性能的影响,提出了基于词汇固定权值的标注方法、基于平滑词汇频率的标注方法以及基于词汇TF-IDF加权的标注方法,对词汇的生成概率估计部分进行了改进.综合以上区域空间改进与词汇改进,提出了WDVRM图像标注模型.通过在Corel数据库进行的实验,验证了WDVRM模型的有效性.

一种自适应双码本模型目标检测算法

自适应码本(SACB)算法在目标物体检测中取得了较好的效果,对周期性晃动有一定抗干扰性,但仍存在"鬼影"现象、对密集型物体晃动抗噪性差、码字清除策略过分依赖于时间等问题.对此提出一种改进的自适应双码本(DECB)算法,通过增加前景像素记忆层构成背景-前景双码本模型,实时地将频繁出现的伪前景加入背景模型中,以消除"鬼影"现象;利用相邻像素的相似时空特性,随机与相邻像素码本匹配以提高对密集型物体晃动的抗噪能力;在码字更新机制中引入生命周期,以降低码字清除策略对时间的依赖性.实验结果表明,DECB算法能够有效消除"鬼影"现象,提高抗噪性且实时性良好.

基于遗传算法和舍伍德思想的双数组Trie树改进

对汉语信息处理中常常要涉及汉语词典查询,当所涉及的词典规模较为庞大时如何快速访问词典以获取词语知识便成为了一个需重点解决的问题。将阐述一种简单快捷的基于双数组Trie(Double-Array Trie)原理的词典查询机制。该算法的查询时间为O(n)的线性时间(n为查询词条的长度),由此可见双数组算法在时间上存在着明显优势,但在空间耗费上却存在着浪费现象。前人提出了一些解决方案,其中主要的有:在构造双数组时采用一种启发式排序策略,即每一次都先处理当前分支节点最多的活动节点。考虑到这种启发式思想为确定性算法,容易陷入局部最优陷阱之中,因此在这种思想的基础上引入了舍伍德随机思想和遗传算法中常常运用到的变异思想,在改进算法空间利用率的同时也使得算法跳出了局部最优解的陷阱。

基于混合关节肢体模型的深度人体姿态估计方法

提出基于关节外观和关节间空间关系的模型与深层神经网络结构(DCNN)相结合的混合模型,解决人体姿态估计问题.首先,对人体构建图像模型以表示人体关节与肢体.然后,根据标注信息将图像分解为以关节为中心的若干图像块,作为训练输入数据.最后,得到一个可以解决多个分类的DCNN网络,用于人体姿态估计.文中方法对人体表示更灵活,有效提升关节点的检测率及正确检测的比率.

粒子群优化结合相关反馈的花卉图像检索

针对花卉图像特性,为平衡花卉图像检索系统的检索精度与速度,提出一种将粒子群优化结合于花卉检索相关反馈的算法.算法以2RGB为花卉图像的颜色模型,选取计算量较小的图像低层特征描述,按用户的满意度对检索结果进行评价,指导反馈过程中粒子的最优运动方向.实验结果表明,该算法能有效提高系统的检索效率.

基于PCM聚类算法的Blog社区发现

针对传统的社区发现算法无法发现社区中的核心成员和边界成员的缺点,提出了基于PCM聚类算法的Blog社区发现算法,用来识别Blog社区的核心和边界.首先,使用随机行走的方法计算可以衡量两个Blog亲密度的对称社会距离;然后,在对称社区距离的基础上使用PCM聚类算法对Blog进行聚类,得到每个社区中的成员属于社区的概率表示.最后,通过确定相应的概率阈值,确定社区的核心和边界.实验结果表明:该算法能够获得社区中的成员属于社区的概率,根据这个概率可以确定社区中的核心成员和边界成员.

基于新型聚类算法IncreaseK-Means的Blog相似度分析

针对现有聚类算法K-均值存在事先指定聚类类数及仿射传播存在计算复杂度偏高的缺陷,提出了一种新型的聚类算法IncreaseK-Means,并将其应用到Blog内容的相似度聚类分析中,较好地满足了社区发现和话题跟踪的需求.仿真结果表明:在Blog文本聚类分析中,IncreaseK-Means在时间上与K-Means相近,在精度上与仿射传播接近,适用于大规模网络文本的分析处理.

基于数据均衡的增进式深度自动图像标注

自动图像标注是一个包含众多标签、多样特征的富有挑战性的研究问题,是新一代图像检索与图像理解的关键步骤.针对传统的基于浅层机器学习标注算法标注效率低下、难以处理复杂分类任务的问题,提出了基于栈式自动编码器(stacked auto-encoder,简称SAE)的自动图像标注算法,提升了标注效率和标注效果.主要针对图像标注数据不平衡问题,提出两种解决思路:对于标注模型,提出一种增强训练中低频标签的平衡栈式自动编码器(B-SAE),较好地改善了中低频标签的标注效果.并在该模型的基础上提出一种分组强化训练B-SAE子模型的鲁棒平衡栈式自动编码器算法(RB-SAE),提升了标注的稳定性,从而保证模型本身具有较强的处理不平衡数据的能力;对于标注过程,以未知图像作为出发点,首先构造未知图像的局部均衡数据集,并判定该图像的高低频属性以决定不同的标注过程,局部语义传播算法(SP)标注中低频图像,RB-SAE算法标注高频图像,形成属性判别的标注框架(ADA),保证了标注过程具有较强的应对不平衡数据的能力,从而提升整体图像标注效果.通过在3个公共数据集上进行实验验证,结果表明,该方法在许多指标上相比以往方法均有较大提高.

基于外部数据库的图像自动标注改善模型

针对图像标注中所使用数据集存在的数据不平衡问题,提出一种新的基于外部数据库的自动平衡模型。该模型先依据原始数据库中词频分布来找出低频点,再根据自动平衡模式,对每个低频词,从外部数据库中增加相应的图片;然后对图片进行特征提取,对Corel5k数据集中的47065个视觉词汇和从外部数据库中追加的图片中提取出来的996个视觉词汇进行聚类;最后利用基于外部数据库的图像自动标注改善模型对图像进行标注。此方法克服了图像标注中数据库存在的不平衡问题,使得至少被正确标注一次的词的数量、精确率和召回率等均明显提高。

实验关于汽车空调温度系统优化控制仿真研究

汽车空调系统具有明显的非线性时变性和滞后性,采用传统的PID控制难以及时作出相应调整。根据传统PID控制理论,以一阶惯性纯滞后的汽车空调系统为例,将Smith算法和模糊控制算法与传统的PID控制策略相结合,减小了系统的超调量,增强了系统的稳定性。同时根据结合后的算法响应时间延长的缺陷,对原有Smith-Fuzzy-PID算法进行改进,即在控制量输出前加上一层专家PID控制,提出了一种改进的Smith-Fuzzy-PID算法。对三种控制器仿真结果的比较表明,改进Smith-Fuzzy-PID算法在减小超调量和响应时间上均优于原有Smith-Fuzzy-PID算法,说明改进算法针对一阶惯性纯滞后的汽车空调系统可行有效。

适应目标尺度变化的改进压缩跟踪算法

基于压缩感知理论对目标Haar-like特征进行降维处理的压缩跟踪算法采用固定大小的跟踪框跟踪目标,在目标尺度发生变化时,容易产生跟踪漂移甚至丢失跟踪目标的现象.为了克服这一缺陷,文中分析Haar-like特征随目标尺度变化的情况,发现在一定变化尺度范围内,跟踪矩形框内目标Haar-like特征值的变化与跟踪矩形框的面积变化呈近似线性关系,在此基础上提出适应目标尺度变化的改进压缩跟踪算法(CTVS).实验表明,CTVS具有较高的尺度自适应能力,能更好地减轻目标跟踪过程中可能出现的遮挡、光照变化、背景混杂、变形等干扰因素的影响,具有较高的鲁棒性和准确性.同时算法计算效率较高,能够达到实时跟踪的目的.

基于3D卷积的图像序列特征提取与自注意力的车牌识别方法

近年来,基于自注意力机制的神经网络在计算机视觉任务中得到广泛的应用。随着智能交通系统的广泛应用,面对复杂多变的交通场景,车牌识别任务的难度不断提高,准确识别的需求更加迫切。因此提出一个基于自注意力的免矫正的车牌识别方法T-LPR。首先对图像进行切片和序列化,并使用3D卷积对切片序列进行特征提取,从而得到图像的嵌入向量序列。然后将嵌入向量序列输入基于Transformer Encoder的编码器中,学习各个嵌入向量之间的关系并输出最终的编码结果。最后使用分类器进行分类。在多个公共数据集上的实验结果表明,所提方法对各类困难场景下的车牌识别都非常有效。