特征融合的装修案例跨模态检索方法

目前家装客服系统中主要依靠人工方式进行装修案例检索,导致该系统不能满足用户对咨询服务快捷、及时的需求而且人力成本高,故提出一种基于特征融合的装修案例跨模态检索算法。针对多模态数据的语义信息挖掘不充分,模型检索精度低等问题,对现有的风格聚合模块进行改进,在原始模块中引入通道注意力机制,以此来为每组装修案例中不同图片的特征向量添加合适的权重,从而增强包含更多有用信息的重要特征并削弱其他不重要的特征。同时,为充分利用多模态信息,设计一种适用于检索场景下的多模态特征融合模块,该模块能够自适应地控制2种不同模态的特征向量进行一系列的融合操作,以实现跨模态数据间的知识流动与共享,从而生成语义更丰富、表达能力更强的特征向量,进一步提升模型的检索性能。在自建的装修案例多模态数据集上将该方法与其他方法进行比较,试验结果表明本文方法在装修案例检索上具有更优越的性能。

基于多路信息聚合协同解码的单通道语音增强

为了改善基于卷积编解码架构的单通道语音增强网络对语音声学特征提取不充分、解码特征丢失严重的问题,提出一种基于多路信息聚合协同解码的单通道语音增强网络MIACD,通过双路编码器充分提取融入了语音自监督学习(SSL)表征的幅度谱和复数谱特征,由4层Conformer分别从时间和频率维度对提取特征建模,采用残差连接将双路编码器提取的语音幅度、复数特征引入三路信息聚合解码器,并利用所提通道-时频注意力(CTF-Attention)机制根据语音能量分布情况调节解码器中聚合信息,有效缓解解码时可用声学信息缺失严重的问题。在公开数据集Voice Bank DEMAND上的实验结果表明,与用于单通道语音增强的协作学习框架(GaGNet)相比,MIACD在客观评价指标宽带感知评估语音质量(WB-PESQ)上提升了5.1%,短时客观可懂度(STOI)达到96.7%,验证所提方法可充分利用语音信息重构信号,有效抑制噪声并提升语音可理解性。

基于ACF与PCANet改进通道特征的级联行人检测

针对聚合通道特征(ACF)算法误检窗口多的问题,提出一种由粗到精的级联行人检测算法。采用ACF算法快速粗检,改进通道特征来滤除误检窗口,以每个图像通道学习主成分分析(PCA)滤波器组,代替PCANet从训练图像和卷积图中学习滤波器组,用图像通道进行单层卷积,代替PCANet的双层卷积以降低特征维数,提升对行人的表达能力,并对卷积图池化降维,得到改进的通道特征。仿真结果表明,该算法相对于原ACF算法误检窗口减少,检测率在INRIA、Caltech数据库上分别提高3.8%和17.5%。

多层次特征交互的双模态目标追踪算法

红外与可见光(RGB and Thermal,RGBT)目标跟踪得益于可见光与热红外2种模态数据的互补优势能够很好地提升跟踪器在部分极端环境下的目标定位能力。现有工作主要集中于如何对2种模态的特征进行提取和融合,忽略了不同模态中分层深度特征的潜在价值,这些分层深度特征对目标的定位与分类有着重要的作用。为此,提出了一种多层次特征交互的多模态自适应融合目标跟踪算法(Multi-layer Feature Interaction and Modal-adaptation Fusion Network,MIMFNet),通过特征提取器和注意力机制对分层特征进行提取与自适应校准;分层特征聚合子网将不同层的特征进行自上而下相互聚合,使低层特征不仅保留了自身的空间细节也获取了高层特征的语义信息。设计了一种多模态信息传递模块对2种模态的分层信息进行自适应融合,使模型聚焦到质量更高的特征通道上。通过多个公开数据集上的大量实验结果表明,提出的多模态目标跟踪算法具有优良的抗干扰特性,特别是由于尺度变化(Scale Variation,SV)、热交叉(Thermal Crossover,TC)和遮挡(Occlusion,OCC)等因素引起的跟踪漂移得到了显著优化。

改进的残差网络及其在滚动轴承早期故障诊断中的应用

基于残差网络的滚动轴承故障诊断已经取得一定的成果,但传统的残差网络只能将输入信号进行自下而上的单向特征提取,如果当前层丢失信号中的有用信息,后续层将无法弥补丢失的信息.特别是滚动轴承发生早期微弱故障时,故障特征容易被噪声所掩盖.如何利用残差网络,充分提取滚动轴承早期故障特征,是一个亟待解决的问题.为此,本文提出一种具有密集连接机制(dense connection residual network,DRN)的新型残差网络.在DRN中,每个隐藏层都与输入信号建立有向连接,再利用通道级联算法,将输入信号和每个隐藏层特征进行重构,从而修复深层模型中遗漏的有用信息,获得更完整的故障特征.在XJTU-SY数据集上进行实验,当信噪比达到0 dB、-1 dB、-2 dB、-3 dB、-4 dB时,DRN的准确率均保持在95%以上,说明该方法具有较好的鲁棒性.

行人检测算法ACF的后处理改进

在无人驾驶技术的发展过程中,行人感知和检测技术被公认为最重要的技术之一。因其不但对准确性要求极高,而且行人检测的实时性也对于无人车能否及时避险有着很重要的意义。ACF(Aggregate Channel Feature)算法是公认的快速行人检测算法之一,针对传统后处理方法的不足,对其提出了改进方法。该方法引入了高分保留尺度比变量和区域扩散抑制策略对行人周围的误检窗口进行动态阈值抑制,基于行人本身的宽高比特性提出窗口修正机制,使误检变为正确窗口。在INRIA行人检测数据集上进行测试,可以使ACF算法在不损失过多时间的情况下,大大提高行人检测精度。

具有熵加权HID特征的MACF昼夜分时行人检测算法

针对外部环境的复杂多变性导致基于传统多光谱聚合通道特征(MACF)的行人检测算法漏检率高的问题,在提取红外通道梯度方向直方图(HOG)特征时,利用局部区域的邻域像素强度差异估计和信息熵分析,构建新的熵加权强度差异直方图(EWHID)特征,来加强行人目标边缘轮廓部分对整体特征的贡献程度。针对昼夜不同环境条件下多光谱行人特征存在差异导致误检率较高的问题,利用HSV颜色空间直方图信息建立的检测器对输入图像进行昼夜分类,用训练好的日间和夜间Real Adaboost分类器对图像进行昼夜分时检测。仿真实验结果表明:相比于MACF行人检测算法误检窗口减少,检测精度提升。

基于阈值ACF算法的减速带检测

作为自动驾驶汽车的基本环境感知功能,现有的道路减速带检测方法准确率较低,且受限于道路规格和减速带种类。将目标检测领域较为成熟的ACF算法应用于减速带检测。首先,通过设置不同迭代步数,证明了ACF算法对于减速带检测的有效性;其次,选择出最优迭代步数下的ACF算法,将其作为优化的基础;最后,提出了基于阈值的ACF算法,进一步提升算法性能,得到了96.2%的检测率,优于现有的减速带检测算法。

基于自监督学习的热红外图像景深估计方法

从热红外图像对比度低、细节信息不足等特点出发,提出了一种面向热红外图像的景深估计方法。首先,设计了一种红外特征聚合模块,提高了对目标物边缘和小目标的全方位深度信息获取能力;其次,在特征融合模块中引入了通道注意力机制,进一步融合通道间的交互信息;在此基础上,建立了一种深度估计网络,实现热红外图像的像素级景深估计。消融实验与对比实验的结果表明,该方法在热红外图像像素级景深估计中性能优于其他代表性方法。

基于语义先验和双通道特征提取的图像修复

针对现有的图像修复算法重建结果存在的局部结构不连通、细节还原不准确等问题,提出了一种基于语义先验和双通道特征提取的图像修复算法(semantic prior and dual channel extraction, SPDCE)。该算法利用语义先验网络学习缺失区域的语义信息和上下文知识,对缺失区域进行预测,增强了生成图像的局部一致性;然后通过双通道特征提取网络充分挖掘图像信息,提升了对纹理细节的感知和利用能力;再使用上下文特征调整模块在多个尺度上捕获并编码丰富的语义特征,从而生成更真实的图像视图和更精细的纹理细节。在CelebA-HQ和Places2数据集上的实验结果表明,SPDCE算法与常用算法相比,峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性(structural similarity, SSIM)分别提升1.6~1.73 dB和3.1%~9.9%,L_1 loss下降15.2%~27.8%。实验证明所提算法修复后的图像具有更合理的结构和更丰富的细节,图像修复效果更优。

基于聚合通道特征及卷积神经网络的行人检测

为解决在复杂环境下难以尽可能多地检测到行人的问题,提出一种基于聚合通道特征、通过卷积神经网络提取特征的行人检测算法。采用聚合通道特征的算法尽可能多地产生候选框,通过卷积神经网络提取候选框内物体的深度特征,使用支持向量机分类器对候选框内的物体进行分类,检测出行人。在公开数据集Caltech和INRIA数据集上进行测试,实验结果表明,与目前主流算法比较,召回率平均提升12%,F值平均增加0.05,能有效减少计算机的计算开销。

行人检测中非极大值抑制算法的改进

行人检测是计算机视觉领域的难点和热点问题。行人检测可大致划分为3个部分:特征提取、分类和非极大值抑制(Non-maximum Suppression,NMS)。当前的研究工作主要集中在特征提取、特征学习和分类器等方向,而非极大值抑制方向鲜有改进。目前常用的非极大值抑制算法是贪心策略,抑制时只使用了单一的重合面积信息。针对该问题,在ACF(Aggregate Channel Features)检测算法的基础上,对非极大值抑制进行了3项改进,显著地提升了算法的精度,并且算法的时间消耗只有略微的增加。在INRIA数据集上,单独使用引入尺度比的动态面积阈值NMS时能降低平均对数漏检率(MR)0.99%;单独使用保留外围检测分数相近的检测窗口的策略时NMS能降低MR 1.25%;两者结合可降低MR 2.5%;结合后,再对已经被抑制的检测窗口重复抑制,MR降低了2.63%,达到14.22%。

基于双目视觉的聚合积分通道行人检测优化算法

针对单目视觉下复杂室外场景及人体非刚性变化多样时行人检测效率及准确率较低的问题,提出了一种基于双目立体视觉的行人检测方法.首先采用非局部视差聚合匹配方获取稠密视差图;然后以粗细两阶段分割策略获取感兴趣区域,使用最小面积阈值获取潜在行人最小尺度;结合行人最小尺度自适应地减少检测所需数据量,最后基于聚合积分通道模型完成数据建模与行人检测.实验结果表明,该方法能有效利用双目视觉信息解决单目视觉下虚假干扰问题,在实现较高检测精度的同时有效提高检测速度.

结合改进聚合通道特征和灰度共生矩阵的俯视行人检测算法

针对传统俯视行人检测方法提取的头部特征单一、检测错误率高的问题,提出了结合改进聚合通道特征(ACF)和灰度共生矩阵(GLCM)的俯视行人检测算法。首先,将提取到的HSV颜色特征、梯度幅值大小以及改进后的梯度方向直方图(HOG)特征组合成ACF描述子;然后,采用窗口法计算改进的GLCM参数描述子,提取纹理特征,串联每个窗口的特征向量得到共生矩阵特征描述子;最后,将聚合通道和共生矩阵特征分别输入Adaboost训练得到分类器,并进行检测得到最终结果。实验结果表明,所提算法能在干扰背景存在的情况下有效检测目标,提高了检测的准确率和召回率。

基于多尺度聚合通道特征的实时行人检测

行人检测是近年来计算机视觉领域的研究热点,如何有效且快速地检测行人仍是具有挑战性的课题。提出一种基于多尺度聚合通道特征的快速行人检测算法。设计一种能够充分包含图像颜色、梯度信息的聚合通道特征,采用一种快速多尺度特征估计算法计算图像的多尺度聚合通道特征,使用级联Adaboost分类器进行行人检测。实验结果表明,该文算法在标准行人检测库INRIA上测试结果的召回率和准确率与目前最优算法相当,但时间开销很小完全满足实时检测要求。

聚合多通道特征的青光眼自动检测

眼底影像的自动分析是计算机辅助青光眼筛查和诊断的关键基础.为提高青光眼辅助诊断的准确性,基于彩色眼底图,提出一种聚合多通道特征的青光眼自动检测算法.首先基于多尺度分析技术,通过聚合多通道图像特征,从颜色分布、多尺度Gabor滤波和梯度方向分布等方面表示视盘形态和结构在彩色眼底图上的细微变化;然后设计基于随机森林的分类器,在青光眼数据集上训练分类器模型,并利用集成学习技术鉴别青光眼,从而实现一种基于图像特征的青光眼自动检测算法;最后在2个具有挑战性的青光眼公开数据集(RIM-ONE r2和Drishti_GS)上对青光眼检测算法进行测试和验证,分别得到了0.869 0和0.800 4的曲线下面积值.实验结果表明,该算法在保证青光眼检测敏感性的同时能够显著提高其特异性,对青光眼辅助筛查和诊断具有很好的参考价值.

基于快速边缘检测和RealAdaboost的行人检测

针对聚合通道特征(ACF)算法中行人外观轮廓不稳定导致检测率下降的问题,使用快速边缘检测检测出待检测图像的边缘图;用边缘图代替ACF算法图像通道中的梯度幅值通道,获取较稳定的行人轮廓信息;采用准确率较高的Real Adaboost分类器提高分类准确性。仿真实验结果表明:算法相对于原ACF算法误检窗口减少,检测精度提升,漏检率在INRIA,Caltech数据库上分别降低了5.1%和14.8%。

基于车尾部特征的对车辆的视觉精确定位

在车辆防碰撞预警系统中,对道路前方车辆的检测定位是很重要的研究内容。为了实现对车辆的精确定位,为后续的车距测量服务,本文使用已有的车辆视觉检测方法(AdaBoost和聚合通道特征)对车辆进行初步检测,并利用车辆几何尺寸约束滤除误检结果。在车辆的感兴趣区域内利用车尾部特征(车尾部阴影及车后轮)对车辆进行精确定位。相较于没有添加几何约束的粗定位方法,本文提出的精确定位方法在车辆误检率方面降低了2.28%,在车辆定位的误差均值方面降低了44.58%。实验结果表明:该方法能有效的解决传统车辆检测方法对于车辆定位精确度不高的问题。

结合纹理与轮廓特征的多通道行人检测算法

针对在复杂场景下,聚合通道特征(ACF)的行人检测算法存在检测精度较低、误检率较高的问题,提出一种结合纹理和轮廓特征的多通道行人检测算法。算法由训练分类器和检测两部分组成。在训练阶段,首先提取ACF特征、局部二值模式(LBP)纹理特征和ST(Sketch Tokens)轮廓特征,然后对提取的三类特征均采用Real Ada Boost分类器进行训练;在检测阶段,应用了级联检测的思想,初期使用ACF分类器处理所有实例,保留下来的少数实例应用复杂的LBP及ST分类器进行逐次筛选。实验采用INRIA数据集对算法进行仿真,该算法的平均对数漏检率为13.32%,与ACF算法相比平均对数漏检率降低了3.73个百分点。实验结果表明LBP特征与ST特征能有对ACF特征进行信息互补,从而在复杂场景下去掉部分误判,提高了行人检测的精度,同时应用级联检测保证了多特征算法的计算效率。

基于聚合特征的人群定位与检测分析

提出了一种基于改进视觉背景提取(ViBe)算法与多通道聚合特征的人群定位与检测方法。先通过检测运动目标获得运动目标候选区域,再对候选运动区域使用分类器检测行人目标。针对传统聚合通道特征(ACF)算法在行人头部目标检测过程中存在特征信息描述不强导致误检率较高的问题,提出了一种结合局部二值模式(LBP)通道特征和ACF的人头增强特征信息描述方法;针对非极大值抑制(NMS)算法输出窗口融合误检窗口较多的问题,提出一种基于得分与尺度信息比的改进NMS算法和基于全局得分比的动态阈值方式,有效去除多余干扰误检框。在校园监控数据集和PETS数据集上平均绝对误差(MAE)达到1.88,准确率提升15%,具有更好的检测性能,实验证明所提方法检测性能良好且具有较高的准确性和鲁棒性。