面向不同类型概念漂移的两阶段自适应集成学习方法

大数据时代,流数据大量涌现.概念漂移作为流数据挖掘中最典型且困难的问题,受到了越来越广泛的关注.集成学习是处理流数据中概念漂移的常用方法,然而在漂移发生后,学习模型往往无法对流数据的分布变化做出及时响应,且不能有效处理不同类型概念漂移,导致模型泛化性能下降.针对这个问题,提出一种面向不同类型概念漂移的两阶段自适应集成学习方法(two-stage adaptive ensemble learning method for different types of concept drift,TAEL).该方法首先通过检测漂移跨度来判断概念漂移类型,然后根据不同漂移类型,提出“过滤-扩充”两阶段样本处理机制动态选择合适的样本处理策略.具体地,在过滤阶段,针对不同漂移类型,创建不同的非关键样本过滤器,提取历史样本块中的关键样本,使历史数据分布更接近最新数据分布,提高基学习器有效性;在扩充阶段,提出一种分块优先抽样方法,针对不同漂移类型设置合适的抽取规模,并根据历史关键样本所属类别在当前样本块上的规模占比设置抽样优先级,再由抽样优先级确定抽样概率,依据抽样概率从历史关键样本块中抽取关键样本子集扩充当前样本块,缓解样本扩充后的类别不平衡现象,解决当前基学习器欠拟合问题的同时增强其稳定性.实验结果表明,所提方法能够对不同类型的概念漂移做出及时响应,加快漂移发生后在线集成模型的收敛速度,提高模型的整体泛化性能.

有序标签噪声的鲁棒估计与过滤方法

较大规模的标注数据集中难免会存在标签噪声,这在一定程度上限制了模型的泛化性能。有序回归数据集的标签是离散值,但不同标签之间又有一定次序关系。虽然有序回归的标签兼有分类和回归标签的特征,但面向分类和回归任务的标签噪声过滤算法对有序标签噪声并不完全适用。针对此问题,提出了标签含噪时回归模型的Akaike泛化误差估计,在此基础上设计了面向有序回归任务的标签噪声过滤框架。此外,提出了一种鲁棒的有序标签噪声估计方法,其采用基于中位数的融合策略以降低异常估计分量的干扰。最后,该方法与所提框架结合形成了噪声鲁棒融合过滤(Robust Fusion Filtering,RFF)算法。在标准数据集和真实年龄估计数据集上均验证了算法的有效性。实验结果表明,在有序回归任务中,RFF算法性能优于其他分类和回归过滤算法,能够适应不同类型的噪声数据,并有效提升数据质量和模型泛化性能。

基于混合特征提取的流数据概念漂移处理方法

大数据时代,越来越多的数据以数据流的形式产生,由于其具有快速、无限、不稳定及动态变化等特性,使得概念漂移成为流数据挖掘中一个重要但困难的问题.目前多数概念漂移处理方法存在信息提取能力有限且未充分考虑流数据的时序特性等问题.针对这些问题,提出一种基于混合特征提取的流数据概念漂移处理方法(concept drift processing method of streaming data based on mixed feature extraction,MFECD).该方法首先采用不同尺度的卷积核对数据进行建模以构建拼接特征,采用门控机制将浅层输入和拼接特征融合,作为不同网络层次输入进行自适应集成,以获得能够兼顾细节信息和语义信息的数据特性.在此基础上,采用注意力机制和相似度计算评估流数据不同时刻的重要性,以增强数据流关键位点的时序特性.实验结果表明,该方法能有效提取流数据中包含的复杂数据特征和时序特征,提高了数据流中概念漂移的处理能力.

基于自适应深度集成网络的概念漂移收敛方法

概念漂移是流数据挖掘领域中的一个重要且具有挑战性的难题.然而,目前的方法大多仅能够处理线性或简单的非线性映射,深度神经网络虽然有较强的非线性拟合能力,但在流数据挖掘任务中,每次只能在新得到的1个或一批样本上进行训练,学习模型难以实时调整以适应动态变化的数据流.为解决上述问题,将梯度提升算法的纠错思想引入含概念漂移的流数据挖掘任务之中,提出了一种基于自适应深度集成网络的概念漂移收敛方法(concept drift convergence method based on adaptive deep ensemble networks,CD_ADEN).该模型集成多个浅层神经网络作为基学习器,后序基学习器在前序基学习器输出的基础上不断纠错,具有较高的实时泛化性能.此外,由于浅层神经网络有较快的收敛速度,因此所提出的模型能够较快地从概念漂移造成的精度下降中恢复.多个数据集上的实验结果表明,所提出的CD_ADEN方法平均实时精度有明显提高,相较于对比方法,平均实时精度有1%~5%的提升,且平均序值在7种典型的对比算法中排名第一.说明所提出的方法能够对前序输出进行纠错,且学习模型能够快速地从概念漂移造成的精度下降中恢复,提升了在线学习模型的实时泛化性能.

五台山壁画人物线描图生成算法

五台山壁画图像因褪化而导致颜色不均匀、部分边缘轮廓像素灰度缺失,用传统的梯度法生成的线描图存在噪点多且线条不连续的问题。提出一种基于色调补偿及双卷积技术的壁画人物线描图生成算法。在计算梯度幅值时引入色调梯度进行有效的色调补偿,同时通过两种针对离散噪点的卷积模板实现去麻点功能。对五台山壁画人物图像的线描图生成实验的结果表明,该方法在去噪的基础上有效改善了轮廓线不连续的问题。

基于特征注意力提纯的显著性目标检测模型

近年来,显著性目标检测技术取得了巨大进展,其中如何选择并有效集成多尺度特征扮演了重要角色。针对现有特征集成方法可能导致的信息冗余问题,提出了一种基于特征注意力提纯的显著性检测模型。首先,在解码器中采用一个全局特征注意力引导模块(GAGM)对带有语义信息的深层特征进行注意力机制处理,得到全局上下文信息;然后,通过全局引导流将其送入解码器各层进行监督训练;最后,利用多尺度特征融合模块(FAM)对编码器提取出的多尺度特征与全局上下文信息进行有效集成,并在网格状特征提纯模块(MFPM)中进行进一步细化,以生成清晰、完整的显著图。在5个公开数据集上进行实验,结果表明,所提模型优于现有的其他显著性检测方法,并且处理速度快,当处理320×320尺寸的图像时,能以30帧以上的速度运行。

一种双通道半监督网络表示学习模型

在半监督网络表示学习中,节点标签对于网络在不同空间中映射关系的建立具有重要指导意义。然而在很多实际任务中,可用标签信息往往比较有限或难以获取,这导致在学习网络低维表示的过程中无法提供充分有效的监督。针对这一问题,提出了一种双通道半监督网络表示学习模型,该模型以自编码器为基本框架,由自监督和半监督两个信息传递通道构成。自监督信号与标签信息分别在两个通道中对网络表示映射关系的建立提供指导,同时二者之间形成信息互补与增强。考虑到两个通道间可能存在信息冗余,在互信息视角下设计了冗余识别与消除机制。在此基础上,构造了一体化优化模型,实现自监督学习与半监督学习的协同,使学习到的网络表示更好地捕捉和保持网络的结构和特性。在真实数据集上的实验结果表明,提出的模型学习的网络表示在节点分类、聚类和可视化等任务中能够获得优于基线方法的性能。

基于异常检测的标签噪声过滤框架

噪声是影响机器学习模型可靠性的重要因素,而标签噪声相比特征噪声对模型训练更具决定性的影响。噪声过滤是处理标签噪声的一种有效方法,它不需要估计噪声率,也不需要依赖任何损失函数,然而目前大多数标签噪声过滤算法都会面临过度清洗问题。针对此问题,文中提出了基于异常检测的标签噪声过滤框架,并在此框架下给出了一种自适应近邻聚类的标签噪声过滤算法AdNN(Label Noise Filtering via Adaptive Nearest Neighbor Clustering)。该算法分别考虑分类问题中的每一个类别,把标签噪声检测问题转化成离群点检测问题,识别出每一个类别的离群点,然后根据相对密度去除离群点中的非噪声样本,得到噪声备选集,最后通过噪声因子对噪声备选集中的离群点进行噪声识别和过滤。实验结果表明,在合成数据集和公开数据集上,所提噪声过滤方法可以减轻过度清洗现象,同时能够得到很好的噪声过滤效果和分类预测性能。

基于多模态注意力网络的红外人体行为识别方法

深度学习网络对红外单一模态数据的学习表征能力具有一定的局限性,针对该问题,文中提出了基于多模态注意力网络的红外人体行为识别方法。由于深度学习网络模型无法直接对视频信息进行训练和分类,首先,通过预处理模块将得到的视频信息预处理成红外视图,再将得到的红外视图通过Sobel算子和基于L 1范数的全变分光流法分别提取红外视图的边缘信息和光流信息得到边缘视图和光流视图;其次,将红外视图、边缘视图、光流视图分别输入融合注意力机制模块的三流网络中进行特征学习;然后,对三流网络中每个网络提取的多模态特征进行融合;最后,将融合得到的特征向量输入随机森林进行训练和分类。在公开数据集NTU RGB+D和自建数据集上进行实验,结果表明了所提方法具有不错的识别效果。

基于相对离群因子的标签噪声过滤方法

分类任务中含有类别型标签噪声是传统数据挖掘中的常见问题,目前还缺少针对性方法来专门检测类别型标签噪声.离群点检测技术能用于噪声的识别与过滤,但由于离群点与类别型标签噪声并不具有一致性,使得离群点检测算法无法精确检测分类数据集中的标签噪声.针对这些问题,提出一种基于离群点检测技术、适用于过滤类别型标签噪声的方法--基于相对离群因子(Relative outlier factor,ROF)的集成过滤方法(Label noise ensemble filtering method based on rel-ative outlier factor,EROF).首先,通过相对离群因子对样本进行噪声概率估计;然后,再迭代联合多种离群点检测算法,实现集成过滤.实验结果表明,该方法在大多数含有标签噪声的数据集上,都能保持优秀的噪声识别能力,并显著提升各种分类模型的泛化能力.

在线深度神经网络的弱监督概念漂移检测方法

流数据作为大数据的重要形式广泛存在于实际问题中,由于流数据中数据分布变化产生概念漂移,容易导致模型的泛化性能下降,且在实际应用问题中,数据标记成本较高,难以获得强监督的信息.针对以上问题,本文提出一种基于在线深度神经网络的弱监督概念漂移检测(Weakly supervised conceptual drift detection method based on online deep neural network,WSCDD)方法.该方法设计了一种在线深度神经网络模型,采用Hedge反向传播方法在线学习网络深度,并通过设计Dropout层在模型预测时引入随机性,利用蒙特卡罗方法量化深度神经网络模型的预测不确定性,通过自适应滑动窗口技术检测弱监督环境下概念漂移的发生,并使模型适应新的概念.实验结果表明,该方法可以准确检测数据流中概念漂移的发生,在漂移发生后能够快速收敛到新的数据分布,提高了学习模型的泛化性能.

面向节点分类任务的节点级自适应图卷积神经网络

图神经网络通过对图中节点的递归采样与聚合以学习节点嵌入,而现有方法中节点采样与聚合的模式较固定,对局部模式的多样性捕获存在不足,从而降低模型性能.因此,文中提出节点级自适应图卷积神经网络(Node-Level Adaptive Graph Convolutional Neural Network,NA-GCN).设计基于节点重要性的采样策略,自适应地确定各节点的邻域规模.同时,提出基于自注意力机制的聚合策略,自适应地融合给定邻域内的节点信息.在多个基准图数据集上的实验表明,NA-GCN在节点分类任务上具有较优性能.

基于双路时空网络的驾驶员行为识别

驾驶员危险驾驶行为是恶性交通事故发生的主要原因之一,因此识别驾驶员行为具有工程应用上的重要意义。目前,主流基于视觉的检测方法是对驾驶员行为的局部时空特征进行研究,针对全局空间特征及长时序相关性特征研究较少,这在一定程度上无法结合场景上下文信息对危险驾驶行为进行识别。为了解决上述问题,提出一种基于双路时空网络的驾驶员行为识别方法,整合不同时空通路的优点以提高行为特征丰富度。首先,使用一种改进的双流卷积神经网络(TSN)对时空信息进行表征学习,同时降低提取特征的稀疏性;其次,构建一种基于Transformer的串行时空网络补充长时序相关性信息;最后,联合双路时空网络进行融合决策,增强模型的鲁棒性。实验结果表明,所提方法在驾驶员疲劳检测数据集YawDD、驾驶员分心检测数据集SF-DDDD和最新驾驶员行为识别数据集SynDD1这3个公开数据集上分别取得99.85%、99.94%和98.77%的识别准确率,特别是在SynDD1上,与使用动作识别的网络MoviNet-A0相比识别准确率提升了1.64个百分点;消融实验结果也验证了该方法对驾驶员行为有较高的识别精度。

标记相关性修正的多标记众包标签推断方法

众包平台的快速发展使人们获取数据标签变得较为容易,但由于标记者的知识水平、评价标准等均存在显著差异,导致获得的标签质量参差不齐.特别是对于多标记数据,由于每个样本可能有多个不同标记,且不同样本的标记数量不同,所以通过众包标注获取多标记数据的标签时,标注者很难为每个样本提供完整准确的数据标签.针对多标记众包标签推断问题,提出基于标记相关性修正(Label Dependence Correction,LDC)的多标记众包标签推断框架,首先使用单标记众包标签推断算法给出每个标记的初步推断结果,然后通过度量标记间的相关性更新和纠正不可靠的初始标记推断结果.实验结果表明,与经典的众包多标记方法相比,本文提出的框架与单标记算法融合后可以有效提升多标记众包标签推断的性能.

基于弱监督集成的概念演化自适应检测方法

由于现有的多数概念演化检测方法本质上是基于监督学习,且通常用于解决一个时间段内仅出现一个新类,不能处理数据流中的类消失和类循环任务。为此,提出一种基于弱监督集成的概念演化自适应检测方法(AD_WE:Adaptive Detection Method for Concept Evolution Based on Weakly Supervised Ensemble)。该方法利用弱监督集成策略构建集成学习器,对数据块中的训练样本进行局部预测,在此基础上,基于局部密度和相对距离识别特征空间中具有较强内聚性的相似数据并对其聚类,对聚类结果进行相似度比较,实现新类实例的检测及不同新类的区分;同时根据数据随时间变化特征建立动态衰减模型,及时消除消失类,并通过相似度比较检测循环类。实验表明,所提方法能对概念演化做出及时响应,可有效识别消失类和循环类,提高学习器的泛化性能。

面向人工智能专业的实践教学思政案例开发与实践

针对目前人工智能专业课程思政建设中存在的问题,分析实践教学思政教育的核心元素和思政案例设计原则,提出产科教融合驱动的思政案例设计方法,构建实践能力和思政育人的综合评价机制,以“人工智能助力智慧化城市治理”为例,介绍基于对分课堂法和线上线下混合教学模式的实践教学过程设计,推进该专业实践教学的思政案例建设取得良好成效。

基于MRI增强扫描的影像组学对肝细胞癌Ki-67表达水平的术前预测价值

目的:探讨基于MRI增强扫描影像组学对肝细胞癌(HCC)Ki-67表达水平的术前预测价值。方法:回顾性分析101例HCC患者的临床资料及MRI增强扫描资料,以10%为界区分Ki-67高表达组(62例)和低表达组(39例)。提取MRI增强扫描的动脉期、门脉期、延迟期肿瘤区域的影像组学特征,通过五折交叉验证构建训练集(80例)的单期模型及3期联合的组学逻辑回归模型。结合临床资料及影像特征建立临床-影像-组学模型。通过ROC曲线比较各模型间的诊断效能,最后行测试集(21例)验证,筛选出最佳诊断模型。结果:肿瘤最大径、肿瘤边缘是HCC Ki-67高表达的独立危险因素。临床-影像模型在训练集和测试集中的AUC分别为0.764、0.759,MRI增强扫描的动脉期、静脉期、延迟期及3期联合模型在训练集的AUC分别为0.819、0.804、0.865、0.915,测试集分别为0.730、0.720、0.807、0.843。临床-影像-组学模型中,训练集AUC为0.924,测试集为0.880。结论:应用MRI增强扫描建立的临床-影像-组学模型能对HCC术前Ki-67的表达提供预测价值。

基于特征融合的边缘引导乳腺超声图像分割方法

针对乳腺超声图像边缘模糊、斑点噪声多、对比度低等问题,提出了一种融合多特征的边缘引导多尺度选择性核U-Net(Edge-guided Multi-scale Selective Kernel U-Net,EMSK U-Net)方法。EMSK U-Net采用基于U-Net的对称编解码结构可以适应小数据集医学图像分割的特点,将扩张卷积与传统卷积构成选择性核模块作用于编码路径,并提取下采样过程中的选择性核特征进行边缘检测任务,在丰富图像空间信息的同时细化边缘信息,有效缓解斑点噪声和边缘模糊的问题,在一定程度上可以提升小目标的检测精度。然后在解码路径通过多尺度特征加权聚合获取丰富的深层语义信息,多种信息之间相互补充,从而提升网络的分割性能。在3个公开的乳腺超声图像数据集上的实验结果表明,与其他分割方法相比,EMSK U-Net算法各项指标表现良好,分割性能有显著提升。

融合知识的多视图属性网络异常检测模型

属性网络异常检测在网络安全、电子商务和金融交易等领域中具有重要的理论与现实意义,近年来受到了越来越多的关注.大多数异常检测方法凭借网络有限的属性或结构信息进行决策生成,往往难以对异常模式做出可靠的描述.此外,网络节点对应的实体往往关联着丰富的领域知识,这些知识对于异常的识别具有重要的潜在价值.针对上述情况,提出一种融合知识的多视图网络异常检测模型,在多视图学习模式下通过数据与知识的互补融合实现了对异常节点的有效识别.首先,使用TransR模型由领域知识图谱抽取知识向量表示,并借助输入网络的拓扑关系构造其孪生网络.接着,在多视图学习框架下构建属性编码器和知识编码器,分别将属性网络及其孪生网络嵌入到各自的表示空间,并聚合为统一网络表示.最后,综合不同维度上的重构误差进行节点异常分数评价,从而识别网络中的异常节点.在真实网络数据集上的对比实验表明,提出的模型能够实现对领域知识的有效融合,并获得优于基线方法的异常检测性能.

极限距离噪声估计与过滤方法

近年来,机器学习不断取得显著性进展并被成功应用于诸多领域,然而很多学习模型或算法高度依赖数据的标签质量。实际应用中大量数据集普遍存在复杂的标签噪声,因此机器学习在低质数据建模和标签噪声处理方面面临严峻挑战。文中针对回归中的数值型标签噪声,从理论分析和仿真实验的角度研究了标签估计区间与噪声的关联性,提出了一种极限距离噪声估计方法。在最优样本选择框架下,基于此噪声估计方法提出了一种极限距离噪声过滤(Limit Distance Noise Filtering, LDNF)算法。实验结果表明,所提噪声估计方法与真实标签噪声具有更高的相关性和更低的估计偏差。在标准数据集和真实年龄估计数据集上证实了所提过滤算法可以在不同噪声环境下有效识别标签噪声并减小模型的测试误差,其表现优于最新的其他过滤算法。