基于混合特征提取的流数据概念漂移处理方法

大数据时代,越来越多的数据以数据流的形式产生,由于其具有快速、无限、不稳定及动态变化等特性,使得概念漂移成为流数据挖掘中一个重要但困难的问题.目前多数概念漂移处理方法存在信息提取能力有限且未充分考虑流数据的时序特性等问题.针对这些问题,提出一种基于混合特征提取的流数据概念漂移处理方法(concept drift processing method of streaming data based on mixed feature extraction,MFECD).该方法首先采用不同尺度的卷积核对数据进行建模以构建拼接特征,采用门控机制将浅层输入和拼接特征融合,作为不同网络层次输入进行自适应集成,以获得能够兼顾细节信息和语义信息的数据特性.在此基础上,采用注意力机制和相似度计算评估流数据不同时刻的重要性,以增强数据流关键位点的时序特性.实验结果表明,该方法能有效提取流数据中包含的复杂数据特征和时序特征,提高了数据流中概念漂移的处理能力.

融合二连通模体结构信息的节点分类算法

节点表示学习将图结构数据信息编码到低维的潜在空间中,在节点分类、聚类、链路预测等机器学习任务中被广泛应用。在复杂网络中,节点与节点之间不仅存在直接相连的低阶结构,也存在以特殊连接模式形成的高阶结构,称为模体。提出一种融合二连通模体结构信息的节点分类算法(FMI),利用节点间高阶二连通模体信息学习节点表示,完成节点分类任务。首先,统计网络中的二连通模体,利用其中信息提出一个节点重要性的度量指标——模体比值。根据模体比值计算采样概率进行邻域采样;构造一个带权辅助图以融合网络节点连接的低阶关系与高阶关系,对节点进行加权邻域聚合以得到节点表示。在5个数据集Cora、Citeseer、Pubmed、Wiki和DBLP上执行节点分类任务,与5种经典基准算法进行对比,所提算法FMI在准确度和F1-分数等指标上表现良好。

一种融合伴随信息的网络表示学习模型

网络表示学习被认为是提高信息网络分析效率的关键技术之一,旨在将网络中每个节点映射为低维隐空间中的向量表示,并使这些向量高效的保持原网络的结构和特性.近年来,大量研究致力于网络拓扑和节点属性的深度挖掘,并在一些网络分析任务中取得了良好应用效果.事实上,在这两类关键信息之外,真实网络中广泛存在的伴随信息,反映了网络中复杂微妙的各种关系,对网络的形成和演化起着重要作用.为提高网络表示学习的有效性,提出了一种能够融合伴随信息的网络表示学习模型NRLIAI.该模型以变分自编码器(VAE)作为信息传播和处理的框架,在编码器中利用图卷积算子进行网络拓扑和节点属性的聚合与映射,在解码器中完成网络的重构,并融合伴随信息对网络表示学习过程进行指导.该模型克服了现有方法无法有效利用伴随信息的缺点,同时具有一定的生成能力,能减轻表示学习过程中的过拟合问题.在真实网络数据集上,通过节点分类和链路预测任务对NRLIAI模型与几种现有方法进行了对比实验,实验结果验证了该模型的有效性.

多景深图像聚焦信息的三维形貌重建:数据集与模型

受限于数据采集方式的多源异性与三维重建结果的昂贵标注,现有基于多景深图像聚焦信息的三维形貌重建方法通常需要根据具体应用场景设计,缺乏场景适应性.本文提出一种多景深图像数据集构建的理论与方法,并在此基础上设计具有良好鲁棒性的深度网络模型.构建的多景深图像数据集(MDFI Datasets)旨在剥离图像实际语义与深度信息的强关联性,通过联合输入图像序列的富纹理特性与三维形貌固有的同质与阶跃特性,提出形貌核函数非线性空间映射方法扩展数据集的多维性与多样性.设计的深度三维形貌重建网络模型(DSFF-Net)以U-Net为基础网络,添加可变形卷积模块(Deformable ConvNets v2)增强网络的特征提取能力,全新设计的局部-全局关系耦合模块(LGRCB)有助于提升模型全局聚焦信息的聚合能力.为验证MDFI Datasets的跨场景适用性和DSFF-Net模型的鲁棒性与泛化性,本文从四个不同方面进行实验对比分析.实验结果表明,相较于最先进的鲁棒聚焦体积正则化的聚焦形貌恢复算法(RFVR-SFF)和全聚焦深度网络(AiFDepth-Net),本文提出的DSFF-Net模型在RMSE指标上分别下降15%和29%;大景深场景实验表明,本文提出的数据集构建方法能够适应实际应用场景。

动态异构信息融合的科研合作潜力预测

现有的科研合作潜力预测方法使用特征工程来人工提取科研合作网络中作者的浅层静态属性,忽略了科研合作网络中异构实体间的关联关系。针对以上不足,提出融合科研合作网络中的多种实体潜在属性信息的动态合作潜力预测(CPP)模型,在提取异构实体的属性的同时考虑了学者与学者之间合作关系的结构特征,并且通过协同优化的方式优化模型,实现了在为学者进行科研合作者推荐的同时预测科研合作潜力的目标。为验证所提模型的有效性,搜集整理了发表在中国计算机学会(CCF)推荐期刊中的50余万篇论文信息以及相关实体的完整属性信息,并采用滑窗法构建了不同时间段的时序合作异构网络,以提取科研合作网络演化过程中的各实体的动态属性信息。此外,为提高所提模型的泛化性以及实用性,随机输入不同时段的数据对模型进行训练。实验结果表明,相较于次优的多层采样聚合图神经网络(GraphSAGE),CPP模型在合作者推荐任务上的分类精确度提高了1.47个百分点;在合作潜力预测任务上的测试误差降低了1.23%。说明了CPP模型能更精准地为学者推荐优质合作者。

面向不同类型概念漂移的两阶段自适应集成学习方法

大数据时代,流数据大量涌现.概念漂移作为流数据挖掘中最典型且困难的问题,受到了越来越广泛的关注.集成学习是处理流数据中概念漂移的常用方法,然而在漂移发生后,学习模型往往无法对流数据的分布变化做出及时响应,且不能有效处理不同类型概念漂移,导致模型泛化性能下降.针对这个问题,提出一种面向不同类型概念漂移的两阶段自适应集成学习方法(two-stage adaptive ensemble learning method for different types of concept drift,TAEL).该方法首先通过检测漂移跨度来判断概念漂移类型,然后根据不同漂移类型,提出“过滤-扩充”两阶段样本处理机制动态选择合适的样本处理策略.具体地,在过滤阶段,针对不同漂移类型,创建不同的非关键样本过滤器,提取历史样本块中的关键样本,使历史数据分布更接近最新数据分布,提高基学习器有效性;在扩充阶段,提出一种分块优先抽样方法,针对不同漂移类型设置合适的抽取规模,并根据历史关键样本所属类别在当前样本块上的规模占比设置抽样优先级,再由抽样优先级确定抽样概率,依据抽样概率从历史关键样本块中抽取关键样本子集扩充当前样本块,缓解样本扩充后的类别不平衡现象,解决当前基学习器欠拟合问题的同时增强其稳定性.实验结果表明,所提方法能够对不同类型的概念漂移做出及时响应,加快漂移发生后在线集成模型的收敛速度,提高模型的整体泛化性能.

基于二部图的联合谱嵌入多视图聚类算法

多视图聚类在图像处理、数据挖掘和机器学习等领域引起了越来越多的关注.现有的多视图聚类算法存在两个不足,一是在图构造过程中只考虑每个视图数据之间的成对关系生成亲和矩阵,而缺乏邻域关系的刻画;二是现有的方法将多视图信息融合和聚类的过程相分离,从而降低了算法的聚类性能.为此,提出一种更为准确和鲁棒的基于二部图的联合谱嵌入多视图聚类算法.首先,基于多视图子空间聚类的思想构造二部图进而产生相似图,接着利用相似图的谱嵌入矩阵进行图融合,其次,在融合过程中考虑每个视图的重要性进行权重约束,进而引入聚类指示矩阵得到最终的聚类结果.提出的模型将二部图、嵌入矩阵与聚类指示矩阵约束在一个框架下进行优化.此外,提供一种求解该模型的快速优化策略,该策略将优化问题分解成小规模子问题,并通过迭代步骤高效解决.提出算法和已有的多视图聚类算法在真实数据集上进行实验分析.实验结果表明,相比已有方法,提出算法在处理多视图聚类问题上是更加有效和鲁棒的.

有序标签噪声的鲁棒估计与过滤方法

较大规模的标注数据集中难免会存在标签噪声,这在一定程度上限制了模型的泛化性能。有序回归数据集的标签是离散值,但不同标签之间又有一定次序关系。虽然有序回归的标签兼有分类和回归标签的特征,但面向分类和回归任务的标签噪声过滤算法对有序标签噪声并不完全适用。针对此问题,提出了标签含噪时回归模型的Akaike泛化误差估计,在此基础上设计了面向有序回归任务的标签噪声过滤框架。此外,提出了一种鲁棒的有序标签噪声估计方法,其采用基于中位数的融合策略以降低异常估计分量的干扰。最后,该方法与所提框架结合形成了噪声鲁棒融合过滤(Robust Fusion Filtering,RFF)算法。在标准数据集和真实年龄估计数据集上均验证了算法的有效性。实验结果表明,在有序回归任务中,RFF算法性能优于其他分类和回归过滤算法,能够适应不同类型的噪声数据,并有效提升数据质量和模型泛化性能。

基于自适应深度集成网络的概念漂移收敛方法

概念漂移是流数据挖掘领域中的一个重要且具有挑战性的难题.然而,目前的方法大多仅能够处理线性或简单的非线性映射,深度神经网络虽然有较强的非线性拟合能力,但在流数据挖掘任务中,每次只能在新得到的1个或一批样本上进行训练,学习模型难以实时调整以适应动态变化的数据流.为解决上述问题,将梯度提升算法的纠错思想引入含概念漂移的流数据挖掘任务之中,提出了一种基于自适应深度集成网络的概念漂移收敛方法(concept drift convergence method based on adaptive deep ensemble networks,CD_ADEN).该模型集成多个浅层神经网络作为基学习器,后序基学习器在前序基学习器输出的基础上不断纠错,具有较高的实时泛化性能.此外,由于浅层神经网络有较快的收敛速度,因此所提出的模型能够较快地从概念漂移造成的精度下降中恢复.多个数据集上的实验结果表明,所提出的CD_ADEN方法平均实时精度有明显提高,相较于对比方法,平均实时精度有1%~5%的提升,且平均序值在7种典型的对比算法中排名第一.说明所提出的方法能够对前序输出进行纠错,且学习模型能够快速地从概念漂移造成的精度下降中恢复,提升了在线学习模型的实时泛化性能.

基于特征注意力提纯的显著性目标检测模型

近年来,显著性目标检测技术取得了巨大进展,其中如何选择并有效集成多尺度特征扮演了重要角色。针对现有特征集成方法可能导致的信息冗余问题,提出了一种基于特征注意力提纯的显著性检测模型。首先,在解码器中采用一个全局特征注意力引导模块(GAGM)对带有语义信息的深层特征进行注意力机制处理,得到全局上下文信息;然后,通过全局引导流将其送入解码器各层进行监督训练;最后,利用多尺度特征融合模块(FAM)对编码器提取出的多尺度特征与全局上下文信息进行有效集成,并在网格状特征提纯模块(MFPM)中进行进一步细化,以生成清晰、完整的显著图。在5个公开数据集上进行实验,结果表明,所提模型优于现有的其他显著性检测方法,并且处理速度快,当处理320×320尺寸的图像时,能以30帧以上的速度运行。

目标检测综述:从传统方法到深度学习

目标检测是计算机视觉领域中一个基础而富有挑战性的研究领域,近年来由于其广泛的应用前景,引起了学术界和工业界的极大关注。本文阐述了目标检测技术的历史进程和最新发展,尤其关注了从传统图像处理技术向基于深度学习模型的演进过程。文章详细探讨了深度学习时代的部分标志性算法,并评估了这些算法在实际场景中的表现和优势。本综述还深入分析了目标检测当前面临的一系列挑战,包括多尺度目标的检测、遮挡处理问题及满足实时处理的需求等。针对这些挑战,我们探讨了目前的解决策略以及未来的研究方向。最后,本文展望了目标检测技术的未来发展趋势,特别关注了如自监督学习和算法优化等前沿技术的潜在影响。

基于异常检测的标签噪声过滤框架

噪声是影响机器学习模型可靠性的重要因素,而标签噪声相比特征噪声对模型训练更具决定性的影响。噪声过滤是处理标签噪声的一种有效方法,它不需要估计噪声率,也不需要依赖任何损失函数,然而目前大多数标签噪声过滤算法都会面临过度清洗问题。针对此问题,文中提出了基于异常检测的标签噪声过滤框架,并在此框架下给出了一种自适应近邻聚类的标签噪声过滤算法AdNN(Label Noise Filtering via Adaptive Nearest Neighbor Clustering)。该算法分别考虑分类问题中的每一个类别,把标签噪声检测问题转化成离群点检测问题,识别出每一个类别的离群点,然后根据相对密度去除离群点中的非噪声样本,得到噪声备选集,最后通过噪声因子对噪声备选集中的离群点进行噪声识别和过滤。实验结果表明,在合成数据集和公开数据集上,所提噪声过滤方法可以减轻过度清洗现象,同时能够得到很好的噪声过滤效果和分类预测性能。

一种基于主动学习的开放集图像识别方法

开放集识别(Open Set Recognition,OSR)的主要目的是识别未标记数据中的新类样本,同时对已见类样本进行正确分类.现有的大多数识别方法对未标记数据的评估和伪标记信息的利用不足.本文提出一种基于主动学习的开放集图像识别方法(Open Set Image Recognition Method Based on Active Learning,AC-OSIR),充分利用未标记数据提升开放集识别性能.通过引入已见类别的语义知识,构建语义知识和图像特征的映射关系.对于未标记数据,利用阈值选择策略区分开放集样本和已见类样本,通过主动学习模型迭代地识别高置信度开放集样本和已见类样本,并将高置信度已见类样本添加到标记数据集中.本文在图像分类数据集CIFAR-10、TIN和LSUN,以及两个合成数据集的实验结果表明了基于主动学习的开放集图像识别方法的有效性.

基于框架语义分析的汉语句子相似度计算

句子相似度计算在自然语言处理的许多领域中发挥着重要作用.已有的汉语句子相似度计算方法由于考虑句子的语义不全面,使得相似度计算结果不够准确,为此提出一种新的汉语句子相似度计算方法.该方法基于汉语框架网语义资源,通过多框架语义分析、框架的重要度度量、框架的相似匹配、框架间相似度计算等关键步骤来实现句子语义的相似度量.其中多框架语义分析是从框架角度对句子中的所有目标词进行识别、框架选择及框架元素标注,从而达到全面刻画句子语义的目的;在此基础上根据句子中框架的语义覆盖范围对不同框架的重要度进行区分,能够使得相似度结果更准确.在包含多目标词的句子集上的实验结果显示,基于多框架语义分析的句子相似度计算方法相对传统方法获得了更好的测试结果.

基于特征拓扑融合的黑盒图对抗攻击

在大数据时代,数据之间的紧密关联性是普遍存在的,图数据分析挖掘已经成为大数据技术的重要发展趋势。近几年,图神经网络作为一种新型的图表示学习工具引起了学术界和工业界的广泛关注。目前图神经网络已经在很多实际应用中取得了巨大的成功。最近人工智能的安全性和可信性成为了人们关注的重点,很多工作主要针对图像等规则数据的深度学习对抗攻击。文中主要聚焦于图数据这种典型非欧氏结构的黑盒对抗攻击问题,在图神经网络模型信息(结构、参数)未知的情况下,对图数据进行非随机微小扰动,从而实现对模型的对抗攻击,模型性能随之下降。基于节点选择的对抗攻击策略是一类重要的黑盒图对抗攻击方法,但现有方法在选择对抗攻击节点时主要依靠节点的拓扑结构信息(如度信息)而未充分考虑节点的特征信息,文中面向引文网络提出了一种基于特征拓扑融合的黑盒图对抗攻击方法。所提方法在选择重要性节点的过程中将图节点特征信息和拓扑结构信息进行融合,使得选出的节点在特征和拓扑两方面对于图数据都是重要的,攻击者对挑选出的重要节点施加不易察觉的扰动后对图数据产生了较大影响,进而实现对图神经网络模型的攻击。在3个基准数据集上进行实验,结果表明,所提出的攻击策略在模型参数未知的情况下能显著降低模型性能,且攻击效果优于现有的方法。

在线深度神经网络的弱监督概念漂移检测方法

流数据作为大数据的重要形式广泛存在于实际问题中,由于流数据中数据分布变化产生概念漂移,容易导致模型的泛化性能下降,且在实际应用问题中,数据标记成本较高,难以获得强监督的信息.针对以上问题,本文提出一种基于在线深度神经网络的弱监督概念漂移检测(Weakly supervised conceptual drift detection method based on online deep neural network,WSCDD)方法.该方法设计了一种在线深度神经网络模型,采用Hedge反向传播方法在线学习网络深度,并通过设计Dropout层在模型预测时引入随机性,利用蒙特卡罗方法量化深度神经网络模型的预测不确定性,通过自适应滑动窗口技术检测弱监督环境下概念漂移的发生,并使模型适应新的概念.实验结果表明,该方法可以准确检测数据流中概念漂移的发生,在漂移发生后能够快速收敛到新的数据分布,提高了学习模型的泛化性能.

一种半监督金融事件多标签分类方法

随着数字金融服务业的不断发展,互联网和金融服务系统积累了海量文本数据,对金融文本中描述的金融事件自动分类是金融科技的现实需求,也是自然语言处理和机器学习领域广泛关注的方向。目前,深度学习方法已在文本分类中广泛应用,针对文本数据中的金融事件多标签分类中存在的已标注数据缺少、已有深度学习方法消耗资源大以及现有方法未利用金融事件文本的具体特点等问题,通过采用ALBERT和TextCNN等表示工具,引入主体词注意力机制,提出了一种半监督金融事件多标签分类方法。首先,通过无监督数据增强(Unsupervised data augmentation,UDA)方法缓解标注数据量不足的问题;其次,引入了主体词注意力机制,使用ALBERT动态词向量表征方法对文本中的词进行表示;然后,利用TextCNN对文本进行综合语义表示;最后,分别采用交叉熵和KL散度度量标记数据和无标记数据的损失来训练模型。在金融文本数据集上验证了本文所提方法的有效性。

基于逻辑视角的不完备形式背景上知识相容表示与推理

形式背景中的信息不完备引起了知识的不相容性,即蕴涵在不完备形式背景的任一完备化形式背景不能同时成立。逻辑描述是从语义上进行知识表示、语构上制定语义协调推理规则的方法论。首先,从逻辑角度研究不完备数据上的知识相容语义表示,通过定义不完备实例刻画知识的合理性和相容性,并构造最紧致的相容集(相容规范基)。其次,语构上制定具有语义合理性、相容性和完备性的推理规则,从而避免知识推理过程中产生不相容知识和无效知识。最后,将逻辑研究结果运用在不完备形式背景上,引入两类蕴涵形式:↓↓-型蕴涵和↑↑-型蕴涵。这两类蕴涵兼具相容性且相对于可接受性蕴涵尺度更加严格,构造这两类蕴涵的相容规范基并验证其完备性和无冗余性。

面向不确定性决策分析的数据获取模型与方法综述

不确定性决策是指在存在未知或难以准确预测结果情况下做出决策的过程。该文旨在研究在不确定性决策中,用4种数据获取方法来应对不确定性。这些方法包括:①使用小数据集;②利用开放数据集;③采用数据挖掘视角下的情感分析和遥感分析;④通过互联网问卷调查收集数据。该文首先回顾4种数据获取方法,并阐述各自的主要特点及发展历程。其次,阐述这4种数据获取方法在不确定性决策中的应用,并附有说明性示例。然后,讨论4种数据获取方法的局限性,并提出了未来研究的潜在趋势。最后,对全文进行总结。总体来说,该文为不确定性决策问题的研究提供了理论探讨和实践指导,以推动人工智能和决策科学领域的发展和创新,为决策者提供有效的数据支持,从而提高决策的科学性和准确性。

基于信息融合的概率矩阵分解链路预测方法

作为一种典型的网络大数据,社交信息网络如微博、Tweeter等,不仅包含用户间复杂的网络结构,而且包含大量用户所发表的微博/Tweet信息.现有链路预测算法大多只利用单方面的网络拓扑信息或非拓扑信息,仍然缺乏有效融合社交信息网络中拓扑与非拓扑信息的链路预测方法.为此,从社交信息网络中用户的主题角度出发,提出一种融合主题相似信息的链路预测方法.首先基于用户文本内容抽取用户的主题表示,并定义用户间的主题相似度;然后基于用户主题相似度,构建了一种用户主题相似稀疏网络;进一步将用户主题相似网络与用户间关注/被关注网络融合在统一的概率矩阵分解框架下,通过学习获得用户的潜在特征表示和网络链路参数;最终在此概率矩阵分解框架下,基于用户的潜在特征表示和链路参数计算得到用户间的链路可能性.所提出的模型提供了一种融合多种网络信息的通用策略和学习方法.实验在包含网络结构与文本信息的4组微博与推特数据集中显示,所提出的融合概率矩阵分解链路方法相比其他链路预测方法更有效.