基于Multi-View Vision Transformer的多视图分类模型

针对图像分类中的三维物体分类任务,提出了融合图像特征和位置向量的多角度注意分类模型(multi-view vision transformer,MLVIT)。通过在多个角度架设相机获取三维物体的多角度视图,然后根据图像特征编码模块获得图像特征向量,再根据位置特征编码模块获得位置特征向量,将图像特征向量与位置特征向量进行显示融合并且输入到多头自注意模型中,最后采用Adam算法训练模型参数,并在玉米粒瑕疵分类数据集上进行评测,结果表明该方案优于传统的多视图卷积网络结果。

基于交叉注意力机制的多视图项目文本分类方法

科研项目文本的分类往往需要耗费巨大的人力、物力,因此采用智能方法实现对项目文本分类意义重大。文本分类方法的核心在于文本语义特征的提取,高效的特征提取方法有助于准确构建文本到类别之间的映射。已有的文本分类方法往往基于整个文本或者一部分文本作为分类依据,可能出现信息的冗余或缺失。该文针对结构化的项目文本,在BERT等预训练网络的基础上,创新性地提出基于单交叉注意力机制的两视图项目文本分类学习方法(Two-View Cross Attention,TVCA)和基于双交叉注意力机制的多视图项目文本分类学习方法(Multi-View Cross Attention,MVCA)。MVCA方法基于项目文本的一个主要视图(项目摘要)和两个辅助视图(研究内容、目的和意义),通过两个交叉注意力机制提取包含更丰富语义信息的特征向量,进一步改善分类模型的性能。我们将TVCA和MVCA方法应用于英文论文数据Web of Science Meta-data和南方电网科技项目文本的分类任务中,实验结果验证了TVCA和MVCA方法无论从分类效果还是收敛速度上,都明显优于已有的比较方法。

基于异质多视图主动学习的高光谱地物分类

高光谱遥感影像具有多源异质的属性特征,也面临着训练样本少、标记代价大的困难。拟提取空间形状、纹理等多种属性特征来构建多视图,开展基于异质多视图主动学习的高光谱地物分类研究。主要解决两个问题:1)提出一种新的基于多视图后验概率差异最小(MPPD)的样本查询策略。每个视图根据多元逻辑回归分类器预测样本的类别条件概率;根据全概率公式计算多视图下每个样本的后验概率;挑选后验概率差异最小的样本作为信息含量最大的样本。2)提出一种基于空间多尺度形状结构、以及纹理特征的异质多视图的构建方式。实验结果表明,提出的算法能够加快学习函数的收敛速度,以少量的信息含量大的标记样本来提高学习器的预测性能。

多视图学习的中文文本分类研究

文本分类技术是文本信息处理范围的一种关键技术,此中多视图中文文本分类相关技术成为目前重要的研究课题,它包括文本信息处理、文本信息处理相关技术、文本表示和常用的特征选择算法,本文构建一种改进的并行SVM,基于w-model,采取多个SVM分类器并行计算数据,此方法既确保分类器推广性能又缩短训练时间。

基于多视图典型相关分析的垃圾网页检测

首先将垃圾网页特征分为两个不同的视图,即基于内容特征的视图和基于链接特征的视图,利用典型相关分析及其相关改进方法进行特征提取,生成两组新的特征;再对新生成的两视图特征采用不同组合方式产生单视图数据,并用这组数据作为训练数据构建分类算法。实验结果表明,将垃圾网页看成两视图数据,并应用多视图典型相关分析技术,可有效提高垃圾网页的识别精度。

多视图有监督的LDA模型

本文主要关注多视图数据的分类问题.考虑到集成分类方法可组合多个弱分类器构成一个强分类器,以及主题模型能学习复杂数据的语义表示,本文试图将集成学习思想引入主题模型中,以便同时学习多视图数据的分类规则和预测性语义特征.具体地,结合概率主题模型LDA模型和集成分类方法 Softmax混合模型,提出了一个多视图有监督的分类模型.基于变分EM方法,推导了该模型的参数估计算法.两个真实图像数据集上的实验结果表明了提出模型有较好的分类性能.

块增量典型相关分析

增量学习是处理大规模动态流数据的重要技术,在机器学习领域得到广泛应用。已有众多学者将其与降维方法相结合得到增量式降维算法,其中增量典型相关分析(ICCA)是典型相关分析(CCA)的增量式改进版本,可有效处理多视图的高维数据流降维问题。由于ICCA每次只利用单对样本更新投影向量,每新增一对样本均需更新一次投影向量,导致该算法比较耗时。为了提高算法的效率,提出了块增量典型相关分析(CICCA)算法。该算法无需计算样本协方差矩阵,直接将数据流按批处理,每次利用新增的批样本信息对上一步投影向量进行修正更新,从而得到主投影向量。进一步,在投影向量的正交补空间中计算其他投影向量,进而将原始高维的多视图数据投影到低维空间。在人工数据集和真实数据集上的实验结果表明,该算法提取低维特征的分类性能与CCA、ICCA相当,但训练时间大幅度减少。

基于独立成分分析和协同训练的垃圾网页检测

垃圾网页检测具有重要意义,由于只有少量标记网页,所以可使用半监督协同训练方法检测垃圾网页。将网页特征分为两个视图,即内容视图与链接视图。首先使用独立成分分析分别提取两视图特征的独立成分,然后进行协同训练。实验结果表明,该方法可有效提高垃圾网页检测精度,同时验证了对两个视图分别进行独立成分分析相比于其他方法更为有效。